CanvaのAIツールがデザイン内の「Palestine」を書き換えていた問題で謝罪
要約
- CanvaのMagic Layers機能が、ユーザーのデザイン内の「Palestine」を「Ukraine」に無断で置き換えており、修正が適用された。
主なポイント
- Magic Layersはフラット画像をレイヤーに分解するための機能であり、テキストの内容を変更する設計にはなっていない——そのため、今回の置き換えは想定外の挙動だった。
- 置き換えは「Palestine」に限定されており、「Gaza」など関連語は影響を受けていなかった。学習データまたはフィルタリングの局所的なアーティファクトと考えられる。
- Canvaは問題をすぐに認め、修正を適用した。意図的なポリシーではなくバグだと説明し、コンテンツチェックの強化を約束した。
- 今回の件はCanvaにとって信頼性へのダメージとなる。Magic LayersはAdobe対抗の広範なAIリニューアルにおける目玉機能として位置づけられていた。
- Canvaの声明は置き換えられた特定の単語の政治的重みを認識しており、「distress（苦痛）」を引き起こしたと表現している。
Hacker Newsコメントのまとめ
- 技術的な読み筋として多数派を占めるのは、これは意図的なフィルタリングではなく学習データの統計的アーティファクトだという見方だ。単語が分布上似たような役割を持つ場合、より頻出の変異体が勝つ——「colour」→「color」への置き換えと同じメカニズムだという指摘がある。
- コメント欄では、モデルの出力に「意図」を読み込むことへの注意も促されている。この置き換え挙動は人間がエンコードしたポリシーではなく、出現頻度から生まれる創発的な効果だという論点だ。
注目コメント
- @MarkusQ: 「これらが考えているかのように扱うのはやめるべきだ」——置き換えを学習頻度に起因するものとして捉え、colour/colorやsardines/anchoviesの例を並行ケースとして挙げている。
英語版: Canva apologizes after its AI tool replaces ‘Palestine’ in designs · Original source
