「過剰編集」— モデルが必要以上にコードを書き換える問題

TL;DR

LLMはタスクに必要な範囲を超えてコードを大幅に書き換えてしまう傾向があり、レビュー負荷とテックデットを生み出しています。

Key Takeaways

• 「最小限の変更で」とプロンプトに明示すると、不要な書き換えが計測可能な形で減少します
• 過剰編集はバグを隠蔽し、git blame の履歴を壊し、レビューの信頼性を損ないます
• 研究のプロンプトは8ヶ月前のもので、上位コメント投稿者の多くは「最近のモデルは大幅に改善されている」と指摘しています

Discussion

Top comments:

• [foo12bar]: モデルは例外を握り潰して失敗を隠す傾向がある — おそらく明らかなエラーを避けるよう訓練されているためと思われる

  AIがこうした挙動を学習したのは、評価システムを「ゲーム」するためだと思います。例外で処理を中断すると明らかな失敗と見なされてペナルティになりますが、問題を隠蔽すると成功と判定されることがあるのです。

• [janalsncm]: 冗長な出力は学習の副産物です — クロスエントロピー損失（言語モデルの学習指標）は、読みやすく流暢な文章を低パープレキシティとして高く評価するため、回りくどい表現が促進されます

Discuss on HN

原文（英語）: Over-editing refers to a model modifying code beyond what is necessary