Anthropicの Mythos 脆弱性発見をパブリックモデルで再現した

記事

• AnthropicのMythosが発見した脆弱性と同じ結果を、パブリックモデルで再現したと主張
• GPTとOpusを使い、MythosがFreeBSDカーネルのRPCコードで見つけたのと同じ問題を発見
• 特定のファイルパスと行番号の範囲をプロンプトに与えて実施

ディスカッション

• 最大の批判：プロンプトにファイルと行番号の範囲を明示しており、フェアな再現とは言えない
• 「フェルマーの最終定理を解答を読んでから解くようなもの」という比喩がコメントに登場
• あるコメンターは決定論的なPythonの静的解析で同じ結果を再現
• MythosはほぼIRNに行番号のヒントなしに問題を見つけており、条件が異なるという指摘もあり

HN（Hacker News）で議論する

原文（英語）: We Reproduced Anthropic’s Mythos Findings with Public Models