Kimi vendor verifier — 推論プロバイダーが正しいモデルを動かしているか検証するツール

概要

• Kimaiが、推論プロバイダーが正しいモデルの重みを使っているか検証するツールをリリースしました。
• クラウドプロバイダーがユーザーに無断で量子化レベルをこっそり変えてしまう問題に対応しています。
• モデルの忠実度を確認するテストスイートは、ハイエンドハードウェアで約15時間かかります。
• 意図しない品質劣化を主なターゲットとしており、悪意あるプロバイダーによる差し替えへの完全な対策にはなりません。

議論

• コメント欄では歓迎の声が多数：推論プロバイダーが量子化レベルをひっそり変えているのに、ほとんどのユーザーは気づいていない。
• 脅威モデルの穴も指摘：意図的に不正を行うプロバイダーには効果がない。
• 15時間というテスト時間は、大規模な再現には非現実的との声も。
• Anthropicなど他のラボも同様の検証ツールをリリースすべきという要望あり。

HN（Hacker News）で議論を読む

原文（英語）: Kimi vendor verifier – verify accuracy of inference providers