Ternary Bonsai: 1.58ビットで最高水準の精度を実現

記事

• 三値（1.58ビット）量子化モデルがベンチマークで競争力のあるスコアを達成
• 8BバリアントはM4 Proで82 tok/sを記録 — 16ビット8Bモデルの約5倍高速
• 推論時に乗算不要；よりシンプルなハードウェアで動作可能
• バイトあたりの精度で大規模モデルを大きく上回る

ディスカッション

• 独立したベンチマークでは、8B BonsaiはQwen3.5-4Bと同程度の精度
• 批判的な意見として、ベンチマークが2/4ビット量子化モデルではなく16ビットモデルと比較している点が指摘されており、その場合は差が縮まるとの見方も
• あるコメント投稿者は、出力が逐語的・反復的になる現象を報告（例：「Llewelynのような名前」がループする）
• 約2GBのメモリで安価なハードウェア上でも実用的なモデルが動作することへの期待が高まっている

HN（Hacker News）で議論を読む

原文（英語）: Ternary Bonsai: Top Intelligence at 1.58 Bits