4ビット浮動小数点 FP4 とは何か

記事の概要

• FP4浮動小数点フォーマットを解説：符号1ビット、指数2ビット、仮数1ビット
• トレードオフを整理：基本的な実装ではNaN・Infをサポートしない、精度は極めて限られる
• LLM量子化（NVFP4、MXF P4フォーマット）との関連性

ディスカッション

• FP4はNaN・Infがない点を指摘するコメント多数。代わりにパレット／ルックアップテーブル方式を提案する声も
• ミニ浮動小数点の歴史や、x87（Intelの旧浮動小数点ユニット）の80ビットフォーマットの話題に
• あるコメンターによると、このフォーマットは9年前のエイプリルフール（4月1日のジョーク企画）だったとのこと

HNで議論を読む

原文（英語）: 4-bit floating point FP4