なぜ継続学習が必要なのか
まとめ
- LLMは学習時点で知識が固定される。a16zは、モデルが外部ストレージからの検索に頼るだけでなく、デプロイ後の新しい経験をウェイトに直接圧縮できるべきだと主張する。
主なポイント
- 継続学習のアプローチは3つのスペクトラムに分かれる：コンテキスト（RAG、エージェント）、モジュール（アダプタ層、圧縮KVキャッシュ）、完全なウェイト更新。それぞれ能力とリスクのプロファイルが異なる。
- 8Bモデルにナレッジモジュールをプラスすることで、特定タスクにおいて1Bパラメータモデルに匹敵する性能を発揮できる。部分的なコンパクションは近い将来の現実的な選択肢だ。
- ナイーブなウェイト更新は6つの工学的理由（壊滅的忘却、時間的分離失敗、論理的統合失敗など）と、4つのガバナンス上の問題（アライメント劣化、監査可能性の崩壊など）によって失敗する。
- 医療画像のアーティファクト、音声の抑揚、その他の高次元な暗黙知はテキストで表現できず、コンテキストウィンドウではなくウェイトにしか記録できない。
- 言及されている研究：EWC（Kirkpatrick 2017）、TTT-Discover（Sun 2020+）、MAML、LoRD（Liu 2025）、STaR（Zelikman 2022）、AlphaEvolve（DeepMind 2025）。
なぜ重要か
- 著者が示すスタートアップの機会は、より大きなRAGパイプラインではなく、ユーザーの修正やタスク結果をRLフィードバックループで安定したウェイト更新に変換することにある。
- Ilya Sutskeverはデプロイに継続学習とトライアル＆エラーが伴うと予測しており、フロンティアラボが静的ウェイトを超えた方向へ向かっていることを示唆している。
- State space modelは、エージェントの一貫した行動を約20ステップから約20,000ステップへ拡張するものとして位置づけられており、パラメトリック学習が成熟する前の長期的な自律エージェントの前提条件となる。
Malika Aubakirova・Matt Bornstein、Andreessen Horowitz · 2026-04-22 · 原文を読む