ROCmとStrix Haloを使ってみた第一印象

記事

• AMD Strix Halo（統合メモリAPU）上でROCmとllama.cppを使いLLMを動かした体験記
• セットアップ、BIOSアップデートの必要性、GGUFの量子化、PyTorchのGPU認識について解説
• Strix Haloの統合メモリにより、推論ワークロードでPCIeのボトルネックを回避できる

ディスカッション

• コメント欄では、自前のGGUF変換よりUnsloth／Bartowskiのimatrix量子化版を使うことを推奨
• AMDの公式プロジェクトLemonadeがStrix Haloサポートを含む、より良い出発点として紹介されている
• 批判の声：ベンチマークやtokens/secの数値がなく、検証しづらいという指摘あり

HN（Hacker News）でディスカッションを見る

原文（英語）: My first impressions on ROCm and Strix Halo