IBM Granite 4.1とは
IBMが公開したGranite 4.1は、3B、8B、30Bの3サイズからなるDenseデコーダーオンリーLLMファミリーです。約15兆トークンで学習され、最大512Kトークンの長いコンテキストをサポートします。全モデルがApache 2.0ライセンスで配布されており、商用利用が可能です。
今回のバージョンの核心はデータ品質です。単に演算量を増やすのではなく、5段階の事前学習パイプラインを通じてデータ混合比率を段階的に精製しました。また、LLM-as-JudgeフレームワークでSFTデータを選別し、多段階強化学習(RL)で数学、コーディング、指示追従性能を体系的に強化しています。
要するに、「量より質」のデータで学習したモデルです。
アーキテクチャ概要
| コンポーネント | 3B | 8B | 30B |
|---|---|---|---|
| 埋め込みサイズ | 2560 | 4096 | 4096 |
| レイヤー数 | 40 | 40 | 64 |
| アテンションヘッドサイズ | 64 | 128 | 128 |
| アテンションヘッド数 | 40 | 32 | 32 |
| KVヘッド数 | 8 | 8 | 8 |
| MLP隠れサイズ | 8192 | 12800 | 32768 |
| 活性化関数 | SwiGLU | SwiGLU | SwiGLU |
| 位置埋め込み | RoPE | RoPE | RoPE |
3モデルとも同一の学習パイプラインとデータ戦略を共有し、アーキテクチャの次元のみが異なります。GQA、SwiGLU、RoPEなど現代的なLLMデザインを採用しています。
5段階事前学習パイプライン：データ品質の進化
Granite 4.1の最も印象的な部分は段階的なデータ精製戦略です。初期はWebデータ中心で学習し、後半になるほど高品質データと推論データの比率を高めています。
Phase 1: 一般事前学習 (10Tトークン)
- CommonCrawl ~59% (Webデータ)
- コード ~20%
- 数学 ~7%
- 技術文書 ~10.5%
- 多言語 ~2%
- ドメイン特化 ~1.5%
Phase 2: 数学/コード集中 (2Tトークン)
- 数学の比率が5倍に増加 (35%)
- コードの比率1.5倍増加 (30%)
- 高品質CommonCrawl導入 (12%)
- 合成データ追加 (9%)
Phase 3: 高品質データアニーリング (2Tトークン)
- Chain-of-Thought推論データ導入 (12.5%)
- 指示チューニングデータ含む
- 学習率指数減衰
Phase 4: 精密アニーリング (0.5Tトークン)
- 最高品質のデータのみ選別
- CommonCrawl-HQ 40%、コード 20%、数学 20%
Phase 5: 長いコンテキスト拡張 (LCE)
- 4K → 32K → 128K → 512K 段階的拡張
- 512K段階では80%書籍 + 20%コードリポジトリデータ使用
- 各段階後にモデルマージで短いコンテキスト性能を維持
# Granite 4.1 30Bモデルロードと推論例
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda"
model_path = "ibm-granite/granite-4.1-30b"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# 簡単なチャット例
chat = [
{ "role": "user", "content": "東京の現在の天気は？" },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
input_tokens = tokenizer(chat, return_tensors="pt").to(device)
output = model.generate(**input_tokens, max_new_tokens=100)
print(tokenizer.batch_decode(output)[0])
SFTと強化学習：精巧なパイプライン
SFTデータ品質管理
SFTデータはLLM-as-Judgeフレームワークで厳格に選別されます。6つの次元（指示追従、正確性、完全性、簡潔性、自然さ、キャリブレーション）で評価され、ハルシネーション、誤った前提、不正確な計算はハードリジェクトされます。最終的に約410万の高品質サンプルが選別されました。
多段階強化学習パイプライン
単一のRLで終わらせず、4段階の順次RLを適用しています。
- マルチドメインRL (45,504プロンプト): 数学、科学、論理、コード、指示追従などを統合学習
- RLHF (17,920プロンプト): 多言語報酬モデルで有用性と会話能力向上
- アイデンティティ・知識校正RL (1,728プロンプト): モデルが自身を正確に識別するよう訓練
- 数学RL (13,504プロンプト): RLHFで低下した数学性能の回復と向上
このアプローチにより、8Bモデルが前世代の**Granite 4.0-H-Small (32B-A9B MoE)**を複数のベンチマークで凌駕しました。
主要ベンチマーク結果（Instructモデル）
| ベンチマーク | 3B | 8B | 30B |
|---|---|---|---|
| MMLU-Pro (5-shot CoT) | 49.83 | 55.99 | 64.09 |
| GSM8K (8-shot) | 86.88 | 92.49 | 94.16 |
| HumanEval (pass@1) | 79.27 | 87.20 | 89.63 |
| AlpacaEval 2.0 | 38.57 | 50.08 | 56.16 |
| BFCL v3 (ツール呼び出し) | 60.80 | 68.27 | 73.68 |
コアインサイト: 8Bモデルが32B MoEモデルと同等かそれ以上の性能を示しています。これはデータ品質と学習パイプラインの重要性を如実に示す事例です。
FP8量子化サポート
vLLMベースのFP8量子化バージョンも同時公開され、ディスク容量とGPUメモリを約50%削減できます。実運用デプロイに非常に有用な機能です。
国内開発エコシステムでの適用コンテキスト
国内のAIサービス市場でもApache 2.0ライセンスモデルの重要性は増しています。Granite 4.1は商用利用が自由で、8Bサイズでも優れた性能を提供するため、自社LLMを構築したいスタートアップや中堅企業にとって良い選択肢となり得ます。
特に**ツール呼び出し(Tool Calling)**機能が優れており、RAGシステムやAIエージェント構築に適しています。BFCL v3で68.27点を記録した点は、実際のサービス連携において大きな強みです。
本技術の限界と注意点
- 長いコンテキスト性能: RULERベンチマークで128Kにおいて30Bモデルが76.7点、8Bが73.0点と良好ですが、競合モデル(Llama 3.1など)との比較では追加検証が必要です。
- 多言語性能: 12言語をサポートしますが、日本語ベンチマークスコアはまだ公開されていません。実際の日本語サービスに適用するには別途評価が必要です。
- 推論速度: 長いChain-of-Thoughtを使用しないためレイテンシは安定していますが、複雑な推論問題では性能が制限される可能性があります。
次のステップ学習方向
- Hugging Faceからモデルをダウンロードし、実際に推論してみてください。
- vLLMを使ったFP8量子化デプロイを実践してみてください。
- 自社ドメインデータでファインチューニングし、性能を確認してみてください。
合わせて読みたい記事
参考資料: IBM Granite 4.1公式ブログ