
Transformer vs ハイブリッドLLM、トークン単位で分解すると勝負所がまったく違う件
ハイブリッドモデルがTransformerを上回る領域と下回る領域を、トークン単位のloss gapで分解した研究のまとめです。名詞・動詞などの内容語や代名詞の照応解決ではハイブリッドが強く、繰り返しn-gramのコピーと閉じ括弧の予測ではTransformerが強いという結果になっています。単一の平均lossでは見えなかったアーキテクチャ差が「フィルタリング済みトークンloss」で可視化されます。



