注目★★★★★Hugging Face Papers
OCC-RAG: 0.6B/1.7B の小型モデルが大型モデルを凌駕するRAQ
要約
OCC-RAGは、文脈に忠実なQAに特化した小型言語モデル（SLM）ファミリーの新手法。300万件超のマルチホップQAデータを合成する独自パイプラインで学習し、引用付き構造的推論を生成する。OCC-RAG-0.6BとOCC-RAG-1.7Bを公開し、HotpotQAやMuSiQuE等の複数ベンチマークで自身の2〜6倍のパラメータを持つ汎用モデルに匹敵または上回る結果を示した。
あなたへの影響
RAGシステムの推論品質向上に関心のあるチームには参考になる研究。
推奨：即時の実装変更は不要だが、軽量モデルでのコスト削減を検討している場合は目を通す価値がある。