曖昧な処理を軽量モデルに「プログラム化」、LLM API 不要の推論パラダイム

要約

曖昧で規則化しにくいプログラミングタスク（ログの重要度判定、JSON 修復、検索結果ランキング等）を LLM API に頼る代わりに、自然言語仕様からコンパクトなニューラルアーティファクトへ直接コンパイルする「ファジー関数プログラミング」を提案した。Program-as-Weights（PAW）は 10M 例の FuzzyBench データセットで訓練した 4B パラメータのコンパイラが、凍結された 0.6B Qwen3 インタプリタ用のパラメータ効率的なアダプタを出力する。PAW は Qwen3-32B の直接プロンプティングと同等の精度を達成しながら、推論メモリを約 1/50 に削減し MacBook M3 上で毎秒 30 トークンで動作する。基盤モデルを入力ごとの問題解決器から再利用可能な小型アーティファクト生成の「工具製造機」へ位置づけ直し、関数定義時に 1 度だけ呼び出す仕組みで以後のコストとレイテンシを大幅削減した。