注目★★★★★Hugging Face Papers
曖昧な処理を軽量モデルに「プログラム化」、LLM API 不要の推論パラダイム
30秒で把握
- 1曖昧なプログラミング処理を自然言語から軽量ニューラルアダプタへコンパイル・Qwen3-0.6B が 32B と同等精度で メモリ 1/50
- 2推論を 30 tokens/s で MacBook M3 上で実行・オフライン動作で API コスト・遅延・依存度を排除
- 3FuzzyBench 10M 例で訓練した PAW コンパイラは関数定義時に 1 度だけ呼び出し・以後の呼び出しは極めて安価で高速化
要約
曖昧で規則化しにくいプログラミングタスク（ログの重要度判定、JSON 修復、検索結果ランキング等）を LLM API に頼る代わりに、自然言語仕様からコンパクトなニューラルアーティファクトへ直接コンパイルする「ファジー関数プログラミング」を提案した。Program-as-Weights（PAW）は 10M 例の FuzzyBench データセットで訓練した 4B パラメータのコンパイラが、凍結された 0.6B Qwen3 インタプリタ用のパラメータ効率的なアダプタを出力する。PAW は Qwen3-32B の直接プロンプティングと同等の精度を達成しながら、推論メモリを約 1/50 に削減し MacBook M3 上で毎秒 30 トークンで動作する。基盤モデルを入力ごとの問題解決器から再利用可能な小型アーティファクト生成の「工具製造機」へ位置づけ直し、関数定義時に 1 度だけ呼び出す仕組みで以後のコストとレイテンシを大幅削減した。
あなたへの影響
ログ検証・JSON 修復・ランキング等の曖昧な前処理・後処理タスクをマイクロサービスやエッジで低遅延・オフラインで実行したいチームは、PAW の FuzzyBench での再現可能性と軽量性を検証する価値がある。
推奨：外部 API 呼び出しを関数呼び出しに置き換える設計は運用コストと予測可能性を両立させ得る。