TRL v1.14、LoRAでNCCLなしの分散GRPOを実現

要約

Hugging FaceはTRL v1.14で、AsyncGRPOTrainerからLoRAアダプターだけをvLLMへ同期できる機能を提供した。rank-1アダプターは数MBで、Storage Bucketを共有ファイルシステムとして使い、NCCLなしで別マシンのHF Jobs間を接続する。構成はAsyncGRPOTrainerのJob 1台、vLLMのJob 2台、認証とリクエスト振り分けを担うプロキシで構成する。プロキシはKV prefixを保持するレプリカへロールアウトを送り、アダプター更新を全レプリカへ配信する。500ステップの実行時間は、5回の試行で3時間27分から53分まで短縮した。