注目★★★★★Hugging Face Blog
LoRAを超えるPEFT手法は存在するか？HuggingFaceが比較検証
30秒で把握
- 1HuggingFaceがLoRA普及率98.4%はエコシステム効果と論じた
- 2PEFTライブラリに40以上の手法を実装・横断比較が可能
- 3学習率調整のみでLoRAが他手法に並ぶとの研究も存在
要約
Hugging Face は、ファインチューニング手法 LoRA の圧倒的な普及率（HubモデルカードのPEFT言及のうち98.4%）が、性能的優位性ではなくエコシステムの自己強化によるものである可能性を論じた。論文ベースの比較では、研究者が自手法に有利な条件で評価するバイアスが生じやすく、学習率チューニングだけでLoRAが「より優れた」手法に並ぶことを示した研究も存在する。そのため PEFT ライブラリには 40 以上の手法が実装されており、タスクや制約に応じた横断比較が現実的に可能になった。
あなたへの影響
LoRAをデフォルト採用しているチームは、PEFTライブラリの他手法（LoftQ、DoRA。
推奨：IA³など）をタスク固有のデータで実測比較することで、メモリ効率や精度がさらに改善できる可能性がある。