注目★★★★★Hugging Face Papers
SCAIL-2：中間表現不要のエンドツーエンドキャラクターアニメーション統合フレームワーク
30秒で把握
- 1SCAIL-2が中間表現を排除したエンドツーエンドアニメーションを実現
- 2MotionPair-60K合成データセット構築・Bias-Aware DPOで細部誤差を軽減
- 3既存SOTAを複数タスクで上回り・モデル重みとデータを公開予定
要約
SCAIL-2は、駆動映像を参照キャラクターへ直接モーション転送するエンドツーエンドのキャラクターアニメーションフレームワークだ。従来手法が依存していたポーズスケルトンやマスク背景などの中間表現を排除し、駆動映像をシーケンスに直接連結することで情報損失を防ぐ。エンドツーエンドの学習データ不足に対応するため、異種タスクを含むモーション転送データセット「MotionPair-60K」を合成するパイプラインを構築した。インコンテキストマスク条件付けとモード固有のRoPEをソフトガイダンスとして活用し、合成データの細部誤差はBias-Aware DPOで軽減している。各種キャラクターアニメーションタスクで既存の最先端手法を大幅に上回る性能を達成し、合成データの一部とモデル重みが公開される予定だ。
あなたへの影響
キャラクターアニメーションの研究や実装に取り組むチームにとって、中間表現排除のアプローチとMotionPair-60Kデータセットは参考になり得る。
推奨：即時アクションは不要で、公開予定のモデル重みとデータを確認してから自チームのユースケースへの適用可能性を評価する程度で良い。