注目★★★★★Hugging Face Papers
OmniVideo-100K：音声・映像横断QAデータセット公開
30秒で把握
- 1OmniVideo-100K（10万件）を公開・音声映像横断QA指示チューニング用
- 22機構のエンジンでエンティティ一貫性と長期時間推論を担保
- 33モデルのFTでOmniVideo-Test最大20.59%向上を達成
要約
音声・映像QAの自動生成パイプラインは、動画を短いクリップに分割して音声と映像を別々に処理するため、音と映像の対応関係が失われ、同一エンティティの描写が区間をまたいで矛盾しやすい課題があった。この問題を解決するため、エンティティを軸に動画全体を構造化スクリプトへ変換する「Entity-Anchored Video Scripting」と、スクリプトから複数区間・複数モダリティにわたる手がかりを抽出してQAを生成する「Clue-Guided QA Generation」の2機構を持つ自動データエンジンを提案した。このパイプラインで構築した指示チューニング用データセットOmniVideo-100K（10万件）とヒト検証済みテストセットOmniVideo-Testを公開した。VITA-1.5・Qwen2.5-Omni-7B・Qwen3-Omni-30BをOmniVideo-100Kでファインチューニングすると、OmniVideo-Test上で最大20.59%の性能向上を達成した。
あなたへの影響
マルチモーダルモデルの音声・映像推論を強化したいチームにとって、既存の短クリップ分割パイプラインの代替として参考になる。
推奨：即時アクションは不要だが、音声付き動画QAタスクを扱うプロジェクトではデータ構築手法として目を通す価値がある。