Gander公開、映像・音声・テキストで全二重エージェント対話

要約

Ganderは、映像・音声・テキストを連続入力し、リアルタイムの全二重対話とエージェント推論を単一フレームワークに統合したエンドツーエンドモデルとして公開された。従来のターン制と異なり、ユーザーはいつでも割り込みでき、モデルは途中経過のフィードバックや追加質問を自発的に返す。リアルタイム対話を担うCerebellumと、複雑な推論・エージェント処理を担うBrainを、tool callingとエージェント実行基盤で連携させる。Cerebellumには、入出力をチャンク単位の順序付きtoken streamへ統合するstreaming Thinker-Talker構成を採用した。会話能力、全モーダル理解、対話能力、エージェント知能を評価し、雑音、複数人対話、相づちを含む現実的な環境で堅牢性を確認した。モデル、コード、データを公開した。