カメラロール対応パーソナルAIエージェント「camroll-agent」発表

要約

ユーザーの個人カメラロールを参照して質問に答えるAIエージェントの研究が発表された。50ユーザー・31,476枚の画像・2,500件のQAペアからなるデータセット「camroll」を構築し、実際の使用シナリオを模した質問を手動でアノテートした。階層的メモリと最小限のツール群を持つ「camroll-agent」を設計し、既存の長文コンテキスト理解手法を上回る性能を示した。個人化されたビジュアルメモリは、テキスト系の長文コンテキスト処理とは異なるアプローチが必要であることも明らかになった。