SubtleMemory: 長期AIエージェントの細粒度記憶識別ベンチマーク

要約

長期インタラクションで蓄積されたAIの記憶は、相互補完・矛盾・乖離といった複雑な関係を持つようになる。既存のベンチマークはこうした記憶間の関係性を十分に評価していなかった。そこでSubtleMemoryが提案され、1,522件の評価インスタンスと1,090種の関係制御メモリバリアントを含む構成となっている。6種の独立メモリシステムと複数のエージェントを評価した結果、現状のシステムは細粒度の関係的記憶識別において依然として弱いことが判明した。