LaMP

LaMP

https://lamp-benchmark.github.io/

個別化された出力を行う AIエージェントを評価するベンチマーク。

論文：

LaMP: When Large Language Models Meet Personalization

Alireza Salemi, Sheshera Mysore, Michael Bendersky, Hamed Zamani. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2024.

https://aclanthology.org/2024.acl-long.399/

各タスクの中身はこんな感じ

LaMP-QA という、質問返答に特化したベンチマークデータセットもある（後で読む）