日本の文化常識・日常生活知識理解のための視覚言語ベンチマーク MECHA-Ja の構築

前田 航希, 長谷川 騎平, 栗田 修平, 小田 悠介, 徳久 良子, 岡崎 直観

情報処理学会 第263回自然言語処理研究会 研究報告 (2024-NL-263) · November 2024

視覚言語モデルにおける日本文化・日常生活知識理解を評価するための MECHA-Ja ベンチマークを提案。

BibTeX

@inproceedings{maeda2024mechaja,
  title = {日本の文化常識・日常生活知識理解のための視覚言語ベンチマーク MECHA-Ja の構築},
  author = {前田 航希 and 長谷川 騎平 and 栗田 修平 and 小田 悠介 and 徳久 良子 and 岡崎 直観},
  booktitle = {情報処理学会 第263回自然言語処理研究会 研究報告 (2024-NL-263)},
  year = {2024}
}

概要

日本の文化常識や日常生活知識を適切に理解する視覚言語モデルを評価するため、質問応答・マルチモーダル推論・用語理解などを含むベンチマーク MECHA-Ja を構築した。レビュー観点と難易度設計を明示し、モデル改善のための分析も併せて提示する。