Multimodal Evaluation & Metricsマルチモーダルモデルの評価
Building reliable evaluation protocols for vision-language models, with a focus on grounding and cultural nuance in Japanese contexts.画像と言語の対応や、日本語の文化的なニュアンスを捉える、信頼性の高い視覚言語モデルの評価手法を開発しています。
RESEARCHER / VISION & LANGUAGE研究者 / 視覚と言語
Koki Maeda前田 航希
Doctoral Student · Vision and Language Researcher博士後期課程 · 視覚と言語の研究
Exploring the intersection of computer vision and natural language processing, with a focus on multimodal evaluation metrics and context-aware image captioning.コンピュータビジョンと自然言語処理の交差領域を研究しています。特に、マルチモーダルモデルの評価指標と、文脈を考慮した画像説明生成に取り組んでいます。
Explore my research研究業績を見る
01 / RESEARCH01 / 研究
Understanding across vision and language視覚と言語をつなぐ理解へ.
Instruction-Tuned Multimodal LLMs指示チューニングによるマルチモーダル大規模言語モデル
Curating instruction datasets and training recipes that keep open-weight models aligned and deployable.オープンウェイトモデルが指示に沿って動作し、実環境でも活用できるよう、指示データセットの整備と学習手法の開発に取り組んでいます。
Structured Generation & Understanding構造化された情報の生成と理解
Teaching models to produce and consume structured outputs such as captions, diagrams, and graphs for real-world tasks.画像説明文・図・グラフなどの構造を持つ情報を生成・理解するモデルを通じて、実世界の課題への応用を目指しています。
02 / PUBLICATIONS02 / 研究業績
Browse full publication list論文一覧を見る Recent Work最近の研究
03 / BACKGROUND03 / 経歴
Experience職歴・インターン
Jan 2026 – Present2026年1月 – 現在
Sakana AISakana AI
Applied Research Engineer (Internship)応用研究エンジニア（インターン）
Jun 2024 – Present2024年6月 – 現在
National Institute of Informatics国立情報学研究所
Research Assistantリサーチアシスタント
Jul 2024 – Mar 20252024年7月 – 2025年3月
Cierpa & CompanyCierpa & Company
Engineering Internshipエンジニアリング・インターン
Jul 2022 – Aug 20242022年7月 – 2024年8月
RIKEN AIP理化学研究所 革新知能統合研究センター（AIP）
Research Part-timer研究パートタイマー
Vision and Language research at the Language Information Access Technology Team.言語情報アクセス技術チームで視覚と言語の研究に従事。
Jun 2023 – Jan 20242023年6月 – 2024年1月
OMRON SINIC XOMRON SINIC X
Research Internship研究インターン
Dec 2021 – Dec 20222021年12月 – 2022年12月
Tokyo Institute of Technology東京工業大学
Research Assistantリサーチアシスタント
Aug 2022 – Sep 20222022年8月 – 2022年9月
NTT Research InstituteNTT 研究所
Summer Internshipサマーインターン
Parameter-efficient pre-training methods for CLIP in Vision and Language tasks.視覚言語タスクに向けた、CLIP のパラメータ効率のよい事前学習手法を研究。
Feb 2021 – Mar 20222021年2月 – 2022年3月
Future Corporationフューチャー株式会社
Strategic AI GroupStrategic AI Group
SNS data analysis and annotation guideline creation.SNS データの分析とアノテーションガイドラインの作成。
04 / EDUCATION04 / 学歴
Education学歴
2024 – Present2024年 – 現在
Ph.D., Tokyo Institute of Technology東京工業大学 博士後期課程
Vision and Language, Evaluation視覚と言語・評価手法
Focusing on novel evaluation metrics for multimodal systems and cross-modal representation learning.マルチモーダルシステムの新たな評価指標と、モダリティを横断する表現学習を研究。
Advisors:指導教員： Naoaki Okazaki岡崎 直観
2022 – 20242022年 – 2024年
M.Eng., Tokyo Institute of Technology東京工業大学 修士課程（工学）
Vision and Language: Image Captioning視覚と言語：画像説明生成
Developed context-aware image captioning models that generate descriptions based on user preferences.ユーザーの好みを考慮し、文脈に応じた説明文を生成する画像説明モデルを開発。
Advisors:指導教員： Naoaki Okazaki岡崎 直観
2018 – 20222018年 – 2022年
B.Eng., Tokyo Institute of Technology東京工業大学 学士課程（工学）
NLP: Grammatical Error Correction自然言語処理：文法誤り訂正
Created improved evaluation metrics for grammatical error correction systems.文法誤り訂正システムの評価指標の改善に取り組む。
Advisors:指導教員： Naoaki Okazaki, Masahiro Kaneko (Mentor)岡崎 直観、金子 正弘（メンター）
05 / COMMUNITY05 / 講演・発表
Talks & Workshops招待講演・ワークショップ
2025-11-26
評価の観点から見る国産VLMの現状 ↗
Japanese Symposium on Open Large Language Models · Tokyo, Japan · Poster Presentation, Oral SessionJapanese Symposium on Open Large Language Models · 東京 · ポスター発表・口頭発表
06 / RECOGNITION06 / 受賞・支援
Awards & Fellowships受賞・フェローシップ
- Young Scientist Award, ANLP (2025)言語処理学会 若手奨励賞（2025年）
- Committee Special Awarded Paper, ANLP (2026, 2025, 2023)言語処理学会 委員特別賞（2026年・2025年・2023年）
- Program for Development of Co-creative Experts towards Top-level AI Research (Science Tokyo BOOST) for Science and Engineering fields (2024–2027)東京科学大学 BOOST：次世代AI分野を先導する共創型トップ研究者育成（理工系、2024–2027年）
- Awarded Paper, ANLP (2022)言語処理学会 優秀賞（2022年）
07 / TOOLKIT07 / 専門分野
Skills & Expertiseスキル・専門分野
Programmingプログラミング
Python · PyTorch · JavaPython・PyTorch・Java
Research Areas研究分野
Computer Vision · Natural Language Processing · Multimodal Learning · Image Captioning · Evaluation Metricsコンピュータビジョン・自然言語処理・マルチモーダル学習・画像説明生成・評価指標
Languages言語
Japanese (Native) · English (Professional)日本語（母語）・英語（業務・研究）