| 講演抄録／キーワード |
| 講演名 |
2026-02-17 09:40
大規模言語モデルと視線情報による認知状態の推測 ～ マインドリーディング技術の検討 ～
○多田那由多（近畿大）・中西史佳・山高大乗（デンソー先端研）・小濱 剛（近畿大） |
| 抄録 |
（和） |
本研究では，視線に基づいたマインドリーディング技術の確立を目的として，画像からテキストを生成する深層学習モデルである BLIP-2 の attention 機構に視線情報を混合させるように拡張したモデルを構築した．学習データには，実験参加者に質問文を提示した上で画像を観察する際に計測された視線データを用いた．また，データ収集コストの削減を視野に入れ，既存のデータに対してヒトが指示内容を評価した主観評価データを作成し，これによる学習も試みた．その結果，実測データを用いたモデルでは，評価指標のスコアは良好であり，特定の画像に対して入力する視線データを変えることで，生成されるテキストが変化することを確認した．一方，主観評価データを用いた学習では早期に過学習に陥ったことから，データ構築方法に課題が残った．実測データに対する予測精度からは，視線情報が提案モデルのテキスト生成に寄与していたと考えられ，視線に基づいたマインドリーディング技術開発の可能性が示唆された． |
| （英） |
This study aimed to develop gaze-based mind-reading technology by extending BLIP-2, a deep learning model for image-to-text generation, to integrate gaze information into its attention mechanism. The training data consisted of gaze data measured while participants observed images after being presented with questions. Additionally, to reduce data collection costs, we created a subjective evaluation dataset in which humans assessed the instruction content of existing data and attempted to use this dataset for training purposes. The results showed that the model trained on the measured data achieved favorable scores for the evaluation metrics. Furthermore, we confirmed that varying the input gaze data for a given image alters the generated text. Conversely, training with the subjective evaluation dataset led to early overfitting, highlighting the remaining challenges in the data construction method. The prediction accuracy obtained with the measured data suggests that gaze information contributes to the proposed model's text generation, indicating the potential for developing gaze-based mind-reading technology. |
| キーワード |
（和） |
大規模言語モデル / 視線 / テキスト生成 / マインドリーディング / / / / |
| （英） |
Large language model / Gaze information / Text generation / Mind-reading / / / / |
| 文献情報 |
映情学技報, vol. 50, no. 4, HI2026-1, pp. 1-5, 2026年2月. |
| 資料番号 |
HI2026-1 |
| 発行日 |
2026-02-10 (HI) |
| ISSN |
Online edition: ISSN 2424-1970 |
| PDFダウンロード |
|
| 研究会情報 |
| 研究会 |
IEICE-HIP HI VRPSY ASJ-H |
| 開催期間 |
2026-02-17 - 2026-02-18 |
| 開催地（和） |
那覇市IT創造館 大会議室 |
| 開催地（英） |
|
| テーマ（和） |
VR心理，ヒューマン情報処理，視覚，マルチモーダル，一般 |
| テーマ（英） |
|
| 講演論文情報の詳細 |
| 申込み研究会 |
HI |
| 会議コード |
2026-02-HIP-HI-VRPSY-H |
| 本文の言語 |
日本語 |
| タイトル（和） |
大規模言語モデルと視線情報による認知状態の推測 |
| サブタイトル（和） |
マインドリーディング技術の検討 |
| タイトル（英） |
Inference of Cognitive States through Large Language Models and Gaze Information |
| サブタイトル（英） |
An Examination of Mind-Reading Technology |
| キーワード(1)（和/英） |
大規模言語モデル / Large language model |
| キーワード(2)（和/英） |
視線 / Gaze information |
| キーワード(3)（和/英） |
テキスト生成 / Text generation |
| キーワード(4)（和/英） |
マインドリーディング / Mind-reading |
| キーワード(5)（和/英） |
/ |
| キーワード(6)（和/英） |
/ |
| キーワード(7)（和/英） |
/ |
| キーワード(8)（和/英） |
/ |
| 第1著者 氏名（和/英/ヨミ） |
多田 那由多 / Nayuta Tada / タダ ナユタ |
| 第1著者 所属（和/英） |
近畿大学 (略称： 近畿大)
Kindai University (略称： Kindai Univ.) |
| 第2著者 氏名（和/英/ヨミ） |
中西 史佳 / Fumika Nakanishi / ナカニシ フミカ |
| 第2著者 所属（和/英） |
株式会社デンソー 先端技術研究所 (略称： デンソー先端研)
Advanced Research and Innovation Center, DENSO CORPORATION (略称： ARIC, DENSO CORP.) |
| 第3著者 氏名（和/英/ヨミ） |
山高 大乗 / Minori Yamataka / ヤマタカ ミノリ |
| 第3著者 所属（和/英） |
株式会社デンソー 先端技術研究所 (略称： デンソー先端研)
Advanced Research and Innovation Center, DENSO CORPORATION (略称： ARIC, DENSO CORP.) |
| 第4著者 氏名（和/英/ヨミ） |
小濱 剛 / Takeshi Kohama / コハマ タケシ |
| 第4著者 所属（和/英） |
近畿大学 (略称： 近畿大)
Kindai University (略称： Kindai Univ.) |
| 第5著者 氏名（和/英/ヨミ） |
/ / |
| 第5著者 所属（和/英） |
(略称： )
(略称： ) |
| 第6著者 氏名（和/英/ヨミ） |
/ / |
| 第6著者 所属（和/英） |
(略称： )
(略称： ) |
| 第7著者 氏名（和/英/ヨミ） |
/ / |
| 第7著者 所属（和/英） |
(略称： )
(略称： ) |
| 第8著者 氏名（和/英/ヨミ） |
/ / |
| 第8著者 所属（和/英） |
(略称： )
(略称： ) |
| 第9著者 氏名（和/英/ヨミ） |
/ / |
| 第9著者 所属（和/英） |
(略称： )
(略称： ) |
| 第10著者 氏名（和/英/ヨミ） |
/ / |
| 第10著者 所属（和/英） |
(略称： )
(略称： ) |
| 第11著者 氏名（和/英/ヨミ） |
/ / |
| 第11著者 所属（和/英） |
(略称： )
(略称： ) |
| 第12著者 氏名（和/英/ヨミ） |
/ / |
| 第12著者 所属（和/英） |
(略称： )
(略称： ) |
| 第13著者 氏名（和/英/ヨミ） |
/ / |
| 第13著者 所属（和/英） |
(略称： )
(略称： ) |
| 第14著者 氏名（和/英/ヨミ） |
/ / |
| 第14著者 所属（和/英） |
(略称： )
(略称： ) |
| 第15著者 氏名（和/英/ヨミ） |
/ / |
| 第15著者 所属（和/英） |
(略称： )
(略称： ) |
| 第16著者 氏名（和/英/ヨミ） |
/ / |
| 第16著者 所属（和/英） |
(略称： )
(略称： ) |
| 第17著者 氏名（和/英/ヨミ） |
/ / |
| 第17著者 所属（和/英） |
(略称： )
(略称： ) |
| 第18著者 氏名（和/英/ヨミ） |
/ / |
| 第18著者 所属（和/英） |
(略称： )
(略称： ) |
| 第19著者 氏名（和/英/ヨミ） |
/ / |
| 第19著者 所属（和/英） |
(略称： )
(略称： ) |
| 第20著者 氏名（和/英/ヨミ） |
/ / |
| 第20著者 所属（和/英） |
(略称： )
(略称： ) |
| 第21著者 氏名（和/英/ヨミ） |
/ / |
| 第21著者 所属（和/英） |
(略称： )
(略称： ) |
| 第22著者 氏名（和/英/ヨミ） |
/ / |
| 第22著者 所属（和/英） |
(略称： )
(略称： ) |
| 第23著者 氏名（和/英/ヨミ） |
/ / |
| 第23著者 所属（和/英） |
(略称： )
(略称： ) |
| 第24著者 氏名（和/英/ヨミ） |
/ / |
| 第24著者 所属（和/英） |
(略称： )
(略称： ) |
| 第25著者 氏名（和/英/ヨミ） |
/ / |
| 第25著者 所属（和/英） |
(略称： )
(略称： ) |
| 第26著者 氏名（和/英/ヨミ） |
/ / |
| 第26著者 所属（和/英） |
(略称： )
(略称： ) |
| 第27著者 氏名（和/英/ヨミ） |
/ / |
| 第27著者 所属（和/英） |
(略称： )
(略称： ) |
| 第28著者 氏名（和/英/ヨミ） |
/ / |
| 第28著者 所属（和/英） |
(略称： )
(略称： ) |
| 第29著者 氏名（和/英/ヨミ） |
/ / |
| 第29著者 所属（和/英） |
(略称： )
(略称： ) |
| 第30著者 氏名（和/英/ヨミ） |
/ / |
| 第30著者 所属（和/英） |
(略称： )
(略称： ) |
| 第31著者 氏名（和/英/ヨミ） |
/ / |
| 第31著者 所属（和/英） |
(略称： )
(略称： ) |
| 第32著者 氏名（和/英/ヨミ） |
/ / |
| 第32著者 所属（和/英） |
(略称： )
(略称： ) |
| 第33著者 氏名（和/英/ヨミ） |
/ / |
| 第33著者 所属（和/英） |
(略称： )
(略称： ) |
| 第34著者 氏名（和/英/ヨミ） |
/ / |
| 第34著者 所属（和/英） |
(略称： )
(略称： ) |
| 第35著者 氏名（和/英/ヨミ） |
/ / |
| 第35著者 所属（和/英） |
(略称： )
(略称： ) |
| 第36著者 氏名（和/英/ヨミ） |
/ / |
| 第36著者 所属（和/英） |
(略称： )
(略称： ) |
| 講演者 |
第1著者 |
| 発表日時 |
2026-02-17 09:40:00 |
| 発表時間 |
20分 |
| 申込先研究会 |
HI |
| 資料番号 |
HI2026-1 |
| 巻番号（vol） |
vol.50 |
| 号番号（no） |
no.4 |
| ページ範囲 |
pp.1-5 |
| ページ数 |
5 |
| 発行日 |
2026-02-10 (HI) |
|