| 講演抄録／キーワード |
| 講演名 |
2021-02-18 13:25
画像注視時の脳活動データを用いた質問応答生成モデルに基づく意味内容の推定に関する検討 ～ VQAモデルのfine-tuningに基づく高精度化 ～
○高田紗弥・藤後 廉・小川貴弘・長谷山美紀（北大） |
| 抄録 |
（和） |
本稿では，画像注視時の脳活動データを用いた質問応答生成モデルに基づく意味内容の推定手法を提案する．提案手法では，fMRIデータの画像特徴量への変換を行い，画像に関する任意の質問に対する回答を生成可能なVisual Question Answering (VQA)モデルを用いて注視画像の意味内容の推定を行う．さらに，脳活動データを用いてVQAモデルのfine-tuningを行うことで，高精度に画像特徴量を推定できていない場合でも，その特性を考慮することが可能となり，推定精度の向上を実現する． |
| （英） |
In this paper, we propose a semantic content estimation method based on a question and answer generation model using brain activity data during image gazing. The proposed method transforms fMRI data into image features and estimates semantic contents of gazed images using a Visual Question Answering (VQA) model to generate answers to questions about images. Furthermore, by fine-tuning the VQA model using brain activity data, it is possible to consider the image features' characteristics even when they are not estimated with high accuracy, and we can improve the estimation accuracy. |
| キーワード |
（和） |
Brain decoding / functional Magnetic Resonance Imaging / Visual Question Answering / fine-tuning / / / / |
| （英） |
Brain decoding / functional Magnetic Resonance Imaging / Visual Question Answering / fine-tuning / / / / |
| 文献情報 |
映情学技報, vol. 45, no. 4, ME2021-6, pp. 27-31, 2021年2月. |
| 資料番号 |
ME2021-6 |
| 発行日 |
2021-02-11 (MMS, ME, AIT) |
| ISSN |
Print edition: ISSN 1342-6893 Online edition: ISSN 2424-1970 |
| PDFダウンロード |
|