| 講演抄録／キーワード |
| 講演名 |
2021-02-18 16:40
Image Captioningの導入による画像の感情推定の高精度化に関する検討
○梁 鋆・前田圭介・小川貴弘・長谷山美紀（北大） |
| 抄録 |
（和） |
近年，SNSの普及に伴い，ユーザがインターネットに投稿する画像の数は増加している．画像を投稿することでユーザは自身の感情を他のユーザと共有することが可能となっている．そこで，膨大なデータから効率的に画像を収集・検索するために，画像の感情推定が重要となる．画像の感情推定に関して，従来研究では，画像の形，色および物体などの浅層特徴および審美性，セマンティクスなどの深層特徴に着目している．さらに，深層距離学習を画像の感情推定に適用することで，感情の空間分布を考慮することが可能となっている．しかしながら，上述の特徴では画像中のオブジェクト間の関係性など，詳細な情報を表現することは困難である．そこで，本文では，image captioningの導入による，画像の感情推定の高精度化に関する検討を行う．具体的に，提案手法では，畳み込みニューラルネットワークの異なる層から画像特徴量を算出する．さらに，学習済みのimage captioning モデルを用いることで，画像のimage captioning 特徴の算出を行う．その後，上述の特徴を結合して得られた特徴を用いることで感情推定を行う．本文の最後では，一般に公開されているデータセットを用いた実験により提案手法の有効性を確認する． |
| （英） |
Recently, with the popularization of social network services, the images uploaded by users have been increasing. Users tend to share their feelings by sharing pictures. Thus, it is important to analyze image sentiments for effectively collecting and searching from a large amount of data. Previous advances on image sentiment analysis paid attention to the features of the images from low levels such as shape, color and objects, to high levels such as aesthetics and semantics. Furthermore, with the usage of deep metric learning, researchers considered the spatial distribution of the sentiments. However, the aforementioned features cannot reveal the details such as the correlations among objects of a certain image. Therefore, in this paper, to achieve a performance improvement for the image sentiment analysis, we newly introduce image captioning. Concretely, we extract the multi-level features of the images by our convolutional network. Furthermore, we extract the image captioning features by an employed pre-trained image captioning model. Moreover, we integrate the aforementioned features and predict the image sentiments by using the integrated features. We have confirmed the effectiveness of the proposed method through experiments using an open dataset. |
| キーワード |
（和） |
深層距離学習 / 画像の感情推定 / image captioning / / / / / |
| （英） |
Deep metric learning / Image sentiment analysis / Image captioning / / / / / |
| 文献情報 |
映情学技報, vol. 45, no. 4, ME2021-13, pp. 65-69, 2021年2月. |
| 資料番号 |
ME2021-13 |
| 発行日 |
2021-02-11 (MMS, ME, AIT) |
| ISSN |
Print edition: ISSN 1342-6893 Online edition: ISSN 2424-1970 |
| PDFダウンロード |
|
| 研究会情報 |
| 研究会 |
IEICE-IE IEICE-ITS MMS ME AIT |
| 開催期間 |
2021-02-18 - 2021-02-19 |
| 開催地（和） |
オンライン開催 |
| 開催地（英） |
Online |
| テーマ（和） |
画像処理および一般 |
| テーマ（英） |
Image Processing, etc. |
| 講演論文情報の詳細 |
| 申込み研究会 |
ME |
| 会議コード |
2021-02-IE-ITS-MMS-ME-AIT |
| 本文の言語 |
日本語 |
| タイトル（和） |
Image Captioningの導入による画像の感情推定の高精度化に関する検討 |
| サブタイトル（和） |
|
| タイトル（英） |
A note on improvement of image sentiment analysis based on introduction of image captioning |
| サブタイトル（英） |
|
| キーワード(1)（和/英） |
深層距離学習 / Deep metric learning |
| キーワード(2)（和/英） |
画像の感情推定 / Image sentiment analysis |
| キーワード(3)（和/英） |
image captioning / Image captioning |
| キーワード(4)（和/英） |
/ |
| キーワード(5)（和/英） |
/ |
| キーワード(6)（和/英） |
/ |
| キーワード(7)（和/英） |
/ |
| キーワード(8)（和/英） |
/ |
| 第1著者 氏名（和/英/ヨミ） |
梁 鋆 / Yun Liang / リョウ イン |
| 第1著者 所属（和/英） |
北海道大学 (略称： 北大)
Hokkaido University (略称： Hokkaido Univ.) |
| 第2著者 氏名（和/英/ヨミ） |
前田 圭介 / Keisuke Maeda / マエダ ケイスケ |
| 第2著者 所属（和/英） |
北海道大学 (略称： 北大)
Hokkaido University (略称： Hokkaido Univ.) |
| 第3著者 氏名（和/英/ヨミ） |
小川 貴弘 / Takahiro Ogawa / オガワ タカヒロ |
| 第3著者 所属（和/英） |
北海道大学 (略称： 北大)
Hokkaido University (略称： Hokkaido Univ.) |
| 第4著者 氏名（和/英/ヨミ） |
長谷山 美紀 / Miki Haseyama / ハセヤマ ミキ |
| 第4著者 所属（和/英） |
北海道大学 (略称： 北大)
Hokkaido University (略称： Hokkaido Univ.) |
| 第5著者 氏名（和/英/ヨミ） |
/ / |
| 第5著者 所属（和/英） |
(略称： )
(略称： ) |
| 第6著者 氏名（和/英/ヨミ） |
/ / |
| 第6著者 所属（和/英） |
(略称： )
(略称： ) |
| 第7著者 氏名（和/英/ヨミ） |
/ / |
| 第7著者 所属（和/英） |
(略称： )
(略称： ) |
| 第8著者 氏名（和/英/ヨミ） |
/ / |
| 第8著者 所属（和/英） |
(略称： )
(略称： ) |
| 第9著者 氏名（和/英/ヨミ） |
/ / |
| 第9著者 所属（和/英） |
(略称： )
(略称： ) |
| 第10著者 氏名（和/英/ヨミ） |
/ / |
| 第10著者 所属（和/英） |
(略称： )
(略称： ) |
| 第11著者 氏名（和/英/ヨミ） |
/ / |
| 第11著者 所属（和/英） |
(略称： )
(略称： ) |
| 第12著者 氏名（和/英/ヨミ） |
/ / |
| 第12著者 所属（和/英） |
(略称： )
(略称： ) |
| 第13著者 氏名（和/英/ヨミ） |
/ / |
| 第13著者 所属（和/英） |
(略称： )
(略称： ) |
| 第14著者 氏名（和/英/ヨミ） |
/ / |
| 第14著者 所属（和/英） |
(略称： )
(略称： ) |
| 第15著者 氏名（和/英/ヨミ） |
/ / |
| 第15著者 所属（和/英） |
(略称： )
(略称： ) |
| 第16著者 氏名（和/英/ヨミ） |
/ / |
| 第16著者 所属（和/英） |
(略称： )
(略称： ) |
| 第17著者 氏名（和/英/ヨミ） |
/ / |
| 第17著者 所属（和/英） |
(略称： )
(略称： ) |
| 第18著者 氏名（和/英/ヨミ） |
/ / |
| 第18著者 所属（和/英） |
(略称： )
(略称： ) |
| 第19著者 氏名（和/英/ヨミ） |
/ / |
| 第19著者 所属（和/英） |
(略称： )
(略称： ) |
| 第20著者 氏名（和/英/ヨミ） |
/ / |
| 第20著者 所属（和/英） |
(略称： )
(略称： ) |
| 講演者 |
第1著者 |
| 発表日時 |
2021-02-18 16:40:00 |
| 発表時間 |
25分 |
| 申込先研究会 |
ME |
| 資料番号 |
MMS2021-13, ME2021-13, AIT2021-13 |
| 巻番号（vol） |
vol.45 |
| 号番号（no） |
no.4 |
| ページ範囲 |
pp.65-69 |
| ページ数 |
5 |
| 発行日 |
2021-02-11 (MMS, ME, AIT) |
|