| 講演抄録／キーワード |
| 講演名 |
2020-02-28 16:50
画像内の物体に着目した画像検索に関する検討 ～ RetinaNetを用いた物体認識に基づく高精度化 ～
○柳 凜太郎・藤後 廉・小川貴弘・長谷山美紀（北大） |
| 抄録 |
（和） |
検索クエリとして文を用いることが可能な画像検索は，ユーザが異なるモダリティを検索する際に，容易にクエリを用意可能であることが有効点とされている．それらの手法の中で，検索候補の画像にテキストのラベルが付与されていない状況においても，文をクエリとして検索可能な手法(以降，クロスモーダル検索手法)に対する需要は高まっており，高精度な手法の構築が期待されている．従来のクロスモーダル検索手法では，クエリ文全体から得られる文特徴量および検索候補の画像全体から得られる画像特徴量を同一な空間に射影し，比較することで検索が実現されてきた．しかしながら，従来のクロスモーダル検索手法は，射影の際にクエリの文に含まれる名詞および検索候補の画像に含まれる物体の情報を損失している可能性が存在する．そこで，本文では，物体認識手法を利用した検索候補画像の選別による，クロスモーダル検索手法の検索精度向上について検討する．具体的に提案手法では，検索候補の画像から認識された物体とクエリ文に含まれる名詞の類似度を算出し，画像の選別を行う．その後，選別された画像を新たな検索候補として，文全体および画像全体に着目することで得られる特徴量に基づき検索を行うことで，クエリ文の名詞に対応する物体が含まれる画像が検索結果として取得されると考えられる．本文の最後では，一般に公開されているデータセットを用いた実験により提案手法の有効性を確認する． |
| （英） |
Image retrieval method using a text as a query is effective because it enables users to prepare query easily. In these methods, it is expected to improve retrieval performance of cross-modal retrieval method that can retrieve a desired image from a query sentence without labels on the candidate images. Conventional cross-modal retrieval method is realized by embedding lingual and visual features into common semantic space. However, the conventional cross-modal retrieval method may lose information of nouns in a query sentence and objects in candidate images while they embed lingual and visual features. Then, in this paper, we propose a novel image retrieval method that can focus on all of noun of input text based on image recognition method. In the proposed method, firstly, we calculate similarities between all of noun of input text and objects recognized by retrieval candidate images. Then, by using these similarities with the conventional image retrieval method, we obtain retrieval results that contain all of noun of input text. We confirmed the effectiveness of the proposed method through evaluations using open dataset. |
| キーワード |
（和） |
画像検索 / 物体認識 / クロスモーダル検索 / / / / / |
| （英） |
Image retrieval / Object recognition / Cross-modal retrieval / / / / / |
| 文献情報 |
映情学技報, vol. 44, no. 6, ME2020-77, pp. 377-381, 2020年2月. |
| 資料番号 |
ME2020-77 |
| 発行日 |
2020-02-20 (MMS, HI, ME, AIT) |
| ISSN |
Print edition: ISSN 1342-6893 Online edition: ISSN 2424-1970 |
| PDFダウンロード |
|
| 研究会情報 |
| 研究会 |
HI IEICE-IE IEICE-ITS MMS ME AIT |
| 開催期間 |
2020-02-27 - 2020-02-28 |
| 開催地（和） |
北海道大学 |
| 開催地（英） |
Hokkaido Univ. |
| テーマ（和） |
画像処理および一般 |
| テーマ（英） |
Image Processing, etc. |
| 講演論文情報の詳細 |
| 申込み研究会 |
ME |
| 会議コード |
2020-02-HI-IE-ITS-MMS-ME-AIT |
| 本文の言語 |
日本語 |
| タイトル（和） |
画像内の物体に着目した画像検索に関する検討 |
| サブタイトル（和） |
RetinaNetを用いた物体認識に基づく高精度化 |
| タイトル（英） |
A Note on Image Retrieval Focusing on Objects in Images |
| サブタイトル（英） |
Improving Retrieval Performance Based on Object Recognition Using RetinaNet |
| キーワード(1)（和/英） |
画像検索 / Image retrieval |
| キーワード(2)（和/英） |
物体認識 / Object recognition |
| キーワード(3)（和/英） |
クロスモーダル検索 / Cross-modal retrieval |
| キーワード(4)（和/英） |
/ |
| キーワード(5)（和/英） |
/ |
| キーワード(6)（和/英） |
/ |
| キーワード(7)（和/英） |
/ |
| キーワード(8)（和/英） |
/ |
| 第1著者 氏名（和/英/ヨミ） |
柳 凜太郎 / Rintaro Yanagi / ヤナギ リンタロウ |
| 第1著者 所属（和/英） |
北海道大学 (略称： 北大)
Hokkaido University (略称： Hokkaido Univ.) |
| 第2著者 氏名（和/英/ヨミ） |
藤後 廉 / Ren Togo / トウゴ レン |
| 第2著者 所属（和/英） |
北海道大学 (略称： 北大)
Hokkaido University (略称： Hokkaido Univ.) |
| 第3著者 氏名（和/英/ヨミ） |
小川 貴弘 / Takahiro Ogawa / オガワ タカヒロ |
| 第3著者 所属（和/英） |
北海道大学 (略称： 北大)
Hokkaido University (略称： Hokkaido Univ.) |
| 第4著者 氏名（和/英/ヨミ） |
長谷山 美紀 / Miki Haseyama / ハセヤマ ミキ |
| 第4著者 所属（和/英） |
北海道大学 (略称： 北大)
Hokkaido University (略称： Hokkaido Univ.) |
| 第5著者 氏名（和/英/ヨミ） |
/ / |
| 第5著者 所属（和/英） |
(略称： )
(略称： ) |
| 第6著者 氏名（和/英/ヨミ） |
/ / |
| 第6著者 所属（和/英） |
(略称： )
(略称： ) |
| 第7著者 氏名（和/英/ヨミ） |
/ / |
| 第7著者 所属（和/英） |
(略称： )
(略称： ) |
| 第8著者 氏名（和/英/ヨミ） |
/ / |
| 第8著者 所属（和/英） |
(略称： )
(略称： ) |
| 第9著者 氏名（和/英/ヨミ） |
/ / |
| 第9著者 所属（和/英） |
(略称： )
(略称： ) |
| 第10著者 氏名（和/英/ヨミ） |
/ / |
| 第10著者 所属（和/英） |
(略称： )
(略称： ) |
| 第11著者 氏名（和/英/ヨミ） |
/ / |
| 第11著者 所属（和/英） |
(略称： )
(略称： ) |
| 第12著者 氏名（和/英/ヨミ） |
/ / |
| 第12著者 所属（和/英） |
(略称： )
(略称： ) |
| 第13著者 氏名（和/英/ヨミ） |
/ / |
| 第13著者 所属（和/英） |
(略称： )
(略称： ) |
| 第14著者 氏名（和/英/ヨミ） |
/ / |
| 第14著者 所属（和/英） |
(略称： )
(略称： ) |
| 第15著者 氏名（和/英/ヨミ） |
/ / |
| 第15著者 所属（和/英） |
(略称： )
(略称： ) |
| 第16著者 氏名（和/英/ヨミ） |
/ / |
| 第16著者 所属（和/英） |
(略称： )
(略称： ) |
| 第17著者 氏名（和/英/ヨミ） |
/ / |
| 第17著者 所属（和/英） |
(略称： )
(略称： ) |
| 第18著者 氏名（和/英/ヨミ） |
/ / |
| 第18著者 所属（和/英） |
(略称： )
(略称： ) |
| 第19著者 氏名（和/英/ヨミ） |
/ / |
| 第19著者 所属（和/英） |
(略称： )
(略称： ) |
| 第20著者 氏名（和/英/ヨミ） |
/ / |
| 第20著者 所属（和/英） |
(略称： )
(略称： ) |
| 講演者 |
第1著者 |
| 発表日時 |
2020-02-28 16:50:00 |
| 発表時間 |
15分 |
| 申込先研究会 |
ME |
| 資料番号 |
MMS2020-49, HI2020-49, ME2020-77, AIT2020-49 |
| 巻番号（vol） |
vol.44 |
| 号番号（no） |
no.6 |
| ページ範囲 |
pp.377-381 |
| ページ数 |
5 |
| 発行日 |
2020-02-20 (MMS, HI, ME, AIT) |
|