| 講演抄録／キーワード |
| 講演名 |
2024-10-03 14:30
視覚-言語モデルと物体検出モデルによるサービスロボットのための物体の位置関係理解
○山尾晃世・金岡大樹・磯本航世・田向 権（九工大） |
| 抄録 |
（和） |
サービスロボットは，人からの多様な命令を理解し，実行することが求められる．しかし，ロボットは環境認識や物体の位置関係理解に多くの課題を抱えている．例えば，「コップの後ろの果物を持ってきて」という命令を受けた場合，ロボットは実空間における「後ろ」という概念を理解できず，正確な動作を実現することが困難である．本研究では，物体検出モデルを用いて認識対象の物体のみにマークを重ねることで，視覚-言語モデルが対象物体の位置関係を高精度に理解可能な新しい手法を提案する．実験により，提案手法が既存の手法よりも高精度な物体の位置関係理解が可能であることを確認した． |
| （英） |
Service robots are required to understand and execute various commands from humans. However, robots have challenges recognizing the environment and interpreting an object's location. For example, when a robot receives a command, ``Bring me the fruit behind the cup,'' it cannot understand the concept of "behind" in real-world space, making it difficult to perform the command correctly. To solve this problem, we propose a new method in which a vision-language model can accurately understand the positional relationship of target objects by overlaying marks only on the objects to be recognized using an object detection model. Experimental results show that the proposed system is more accurate than the previous method. |
| キーワード |
（和） |
物体の位置関係理解 / サービスロボット / 視覚的プロンプティング / 物体検出 / 視覚-言語モデル / / / |
| （英） |
object location interpretation / service robots / visual prompting / object detection / vision-language model / / / |
| 文献情報 |
映情学技報 |
| 資料番号 |
|
| 発行日 |
|
| ISSN |
Online edition: ISSN 2424-1970 |
| PDFダウンロード |
|