| 講演抄録／キーワード |
| 講演名 |
2023-09-07 09:30
エアギターパフォーマンスからのTDPTを使ったギター演奏アバターの自動生成
○上野雄大・宮川 勲（湘南工科大） |
| 抄録 |
（和） |
本研究は，YouTube配信と同様に手軽な操作と低コストな機材を使って，個性のある音楽ライブをメタバース空間において実現することを目標とする．本稿では，エア演奏動作に合わせてギターを弾くアバターを自動的に生成する方法を提案する．我々のアプローチは，TDPT（ThreeDPoseTracker）を使ってカメラ映像から人体のサンプル点の3次元座標を取得する．ユーザのエアギターパフォーマンスに応じて，我々の方法はサンプル点の動きにリンクしたギター演奏のアバターを生成する．実験では，高性能なモーションキャプチャシステムを使ったアバター生成と比較し，提案方法の有用性を示す．実験結果により，我々の方法が画像シーケンスからギター演奏アバターを忠実にリアルタイムで再現することを示す． |
| （英） |
We aim to realize unique live music performances in a metaverse space with easy operation and low-cost equipment. It provides live music performances that reflect individuality as with streaming a live video on personal YouTube channel. We propose a method to automatically generate an avatar that plays a guitar in accordance with the movements of an air musical performance. Our approach introduces TDPT (ThreeDPoseTracker) to obtain 3D coordinates of sample points defined on a human body by using single camera. Our method generates an avatar with playing a guitar linked to the motion of the sample points in response to user's air guitar performances. Our experiments demonstrate the usefulness of the proposed method by comparing it to avatar generation using a high-performance motion capture system. Our experimental results show that our method faithfully reproduces guitar performance avatars from image sequence in real time. |
| キーワード |
（和） |
3次元人体姿勢 / TDPT / モーションキャプチャシステム / 人型3Dモデル / アバター / / / |
| （英） |
3D Human Pose / TDPT / Motion Capture Systems / 3D Humanoid Model / Avatar / / / |
| 文献情報 |
映情学技報, vol. 47, no. 25, ME2023-89, pp. 1-6, 2023年9月. |
| 資料番号 |
ME2023-89 |
| 発行日 |
2023-08-31 (ME) |
| ISSN |
Online edition: ISSN 2424-1970 |
| PDFダウンロード |
|
| 研究会情報 |
| 研究会 |
ME IEICE-EMM IEICE-IE IEICE-LOIS IEE-CMN IPSJ-AVM |
| 開催期間 |
2023-09-07 - 2023-09-07 |
| 開催地（和） |
大阪公立大学 中百舌鳥キャンパス（FIT2023と併催） |
| 開催地（英） |
Osaka Metropolitan Univ. |
| テーマ（和） |
マルチメディア通信/システム，ライフログ活用技術，IP放送/映像伝送，メディアセキュリティ，メディア処理(AI，深層学習)，一般 |
| テーマ（英） |
|
| 講演論文情報の詳細 |
| 申込み研究会 |
ME |
| 会議コード |
2023-09-ME-EMM-IE-LOIS-CMN-AVM |
| 本文の言語 |
日本語 |
| タイトル（和） |
エアギターパフォーマンスからのTDPTを使ったギター演奏アバターの自動生成 |
| サブタイトル（和） |
|
| タイトル（英） |
An Automatic Generation of Guitar Playing Avatar using TDPT from Air Guitar Performance |
| サブタイトル（英） |
|
| キーワード(1)（和/英） |
3次元人体姿勢 / 3D Human Pose |
| キーワード(2)（和/英） |
TDPT / TDPT |
| キーワード(3)（和/英） |
モーションキャプチャシステム / Motion Capture Systems |
| キーワード(4)（和/英） |
人型3Dモデル / 3D Humanoid Model |
| キーワード(5)（和/英） |
アバター / Avatar |
| キーワード(6)（和/英） |
/ |
| キーワード(7)（和/英） |
/ |
| キーワード(8)（和/英） |
/ |
| 第1著者 氏名（和/英/ヨミ） |
上野 雄大 / Yuuta Ueno / ウエノ ユウタ |
| 第1著者 所属（和/英） |
湘南工科大学 (略称： 湘南工科大)
Shonan Institute of Technology (略称： SIT) |
| 第2著者 氏名（和/英/ヨミ） |
宮川 勲 / Isao Miyagawa / ミヤガワ イサオ |
| 第2著者 所属（和/英） |
湘南工科大学 (略称： 湘南工科大)
Shonan Institute of Technology (略称： SIT) |
| 第3著者 氏名（和/英/ヨミ） |
/ / |
| 第3著者 所属（和/英） |
(略称： )
(略称： ) |
| 第4著者 氏名（和/英/ヨミ） |
/ / |
| 第4著者 所属（和/英） |
(略称： )
(略称： ) |
| 第5著者 氏名（和/英/ヨミ） |
/ / |
| 第5著者 所属（和/英） |
(略称： )
(略称： ) |
| 第6著者 氏名（和/英/ヨミ） |
/ / |
| 第6著者 所属（和/英） |
(略称： )
(略称： ) |
| 第7著者 氏名（和/英/ヨミ） |
/ / |
| 第7著者 所属（和/英） |
(略称： )
(略称： ) |
| 第8著者 氏名（和/英/ヨミ） |
/ / |
| 第8著者 所属（和/英） |
(略称： )
(略称： ) |
| 第9著者 氏名（和/英/ヨミ） |
/ / |
| 第9著者 所属（和/英） |
(略称： )
(略称： ) |
| 第10著者 氏名（和/英/ヨミ） |
/ / |
| 第10著者 所属（和/英） |
(略称： )
(略称： ) |
| 第11著者 氏名（和/英/ヨミ） |
/ / |
| 第11著者 所属（和/英） |
(略称： )
(略称： ) |
| 第12著者 氏名（和/英/ヨミ） |
/ / |
| 第12著者 所属（和/英） |
(略称： )
(略称： ) |
| 第13著者 氏名（和/英/ヨミ） |
/ / |
| 第13著者 所属（和/英） |
(略称： )
(略称： ) |
| 第14著者 氏名（和/英/ヨミ） |
/ / |
| 第14著者 所属（和/英） |
(略称： )
(略称： ) |
| 第15著者 氏名（和/英/ヨミ） |
/ / |
| 第15著者 所属（和/英） |
(略称： )
(略称： ) |
| 第16著者 氏名（和/英/ヨミ） |
/ / |
| 第16著者 所属（和/英） |
(略称： )
(略称： ) |
| 第17著者 氏名（和/英/ヨミ） |
/ / |
| 第17著者 所属（和/英） |
(略称： )
(略称： ) |
| 第18著者 氏名（和/英/ヨミ） |
/ / |
| 第18著者 所属（和/英） |
(略称： )
(略称： ) |
| 第19著者 氏名（和/英/ヨミ） |
/ / |
| 第19著者 所属（和/英） |
(略称： )
(略称： ) |
| 第20著者 氏名（和/英/ヨミ） |
/ / |
| 第20著者 所属（和/英） |
(略称： )
(略称： ) |
| 講演者 |
第1著者 |
| 発表日時 |
2023-09-07 09:30:00 |
| 発表時間 |
20分 |
| 申込先研究会 |
ME |
| 資料番号 |
ME2023-89 |
| 巻番号（vol） |
vol.47 |
| 号番号（no） |
no.25 |
| ページ範囲 |
pp.1-6 |
| ページ数 |
6 |
| 発行日 |
2023-08-31 (ME) |