| 講演抄録／キーワード |
| 講演名 |
2024-02-19 14:15
Neural Radiance FieldsにおけるReduced Reference画質評価に関する一検討
○河合雅斗・柳 凜太郎・藤後 廉・小川貴弘・長谷山美紀（北大） |
| 抄録 |
（和） |
本稿では，Neural Radiance Fields(NeRF)のための，単眼の動的シーン画像からのReduced Reference Image Quality Assessment(RR IQA)を提案する．複数視点の画像から自由画像を生成することを可能とするNeRFの台頭により，静的シーンに対して高精度な新規視点画像生成が可能になった．一方で，動的シーンの状況に対して．NeRFモデル評価のための正解となる視点画像を収集するためには同期した複数のカメラから対象シーンを撮影する必要があり，多大な労力を要するためその評価は困難となる．
本稿では，この問題を解決するために正解となる視点画像を用意することなくNeRFモデルの評価を可能とする振幅非類似度（AMplitude-DISsimilarity：AMDIS）という新たなRR IQA指標を提案する．AMDISは，2つの近視点画像の差は主に位相成分に吸収されるという仮定に基づき，学習画像と合成画像の振幅成分の誤差に基づきNeRFモデルを評価する．AMDISは訓練画像と合成画像のみを使用するため，従来必要であった生成した画像と同一視点で撮影された評価用視点画像は要しないことが利点である．実験の結果，AMDISは，直接正解となる視点画像を使用する主要なFull Reference画質評価（FR IQA）手法と強い相関があることが示された． |
| （英） |
This paper proposes Reduced Reference Image Quality Assessment (RR IQA) from monocular dynamic scene images for Neural Radiance Fields (NeRF). With the recent emergence of NeRFs, which enable the generation of free images from multiple viewpoint images, it is now possible to generate novel viewpoint images with high accuracy for static scenes. On the other hand, in dynamic scene situations, collecting correct viewpoint images for NeRF model evaluation requires capturing the target scene from multiple synchronized cameras, which requires significant effort, making evaluation in dynamic scenes difficult.
In this paper, we propose a new RR IQA metric called AMplitude-DISsimilarity (AMDIS), which enables the evaluation of NeRF models without the need to prepare correct viewpoint images. AMDIS uses only the training and composite images, and thus does not require an evaluation viewpoint image taken from the same viewpoint as the generated image, which was necessary in the past. Experimental results show that AMDIS correlates strongly with the main Full Reference Image Quality Assessment (FR IQA) method, which directly uses the correct viewpoint image. |
| キーワード |
（和） |
Neural radiance fields / 画像品質評価 / reduced reference / 振幅非類似度 / / / / |
| （英） |
Neural radiance fields / image quality assessment / reduced reference / amplitude dissimilarity / / / / |
| 文献情報 |
映情学技報, vol. 48, no. 6, ME2024-27, pp. 55-60, 2024年2月. |
| 資料番号 |
ME2024-27 |
| 発行日 |
2024-02-12 (MMS, ME, AIT) |
| ISSN |
Online edition: ISSN 2424-1970 |
| PDFダウンロード |
|
|