| 講演抄録／キーワード |
| 講演名 |
2022-10-14 10:00
学習初期の正則化と加重損失を用いたラベルノイズに頑健な半教師あり学習
○東本良太・吉田 壮・棟安実治（関西大） |
| 抄録 |
（和） |
誤ったラベル (ラベルノイズ)が存在するデータセットを用いてDeep Neural Network (DNN)を学習することは重要な課題である．ラベルノイズが存在する環境下におけるDNNは，早期学習段階において正しいラベルを持つ学習サンプルに対して適合し，後期学習段階になるとラベルノイズを持つサンプルに適合する．近年では，この性質を利用した半教師あり学習に基づく手法が有望視されている．従来手法は，ガウス混合モデルでサンプルの損失分布をモデル化し，ラベルノイズを持つサンプルをラベルなしとみなしてDNNを学習する．一方，ラベル付きおよびなしサンプルへの分割精度は，DNNのウォームアップ時の性能に依存する．また，従来手法は，学習データ中のラベルノイズの割合ごとに変化するラベル付きサンプル数の影響を考慮できていない．本稿では，早期学習段階でのDNNの性質を利用し，ラベルノイズへの適合を抑制する正則化 (Early-learning Regularization; ELR)を導入する．さらに，ラベル付きサンプルの割合に応じて損失を動的に変化できる加重損失を導入した学習法を提案する．ここでは，提案手法の有効性を確認するため，擬似的なラベルノイズを付加した画像分類データセットCIFAR-100を用いた実験を行った．その結果，20〜90%のラベルノイズを含むCIFAR-100で提案手法は比較手法を上回る精度を示した． |
| （英） |
Training Deep Neural Networks (DNNs) on datasets with incorrect labels (label noise) is an important challenge. In the presence of label noise, DNNs adapt to training samples with correct labels in the early training phase and adapt to samples with label noise in the late training phase. Recently, methods based on semi-supervised learning have shown promise in exploiting this property. In this conventional method, the sample loss distribution is modeled by a Gaussian mixture model, and the DNN is trained by assuming that samples with label noise are unlabeled. On the other hand, the accuracy of the division into labeled and unlabeled samples depends on the performance of the DNN during warm-up. In addition, the conventional method cannot consider the effect of the number of labeled samples, which varies with the percentage of label noise in the training data. In this paper, we introduce Early-learning Regularization (ELR), which suppresses the DNN's adaptation to label noise in the initial learning phase. Furthermore, we propose a learning method that introduces a weighted loss that can dynamically change the loss depending on the fraction of labeled samples. To verify the effectiveness of the proposed method, we conducted experiments using the CIFAR-100 image classification dataset with pseudo-label noise. The results show that the proposed method outperforms the existing methods on CIFAR-100 with 20textasciitilde90% label noise. |
| キーワード |
（和） |
Learning with noisy labels / 半教師あり学習 / 正則化 / 加重損失 / / / / |
| （英） |
Learning with noisy labels / Semi-supervised learning / Early-learning regularization / weighted loss / / / / |
| 文献情報 |
映情学技報 |
| 資料番号 |
|
| 発行日 |
|
| ISSN |
|
| PDFダウンロード |
|
| 研究会情報 |
| 研究会 |
BCT IEICE-SIS |
| 開催期間 |
2022-10-13 - 2022-10-14 |
| 開催地（和） |
八戸工業大学 |
| 開催地（英） |
Hachinohe Institute of Technology |
| テーマ（和） |
システム実現技術, 近距離通信応用システム, 知的マルチメディア処理システム，放送技術および一般 |
| テーマ（英） |
System Implementation Technology, Short Range Wireless Systems, Smart Multimedia Systems, Broadcasting Technology, etc. |
| 講演論文情報の詳細 |
| 申込み研究会 |
IEICE-SIS |
| 会議コード |
2022-10-SIS-BCT |
| 本文の言語 |
日本語 |
| タイトル（和） |
学習初期の正則化と加重損失を用いたラベルノイズに頑健な半教師あり学習 |
| サブタイトル（和） |
|
| タイトル（英） |
Robust Semi-Supervised Learning for Noisy Labels Using Early-learning Regularization and Weighted Loss |
| サブタイトル（英） |
|
| キーワード(1)（和/英） |
Learning with noisy labels / Learning with noisy labels |
| キーワード(2)（和/英） |
半教師あり学習 / Semi-supervised learning |
| キーワード(3)（和/英） |
正則化 / Early-learning regularization |
| キーワード(4)（和/英） |
加重損失 / weighted loss |
| キーワード(5)（和/英） |
/ |
| キーワード(6)（和/英） |
/ |
| キーワード(7)（和/英） |
/ |
| キーワード(8)（和/英） |
/ |
| 第1著者 氏名（和/英/ヨミ） |
東本 良太 / Ryota Higashimoto / ヒガシモト リョウタ |
| 第1著者 所属（和/英） |
関西大学 (略称： 関西大)
Kansai University (略称： Kansai Univ.) |
| 第2著者 氏名（和/英/ヨミ） |
吉田 壮 / Soh Yoshida / ヨシダ ソウ |
| 第2著者 所属（和/英） |
関西大学 (略称： 関西大)
Kansai University (略称： Kansai Univ.) |
| 第3著者 氏名（和/英/ヨミ） |
棟安 実治 / Mitsuji Muneyasu / ムネヤス ミツジ |
| 第3著者 所属（和/英） |
関西大学 (略称： 関西大)
Kansai University (略称： Kansai Univ.) |
| 第4著者 氏名（和/英/ヨミ） |
/ / |
| 第4著者 所属（和/英） |
(略称： )
(略称： ) |
| 第5著者 氏名（和/英/ヨミ） |
/ / |
| 第5著者 所属（和/英） |
(略称： )
(略称： ) |
| 第6著者 氏名（和/英/ヨミ） |
/ / |
| 第6著者 所属（和/英） |
(略称： )
(略称： ) |
| 第7著者 氏名（和/英/ヨミ） |
/ / |
| 第7著者 所属（和/英） |
(略称： )
(略称： ) |
| 第8著者 氏名（和/英/ヨミ） |
/ / |
| 第8著者 所属（和/英） |
(略称： )
(略称： ) |
| 第9著者 氏名（和/英/ヨミ） |
/ / |
| 第9著者 所属（和/英） |
(略称： )
(略称： ) |
| 第10著者 氏名（和/英/ヨミ） |
/ / |
| 第10著者 所属（和/英） |
(略称： )
(略称： ) |
| 第11著者 氏名（和/英/ヨミ） |
/ / |
| 第11著者 所属（和/英） |
(略称： )
(略称： ) |
| 第12著者 氏名（和/英/ヨミ） |
/ / |
| 第12著者 所属（和/英） |
(略称： )
(略称： ) |
| 第13著者 氏名（和/英/ヨミ） |
/ / |
| 第13著者 所属（和/英） |
(略称： )
(略称： ) |
| 第14著者 氏名（和/英/ヨミ） |
/ / |
| 第14著者 所属（和/英） |
(略称： )
(略称： ) |
| 第15著者 氏名（和/英/ヨミ） |
/ / |
| 第15著者 所属（和/英） |
(略称： )
(略称： ) |
| 第16著者 氏名（和/英/ヨミ） |
/ / |
| 第16著者 所属（和/英） |
(略称： )
(略称： ) |
| 第17著者 氏名（和/英/ヨミ） |
/ / |
| 第17著者 所属（和/英） |
(略称： )
(略称： ) |
| 第18著者 氏名（和/英/ヨミ） |
/ / |
| 第18著者 所属（和/英） |
(略称： )
(略称： ) |
| 第19著者 氏名（和/英/ヨミ） |
/ / |
| 第19著者 所属（和/英） |
(略称： )
(略称： ) |
| 第20著者 氏名（和/英/ヨミ） |
/ / |
| 第20著者 所属（和/英） |
(略称： )
(略称： ) |
| 講演者 |
第1著者 |
| 発表日時 |
2022-10-14 10:00:00 |
| 発表時間 |
20分 |
| 申込先研究会 |
IEICE-SIS |
| 資料番号 |
|
| 巻番号（vol） |
vol.46 |
| 号番号（no） |
|
| ページ範囲 |
|
| ページ数 |
|
| 発行日 |
|
|