以往進行深度學(xué)習(xí)時,很難基于神經(jīng)網(wǎng)絡(luò)構(gòu)造(注1)進行調(diào)整,所以無法在整個網(wǎng)絡(luò)進行最優(yōu)化的學(xué)習(xí), 因而無法充分發(fā)揮其識別性。此次開發(fā)的技術(shù), 可以基于其結(jié)構(gòu)自動優(yōu)化神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的進度,從而輕松實現(xiàn)比以往更加精準的識別。
此技術(shù)的出現(xiàn),使得應(yīng)用了圖像識別及聲音識別等深度學(xué)習(xí)技術(shù)的各個領(lǐng)域,均有望實現(xiàn)識別精度的進一步提高。例如,人臉識別和行為分析等視頻監(jiān)控識別精度的提高、基礎(chǔ)設(shè)施等點檢工作效率的提高,實現(xiàn)自動檢測災(zāi)害、事故和災(zāi)難等。
一、背景
近年來,深度學(xué)習(xí)的研究取得了飛躍性的進展。在圖像識別、聲音識別等廣泛領(lǐng)域內(nèi)得到了應(yīng)用。深度學(xué)習(xí)使用具備深層構(gòu)造的神經(jīng)網(wǎng)絡(luò), 學(xué)習(xí)事先準備好的數(shù)據(jù)來實現(xiàn)高精度化。但是,如果數(shù)據(jù)被過度地學(xué)習(xí),則會出現(xiàn)“過學(xué)習(xí)(注2)”的現(xiàn)象,即只能高精度地識別學(xué)習(xí)過的數(shù)據(jù),而未用于學(xué)習(xí)的數(shù)據(jù)的識別精度則降低。為了避免這種情況的發(fā)生,就需要使用“正則化(注3)”技術(shù)進行調(diào)整。
由于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程因其結(jié)構(gòu)而復(fù)雜多變,所以過去只能對整個網(wǎng)絡(luò)使用相同的正則化技術(shù)。結(jié)果出現(xiàn)了網(wǎng)絡(luò)各層有的過度學(xué)習(xí),有的學(xué)習(xí)停滯等問題,因而很難充分發(fā)揮原有的識別性能。另外,由于手動調(diào)整各層的學(xué)習(xí)進度極為困難,所以對于逐層自動調(diào)整學(xué)習(xí)進度的需求呼聲很高。
此次開發(fā)的技術(shù)是基于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),逐層預(yù)測學(xué)習(xí)進度,并自動配置適合各層進展的正則化技術(shù)。通過此技術(shù),在整個網(wǎng)絡(luò)中學(xué)習(xí)被優(yōu)化,并且可以將識別錯誤率降低約20%,改善識別精度。

各層神經(jīng)網(wǎng)絡(luò)中正則化技術(shù)自動設(shè)置示意圖
二、新技術(shù)的優(yōu)點
1、根據(jù)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的自動學(xué)習(xí)優(yōu)化
基于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),我們預(yù)測每層的學(xué)習(xí)進度,并逐層自動設(shè)置適合于各層進展的正則化。據(jù)此,整個網(wǎng)絡(luò)的學(xué)習(xí)進度就得到了優(yōu)化,解決了過去各層過度學(xué)習(xí)和學(xué)習(xí)停滯的問題。在使用該技術(shù)的手寫數(shù)字數(shù)據(jù)的識別實驗中,識別錯誤率降低了約20%,識別精準度已經(jīng)得到明顯改善。

相對于學(xué)習(xí)數(shù)據(jù)量的識別錯誤率的變化
2、與以往相同的計算量下,輕松實現(xiàn)高精度
該技術(shù)僅在學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)前實施一次,即可在與以往同等的學(xué)習(xí)計算量下輕松地實現(xiàn)高精度。
NEC集團致力于在全球范圍內(nèi)推進社會解決方案,提供安心、安全、高效、公平的社會價值,將先進的ICT技術(shù)與知識相融合,為實現(xiàn)更加光明、更加豐富多彩的高效社會盡一份力量。
(注1) 神經(jīng)網(wǎng)絡(luò):由人造神經(jīng)細胞(神經(jīng)元)組成的神經(jīng)網(wǎng)絡(luò)。
(注2) 過學(xué)習(xí):對給定數(shù)據(jù)過度學(xué)習(xí),而對未學(xué)習(xí)的數(shù)據(jù)的識別精度度下降的現(xiàn)象。
(注3) 正則化:通過對模型的復(fù)雜性加以約束,來抑制過學(xué)習(xí)的方法。