
微軟5日於官方的部落格發(fā)表用AI技術(shù)協(xié)助失聰學(xué)生學(xué)習(xí)的成果Presentation Translator,透過語音辨識技術(shù),將課堂上教授的演講內(nèi)容轉(zhuǎn)為文字,來幫助失聰?shù)膶W(xué)生可以同步得到最完整且準確的資訊,并透過AI技術(shù)來實現(xiàn)翻譯,目前可超過支援60種語言,系統(tǒng)能夠即時翻譯成不同的語言,讓學(xué)生選擇自己較熟悉的語言來學(xué)習(xí)。
微軟團隊在去年開始,與美國紐約州羅徹斯特理工大學(xué)的美國國家聾人技術(shù)學(xué)院合作,為了打造出能夠正確辨識課堂上學(xué)術(shù)名詞的模型,研究團隊收集了該學(xué)院超過10年的課堂講座資料,包含教授在簡報中的文字和注解,透過AI技術(shù)辨識每個特定領(lǐng)域?qū)S忻~的念法,當教授在課堂上說出專有名詞,系統(tǒng)就能成功自動識別,并即時提供文字。
通常課堂上有聽力障礙的學(xué)生時,學(xué)院會聘請一位手語翻譯,將教授在課堂上所講述的內(nèi)容,轉(zhuǎn)換成手語,以幫助學(xué)生理解上課的內(nèi)容,但是也因為口語和手語之間的轉(zhuǎn)換,讓學(xué)生沒辦法即時跟上教授上課的內(nèi)容,常常學(xué)生還在透過手語翻譯了解方程式的資訊時,教授的投影片已經(jīng)換到下一頁,再加上有些學(xué)生其實不太熟悉手語,導(dǎo)致在課堂上的學(xué)習(xí)困難重重。
而微軟與羅徹斯特理工大學(xué)的美國國家聾人技術(shù)學(xué)院合作,該理工學(xué)院大約有1,500名聽力受損的學(xué)生,微軟在簡報軟體Power Point中加入即時上字幕(Real-time captions)的功能,透過語音辨識的技術(shù),將教授所說的話,包括術(shù)語、口語的話,轉(zhuǎn)成有標點符號的文句,呈現(xiàn)在投影幕上,現(xiàn)在可支援超過60種翻譯語言,學(xué)生也可以在自己的電腦或平板上,選擇自己較熟悉的語言來學(xué)習(xí)。
學(xué)院中一名一年級的學(xué)生Joseph Adjei就表示,剛進到學(xué)校上課時,花了很多心力在手語上,當他第一次在課堂上接觸到這套即時語音轉(zhuǎn)文字的服務(wù)時,他認為,透過這語音轉(zhuǎn)文字,可以跟聽得見的同學(xué)在同一時間接收到資訊,舉例來說,在生物課堂上,能夠讓他跟上課程,并且還能學(xué)習(xí)正確地拼寫那些課堂上的專有名詞。
除此之外,Joseph Adjei認為語音轉(zhuǎn)文字的服務(wù)是額外輔助學(xué)習(xí)的工具,當他看不懂手語或是從手語翻譯那端漏掉訊息後,還可以看語音轉(zhuǎn)文字來輔助。不過,他指出,目前還是有些字會辨識錯誤,像是「I」和「Eye」,但是有文字可以參考總比沒有好。
此外,Joseph Adjei還在智慧型手機上使用了微軟的翻譯App,當課堂討論時,有時候同學(xué)講話太快,不容易讀唇語,微軟翻譯App則可以顯示出同學(xué)講話的內(nèi)容,讓他更能夠參與課堂上的討論。