與電腦面談

周密 陶建華 2007/07/06

圖2 說話人頭像系統(tǒng)

　　該模塊首先進(jìn)行人臉檢測，對眼角、嘴角等特征點(diǎn)進(jìn)行粗略定位，然后根據(jù)小波變換進(jìn)行精細(xì)定位，最終得到較為精細(xì)的人臉表情參數(shù)初始值。之后運(yùn)用Lucas-Kanade算法進(jìn)行特征點(diǎn)的跟蹤，利用跟蹤得到的特征點(diǎn)位置首先根據(jù)Ekman的人臉表情編碼規(guī)則進(jìn)行編碼，然后根據(jù)所得到的編碼結(jié)果進(jìn)行表情識別。該系統(tǒng)不僅實(shí)現(xiàn)了全自動的特征點(diǎn)定位和跟蹤，而且根據(jù)人臉特征點(diǎn)的分布模型，可以對跟蹤時特征點(diǎn)的丟失現(xiàn)象進(jìn)行補(bǔ)償。

　　2007-7-1語音識別及理解模塊

　　語音識別及理解模塊用于自動監(jiān)聽用戶的語音表達(dá)內(nèi)容。常用的方法有兩大類: 一種是使用關(guān)鍵詞檢出的方法，主要是找出一句話里有代表意義的詞，根據(jù)這些詞就可以理解整句話的意思，在這種情況下，輸入的語句必須嚴(yán)格符合系統(tǒng)所規(guī)定的語法結(jié)構(gòu); 另一種方法是基于連續(xù)語音的搜索，與一般聽寫機(jī)不同的是，這種搜索過程會把對話系統(tǒng)所應(yīng)用領(lǐng)域的信息添加進(jìn)去，這種方法效果比較好，但是在處理集外數(shù)據(jù)時則往往容易表現(xiàn)不穩(wěn)定。

　　由于天氣查詢是一個限定領(lǐng)域的系統(tǒng)，因此我們選擇了基于關(guān)鍵詞檢索的方法。在識別的過程中: 首先利用聲學(xué)模型得到候選子詞序列; 然后在詞法層得到候選詞條序列，最后根據(jù)語法規(guī)則，即語言模型進(jìn)行句法層的搜索，得到最終的識別結(jié)果。

　　在模塊工作過程中，系統(tǒng)首先判斷語音識別的結(jié)果是否符合查詢語法，若符合語法，則給出正確的天氣查詢語言。比如已經(jīng)識別出來了“北京” 和“今天”，比照事先制定的語法結(jié)構(gòu)，發(fā)現(xiàn)它們分別屬于“地點(diǎn)”和“時間”類別，所以可以理解為: “需要查詢北京明天的天氣”。當(dāng)系統(tǒng)無法識別出用于表達(dá)的含義時，會進(jìn)行智能反饋，保證整個天氣查詢系統(tǒng)正常運(yùn)行。

　　在語音處理模塊中，我們還融入了語氣檢測和情感識別算法，能夠動態(tài)地根據(jù)用戶的語音狀態(tài)，判斷該說話人用的是陳述語氣、疑問語氣還是感嘆語氣，在有典型情緒的地方，還能夠輸出該說話人的情感狀態(tài)。這些信息與語音識別結(jié)果一起送入到整個查詢系統(tǒng)的控制模塊中進(jìn)行集中決策。

　　說話人頭像模塊

　　說話人頭像模塊包括語音合成、人臉動畫兩個子模塊。語音合成模塊是為了將天氣查詢獲得信息表達(dá)出來。本文中，語音合成模塊是基于中科院自動化所設(shè)計(jì)的“繪聲”語音合成系統(tǒng)，該系統(tǒng)能夠?qū)⑷我廨斎氲奈谋�，以連續(xù)自然的聲音朗讀出來，并能夠處理中文普通話、粵語、英語等多種語言或方言。

　　“面對面的人機(jī)交互系統(tǒng)”實(shí)現(xiàn)方法，涉及語音合成與識別、表情識別與生成、自然語音理解、多模態(tài)融合方法等多個學(xué)科領(lǐng)域。通過本項(xiàng)目的研究，可以對傳統(tǒng)人機(jī)交互模式進(jìn)行革命性的革新，使之更符合現(xiàn)代信息社會獲取信息的需要。同時在無人值守環(huán)境、智能交互平臺、虛擬現(xiàn)實(shí)、數(shù)字化娛樂等領(lǐng)域中，均有很強(qiáng)的應(yīng)用性，可以不分語種和人群地提供服務(wù)，對信息服務(wù)業(yè)的長期發(fā)展具有非常重要的意義。

　　語音合成模塊配上人臉動畫，可以實(shí)現(xiàn)栩栩如生的說話人頭像系統(tǒng)，讓用戶感覺到是在與一個虛擬人進(jìn)行交互。人臉動畫的研究難點(diǎn)是如何與語音合成系統(tǒng)進(jìn)行配合，既保持語音、唇形、舌位的同步，又要能夠恰如其分地生成不同的表情。

　　中心控制（CTRL模塊）

　　中心控制模塊相當(dāng)于整個虛擬人的“大腦”，它從“眼睛”，“耳朵”處得到對方的語音和表情信息，經(jīng)過處理以后，做出適當(dāng)反饋，再由說話人頭像系統(tǒng)說出來，它實(shí)際上實(shí)現(xiàn)了對話管理和多模態(tài)融合兩方面的功能。

　　對話管理

　　目前主要的對話管理的控制策略大概有三種，包括基于有限狀態(tài)機(jī)(finite-state based)、基于框架(frame based)以及基于代理(agent based)的控制策略。

　　在總結(jié)了前人工作經(jīng)驗(yàn)和結(jié)合本系統(tǒng)的實(shí)際問題的基礎(chǔ)上，我們在對話管理的具體實(shí)現(xiàn)上，將框架理論和有限狀態(tài)自動機(jī)理論相結(jié)合，完成了一個智能的對話管理模塊。我們先將對話管理限制在天氣查詢領(lǐng)域。在系統(tǒng)中，通過人機(jī)之間的對話和確認(rèn)，系統(tǒng)需要得到要查詢的時間和地點(diǎn)信息之后反饋查詢結(jié)果。

　　我們?yōu)樾枰�得到的信息先設(shè)計(jì)了一個槽結(jié)構(gòu)如下: Slot_name表示槽名，在本系統(tǒng)中就是City和Date。Slot_value 指示該項(xiàng)信息是否已經(jīng)得到，所以有2個狀態(tài): Known 和Unkown。

　　圖3中，初始狀態(tài)為Unknown，當(dāng)收到用戶提供的信息時，槽狀態(tài)轉(zhuǎn)化為Known，即為終止?fàn)顟B(tài)。當(dāng)再收到用戶的信息時，槽狀態(tài)不變，只是具體的槽值發(fā)生了變化。

通信世界網(wǎng)(www.cww.net.cn)