近期，信雅達新一代AI+智能外呼機器人已在浙商銀行正式上線。
想知道最新一代智能外呼機器人到底運用了什么新技術(shù)嗎？相信這篇技術(shù)詳解一定會讓你大呼過癮~
1、采用Sparse Self Attention構(gòu)建模型
對于外呼機器人、智能客服這類對響應(yīng)時間有著嚴格要求的系統(tǒng)和場景，在實際生產(chǎn)過程中，自然少不了對更加快速、穩(wěn)定的計算，以及用少量的算力、較少的資源損耗獲取更好運行效果的極限追求。
而如今NLP領(lǐng)域中，Attention大行其道，其核心在于K、Q、V三個向量序列的交互融合，其中Q、K的交互給出了兩兩向量之間的某種相關(guān)度（權(quán)重），而最后的輸出序列則是把V按照權(quán)重求和得到的。
那么問題來了，即使是目前較為主流的Self-Attention的理論計算時間和顯存占用量都是O(n2)級別的，這也意味著如果序列長度變成原來的2倍，顯存占用量就是原來的4倍，計算時間自然也就是原來的4倍！當然，假設(shè)并行核心數(shù)足夠多的情況下，計算時間未必會增加到原來的4倍，但是顯存的4倍卻是實實在在的，無可避免。
為了解決以上問題，信雅達金融大數(shù)據(jù)研究院在智能外呼意圖識別算法模塊構(gòu)建過程中，放棄傳統(tǒng)的Self-Attention，采用Sparse Self Attention構(gòu)建模型。
通過Top-k選擇，將原有的Attention退化為稀疏Attetion，簡單從注意力矩陣上看，就是除了相對距離不超過k的、相對距離為k，2k，3k，…的注意力都設(shè)為0，這樣一來Attention就具有“局部緊密相關(guān)和遠程稀疏相關(guān)”的特性。
通過這種方式，可以保留最有助于引起注意的部分，并刪除其他無關(guān)的信息，這在實際的使用過程中也起到了意想不到的效果。經(jīng)過研究院測驗，這種選擇性方法在保存重要信息和消除噪聲方面是有效的，可以確保注意力可以更多地集中在最有貢獻的價值因素上。
同時，在實際生產(chǎn)過程中，由于外界噪聲和ASR的轉(zhuǎn)義問題，經(jīng)常會在文本中引入不必要的噪聲。Sparse Self Attention在處理這方面問題上，獲得了良好的效果。
2、知識蒸餾
隨著預(yù)訓(xùn)練模型技術(shù)的發(fā)展，譬如Bert、XLNET、GPT-3的出現(xiàn)，使得AI技術(shù)對人類認知的探索更進一步。尤其是最近大火的GPT-3，作為單項語言模型訓(xùn)練的代表，GPT-3的模型尺寸達到了恐怖的1750億，在45TB的訓(xùn)練數(shù)據(jù)加持下，解決了業(yè)界常用的Bert預(yù)訓(xùn)練模型的領(lǐng)域內(nèi)標簽數(shù)據(jù)依賴以及領(lǐng)域數(shù)據(jù)分布過擬合，目前GPT-3的Few-shot在部分NLU任務(wù)上超越了當前SOTA。
雖然預(yù)訓(xùn)練模型在很多業(yè)務(wù)場景表現(xiàn)優(yōu)異，但是其模型參數(shù)過大、預(yù)測時延較長、運行硬件成本較高的問題也導(dǎo)致了模型很難落地。因此，如何對預(yù)訓(xùn)練模型進行模型壓縮，成為工業(yè)界和學(xué)術(shù)界共同關(guān)注的問題。
為了能夠使用業(yè)界領(lǐng)先的預(yù)訓(xùn)練模型，信雅達金融大數(shù)據(jù)研究院的數(shù)據(jù)科學(xué)家們采用了知識蒸餾模型壓縮技術(shù)，使預(yù)訓(xùn)練模型在外呼項目中得到了高效利用。
在原始模型訓(xùn)練階段，研究院的數(shù)據(jù)科學(xué)家們基于預(yù)訓(xùn)練模型Bert+深度神經(jīng)網(wǎng)絡(luò)進行構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)，并將基于樣本訓(xùn)練的教師模型（Net-Teacher）的Class Probabilities作為壓縮模型訓(xùn)練的損失函數(shù)輸入來參與后續(xù)知識蒸餾訓(xùn)練過程。
在知識蒸餾階段，研究院的數(shù)據(jù)科學(xué)家們基于相同的樣本進行Net-Student模型的蒸餾訓(xùn)練，對蒸餾溫度進行合適的選取。在整個訓(xùn)練階段，Net-T輸出soft-target，Net-S同時輸出soft-predictions和hard-predictions；將Net-T的soft-target與Net-S的soft-prediction對應(yīng)的交叉熵相加，作為整個模型損失函數(shù)的Lsoft部分，同時將Net-S的hard-prediction與ground-truth的交叉熵作為整個模型損失函數(shù)的Lhard的部分，通過反向傳播的訓(xùn)練方法進行整個模型的訓(xùn)練，直到訓(xùn)練停止，完成整個知識蒸餾過程。
知識蒸餾后的模型，在準確率下降不到1%的情況下，預(yù)測時間縮短了8倍，模型壓縮帶來的收益十分可觀，可以成功運用到時延要求高的應(yīng)用場景。
3、自學(xué)習(xí)技術(shù)賦能模型自迭代
常言道：舉一反三才能事半功倍。即使近年來自學(xué)習(xí)技術(shù)狂飆突進式發(fā)展，但人工智能在模仿人類這條路上依舊需要負重前行，畢竟只有通過學(xué)習(xí)與積累，才能實現(xiàn)從入門到專業(yè)、從青澀到成熟的轉(zhuǎn)變。
基于對“持續(xù)學(xué)習(xí)”的考慮，信雅達金融大數(shù)據(jù)研究院此次研發(fā)的外呼機器人系統(tǒng)支持學(xué)習(xí)迭代。在項目啟動后，生產(chǎn)語料不斷積累，伴隨而來的是不斷豐富的知識庫以及多種多樣的新增意圖。為了充分利用好這些寶貴數(shù)據(jù)，研究院的攻城獅們下了大功夫：將繁雜的訓(xùn)練過程封裝為簡單的自訓(xùn)練配置，通過一鍵式在線生成新模型，即可進行擴充語料的增量訓(xùn)練，同時直接部署測試環(huán)境進行新模型測試，這樣大大縮短數(shù)據(jù)利用周期，提升學(xué)習(xí)速度，深度學(xué)習(xí)“快”人一步。
除了上述技術(shù)之外，大家所熟知的上下文語義分析、同義詞擴展、同音字糾錯、敏感詞屏蔽等技術(shù)屬于常規(guī)操作，在實際技術(shù)方案中已經(jīng)實現(xiàn)了全面覆蓋，受篇幅所限，小編在此就不一一展開啦。
研究院的數(shù)據(jù)科學(xué)家和攻城獅們告訴小編：“雖然項目已經(jīng)上線，機器人也在平穩(wěn)運行中，但這依然只是萬里長征第一步。”信雅達在機器人方面的研究不會止步，我們的目標是讓系統(tǒng)在新技術(shù)加持下不斷進化，幫助大金融客戶解決更多業(yè)務(wù)痛點，讓金融機構(gòu)的服務(wù)不斷優(yōu)化！
