近期，信雅達新一代AI+智能外呼機器人已在浙商銀行正式上線。
想知道最新一代智能外呼機器人到底運用了什么新技術嗎？相信這篇技術詳解一定會讓你大呼過癮~
1、采用Sparse Self Attention構建模型
對于外呼機器人、智能客服這類對響應時間有著嚴格要求的系統(tǒng)和場景，在實際生產(chǎn)過程中，自然少不了對更加快速、穩(wěn)定的計算，以及用少量的算力、較少的資源損耗獲取更好運行效果的極限追求。
而如今NLP領域中，Attention大行其道，其核心在于K、Q、V三個向量序列的交互融合，其中Q、K的交互給出了兩兩向量之間的某種相關度（權重），而最后的輸出序列則是把V按照權重求和得到的。
那么問題來了，即使是目前較為主流的Self-Attention的理論計算時間和顯存占用量都是O(n2)級別的，這也意味著如果序列長度變成原來的2倍，顯存占用量就是原來的4倍，計算時間自然也就是原來的4倍！當然，假設并行核心數(shù)足夠多的情況下，計算時間未必會增加到原來的4倍，但是顯存的4倍卻是實實在在的，無可避免。
為了解決以上問題，信雅達金融大數(shù)據(jù)研究院在智能外呼意圖識別算法模塊構建過程中，放棄傳統(tǒng)的Self-Attention，采用Sparse Self Attention構建模型。
通過Top-k選擇，將原有的Attention退化為稀疏Attetion，簡單從注意力矩陣上看，就是除了相對距離不超過k的、相對距離為k，2k，3k，…的注意力都設為0，這樣一來Attention就具有“局部緊密相關和遠程稀疏相關”的特性。
通過這種方式，可以保留最有助于引起注意的部分，并刪除其他無關的信息，這在實際的使用過程中也起到了意想不到的效果。經(jīng)過研究院測驗，這種選擇性方法在保存重要信息和消除噪聲方面是有效的，可以確保注意力可以更多地集中在最有貢獻的價值因素上。
同時，在實際生產(chǎn)過程中，由于外界噪聲和ASR的轉義問題，經(jīng)常會在文本中引入不必要的噪聲。Sparse Self Attention在處理這方面問題上，獲得了良好的效果。
2、知識蒸餾
隨著預訓練模型技術的發(fā)展，譬如Bert、XLNET、GPT-3的出現(xiàn)，使得AI技術對人類認知的探索更進一步。尤其是最近大火的GPT-3，作為單項語言模型訓練的代表，GPT-3的模型尺寸達到了恐怖的1750億，在45TB的訓練數(shù)據(jù)加持下，解決了業(yè)界常用的Bert預訓練模型的領域內(nèi)標簽數(shù)據(jù)依賴以及領域數(shù)據(jù)分布過擬合，目前GPT-3的Few-shot在部分NLU任務上超越了當前SOTA。
雖然預訓練模型在很多業(yè)務場景表現(xiàn)優(yōu)異，但是其模型參數(shù)過大、預測時延較長、運行硬件成本較高的問題也導致了模型很難落地。因此，如何對預訓練模型進行模型壓縮，成為工業(yè)界和學術界共同關注的問題。
為了能夠使用業(yè)界領先的預訓練模型，信雅達金融大數(shù)據(jù)研究院的數(shù)據(jù)科學家們采用了知識蒸餾模型壓縮技術，使預訓練模型在外呼項目中得到了高效利用。
在原始模型訓練階段，研究院的數(shù)據(jù)科學家們基于預訓練模型Bert+深度神經(jīng)網(wǎng)絡進行構建網(wǎng)絡結構，并將基于樣本訓練的教師模型（Net-Teacher）的Class Probabilities作為壓縮模型訓練的損失函數(shù)輸入來參與后續(xù)知識蒸餾訓練過程。
在知識蒸餾階段，研究院的數(shù)據(jù)科學家們基于相同的樣本進行Net-Student模型的蒸餾訓練，對蒸餾溫度進行合適的選取。在整個訓練階段，Net-T輸出soft-target，Net-S同時輸出soft-predictions和hard-predictions；將Net-T的soft-target與Net-S的soft-prediction對應的交叉熵相加，作為整個模型損失函數(shù)的Lsoft部分，同時將Net-S的hard-prediction與ground-truth的交叉熵作為整個模型損失函數(shù)的Lhard的部分，通過反向傳播的訓練方法進行整個模型的訓練，直到訓練停止，完成整個知識蒸餾過程。
知識蒸餾后的模型，在準確率下降不到1%的情況下，預測時間縮短了8倍，模型壓縮帶來的收益十分可觀，可以成功運用到時延要求高的應用場景。
3、自學習技術賦能模型自迭代
常言道：舉一反三才能事半功倍。即使近年來自學習技術狂飆突進式發(fā)展，但人工智能在模仿人類這條路上依舊需要負重前行，畢竟只有通過學習與積累，才能實現(xiàn)從入門到專業(yè)、從青澀到成熟的轉變。
基于對“持續(xù)學習”的考慮，信雅達金融大數(shù)據(jù)研究院此次研發(fā)的外呼機器人系統(tǒng)支持學習迭代。在項目啟動后，生產(chǎn)語料不斷積累，伴隨而來的是不斷豐富的知識庫以及多種多樣的新增意圖。為了充分利用好這些寶貴數(shù)據(jù)，研究院的攻城獅們下了大功夫：將繁雜的訓練過程封裝為簡單的自訓練配置，通過一鍵式在線生成新模型，即可進行擴充語料的增量訓練，同時直接部署測試環(huán)境進行新模型測試，這樣大大縮短數(shù)據(jù)利用周期，提升學習速度，深度學習“快”人一步。
除了上述技術之外，大家所熟知的上下文語義分析、同義詞擴展、同音字糾錯、敏感詞屏蔽等技術屬于常規(guī)操作，在實際技術方案中已經(jīng)實現(xiàn)了全面覆蓋，受篇幅所限，小編在此就不一一展開啦。
研究院的數(shù)據(jù)科學家和攻城獅們告訴小編：“雖然項目已經(jīng)上線，機器人也在平穩(wěn)運行中，但這依然只是萬里長征第一步。”信雅達在機器人方面的研究不會止步，我們的目標是讓系統(tǒng)在新技術加持下不斷進化，幫助大金融客戶解決更多業(yè)務痛點，讓金融機構的服務不斷優(yōu)化！
