Ultra-NLP是神州泰岳人工智能研究院研發(fā)的集機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)、深度學(xué)習(xí)以及概念語(yǔ)義理解技術(shù)于一體的自然語(yǔ)言處理技術(shù)平臺(tái)。該平臺(tái)致力于打造一個(gè)業(yè)界持續(xù)領(lǐng)先的、完備的自然語(yǔ)言處理體系，以期快速、有效地解決自然語(yǔ)言處理領(lǐng)域中普遍存在的歧義理解、精準(zhǔn)分類(lèi)、高純度聚類(lèi)、精確信息提取、關(guān)聯(lián)信息挖掘等難點(diǎn)、痛點(diǎn)問(wèn)題。平臺(tái)實(shí)現(xiàn)文本的語(yǔ)義理解和語(yǔ)義量化計(jì)算，提供高效的自然語(yǔ)言理解相關(guān)分析算法，包括自動(dòng)分詞、實(shí)體識(shí)別、句法分析、文本分類(lèi)、聚類(lèi)、主題分析、歧義理解、自動(dòng)摘要、關(guān)聯(lián)挖掘等。
Ultra-NLP整體能力可分為詞語(yǔ)、句子和篇章三個(gè)層面：
（1）詞語(yǔ)層面：使用HMM、CRF等統(tǒng)計(jì)學(xué)習(xí)技術(shù)實(shí)現(xiàn)精準(zhǔn)的自動(dòng)分詞和發(fā)現(xiàn)新詞的能力。利用概念語(yǔ)義網(wǎng)絡(luò)模型，能夠符號(hào)化的表示詞匯的語(yǔ)義，自動(dòng)識(shí)別詞語(yǔ)的一詞多義和多詞一義歧義現(xiàn)象，解決讓機(jī)器掌握詞匯的語(yǔ)義，并能正確提取句子中蘊(yùn)含的關(guān)聯(lián)性：同義、上下位、包含關(guān)系等。
�。�2）句子層面：利用語(yǔ)義網(wǎng)絡(luò)來(lái)自動(dòng)識(shí)別句子中各概念間的語(yǔ)義關(guān)系，實(shí)現(xiàn)句子語(yǔ)義的歸一化處理，結(jié)合基于依存、n-gram、短語(yǔ)語(yǔ)法等語(yǔ)義理解技術(shù)實(shí)現(xiàn)的文法分析以及句子結(jié)構(gòu)分析，精確識(shí)別句子變形，深層理解句子表達(dá)語(yǔ)義。
（3）篇章層面：結(jié)合機(jī)器學(xué)習(xí)、深度學(xué)習(xí)以及概念語(yǔ)義網(wǎng)絡(luò)模型，正確分析篇章中上下文語(yǔ)境特征，實(shí)現(xiàn)分類(lèi)、聚類(lèi)、關(guān)鍵信息提取以及句群的切分與合并等篇章級(jí)分析能力。
Ultra-NLP優(yōu)勢(shì)
語(yǔ)義處理技術(shù)具備領(lǐng)先性
Ultra-NLP是神州泰岳人工智能研究院多年的科研成果，提供領(lǐng)先業(yè)界的中文文本分析處理技術(shù)。源于中國(guó)傳統(tǒng)語(yǔ)言學(xué)(訓(xùn)詁學(xué)—義)、人工智能、認(rèn)知學(xué)、物理學(xué)、信號(hào)處理、哲學(xué)等跨學(xué)科的知識(shí)(文字學(xué)—形；音韻學(xué)—音)，突破計(jì)算語(yǔ)言學(xué)界源于圖靈標(biāo)準(zhǔn)而采用的句法分析和語(yǔ)法分析標(biāo)準(zhǔn)，解決中文并沒(méi)有所謂主謂賓語(yǔ)法的問(wèn)題。
豐富的行業(yè)應(yīng)用經(jīng)驗(yàn)
Ultra-NLP已經(jīng)在中國(guó)工商銀行、中國(guó)銀行、新華社等行業(yè)領(lǐng)先機(jī)構(gòu)得到過(guò)廣泛應(yīng)用，上線產(chǎn)品均得到業(yè)界一致好評(píng)。豐富的行業(yè)應(yīng)用經(jīng)驗(yàn)有效的保證了產(chǎn)品成熟度。
先進(jìn)的模型設(shè)計(jì)
Ultra-NLP配合基于本體模型實(shí)現(xiàn)的DINFO-OEC非結(jié)構(gòu)化數(shù)據(jù)分析挖掘平臺(tái)，對(duì)于語(yǔ)義分析功能可以提供更好的模型建設(shè)和算法配置能力，實(shí)現(xiàn)高效便捷的非結(jié)構(gòu)化文本語(yǔ)義分析。
提供分布式計(jì)算能力
Ultra-NLP引入Spark分布式計(jì)算框架，實(shí)現(xiàn)了算法的分布式計(jì)算能力，解決傳統(tǒng)算法單機(jī)運(yùn)行的瓶頸，大大提高算法的可用性和效率。
復(fù)雜模型計(jì)算能力
Ultra-NLP集成Tensorflow深度學(xué)習(xí)框架，滿(mǎn)足對(duì)大規(guī)模語(yǔ)料學(xué)習(xí)與復(fù)雜模型計(jì)算能力的需求。
場(chǎng)景化分析能力
Ultra-NLP自主設(shè)計(jì)組合不同處理類(lèi)型算法，構(gòu)建能夠直接處理業(yè)務(wù)場(chǎng)景數(shù)據(jù)的NLP流程化的場(chǎng)景化算法，提供場(chǎng)景化的分析能力。
個(gè)性化算法自定制
Ultra-NLP提供靈活、易操作的Pipeline算法管道，支持用戶(hù)結(jié)合具體業(yè)務(wù)場(chǎng)景需求，自主定制個(gè)性化的NLP流程，實(shí)現(xiàn)個(gè)性化的場(chǎng)景化算法。
Ultra-NLP平臺(tái)V1.0主要功能
分詞標(biāo)注
- 提供最大切割、最短路徑和CRF新詞發(fā)現(xiàn)三種分詞算法
- 提供HMM分詞模型的訓(xùn)練和替換能力
- 提供CRF分詞模型的替換能力
- 支持用戶(hù)自定義分詞詞典
實(shí)體識(shí)別
- 提供命名實(shí)體識(shí)別能力
- 提供自定義實(shí)體識(shí)別能力
- 支持CRF實(shí)體模型替換
- 支持用戶(hù)自定義實(shí)體詞典
句法分析
- 提供短語(yǔ)語(yǔ)法分析能力
- 支持PCFG和factored兩種句法模型的訓(xùn)
依存文法
- 提供依存文法分析能力
- 提供N元文法分析能力
- 依存文法支持ME模型訓(xùn)練和替換
- 依存文法支持CRF模型替換
特征轉(zhuǎn)換
- 提供文本特征轉(zhuǎn)換為數(shù)值編碼的能力
特征選擇
- 提供卡方驗(yàn)證的特征選擇方法，支持設(shè)置TopN特征數(shù)量
- 提供TF-IDF的特征選擇方法，支持設(shè)置TopN特征數(shù)量
特征抽取
- 提供TF-IDF特征抽取方法，支持minDF最小文檔頻度設(shè)置
- 提供HashTF特征抽取方法，支持minDF最小文檔頻度設(shè)置
- 提供CountVectorizer特征抽取方法，支持minDF最小文檔頻度設(shè)置
分類(lèi)
- 提供LinearSVM分類(lèi)算法能力，支持分類(lèi)模型的訓(xùn)練、保存和加載
- 提供樸素貝葉斯分類(lèi)算法能力，支持分類(lèi)模型的訓(xùn)練、保存和加載
- 提供隨機(jī)森林分類(lèi)算法能力，支持分類(lèi)模型的訓(xùn)練、保存和加載
- 提供邏輯回歸分類(lèi)算法能力，支持分類(lèi)模型的訓(xùn)練、保存和加載
場(chǎng)景化分類(lèi)算法
設(shè)計(jì)組合場(chǎng)景化的分類(lèi)流程，優(yōu)化流程內(nèi)部各算法參數(shù)，提供效果較好的Pipeline類(lèi)型的場(chǎng)景化分類(lèi)算法（分類(lèi)流程：分詞->向量轉(zhuǎn)換->特征選擇->權(quán)重計(jì)算->分類(lèi)器）
- 提供LinearSVM分類(lèi)Pipeline能力，開(kāi)放測(cè)試準(zhǔn)確率93%，支持分類(lèi)Pipeline模型的訓(xùn)練、保存和加載
- 提供樸素貝葉斯分類(lèi)Pipeline能力，開(kāi)放測(cè)試準(zhǔn)確率90%，支持分類(lèi)Pipeline模型的訓(xùn)練、保存和加載
- 提供隨機(jī)森林分類(lèi)Pipeline能力，開(kāi)放測(cè)試準(zhǔn)確率87%，支持分類(lèi)Pipeline模型的訓(xùn)練、保存和加載
- 提供邏輯回歸分類(lèi)Pipeline能力，開(kāi)放測(cè)試準(zhǔn)確率92%，支持分類(lèi)Pipeline模型的訓(xùn)練、保存和加載
- 支持接收參數(shù)集合，調(diào)整Pipeline中任意步驟可調(diào)的參數(shù)
文本相似計(jì)算
- 提供余弦相似計(jì)算方法
- 提供海明距離計(jì)算方法
關(guān)聯(lián)計(jì)算
- 提供基于word2vec的關(guān)聯(lián)詞匯推薦能力
驗(yàn)證方法
- 提供數(shù)據(jù)拆分的方法
- 提供封閉驗(yàn)證的方法
- 提供交叉驗(yàn)證的方法
- 提供網(wǎng)格尋優(yōu)的方法
Pipeline基類(lèi)
- 提供裝載transformer和estimator的能力，如分詞器、特征選擇、分類(lèi)器等
- 支持添加、刪除、替換transformer或estimator
- 支持接收參數(shù)集調(diào)整其中任意transformer或estimator可調(diào)參數(shù)值
