那么，可信AI需要包含哪些可信要素？可信AI面臨哪些新的發(fā)展趨勢和挑戰(zhàn)？業(yè)界在可信AI方面又有哪些成功實踐呢？對此，中國信息通信研究院華東分院人工智能與大數(shù)據(jù)事業(yè)部主任陳俊琰在接受C114專訪時為我們進行了詳細解讀。
五大趨勢
在陳俊琰看來，人工智能產(chǎn)業(yè)在發(fā)展運行過程中遇到諸多風險與隱患：一是算法安全導致的應用風險；二是黑箱模型導致算法不透明；三是數(shù)據(jù)歧視導致智能決策偏見；四是系統(tǒng)決策復雜導致責任事故主體難以界定；五是數(shù)據(jù)濫用導致隱私泄露風險。
“基于上述風險與隱患，可信人工智能至少應當包含安全性、可解釋、隱私保護、可靠性、負責任等多方面要素。”陳俊琰指出，隨著可信實踐的逐步深入，業(yè)界對可信AI的認識也在不斷變化，近年來更加強調(diào)“人類對可信AI認識及素養(yǎng)的提升”以及“對提升AI可信度的可持續(xù)性工具的提出”，進而從技術與工程的角度，落實倫理治理要求，實現(xiàn)創(chuàng)新發(fā)展和風險治理的有效平衡。當前，可信AI技術和產(chǎn)業(yè)正呈現(xiàn)以下五大發(fā)展趨勢：
趨勢1：形成產(chǎn)業(yè)共識，由各自表述向統(tǒng)一理念邁進。世界各國已針對可信人工智能內(nèi)涵及側(cè)重點逐步達成統(tǒng)一意見，并已針對透明度、隱私保護、公平等方面形成了初步共識，進而邁入了形成統(tǒng)一理念的新發(fā)展階段。隨著可信AI在更多領域的持續(xù)落地，理念與實踐間將形成良性互動，以可信理念指導產(chǎn)業(yè)實踐落地，用產(chǎn)業(yè)實踐不斷豐富可信內(nèi)涵，從而進一步鞏固統(tǒng)一的產(chǎn)業(yè)共識。
趨勢2：突出理念落地，由抽象概念向具體實踐發(fā)展。目前，可信AI正處于由抽象學術概念向產(chǎn)業(yè)實踐加速落地的關鍵時期，產(chǎn)業(yè)主體正在由以理論界為主向產(chǎn)業(yè)界落地為主轉(zhuǎn)變，產(chǎn)出形態(tài)由論文為主向產(chǎn)品服務為主轉(zhuǎn)變，專利數(shù)量持續(xù)增長，并已經(jīng)形成了一批可見可用的產(chǎn)業(yè)成果，誕生了一批代表性企業(yè)。未來，可信AI理念將更深層次地與AI產(chǎn)業(yè)鏈各環(huán)節(jié)結(jié)合，與元宇宙、人工智能生成內(nèi)容等新技術、新業(yè)態(tài)互相促進，并在AI場景和產(chǎn)品中得到更加廣泛的體現(xiàn)。
趨勢3：注重動態(tài)平衡，由單一維度向綜合框架轉(zhuǎn)變�？尚臕I中的可解釋、穩(wěn)定性、隱私保護等要素之間存在協(xié)同與平衡的關系，這就要求可信AI的實現(xiàn)與衡量不能以單一要素為決定因素，而應結(jié)合實際應用需求，尋求最優(yōu)的平衡效果。因此，可信AI的一體化研究將是未來重要趨勢，從單一維度研究逐步過渡到關注各項可信能力之間的相互作用及其影響，使之具有較強的綜合性和整體性，實現(xiàn)各項可信能力之間的動態(tài)平衡，以綜合可信框架促進產(chǎn)業(yè)協(xié)調(diào)健康發(fā)展。
趨勢4：優(yōu)化技術布局，由前期研究向更深層次探索。可解釋性方面，如何通俗易懂地向用戶解釋人工智能技術原理、算法自動決策機制、潛在風險及防范措施成為首要任務，并希望以此消除社會公眾對新一代人工智能技術的疑惑和擔憂。公平性方面還需要為現(xiàn)有的公平性定義提供更強的條件，進一步拓寬公平性覆蓋面，涵蓋現(xiàn)有問題中沒有考慮到的歧視，同時合理松弛以提高預測模型準確度。隱私保護方面，進一步推進分級分類，特別是針對人臉、指紋等敏感數(shù)據(jù)，如何在便捷地實現(xiàn)盡可能高的識別準確率的同時提升隱私保護性能。安全性（魯棒性）方面，當前可驗證魯棒性的理論和實踐存在較大落差，如何把一些外部知識交給機器學習模型來幫助其提高防御能力成為一個有前景的研究方向。
趨勢5：融合多元主體，由產(chǎn)學研向社會大眾拓展。隨著社會認知的深入，可信人工智能參與主體將進一步豐富，產(chǎn)業(yè)鏈多主體、多要素協(xié)調(diào)互動。在《網(wǎng)絡安全法》、《數(shù)據(jù)安全法》、《個人信息保護法》等法律法規(guī)框架下，深圳、上海、北京等地加快推動人工智能立法，建立公共場所人工智能分級分類應用規(guī)范，形成具有地方特色的可信人工智能治理體系。行業(yè)協(xié)會、聯(lián)盟和研究機構(gòu)發(fā)揮積極作用，聯(lián)合行業(yè)企業(yè)圍繞先行領域制定和發(fā)布行業(yè)標準，在安全性、可靠性等領域已經(jīng)取得了一些成果供落地實施進行參考。“人臉識別第一案”等引發(fā)社會關注，人民群眾對可信人工智能的了解和需求增加，參與程度大幅提升，從需求層面倒逼可信人工智能發(fā)展。
四大挑戰(zhàn)，五方面建議
基于可信AI最新發(fā)展趨勢，陳俊琰認為，當前可信AI的發(fā)展正面臨以下四大挑戰(zhàn)：
挑戰(zhàn)1：當前可信人工智能政策法規(guī)更偏向理念指引，頂層設計還不完善，政策法規(guī)間沒有形成完整、協(xié)調(diào)的體系關系，在模型權(quán)屬、風險責任主體、結(jié)果公平等方面還需要予以明確。
挑戰(zhàn)2：針對可信人工智能技術的前瞻性研究與布局略顯不足，尤其是在分布式計算、聯(lián)邦學習、隱私計算等細分領域缺少完善可信的開源學習框架。在算法公平性、可靠性、隱私數(shù)據(jù)分級分類、可驗證魯棒性的等方面仍需進一步優(yōu)化技術水平。
挑戰(zhàn)3：針對可信人工智能產(chǎn)品及服務尚缺少成熟完善的認定標準體系，在產(chǎn)品與服務商能力評估、評測、治理、監(jiān)管等方面缺乏能夠敏捷響應、動態(tài)高效的認證機制，從而無法系統(tǒng)性解決可信人工智能落地難的問題。
挑戰(zhàn)4：產(chǎn)業(yè)界尤其是社會公眾對可信人工智能理念、意識及重要性仍然缺少必要的認識，對人工智能產(chǎn)業(yè)發(fā)展前景與局限性，以及可能造成的風險隱患還是缺少深入的了解，在可信人工智能領域技術交流、成果發(fā)布、渠道對接、資源整合方面仍需進一步加強。
為此，陳俊琰對于可信AI未來發(fā)展提出以下五方面建議：
一是加強政策法規(guī)協(xié)同，協(xié)調(diào)制度、技術、人員整體推進。圍繞政策法規(guī)體系完善、指南規(guī)范指引路徑、從業(yè)人員可信理念培育，形成合理協(xié)同推進可信人工智能產(chǎn)業(yè)化落地。針對當前可信人工智能政策法規(guī)頂層設計不完善、缺乏完整協(xié)調(diào)的體系關系以及在模型權(quán)屬、風險責任主體、結(jié)果公平等方面的諸多問題，亟需制定形成人工智能企業(yè)規(guī)范化發(fā)展指南，為企業(yè)提升可信人工智能技術、將AI向善貫穿于人工智能企業(yè)業(yè)務全流程提供方法論指引，幫助企業(yè)更好地實踐可信。此外，要注重從業(yè)人員可信理念培育，不斷增強人工智能從業(yè)者可信認識，形成自覺踐行可信人工智能理念的良好氛圍，以制度、技術和人員協(xié)同加快可信人工智能產(chǎn)業(yè)化落地進程。
二是前瞻布局技術研究，以技術創(chuàng)新帶動可信持續(xù)發(fā)展。前瞻布局可信開源學習框架，探索通用人工智能可信研究，強化代碼可視化，持續(xù)優(yōu)化現(xiàn)有技術，實現(xiàn)技術驅(qū)動的可持續(xù)創(chuàng)新。針對分布式計算、聯(lián)邦學習、隱私計算等細分技術領域，不斷建立完善可信開源學習框架，探索通用人工智能甚至是超級智能的可信研究。進一步強化代碼可視化，加快推廣集成了OCR、NLP等人工智能能力的低代碼平臺，為用戶提供一體化的智能服務能力，提升開發(fā)效率。圍繞可解釋的人機交互、提供更強的公平性定義、提供公平且可靠的算法、隱私數(shù)據(jù)分級分類、可驗證魯棒性等方面，持續(xù)優(yōu)化技術，實現(xiàn)可信能力之間的均衡協(xié)調(diào)。
三是健全標準評估體系，系統(tǒng)性推進更多領域可信落地。構(gòu)建創(chuàng)新治理閉環(huán)，以標準提升可信人工智能規(guī)范化程度，以評估、測試、認證體系建設加快應用和產(chǎn)品落地。首先，構(gòu)建完善的產(chǎn)品標準及評估體系，確立“可信的人工智能”產(chǎn)品與服務標準，提升對可信產(chǎn)品的認可度，并為可信產(chǎn)品和服務供應商提供能力評估，從而加快推動可信人工智能的落地。其次，分領域分階段推進測試認證機制，發(fā)展可信人工智能評估評測及認證等監(jiān)管技術，形成從理論原則、法律法規(guī)、合規(guī)增強技術、評估評測及認證的治理創(chuàng)新閉環(huán)；在醫(yī)療健康、自動駕駛、公共服務等領域分階段推進研究能夠適應場景特性、敏捷響應、動態(tài)的認證機制，系統(tǒng)性解決可信人工智能落地難的問題。
四是強化可信流程管理，將可信理念融入系統(tǒng)原生設計。運用可信理念重塑流程管理新能力、新形態(tài)，將人工智能可信融入系統(tǒng)原生設計，確保產(chǎn)品的可信品質(zhì)。在《可信AI操作指引》等的基礎上，面向業(yè)務數(shù)字化轉(zhuǎn)型需求和生產(chǎn)研發(fā)實際，將可信理念融入流程發(fā)現(xiàn)、流程監(jiān)控、流程優(yōu)化、流程管理等各個環(huán)節(jié)，塑造形成全新的流程管理能力。同時，將人工智能可信融入系統(tǒng)原生設計，在人工智能應用系統(tǒng)建設過程中，將人工智能可信作為基礎能力及要求納入其設計范疇，以彈性適應未來人工智能安全的問題及挑戰(zhàn)，以更加豐富的技術手段適配人工智能系統(tǒng)的不同發(fā)展階段、不同應用要求、不同風險強度，為人工智能的可信應用保駕護航。
五是推動產(chǎn)業(yè)交流合作，共同打造可信產(chǎn)業(yè)生態(tài)朋友圈。加強國內(nèi)外溝通合作，共建人工智能產(chǎn)業(yè)國際可信機制，做好宣傳引導，增進社會公眾的可信人工智能意識。進一步發(fā)揮行業(yè)組織和高水平專業(yè)平臺作用，為可信人工智能企業(yè)和從業(yè)者提供技術交流、成果發(fā)布、資源對接的渠道，聚集行業(yè)各方力量共同打造可信人工智能生態(tài)圈。積極開展國際交流和技術合作，從人工智能系統(tǒng)測試和管控、危機溝通渠道等方面著手，主動參與國際人工智能治理，共建人工智能產(chǎn)業(yè)國際可信機制。加強對可信人工智能的宣傳，通過對可信人工智能理念、典型案例的宣傳和引導，增進社會公眾對可信人工智能的認識了解，提高民眾對人工智能潛能、挑戰(zhàn)和局限性的認識，為可信人工智能產(chǎn)業(yè)發(fā)展營造良好的社會環(huán)境。
探索成功路徑和實踐
而事實上，近兩年業(yè)界在可信AI方面已經(jīng)進行了諸多路徑的探索和實踐。
立法方面，上海市于2021年12月、2022年9月和2022年11月先后發(fā)布《上海市智能網(wǎng)聯(lián)汽車測試與應用管理辦法》、《上海市促進人工智能產(chǎn)業(yè)發(fā)展條例》和《上海市浦東新區(qū)促進無駕駛?cè)酥悄芫W(wǎng)聯(lián)汽車創(chuàng)新應用規(guī)定》，強調(diào)了人工智能算法可信、倫理道德、治理與監(jiān)管等方面，并針對智能網(wǎng)聯(lián)汽車領域技術標準、數(shù)據(jù)安全與個人信息保護做了詳細規(guī)定。此外，《上海市促進人工智能產(chǎn)業(yè)發(fā)展條例》明確，上海市人民政府設立“上海市人工智能戰(zhàn)略咨詢專家委員會”，為產(chǎn)業(yè)發(fā)展中的重大戰(zhàn)略、重大決策提供咨詢意見，同時設立“人工智能倫理專家委員會”，負責制定倫理規(guī)范指南、推動參與國內(nèi)外人工智能領域倫理重大問題研討和規(guī)范制定。
標準方面，《關于推進本市新一代人工智能標準體系建設的指導意見》于2021年7月發(fā)布。測試評估方面，《意見》圍繞智能網(wǎng)聯(lián)汽車、醫(yī)療影像輔助診斷、視覺圖像身份識別、智能傳感器等賽道，加快構(gòu)建完善可信AI評測體系，同時針對測試評估建立共性標準；安全倫理方面，《意見》提出加強安全倫理標準對人工智能發(fā)展的引導和規(guī)范，提升安全保障能力，建立積極的治理規(guī)則，從安全與隱私保護規(guī)范和應用場景安全規(guī)范兩大模塊強化標準研制，并建立安全風險等級體系；與此同時，上海市人工智能標準化技術委員會于2021年7月揭牌成立，與相關行業(yè)主管部門共同推動上海在人工智能標準領域先試先行。其中，可信人工智能領域的標準包括《公共場所人臉識別分級分類應用規(guī)范》、《人臉識別系統(tǒng)通用建設規(guī)范》、《人臉識別系統(tǒng)工程驗收規(guī)范》、《人工智能企業(yè)認定與分級分類指南》、《數(shù)據(jù)交易：第四部分，數(shù)據(jù)產(chǎn)品可信交付技術要求與評估規(guī)范》、《人工智能標準化工作導則》共6項地方標準以及《神經(jīng)網(wǎng)絡分類模型穩(wěn)定性基本要求與測試方法》《隱私計算密碼應用基本要求與測評規(guī)范》共2項團體標準，牽頭單位包括中國信通院華東分院及行業(yè)知名機構(gòu)和企業(yè)。
論壇方面，2021年，由中國信通院和京東探索研究院承辦的可信AI論壇，以“AI向善 全球共治”為主題，深入探討可信AI的認知演進、理論研究與產(chǎn)業(yè)探索。論壇發(fā)布了《可信人工智能白皮書》、《促進可信人工智能發(fā)展倡議》、《開放金融數(shù)據(jù)共享中隱私計算的平衡之道》等多項成果，同時成立了上�？尚臕I測評中心和中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟人工智能治理與可信委員會，深入開展技術研究、標準制定、評估測試、試點示范、成果發(fā)布、國際合作等工作。2022年，由中國信息通信研究院華東分院承辦的可信AI論壇，以“可信AI，共建共治”為主題，就可信AI政策標準、理論技術、應用場景展開探討。論壇發(fā)布了《可信人工智能產(chǎn)業(yè)生態(tài)發(fā)展報告(2022年)》、 “螞蟻集團—蟻鑒AI安全檢測平臺”以及“星環(huán)科技T-DACM可信AI治理框架”等多項成果，同時成立可信人工智能聯(lián)合實驗室，該實驗室將圍繞AI應用管理、AI算法模型、平臺系統(tǒng)與硬件產(chǎn)品等建立體系化可信評估規(guī)范，構(gòu)建人工智能算法與平臺安全測試評估的方法、技術、規(guī)范和工具集，引導企業(yè)參與可信人工智能的研究與發(fā)展。
實踐方面，在基礎能力方面，有孚云AI智算集群依托穩(wěn)定、安全的GPU資源，基于采用Kubernetes架構(gòu)，通過集中調(diào)度、管理和可定制化的模板服務，為用戶提供開箱即用的框架平臺和算法工具，應用場景涉及身份識別、隱私保護、反欺詐、AI反制等方面；算法技術方面，業(yè)界廠商建立基于真實場景數(shù)據(jù)的算法測評體系，針對商業(yè)化算法場景以及全方位多數(shù)據(jù)集算法進行評測，持續(xù)推動算法測評的成熟與創(chuàng)新，應用場景涉及醫(yī)療診斷數(shù)據(jù)集算法驗證與評測以及金融業(yè)算法安全性、可解釋性、精準性與性能評價等；應用場景方面，業(yè)界廠商推出基于安全多方計算進行人口實時數(shù)據(jù)統(tǒng)計，通過部署可信AI安全多方計算節(jié)點，基于場景開發(fā)人口數(shù)據(jù)統(tǒng)計計算模型規(guī)則，并保護用戶數(shù)據(jù)隱私。同時，還發(fā)布了智能網(wǎng)聯(lián)多方數(shù)據(jù)安全協(xié)同解決方案，向下接入主機廠、路側(cè)及第三方機構(gòu)數(shù)據(jù)，向上支撐交通、服務、運營等多種數(shù)據(jù)應用場景，依托可信AI隱私計算實現(xiàn)智能網(wǎng)聯(lián)汽車數(shù)據(jù)安全共享。
