中新網(wǎng)上海新聞7月5日電(記者  姜煜)7月5日，在上海舉辦的2024世界人工智能大會(huì)“邁向AGI：大模型煥新與產(chǎn)業(yè)賦能論壇”上，螞蟻集團(tuán)聯(lián)合清華大學(xué)發(fā)布大模型安全一體化解決方案“蟻天鑒”2.0版。

　　據(jù)了解，蟻天鑒2.0新增AI鑒真功能，支持圖像、視頻等多模態(tài)內(nèi)容真實(shí)性及深度偽造檢測；并在測評功能上持續(xù)升級，打造了大模型安全測評“智能體”，并新增大模型X光、大模型基礎(chǔ)設(shè)施測評兩大測評功能。至此，蟻天鑒2.0形成了包括大模型基礎(chǔ)設(shè)施測評、大模型X光測評、應(yīng)用安全測評、AIGC濫用檢測、證件偽造檢測、圍欄防御等在內(nèi)的完整技術(shù)鏈條，面向行業(yè)提供全方位智能化的大模型安全測評和防御解決方案。

　　螞蟻集團(tuán)副總裁、大安全技術(shù)部總裁李俊奎現(xiàn)場發(fā)布了這一升級產(chǎn)品，據(jù)他介紹，大模型和Agent智能體正帶給我們前所未見的智能體驗(yàn)，同時(shí)也帶來了模型內(nèi)部幻覺、安全漏洞和深度生成內(nèi)容濫用等新的挑戰(zhàn)。蟻天鑒旨在打造AI大模型的安全鎧甲，確保大模型技術(shù)在安全可靠的環(huán)境中發(fā)揮效能。

　　記者從現(xiàn)場了解到，蟻天鑒2.0有兩大特色，一是在測評端研發(fā)了業(yè)內(nèi)首個(gè)“測評智能體”。該測評智能體提供全流程自動(dòng)化的安全測評工具，支持各種形式模型和深度學(xué)習(xí)框架，可擴(kuò)展測評垂類大模型、多模態(tài)大模型及Agent智能體，并能根據(jù)被測大模型的安全水位動(dòng)態(tài)調(diào)整攻擊策略和出具測試用例，保障測評效果和效率。目前，蟻天鑒2.0有超300萬高質(zhì)量測評題庫，支持最高50萬/日的飽和式攻擊和逐級誘導(dǎo)深度攻擊，并實(shí)現(xiàn)了1工作日內(nèi)完成測評，全流程自動(dòng)化率＞99%。

　　該智能體也增加了兩項(xiàng)新功能。一是“大模型X-ray”。即大模型X光，可針對大模型的內(nèi)在神經(jīng)元進(jìn)行X光掃描來做探查和判斷，讓研究人員了解大模型內(nèi)部在發(fā)生什么、定位可能引發(fā)風(fēng)險(xiǎn)的神經(jīng)元、并進(jìn)行編輯修正，從而在模型內(nèi)部治理幻覺，實(shí)現(xiàn)從源頭識(shí)別和抑制風(fēng)險(xiǎn)。二是“大模型基礎(chǔ)設(shè)施測評”。此前蟻天鑒的測評能力主要集中于大模型生成的內(nèi)容安全、合規(guī)風(fēng)險(xiǎn)等檢測。蟻天鑒2.0從攻擊者全鏈路視角出發(fā)，深入掃描模型算法組件及軟件系統(tǒng)，可及時(shí)準(zhǔn)確發(fā)現(xiàn)大模型供應(yīng)鏈及運(yùn)行環(huán)境安全問題，保障云到端的應(yīng)用安全可控。

　　同時(shí)，蟻天鑒2.0防御端新增“AI鑒真”功能。支持多模態(tài)內(nèi)容真實(shí)性及深度偽造檢測，可快速精準(zhǔn)鑒別圖像、視頻、音頻、文本內(nèi)容的真?zhèn)危瑘D像識(shí)別準(zhǔn)確率99.9%達(dá)到行業(yè)最高優(yōu)秀級(信通院測評)。目前，蟻天鑒2.0依托生成模型自建百萬量級音視圖多模態(tài)合成數(shù)據(jù)集，覆蓋主流生成方案，有效應(yīng)對AI換臉、聲音模擬、證件偽造等各類深度偽造風(fēng)險(xiǎn)場景。 

　　螞蟻集團(tuán)是國內(nèi)較早布局大模型安全的廠商。蟻天鑒去年7月首次對外發(fā)布，1.0版本即被評為2023年世界人工智能大會(huì)“鎮(zhèn)館之寶”。歷時(shí)1年升級到2.0版，蟻天鑒2.0構(gòu)建了雙重防御護(hù)欄，內(nèi)置防護(hù)關(guān)注訓(xùn)練階段的數(shù)據(jù)清洗和風(fēng)險(xiǎn)抑制；外置護(hù)欄融合智能風(fēng)控技術(shù)，精準(zhǔn)攔截輸入和輸出的風(fēng)險(xiǎn)內(nèi)容，保障其應(yīng)用安全。

　　目前，蟻天鑒的檢測與防御產(chǎn)品已開放給20家外部機(jī)構(gòu)和企業(yè)使用，為通用大模型及醫(yī)療、金融、政務(wù)等垂直領(lǐng)域行業(yè)大模型應(yīng)用安全保駕護(hù)航。例如，上海市第一人民醫(yī)院引用了蟻天鑒，有效應(yīng)對醫(yī)療領(lǐng)域大模型應(yīng)用中的信息安全與隱私保護(hù)、雙向內(nèi)容風(fēng)險(xiǎn)防控等挑戰(zhàn)；螞蟻AI金融助理“支小寶”結(jié)合蟻天鑒，通過大模型訓(xùn)練與推理風(fēng)險(xiǎn)管控、大模型風(fēng)險(xiǎn)點(diǎn)全方位評測、大模型用戶交互風(fēng)險(xiǎn)管控等舉措保障大模型應(yīng)用安全，確保數(shù)據(jù)的準(zhǔn)確性和金融邏輯的嚴(yán)格性。2024年，蟻天鑒商業(yè)化邁出重要一步，通過螞蟻數(shù)科開始服務(wù)廣泛的外部客戶。

　　論壇現(xiàn)場還發(fā)布了由清華大學(xué)、中關(guān)村實(shí)驗(yàn)室、中國信通院、螞蟻集團(tuán)聯(lián)合編制的《大模型安全實(shí)踐白皮書(2024)》。這也是國內(nèi)首份“大模型安全實(shí)踐”研究報(bào)告，為行業(yè)打造高價(jià)值參考體系。

　　白皮書基于當(dāng)前大模型發(fā)展趨勢與挑戰(zhàn)，提出了大模型安全實(shí)踐總體框架。即確立了“以人為本，AI向善”為大模型安全建設(shè)的核心，確保技術(shù)進(jìn)步服務(wù)于人類福祉；以“安全、可靠、可控”三個(gè)核心維度的大模型安全技術(shù)體系，涵蓋大模型安全測評與防御的綜合技術(shù)方案；以及“端、邊、云”為大模型安全技術(shù)的主要承載實(shí)體。作為企業(yè)撰寫方，螞蟻集團(tuán)安全生態(tài)副總裁邵曉東進(jìn)行了現(xiàn)場發(fā)布并表示，白皮書還闡述了大模型在金融、醫(yī)療、政務(wù)等領(lǐng)域安全應(yīng)用的案例，以及“五維一體”協(xié)同共治的治理框架，希望行業(yè)共同推動(dòng)大模型安全生態(tài)發(fā)展。

　　本場論壇匯聚了國內(nèi)外研究機(jī)構(gòu)和頂尖學(xué)者以及產(chǎn)業(yè)人士等，從前沿技術(shù)、產(chǎn)業(yè)應(yīng)用等不同視角分享了大模型安全的研究，探討端云協(xié)同、端側(cè)應(yīng)用等最新趨勢以及大模型安全最新體系與實(shí)踐。這些深入的討論，也將為大模型如何安全可靠地助力產(chǎn)業(yè)轉(zhuǎn)型升級、推進(jìn)數(shù)字經(jīng)濟(jì)發(fā)展提供更加明確的前進(jìn)方向。(完)

注：請?jiān)谵D(zhuǎn)載文章內(nèi)容時(shí)務(wù)必注明出處!   

編輯：姜煜