中新網(wǎng)上海新聞7月9日電(許婧)由上海交通大學(xué)安泰經(jīng)濟(jì)與管理學(xué)院主辦、上海財經(jīng)大學(xué)信息管理與工程學(xué)院協(xié)辦的首屆智能計算與決策研討會6日至8日在上海舉辦,與會嘉賓共同探討了智能計算領(lǐng)域的最新前沿和發(fā)展趨勢。開幕式上,上海交通大學(xué)智能計算研究院揭牌成立。
上海交通大學(xué)智能計算研究院應(yīng)時代發(fā)展所需成立,掛靠安泰經(jīng)濟(jì)與管理學(xué)院建設(shè),以推動我國關(guān)鍵工業(yè)軟件、管理軟件國產(chǎn)化、類CUDA庫函數(shù)生態(tài)建設(shè)和為國家重大項目智能計算提供全國產(chǎn)化的技術(shù)替代方案為目標(biāo),旨在培養(yǎng)頂尖智能計算人才,推動智能計算技術(shù)的發(fā)展與應(yīng)用。
上海交通大學(xué)智能計算研究院院長葛冬冬作任職表態(tài)發(fā)言。他表示,將充分利用研究院和研討會的平臺,在決策與優(yōu)化的基石性工具和優(yōu)化算法的建設(shè)方面,努力把團(tuán)隊發(fā)展成為引領(lǐng)智能計算領(lǐng)域發(fā)展的風(fēng)向標(biāo)。
上海市委組織部部務(wù)委員、市人才局副局長譚樸珍在致辭中表示,人工智能要實現(xiàn)跨越發(fā)展,關(guān)鍵在人才。上海始終將發(fā)展人工智能作為優(yōu)先戰(zhàn)略,通過舉辦世界人工智能大會、實施積極和開放的人才政策,瞄準(zhǔn)高價值科技工作,助力全球人工智能人才聚集發(fā)展。他指出,智能計算研究院是上海交通大學(xué)深化人工智能領(lǐng)域研究、吸引集聚高層次人才的重要載體,期待研究院加快建成世界一流智能優(yōu)化算法研究中心和產(chǎn)學(xué)研示范基地,為上海人工智能產(chǎn)業(yè)發(fā)展和人才集聚提供強(qiáng)有力支撐。他表示,市委組織部、市人才工作局將一如既往支持人工智能領(lǐng)域人才經(jīng)濟(jì)融合發(fā)展,為廣大優(yōu)秀人才提供全方位的貼心服務(wù)和高品質(zhì)的發(fā)展環(huán)境。
上海交通大學(xué)校務(wù)委員會專職副主任顧鋒介紹了學(xué)!叭瞬艔(qiáng)!敝鲬(zhàn)略,希望通過打造智能計算研究院這一平臺聚集優(yōu)化算法領(lǐng)域的領(lǐng)袖級學(xué)者和青年才俊,充分發(fā)揮在人工智能領(lǐng)域具有的學(xué)科、人才和區(qū)位優(yōu)勢,更好地服務(wù)對接國家戰(zhàn)略需求和上海三大先導(dǎo)產(chǎn)業(yè)發(fā)展任務(wù)。他希望智能計算研究院一一是心懷“國之大者”,繼續(xù)攻堅克難,為實現(xiàn)我國在人工智能領(lǐng)域的高水平科技自立自強(qiáng)做出更大貢獻(xiàn);二是加強(qiáng)資源整合,積極與兄弟學(xué)院和機(jī)構(gòu)開展合作,加強(qiáng)向基礎(chǔ)研究機(jī)構(gòu)汲取力量,主動服務(wù)不同學(xué)科的交叉研究,高效利用各類資源;三是促進(jìn)國際交流,保持和發(fā)揚研究院開放合作的研究態(tài)勢,擴(kuò)大國際科技交流合作,為我國構(gòu)建形成具有全球競爭力的開放創(chuàng)新生態(tài)貢獻(xiàn)力量。
安泰經(jīng)濟(jì)與管理學(xué)院院長陳方若強(qiáng)調(diào)了大數(shù)據(jù)、人工智能作為第四次工業(yè)革命的核心,對社會和經(jīng)濟(jì)產(chǎn)生了深遠(yuǎn)的影響。他表示,生產(chǎn)力特別是新質(zhì)生產(chǎn)力的概念中不只有技術(shù)、也應(yīng)有管理,只有兩者結(jié)合,才能發(fā)揮更大作用。他強(qiáng)調(diào),人工智能是學(xué)校重要的發(fā)展方向之一,希望智能計算研究院加強(qiáng)和人工智能學(xué)院等單位的深度合作,推動取得更多研究成果。此外,他介紹了學(xué)院“縱橫交錯、知行合一”的發(fā)展戰(zhàn)略,表示將持續(xù)服務(wù)國家重大戰(zhàn)略,積極做出自身貢獻(xiàn),爭取早日實現(xiàn)成為一所扎根中國的世界級商學(xué)院建設(shè)愿景。
斯坦福大學(xué)講席教授、上海交通大學(xué)訪問講席教授葉蔭宇作主題為“Classical Mathematical Optimization Methods Could Help AI Training”的演講。他指出,隨著大語言模型(LLMs)的不斷發(fā)展,快速微調(diào)模型以適應(yīng)不同任務(wù)成為亟待解決的問題。盡管常用的Adam算法表現(xiàn)良好,但其需要占用大量內(nèi)存和顯卡資源。受坐標(biāo)下降法啟發(fā)提出的BAdam算法,在保持性能的同時可以顯著降低內(nèi)存使用,使得在單枚消費級GPU上微調(diào)大模型成為可能。此外,一種僅使用少量學(xué)習(xí)率參數(shù)進(jìn)行預(yù)處理的Adam-mini算法,可以減少50%的內(nèi)存使用和33%的模型訓(xùn)練時間,特別適用于降低預(yù)訓(xùn)練(pre-training)任務(wù)的資源消耗。這些新算法在提升大模型訓(xùn)練效率和資源利用率方面展現(xiàn)出巨大的潛力。
耶魯大學(xué)教授、美國藝術(shù)與科學(xué)學(xué)院院士陳曉紅作主題為“STEEL: Singularity-aware Reinforcement Learning”的演講。她指出,在離線強(qiáng)化學(xué)習(xí)中,離線數(shù)據(jù)集生成過程和目標(biāo)策略之間的分布可能存在顯著差異,特別是在狀態(tài)和動作空間連續(xù)的情況下。提出的算法STEEL在貝爾曼完備性和分布魯棒性假設(shè)下,通過最小化Bellman誤差,利用最大均值差異(MMD)來控制奇異性。數(shù)值試驗表現(xiàn)證明了該算法在實際數(shù)據(jù)和模擬環(huán)境中的優(yōu)異性能,并提供了有限樣本遺憾保證,證明了STEEL算法在應(yīng)對離線強(qiáng)化學(xué)習(xí)分布失配問題中的有效性。
紐約大學(xué)斯特恩商學(xué)院Andre Meyer冠名終身教授陳溪作主題為“Proof of Learning via Incentive-Security”的演講。他表示,隨著深度學(xué)習(xí)的發(fā)展,模型和參數(shù)的規(guī)模不斷擴(kuò)大,分布式訓(xùn)練成為必要的解決方案。與此同時,確保模型分布式訓(xùn)練過程的公平性和可信度變得越來越重要。學(xué)習(xí)證明(Proof-of-Learning)通過激勵機(jī)制和安全措施,隨機(jī)選擇和驗證訓(xùn)練過程中的某些階段,防止作弊行為的發(fā)生。為了確保驗證者的誠實行為,這一方法引入了“捕捉旗幟”(Capture-the-Flag)的概念,即在訓(xùn)練過程中設(shè)置隨機(jī)標(biāo)志,并激勵驗證者去尋找這些標(biāo)志,從而提升驗證的效率和安全性。
普林斯頓大學(xué)電子計算機(jī)工程系終身副教授王夢迪作主題為“大模型時代——控制與智能”的演講。她表示,隨著大語言模型的發(fā)展,確保AI系統(tǒng)的可控性成為關(guān)鍵問題;谌祟惙答伒膹(qiáng)化學(xué)習(xí)(RLHF)雖然可以對齊大模型但面臨著獎勵黑客等問題。雙層強(qiáng)化學(xué)習(xí)算法通過同時對齊數(shù)據(jù)分布和策略,實現(xiàn)了63%的性能提升。Maxmin-RLHF和SPAC等方法則通過多目標(biāo)對齊和自我對抗機(jī)制,顯著提升了模型的泛化能力和推理速度。此外,生成式AI通過預(yù)訓(xùn)練大數(shù)據(jù)和梯度引導(dǎo)直接生成新目標(biāo)函數(shù)的最優(yōu)解,在高維復(fù)雜優(yōu)化問題上展現(xiàn)了巨大的潛力?煽卮竽P褪菍崿F(xiàn)通用人工智能(AGI)的關(guān)鍵,對未來AI發(fā)展具有重要意義。
在上海交通大學(xué)安泰經(jīng)濟(jì)與管理學(xué)院紀(jì)念管理學(xué)院恢復(fù)建院40周年之際,首屆智能計算與決策研討會的舉行和上海交通大學(xué)智能計算研究院的成立,標(biāo)志著學(xué)院在加強(qiáng)經(jīng)管理論與人工智能、大數(shù)據(jù)等數(shù)字技術(shù)的連接方面又邁出了堅實的一步。研究院將以智能計算賦能數(shù)字轉(zhuǎn)型,聚安泰智慧開啟嶄新篇章,努力實現(xiàn)在優(yōu)化算法的研究和應(yīng)用方面取得突破性進(jìn)展,并力爭在2030年左右建成世界一流的智能優(yōu)化算法研究中心和產(chǎn)學(xué)研示范基地,助力學(xué)院建設(shè)成為扎根中國的世界級商學(xué)院,助力上海建設(shè)智能計算領(lǐng)域的領(lǐng)頭羊和人工智能的國際高地。
注:請在轉(zhuǎn)載文章內(nèi)容時務(wù)必注明出處!
編輯:許婧