應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊(cè)個(gè)人注冊(cè)登錄

算力不能被壟斷!多所大學(xué)研究者呼吁:要填上AI中的計(jì)算鴻溝

2020-11-13 11:29 智東西

導(dǎo)讀:這種AI創(chuàng)新“貧富分化”的背后,是算力的不平等,是只有大公司和名牌強(qiáng)校才能承擔(dān)得起的研究成本。

當(dāng)我們已經(jīng)對(duì)充斥生活方方面面的AI技術(shù)習(xí)以為常時(shí),有時(shí)候卻會(huì)忽略一個(gè)問(wèn)題,為什么那些應(yīng)用和軟件都來(lái)自于那“幾個(gè)公司”?

據(jù)新財(cái)富統(tǒng)計(jì)的中國(guó)前30大APP,7成隸屬阿里或騰訊旗下,兩家公司分別都已構(gòu)建起十萬(wàn)億投資帝國(guó),分割中國(guó)應(yīng)用生態(tài)市場(chǎng),試圖負(fù)責(zé)中國(guó)人民的“衣食住行”;而在美國(guó),從IBM到微軟、谷歌,壟斷傳聞?lì)l頻爆出……而這些公司業(yè)務(wù)的快速擴(kuò)張和地位的不斷提升都離不開(kāi)背后的AI力量,不到十年的時(shí)間過(guò)去,AI卻似乎從學(xué)術(shù)屆的“白月光”變成了科技巨擎之間角力的砝碼,有著普通企業(yè)不能承受的“千鈞之重”。

這種AI創(chuàng)新“貧富分化”的背后,是算力的不平等,是只有大公司和名牌強(qiáng)校才能承擔(dān)得起的研究成本。

近日,弗吉尼亞理工大學(xué)和加拿大西安大略大學(xué)的研究人員Nur Ahmed和Muntasir Wahed就算力加劇AI研究不平等的問(wèn)題進(jìn)行研究,并在arXiv發(fā)表了題為《人工智能的非民主化:深度學(xué)習(xí)與人工智能研究中的計(jì)算鴻溝(The De-democratization of AI:DeepLearning and the Compute Divide in Artificial Intelligence Research)》的論文,該論文從頂會(huì)論文發(fā)表、研究資金投入和科研人才流動(dòng)等方面解釋了AI研究不平等的產(chǎn)生。

論文鏈接:https://arxiv.org/abs/2010.15581

一、名校大廠強(qiáng)強(qiáng)合作,頂會(huì)論文占半壁江山

在論文中,研究團(tuán)隊(duì)調(diào)研了從2000到2019年,包括ACL、ICML和NeurIPS在內(nèi)57個(gè)頂會(huì)中涵蓋計(jì)算機(jī)視覺(jué)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和自然語(yǔ)言學(xué)習(xí)等領(lǐng)域的171394篇論文。

▲2000-2019,一個(gè)會(huì)議年中各學(xué)術(shù)機(jī)構(gòu)平均采納論文數(shù)

從上圖可以看出,QS前五十的學(xué)校和AI公司是AI頂會(huì)中的主力軍。

在一個(gè)會(huì)議年的903篇論文中,QS前五十的學(xué)校平均發(fā)表66篇頂會(huì)論文,是第二、三檔學(xué)校(QS51-100、QS101-200)的近乎兩倍,而AI相關(guān)公司也勇奪第二,平均發(fā)表約42篇論文。

▲2000-2019年,各頂會(huì)中校企合作論文比例

而近年來(lái),AI領(lǐng)域校企合作的這股“大風(fēng)”,也可以從論文合作的數(shù)目中很明顯地看出來(lái)。

各領(lǐng)域校企合作論文的比例都有不同程度的上漲,其中KDD(數(shù)據(jù)挖掘頂級(jí)會(huì)議)中合作論文在2020年比例超過(guò)50%,ICCV(國(guó)際計(jì)算機(jī)視覺(jué)大會(huì))達(dá)到45%。

無(wú)論是數(shù)據(jù)挖掘,還是計(jì)算機(jī)視覺(jué),深度學(xué)習(xí)都是其中很重要的一部分,而這時(shí)候,頂級(jí)大學(xué)和公司的資金優(yōu)勢(shì)就不言而喻了,畢竟訓(xùn)練像AlphaGo Zero和GPT-3這樣的大型模型需要價(jià)值數(shù)百萬(wàn)美元的計(jì)算資源。

根據(jù)2019年年度AI研究排名,斯坦福大學(xué)、MIT、卡內(nèi)基梅隆大學(xué),加州大學(xué)伯克利分校和微軟列為領(lǐng)先AI研究會(huì)議的六大貢獻(xiàn)者。

二、學(xué)術(shù)界人才流失,計(jì)算鴻溝問(wèn)題初現(xiàn)

規(guī)模較小的學(xué)校通常也缺乏資金支持來(lái)發(fā)展前沿科技,而這時(shí),科技巨頭通過(guò)向AI研究投入大量資金和高額薪酬,將學(xué)術(shù)界人才納入麾下,加速了學(xué)術(shù)界人才的流失。

論文中也證實(shí)了這種人才流動(dòng)導(dǎo)致的科技水平變化,自深度學(xué)習(xí)興起以來(lái),QS 301-500的大學(xué)在頂會(huì)中的論文平均減少了六篇,比預(yù)期少了25%,而世界500強(qiáng)、科技巨頭和頂尖大學(xué)論文發(fā)表情況卻截然不同。

論文作者Nur Ahmed和Muntasir Wahed表示:“就我們所知,這篇論文首次證實(shí)了資金、設(shè)備等因素對(duì)AI領(lǐng)域企業(yè)和學(xué)校產(chǎn)生的巨大影響。我們認(rèn)為深度學(xué)習(xí)的興起極大地提高了計(jì)算能力和數(shù)據(jù)的重要性,進(jìn)而通過(guò)增加成本而提高了準(zhǔn)入門(mén)檻。”

在分析AI領(lǐng)域趨勢(shì)時(shí),Nur Ahmed和Muntasir Wahed將人工智能的發(fā)展歷史劃分為兩個(gè)階段。第一個(gè)階段是從1960年代到2012年左右,那時(shí)使用通用的硬件來(lái)訓(xùn)練AI;在2012年后即是第二個(gè)階段,深度學(xué)習(xí)和如GPU等專(zhuān)門(mén)設(shè)計(jì)的硬件重新定義了AI。

而二人也認(rèn)為:自2012年以來(lái),基于GPU的深度學(xué)習(xí)突然興起,AI越來(lái)越變成少數(shù)人的“游戲”,大部分玩家來(lái)自于頂級(jí)公司或大學(xué)。要真正實(shí)現(xiàn)AI“民主化”,就需要決策者、學(xué)術(shù)機(jī)構(gòu)和公司層面共同努力,解決橫跨在小型機(jī)構(gòu)和學(xué)校面前的計(jì)算鴻溝。

三、填補(bǔ)計(jì)算鴻溝:AI研究云、加大教育投入

對(duì)于縮小計(jì)算鴻溝的具體解決方案,Nur Ahmed和Muntasir Wahed認(rèn)為建立國(guó)家統(tǒng)一的AI研究云是很有必要的。今年6月,美國(guó)多所大學(xué)、科技公司和參議院議員都表示支持建立國(guó)家AI研究云,通過(guò)共享公共數(shù)據(jù)集幫助算力不夠的機(jī)構(gòu)訓(xùn)練和測(cè)試AI模型。

美國(guó)國(guó)防創(chuàng)新委員會(huì)和AI國(guó)家安全委員會(huì)(NSCAI)等組織已建議五角大樓和國(guó)會(huì)增強(qiáng)與私人企業(yè)合作,加大對(duì)AI領(lǐng)域的政府資助,以吸引更多人才。下一屆美國(guó)總統(tǒng)拜登(目前來(lái)看)也曾表示要在5G和AI領(lǐng)域投入3000億美元,用于研究。

Ahmed和Wahed的發(fā)現(xiàn)還得到了其他研究者的支持。

一篇名為《人工智能、人力資本和創(chuàng)新(Artificial Intelligence, Human Capital, and Innovation)》的論文發(fā)現(xiàn),企業(yè)中的AI的飛速發(fā)展導(dǎo)致了2004年至2018年之間學(xué)術(shù)界前所未有的人才流失,有200多名教授辭去了教職。

頂尖大學(xué)的博士和深度學(xué)習(xí)初創(chuàng)公司是當(dāng)前AI人才短缺最大的受益者,卡內(nèi)基梅隆大學(xué)、MIT和斯坦福大學(xué)的學(xué)生創(chuàng)辦AI初創(chuàng)公司的比例最高。

Ahmed和Wahed還追蹤調(diào)查了200多位從學(xué)術(shù)界轉(zhuǎn)換到業(yè)界的科學(xué)家。該研究受計(jì)算機(jī)研究協(xié)會(huì)(CRA)委托并于幾個(gè)月前發(fā)布,分析了科學(xué)家們的“跳槽”現(xiàn)狀以及校企合作的利弊。

調(diào)查報(bào)告中顯示:“科學(xué)家的大量‘跳槽’可能對(duì)研究課題、研究質(zhì)量、學(xué)院文化以及對(duì)本科生和研究生的培養(yǎng)產(chǎn)生負(fù)面影響。相關(guān)機(jī)構(gòu)需要特別關(guān)注部門(mén)文化、潛在的利益沖突、知識(shí)產(chǎn)權(quán),并且確保學(xué)生能夠繼續(xù)獲得足夠的教師指導(dǎo),以為他們的職業(yè)道路做好準(zhǔn)備。”

結(jié)語(yǔ):AI民主化,算力先行

AI資源越來(lái)越集中大企業(yè)、大名校不僅僅是美國(guó)一家的問(wèn)題,同樣也值得我們注意和防范。

如何在AI發(fā)展越來(lái)越迅猛的當(dāng)下,不讓少數(shù)企業(yè)壟斷市場(chǎng),不讓高校流失人才,為尚未有積淀的創(chuàng)企和未來(lái)的科技人才提供研究成本和教育資源,為AI市場(chǎng)留出創(chuàng)新發(fā)展的口子,也同樣是值得我們思考的問(wèn)題。

來(lái)源:VentureBeat