應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點新聞
企業(yè)注冊個人注冊登錄

亞馬遜與 AI 公司 Hugging Face 合作:定制芯片低成本運行 AI 模型

2024-05-24 08:55 IT之家
關(guān)鍵詞:亞馬遜AI芯片

導(dǎo)讀:亞馬遜公司的云部門宣布,已與人工智能初創(chuàng)公司 Hugging Face 合作,將在亞馬遜的定制計算芯片上更低成本地運行數(shù)千個 AI 模型。

  5 月 23 日消息,亞馬遜公司的云部門宣布,已與人工智能初創(chuàng)公司 Hugging Face 合作,將在亞馬遜的定制計算芯片上更低成本地運行數(shù)千個 AI 模型。

  估值 45 億美元(IT之家備注:當(dāng)前約 326.25 億元人民幣)的 Hugging Face 已成為 AI 研究人員和開發(fā)者分享聊天機器人或其他 AI 軟件的中心,并得到了亞馬遜、Alphabet 旗下的谷歌和英偉達等公司的支持,它是開發(fā)者獲取和調(diào)整開源 AI 模型(如 Meta Platforms 的 Llama 3)的主要平臺。

  當(dāng)開發(fā)人員調(diào)整了開源的 AI 模型后,他們通常希望使用該模型來驅(qū)動軟件。亞馬遜和 Hugging Face 周三宣布,他們已經(jīng)合作在一個名為 Inferentia2 的定制亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)芯片上實現(xiàn)這一目標。

  “對我們來說,效率非常重要 —— 確保盡可能多的人能夠運行模型,并且能夠以最具成本效益的方式運行,”Hugging Face 的產(chǎn)品和增長負責(zé)人 Jeff Boudier 說。

  AWS 希望吸引更多的 AI 開發(fā)者使用其云服務(wù)來交付 AI。雖然英偉達在訓(xùn)練模型的市場上占據(jù)主導(dǎo)地位,但 AWS 認為其芯片可以以較低成本運行那些經(jīng)過訓(xùn)練的模型。

  負責(zé) AWS 人工智能產(chǎn)品的 Matt Wood 表示,你可能每個月訓(xùn)練這些模型一次,但可能每小時對它們進行成千上萬次推理,這是 Inferentia2 真正閃光的地方。