2022 年在 AI/ML 領域取得了許多突破性的突破。谷歌、Meta 和微軟等大型科技公司在從量子計算到生成人工智能的全新創(chuàng)新中取得了重大進步。

例如，一些最大的突破包括解決國際數(shù)學奧林匹克問題的 Meta 的 HyperTreeProofSearch (HTPS)；DeepMind 的 Alpha Fold 和 Meta AI 的 ESMFold 用于蛋白質折疊預測；谷歌的DeepNull模擬表型之間協(xié)變量效應的關系并改進全基因組關聯(lián)研究 (GWAS)等等。

接下來，讓我們看看對 2023 年的一些預測。

ChatGPT以其出色的對話能力風靡互聯(lián)網。它是建立在 OpenAI 的GPT-3上的，GPT-3有 1760 億個參數(shù)，依賴于更大的模型尺寸。雖然還有其他 LLM 的參數(shù)是 GPT-3 的兩倍、三倍甚至十倍，但 DeepMind 或 Meta 的一些模型（也稱為小型語言模型（SLM））的參數(shù)數(shù)量已經超過 GPT- 3 在邏輯推理和預測等多項任務上。

除了減小模型的大小外，預計還會有一個更大的模型，如GPT-4 ，具有大約 100 萬億個參數(shù)。由于目前最大的模型是具有 1.6 萬億個參數(shù)的 Google Switch Transformer 模型，因此跳躍將是巨大的。

然而，為了獲得更大的延遲和可預測性，未來幾年可以看到對現(xiàn)有模型進行微調以服務于特定目的。最近，OpenAI 使用達芬奇更新對 GPT-3 進行了微調。

趨勢一：生成式 AI 需要可解釋的 AI

文本到圖像的生成是 2022 年打破排行榜的趨勢。DALL-E、Stable Diffusion 和 Midjourney 等模型在想要試驗 AI 生成藝術的愛好者中名列前茅。對話很快從文本到圖像轉移到文本到視頻，再到文本到任何東西，并且創(chuàng)建了多個模型，這些模型也可以生成 3D 模型。

隨著語言模型的擴展以及傳播模型的改進，文本到任何東西的趨勢預計會上升得更高。公開可用的數(shù)據集使生成式 AI 模型更具可擴展性。

這些數(shù)據集引入了有關可解釋人工智能的部分，其中訓練這些生成模型的每張圖像的屬性變得至關重要。

趨勢二：FastSaaS 競賽開始

趕上生成人工智能趨勢的公司已經開始將其作為云端服務提供。隨著 LLM 和 GPT-3 和 DALL-E 等生成模型的公開可用，企業(yè)越來越容易將它們作為服務提供，這催生了FastSaaS。

最近，Shutterstock計劃將 DALL-E 2 集成到其平臺，MicrosoftVS Code添加了 Copilot 作為擴展，TikTok宣布推出應用內文本到圖像 AI 生成器，Canva推出了 AI - 在其平臺上生成功能。

趨勢三：依賴超級計算機

這就是構建超級計算機以依賴于生成任務以及為公司提供服務的趨勢。隨著這些不斷增加的數(shù)據集和生成模型，對超級計算機的需求正在上升，并且預計會進一步上升。隨著對 FastSaaS 的競爭，對更好和高性能計算的需求是下一件事。

NVIDIA 和微軟最近合作創(chuàng)建了Quantum-2，一個云原生超級計算平臺。10 月，特斯拉宣布其Dojo超級計算機完全使用特斯拉開發(fā)的芯片從零開始構建。很快，它看起來可以為企業(yè)客戶提供訪問權限。此外，Cerebras 還推出了 Andromeda，這是一臺擁有 1350 萬核心的 AI 超級計算機，可提供超過 1 exaflop 的 AI 計算能力。最近，Jasper 與 Cerebras 合作以實現(xiàn)更好的性能。

趨勢四：超越 3nm 芯片

正如摩爾定律所預測的那樣，處理能力隨著芯片尺寸的減小而增加。因此，超級計算機要運行大型模型，就需要更小的芯片，而且我們已經看到芯片越來越小。

近年來，芯片行業(yè)一直在推動小型化，制造商不斷尋找使芯片更小、更緊湊的方法。比如M2芯片和A16，蘋果分別使用5nm和4nm芯片，預計2023年臺積電會開發(fā)3nm芯片，這將提高AI/ML算法開發(fā)的效率和性能。

趨勢五：量子與傳統(tǒng)計算的融合

隨著NVIDIA、谷歌和微軟等公司向云端提供硬件服務，量子計算領域的更多創(chuàng)新勢必會發(fā)生。這將允許小型科技公司在不需要重型硬件的情況下訓練、測試和構建 AI/ML 模型。

未來幾年量子計算的興起絕對應該被開發(fā)人員納入，因為它的使用將在許多其他領域增加，如醫(yī)療保健、金融服務等。

在最近的公告中，一臺量子計算機連接到歐洲最快的超級計算機，以結合傳統(tǒng)計算機和量子計算機以更快地解決問題。同樣，Nvidia 也發(fā)布了QODA——簡稱 Quantum-Optimised Device Architecture，這是混合量子經典計算機的首創(chuàng)平臺。

IBM最近在其 2022 年年度量子峰會上宣布了他們的量子硬件和軟件，概述了使用 433 量子位 (qubit) 處理器進行以量子為中心的超級計算的開創(chuàng)性愿景。在全球人工智能峰會上，IBM宣布明年他們將展示一個 1000 量子比特的系統(tǒng)，這將成為各個領域進一步創(chuàng)新的顛覆者。