（圖片來源：brookings.edu）
通用人工智能（AGI）領(lǐng)域又出一系列重磅消息。
3月29日上午，IEEE的頭版刊登臺積電董事長劉德音聯(lián)合撰寫題為《我們?nèi)绾螌崿F(xiàn)1萬億個晶體管GPU》的文章。
劉德音在文中預測，半導體技術(shù)的突破給AI技術(shù)帶來重要貢獻。在未來10年，GPU集成的晶體管數(shù)將達到1萬億。而且，GPU能效性能每2年提高3倍，未來15年（到2040年）內(nèi)，每瓦GPU性能將提高1000倍。
同時，有消息稱，華人團隊創(chuàng)立的 AI 龍頭Scale AI正在進行新一輪融資，估值高達130億美元，比2021 年的73億美元估值提高近 80%。報道指，2023年，Scale AI產(chǎn)生超過 6.75 億美元的收入，同比增長約 150%。
此外，馬斯克還發(fā)布了Grok 1.5，不僅支持長文本，而且性能“遙遙領(lǐng)先”。
臺積電董事長：未來15年，每瓦GPU性能將提高1000倍
在IEEE文章中，臺積電董事長劉德音及臺積電首席科學家H.-S Philip Wong講述了臺積電是如何達成1萬億晶體管芯片的目標。
文章指出，從1997年擊敗國際象棋人類冠軍的IBM深藍超級計算機，到2023年爆火的ChatGPT，再過15年，人工智能（AI）將發(fā)展到可以“合成知識”（synthesize knowledge）的地步，可以創(chuàng)作詩歌、編寫總結(jié)報告和計算機代碼，甚至可以設(shè)計集成電路。
GTC 2024大會上，黃仁勛祭出世界最強GPU——Blackwell B200 ，整整封裝了超2080億個晶體管。比起上一代H100（800億），B200晶體管數(shù)是其2倍多，AI推理性能直接飆升5倍，運行速度提升30倍。
所有這些奇妙的人工智能應(yīng)用都歸功于三個因素：高效機器學習算法的創(chuàng)新、訓練神經(jīng)網(wǎng)絡(luò)的大量數(shù)據(jù)的可用性，以及通過半導體技術(shù)的進步實現(xiàn)節(jié)能計算的進步。
文章內(nèi)容稱，如果AI要以目前的速度發(fā)展下去，它將需要半導體產(chǎn)業(yè)做出更多貢獻。10年內(nèi)，它將需要1個1萬億晶體管的GPU，也就是說，GPU的設(shè)備數(shù)量是當今典型設(shè)備數(shù)量的10倍。
文章稱，CoWoS是臺積電的硅晶圓上芯片先進封裝技術(shù)，目前已在產(chǎn)品中得到應(yīng)用。示例包括英偉達Ampere和Hopper GPU。Ampere有540億個晶體管，Hopper有800億個。從7 nm技術(shù)到更密集的4nm技術(shù)的轉(zhuǎn)變使得在基本相同的面積上封裝的晶體管數(shù)量增加了50%。Ampere和Hopper是當今大型語言模型 ( LLM ) 訓練的主力，訓練ChatGPT需要數(shù)萬個這樣的處理器。
HBM是對AI日益重要的另一項關(guān)鍵半導體技術(shù)的一個例子，通過將芯片堆疊在一起來整合系統(tǒng)的能力，臺積電稱之為SoIC（system-on-integrated-chips）。
文章預測，10年內(nèi)，多芯片GPU將擁有超過1萬億個晶體管。
那么，所有這些創(chuàng)新的硬件技術(shù)如何提高系統(tǒng)的性能呢？
劉德音在文章中表示，GPU芯片需要節(jié)能性能的指標的穩(wěn)步改進，比如 EEP 芯片是系統(tǒng)能源效率和速度的綜合衡量標準。過去 15 年來，半導體行業(yè)的能效性能，每兩年就提高了三倍左右。
“我們相信這一趨勢將以歷史速度持續(xù)下去。它將受到多方面創(chuàng)新的推動，包括新材料、器件和集成技術(shù)、極紫外（EUV）光刻、電路設(shè)計、系統(tǒng)架構(gòu)設(shè)計以及所有這些技術(shù)元素的共同優(yōu)化等。特別是，EEP 的增加將通過我們在此討論的先進封裝技術(shù)來實現(xiàn)。此外，系統(tǒng)技術(shù)協(xié)同優(yōu)化 (STCO)等概念將變得越來越重要，其中 GPU 的不同功能部分被分離到各自的小芯片上，并使用性能最佳和最經(jīng)濟的技術(shù)來構(gòu)建每個部分?！?/span>
文章配圖中指出，2025年-2040年之間，每瓦GPU性能將從0.019（Energy-efficient 0.019892 performance，1/femtojoulespicoseconds），提升到126.337，未來15年每瓦GPU效能將提高1000倍。
文章結(jié)論認為，在智能時代，半導體技術(shù)是人工智能新能力和應(yīng)用的關(guān)鍵推動者。新的GPU不再受過去的標準尺寸和外形尺寸的限制。新的半導體技術(shù)不再局限于在二維平面上縮小下一代晶體管。整合人工智能系統(tǒng)可以由盡可能多的節(jié)能晶體管、用于專門計算工作負載的高效系統(tǒng)架構(gòu)以及軟件和硬件之間的最佳化關(guān)系組成。
“過去 50 年來，半導體技術(shù)的發(fā)展就像走在隧道里一樣。前面的路很清晰，因為有一條明確的道路。每個人都知道需要做什么：縮小晶體管?，F(xiàn)在，我們已經(jīng)到達隧道的盡頭。從這里開始，半導體技術(shù)將變得更加難以發(fā)展。然而，在隧道之外，還有更多的可能性。我們不再受過去的束縛?！眲⒌乱舯硎?。
Scale AI：估值高達130億美金，去年收入超 6.75 億美元
3月29日，據(jù)The information報道，總部位于舊金山的美國 AI 初創(chuàng)企業(yè)Scale AI 正在進行新一輪數(shù)億美元的融資，風險投資公司 Accel有望領(lǐng)投，投資估值達到約 130 億美元，比2021 年的73億美元估值提高近 80%。
報道還稱，Scale AI公司2023年的營收超過6.75億美元，比2022年增長約150%。
報道稱，本輪融資尚未最終敲定，條款可能會有變化。Accel 的發(fā)言人拒絕發(fā)表評論，Scale AI 的代表沒有回復置評請求。
Scale AI 首席執(zhí)行官 Alexandr Wang（圖片來源：ZeeBiz WebDesk）
公開資料顯示，Scale AI成立于2016年，主要為 AI 訓練提供數(shù)據(jù)服務(wù)，創(chuàng)始人為華裔青年Alexandr Wang。據(jù)報道，Alexandr Wang的父母均為物理學家。他從小就表現(xiàn)出了杰出的數(shù)理天賦與才能，曾被麻省理工大學錄取，但在出色地完成第一年學業(yè)后便選擇了輟學創(chuàng)業(yè)，與Lucy Guo共同創(chuàng)辦了Scale AI。
值得注意的是，Scale AI創(chuàng)業(yè)初期就得到了創(chuàng)業(yè)孵化公司Y Combinator的支持。彼時，Y Combinator的總裁為山姆·奧特曼，也即OpenAI的聯(lián)合創(chuàng)始人及現(xiàn)任首席執(zhí)行官。
Scale AI主要從事的AI訓練數(shù)據(jù)標注，通俗理解，就是通過分類、畫框、標注、注釋等對圖片、語音、文本、視頻等原始的數(shù)據(jù)進行處理，標記對象的特征，以作為機器學習基礎(chǔ)素材。比如，如果要訓練AI識別出圖片中的狗，則需要采集大量有關(guān)于狗的圖片，將其中的關(guān)鍵信息標注出來，供AI識別，在多次識別的過程中讓AI形成識別各式各樣的狗的能力。
Scale AI從創(chuàng)立至今，融資過程可謂順風順水，而且融資金額節(jié)節(jié)攀升。創(chuàng)辦伊始，Y Combinator向其提供了12萬美元的投資；2017年，獲得了450萬美元的A輪融資；2018年，成功完成1800萬美元的B輪融資；2019年，再獲1億美元C輪融資；2021年1月，完成1.5億美元D輪融資；同年4月，順利完成3.25億美元E輪融資。至此，Scale AI用5年的時間將估值水平提升至73億美元的水平，成為AI數(shù)據(jù)標注領(lǐng)域的獨角獸。
Scale AI 通過向 OpenAI 和其他對話式人工智能初創(chuàng)公司銷售服務(wù)而獲得了發(fā)展。報道稱，本輪融資將為公司未來幾年可能的IPO做準備。目前尚不清楚還有哪些投資者參與了本輪投資。
不過，目前，Scale AI公司估值依然低于OpenAI。本周二，Accel 的合伙人 Rich Wong 表示，該公司對 Scale AI 這樣的 "鋤頭和鏟子 "企業(yè)更感興趣。
“它是數(shù)據(jù)引擎，是許多基礎(chǔ)企業(yè)以及試圖為其垂直應(yīng)用進行調(diào)整的企業(yè)的模型背后的數(shù)據(jù)引。我們認為，將成為重要客戶的將遠不止五大模式。”Rich Wong表示。
馬斯克發(fā)布Grok 1.5
在Grok 1開源十天后，馬斯克創(chuàng)立的xAI宣布推出其大模型最新版本 Grok 1.5。
事實上，為了尋求替代微軟支持的 OpenAI 和 Google 大模型的解決方案，馬斯克去年創(chuàng)立了 AI 公司 xAI，以創(chuàng)建他所說的“最大程度尋求真相的人工智能” 。2023年 12 月，xAI 為 X 的 Premium+ 訂閱者推出了 Grok。
如今，馬斯克更新到Grok 1.5模型。新一代模型實現(xiàn)了長上下文理解和高級推理能力，計劃將在未來幾天內(nèi)向早期測試人員和 X 平臺（前 Twitter）上的現(xiàn)有 Grok 用戶提供。
具體來說，首先，Grok-1.5 最明顯的改進之一是其在代碼和數(shù)學相關(guān)任務(wù)中的性能。在 xAI 的測試中，Grok-1.5 在 MATH 基準上取得了 50.6% 的成績，在 GSM8K 基準上取得了 90% 的成績，這兩個數(shù)學基準涵蓋了廣泛的小學到高中的競賽問題。同時，它在評估代碼生成和解決問題能力的 HumanEval 基準測試中得分為 74.1%。
其次，Grok-1.5 中的另一個重要升級是在其上下文窗口內(nèi)可以處理多達 128K token 的長上下文。這使得 Grok 的容量增加到之前上下文長度的 16 倍，從而能夠利用更長文檔中的信息。
再次，該模型還可以處理更長、更復雜的提示（prompt），同時在上下文窗口擴展時仍然能保持其指令跟蹤能力。在大海撈針（NIAH）評估中，Grok-1.5 展示了強大的檢索能力，可以在長度高達 128K token 的上下文中嵌入文本，實現(xiàn)完美的檢索結(jié)果。
最后，xAI 介紹了用于訓練模型的算力設(shè)施。Grok-1.5 構(gòu)建在基于 JAX、Rust 和 Kubernetes 的自定義分布式訓練框架之上。該訓練堆棧允許開發(fā)團隊能夠以最小的精力構(gòu)建想法原型并大規(guī)模訓練新架構(gòu)。而在大型計算集群上訓練 LLM 的主要挑戰(zhàn)是最大限度提高訓練作業(yè)的可靠性和正常運行時間。xAI 提出的自定義訓練協(xié)調(diào)器可確保自動檢測到有問題的節(jié)點，并將其從訓練作業(yè)中剔除。工程師還優(yōu)化了檢查點、數(shù)據(jù)加載和訓練作業(yè)重新啟動等問題，以最大限度地減少發(fā)生故障時的停機時間。
xAI 表示，Grok-1.5 很快就會向早期測試者開放，其團隊將繼續(xù)改進 Grok。隨著新版本推向公眾，在未來幾天 X 上的大模型將陸續(xù)推出一些新功能。
