相當(dāng)于AlphaGo打敗人類的“神之一手”
數(shù)學(xué)能力幾乎和AlphaGo的圍棋水平一樣？！
這是研究員對AlphaEvolve的最新評價，就在不久之前，谷歌DeepMind聯(lián)合陶哲軒等一眾頂尖科學(xué)家打造了「通用科學(xué)人工智能」AlphaEvolve，直接打破了矩陣乘法領(lǐng)域56年以來的效率基準(zhǔn)。
一位谷歌前員工更是將這一成就類比為傳說中的“神之一手”：
太瘋狂了！AlphaEvolve的數(shù)學(xué)能力相當(dāng)于AlphaGo打敗人類的“神之一手”第37步。
具體而言，4×4矩陣乘法的49次標(biāo)量乘法效率基準(zhǔn)已經(jīng)持續(xù)56年，而AlphaEvolve直接將這個數(shù)字改寫為48。
別看數(shù)字只前進了一小步，但背后所代表的更快的矩陣乘法算法可謂意義重大。
不僅可以解決復(fù)雜數(shù)學(xué)難題，還能用來改進芯片設(shè)計、提高數(shù)據(jù)中心和AI訓(xùn)練的效率。
在谷歌內(nèi)部使用中，它將Gemini架構(gòu)中大型矩陣乘法運算加速了23%，從而將Gemini的訓(xùn)練時間縮短了1%，并且還將FlashAttention提速了32.5%。
那么接下來的問題是——
AlphaEvolve是如何做到的？背后藏著哪些核心技術(shù)原理？
在AlphaEvolve發(fā)布后的第一時間，知名播客《Machine Learning Street Talk》第一時間采訪到了其背后的兩位核心研究員：Alexander Novikov（左下）和Matej Balog（右下）。
在1個多小時的交談中，關(guān)于AlphaEvolve如何改進矩陣乘法的詳細過程、背后的技術(shù)原理以及中間遇到了哪些問題來了個一次性大公開。
網(wǎng)友們紛紛表示，很高興看到更多干貨流出~
Okk，以下為重點內(nèi)容整理。
秘訣在于讓AI“完全自由探索”
AlphaEvolve的一大作用，就是推進數(shù)學(xué)和算法發(fā)現(xiàn)的前沿。
其中最重要的成果之一，當(dāng)屬改進了Strassen于1969年提出的算法，它發(fā)現(xiàn)了一種使用48次標(biāo)量乘法來對4×4復(fù)值矩陣進行乘法運算的算法。
關(guān)于取得這次突破的詳細過程，兩位研究人員揭示了幾個關(guān)鍵環(huán)節(jié)。
大約兩年前，谷歌開發(fā)了Alpha Tensor這個專門用于發(fā)現(xiàn)矩陣乘法算法的強化學(xué)習(xí)Agent，其前身就是著名的通用棋類AI“AlphaZero”，而AlphaZero更是在AlphaGo的基礎(chǔ)上發(fā)展而來。
雖然Alpha Tensor確實能找到一些更快的算法，但使用范圍僅限于布爾矩陣（即矩陣中的每個元素只有0或1），對普通實數(shù)/復(fù)數(shù)矩陣無突破。
于是，AlphaEvolve基于Alpha Tensor框架，進一步引入了進化算法，通過迭代生成、評估和優(yōu)化候選算法來探索更優(yōu)解。
與人類設(shè)計的算法不同，AlphaEvolve不依賴一些預(yù)設(shè)的“經(jīng)驗法則”或“設(shè)計套路”，比如習(xí)慣將問題固定分塊（幾X幾），而是完全放開限制自由探索。
之所以這樣做，是因為傳統(tǒng)算法的“對稱性陷阱”可能將搜索空間限制在局部最優(yōu)（如49次乘法），從而錯過更高效但結(jié)構(gòu)非常規(guī)的算法。
最終，當(dāng)研究人員主動讓AlphaEvolve搜索復(fù)數(shù)矩陣乘法算法（比實數(shù)更一般化）時，他們意外發(fā)現(xiàn)復(fù)數(shù)算法在實數(shù)域同樣有效。
因此他們立即擴大搜索空間（更復(fù)雜的運算組合），結(jié)果找到了一個僅需48次乘法的復(fù)數(shù)算法，優(yōu)于Strassen遞歸的49次，并且該算法也進一步通過了數(shù)學(xué)驗證。
而在突破4×4矩陣乘法算法后，他們還挑戰(zhàn)了規(guī)模更大的矩陣，如5×5、6×6矩陣。
不過遺憾的是，AlphaEvolve未能超越現(xiàn)有最優(yōu)解（如6×6因搜索空間爆炸且未引入對稱性偏置）。
研究人員表示，這可能是因為更大矩陣需要特定歸納偏置（如對稱性）來縮小搜索空間，而AlphaEvolve的通用性在此成為劣勢。
換句話說，今后人們還需要在完全開放搜索和約束之間尋找平衡。
但不可否認的是，AlphaEvolve的一大優(yōu)勢在于開箱即用，研究員Matej Balog表示：
它不僅能用于數(shù)學(xué)和科學(xué)問題的新發(fā)現(xiàn)，還能找到可以直接部署到谷歌關(guān)鍵計算堆棧中的算法。
這對我來說是前所未有的體驗，甚至超出了我的預(yù)期。
AlphaEvolve背后核心技術(shù)
AlphaEvolve不是試圖生成解決方案，而是像inception一樣生成生成解決方案的東西，它能夠設(shè)計非常先進的算法。
研究人員提到，AlphaEvolve的高級架構(gòu)是一種進化算法。對于系統(tǒng)提供的任何代碼段，都可以自動評價它是否好以及有多好，然后繼續(xù)迭代。
在這種評估和迭代的循環(huán)中，系統(tǒng)能夠識別最好的代碼，然后將它“喂”給LLM。
Gemini大語言模型體系
AlphaEvolve以Gemini Flash和Gemini Pro模型為基礎(chǔ)，同時調(diào)用二者的功能。
Gemini Flash用于提升速度，快速處理大量數(shù)據(jù)、廣泛洞察信息，在生成算法代碼時，能夠快速篩選大量代碼片段。
Gemini Pro負責(zé)提升深度理解，深入挖掘潛在規(guī)律，在篩選的代碼片段中選擇最符合需求的部分進行整合。
進化算法框架
進化算法是AlphaEvolve實現(xiàn)算法優(yōu)化創(chuàng)新的核心機制。
借鑒“適者生存”理念，對Gemini 大語言模型生成的多樣化代碼初始種群的每個算法進行適應(yīng)度評估，對表現(xiàn)優(yōu)異的代碼保留、變異或組合，投入下一輪優(yōu)化。
這種選擇機制能夠確保優(yōu)質(zhì)算法的基因被保留，在持續(xù)迭代過程中，算法種群的整體性能逐漸提升，逐漸逼近最優(yōu)解。
研究人員表示，進化算法不僅應(yīng)用在篩選算法的過程中，還應(yīng)用于優(yōu)化提示詞上。比如，在改進特定問題之前，會讓系統(tǒng)對此問題的提示詞本身提出修改建議。
然后在給出的修改后的提示詞中精心挑選一組能夠更好地實現(xiàn)目標(biāo)的提示。
自動化評估系統(tǒng)
自動化評估系統(tǒng)是AlphaEvolve對生成算法進行全面量化評價、篩選的關(guān)鍵模塊。
通過多維度指標(biāo)設(shè)定、自動化測試執(zhí)行、評估結(jié)果反饋與迭代引導(dǎo)保障算法的持續(xù)優(yōu)化。
研究人員表示，評估指標(biāo)會有一個非常微妙的限制，他舉了一個具體的例子，比如在問題定義中內(nèi)置時間約束，只關(guān)注能夠在10分鐘之內(nèi)取得進展的搜索算法，探索算法空間。
系統(tǒng)具備將待評估算法集成到測試環(huán)境的能力，通過多場景測試更全面地給出評估結(jié)果。
評估結(jié)果不僅用于篩選算法，還能為算法的進一步優(yōu)化提供方向。
比如，某個矩陣乘法算法在準(zhǔn)確性方面表現(xiàn)良好，但效率較低，那么后續(xù)的優(yōu)化可能會集中在改進計算流程、減少不必要的計算步驟上。
基于評估結(jié)果，自動化評估系統(tǒng)會將表現(xiàn)優(yōu)秀的算法傳遞給進化算法模塊，作為下一代算法的基礎(chǔ)。
異步分布式運行架構(gòu)
異步分布式運行架構(gòu)是AlphaEvolve實現(xiàn)高效、靈活算法優(yōu)化的關(guān)鍵架構(gòu)。
在進化算法框架中，種群的不同算法可以在異步分布式架構(gòu)下并行進化，每個計算節(jié)點負責(zé)種群中的一部分個體。
例如，在與Gemini大模型的交互中，一些節(jié)點可以用來生成針對不同問題的算法代碼，而另一部分可以用來進行數(shù)據(jù)優(yōu)化處理。
在適用度評估過程中，不同的節(jié)點可以分別負責(zé)計算某個算法在準(zhǔn)確率、效率、資源占用等不同指標(biāo)上的得分。
從算法→模型，形成優(yōu)化閉環(huán)
聊到最后，兩位研究人員還總結(jié)了有關(guān)AlphaEvolve的幾個重要發(fā)現(xiàn)。
第一，其性能直接受益于基礎(chǔ)語言模型的提升。
當(dāng)前AlphaEvolve主要采用混合模型策略，鑒于模型性能與算法發(fā)現(xiàn)效率存在明確正相關(guān)，因此未來可進一步提升基礎(chǔ)模型能力。
第二，當(dāng)前已初步實現(xiàn)遞歸自我改進，即AI已經(jīng)展現(xiàn)出自我增強的潛力。
一旦將改進后的算法應(yīng)用到基礎(chǔ)模型，最終將形成一個自我優(yōu)化的閉環(huán)。例如一開頭提到的，將Gemini架構(gòu)中大型矩陣乘法運算加速了23%，從而將Gemini的訓(xùn)練時間縮短了1%。
第三，當(dāng)前實際資源消耗呈現(xiàn)高度靈活性。
具體來說，簡單問題幾乎能即時解決，而類似矩陣乘法這樣的復(fù)雜問題往往需數(shù)百小時計算，系統(tǒng)目前能自動匹配問題難度調(diào)整資源投入。
除了遵循以上發(fā)現(xiàn)進行改進，未來還要在核心保持人機協(xié)作的同時提升自動化水平，以代替目前人類占主導(dǎo)的情形。
總之，通過以上詳細介紹，有網(wǎng)友再次意識到了AlphaEvolve的重要性：
我們正在開發(fā)一項能夠催生真正新技術(shù)的技術(shù)。
