AI與區塊鏈的融合：從技術到應用

人工智能行業近期的飛速發展被一些人視爲第四次工業革命的開端。大型語言模型的出現顯著提升了各行各業的效率，據估計爲美國整體提高了約20%的工作效率。同時,大模型所帶來的泛化能力被認爲是一種全新的軟件設計範式。相比過去精確的代碼設計,現在的軟件開發更多地是將泛化能力強的大模型框架嵌入到軟件中,使軟件具備更強的表現力和更廣泛的輸入輸出能力。深度學習技術確實爲AI行業帶來了新一輪繁榮,這股熱潮也逐漸蔓延到了加密貨幣行業。

本報告將詳細探討AI行業的發展歷程、技術分類,以及深度學習技術的發明對行業的影響。然後深入分析深度學習中GPU、雲計算、數據源、邊緣設備等產業鏈上下遊的發展現狀與趨勢。之後從本質上探討Crypto與AI行業的關係,並對Crypto相關的AI產業鏈格局進行了梳理。

AI行業的發展歷程

AI行業從20世紀50年代起步,爲實現人工智能的願景,學術界和工業界在不同時代不同學科背景下,發展出了多種實現人工智能的流派。

現代人工智能技術主要使用"機器學習"這一術語,其核心理念是讓機器依靠數據在任務中反復迭代以改善系統性能。主要步驟是將數據輸入算法,用此數據訓練模型,測試部署模型,使用模型完成自動化的預測任務。

目前機器學習有三大主要流派,分別是聯結主義、符號主義和行爲主義,分別模仿人類的神經系統、思維、行爲。

而目前以神經網路爲代表的聯結主義佔據上風(也被稱爲深度學習),主要原因是這種架構有一個輸入層一個輸出層,但有多個隱藏層,一旦層數以及神經元(參數)的數量變得足夠多,就有足夠的機會擬合復雜的通用型任務。通過數據輸入,可以不斷調整神經元的參數,最終經歷過多次數據,該神經元就會達到一個最佳的狀態(參數),這也就是所謂的"深度"的由來 - 足夠多的層數和神經元。

而基於神經網路的深度學習技術,也有多個技術迭代與演進,從最早期的神經網路,到前饋神經網路、RNN、CNN、GAN最後演進到現代大模型如GPT等使用的Transformer技術。Transformer技術只是神經網路的一個演進方向,多加了一個轉換器(Transformer),用於把所有模態(如音頻,視頻,圖片等)的數據編碼成對應的數值來表示。然後再輸入到神經網路中,這樣神經網路就能擬合任何類型的數據,也就是實現多模態。

AI發展經歷了三次技術浪潮,第一次浪潮是20世紀60年代,是AI技術提出的十年後,這次浪潮是符號主義技術發展引起的,該技術解決了通用的自然語言處理以及人機對話的問題。同時期,專家系統誕生,這個是斯坦福大學完成的DENRAL專家系統,該系統具備非常強的化學知識,通過問題進行推斷以生成和化學專家一樣的答案,這個化學專家系統可以被視爲化學知識庫以及推斷系統的結合。

第二次AI技術浪潮發生在1997年,IBM深藍"Blue"以3.5:2.5戰勝了國際象棋冠軍卡斯帕羅夫,這場勝利被視爲人工智能的一個裏程碑。

第三次AI技術浪潮發生在2006年。深度學習三巨頭Yann LeCun、Geoffrey Hinton以及Yoshua Bengio提出了深度學習的概念,一種以人工神經網路爲架構,對數據進行表徵學習的算法。之後深度學習的算法逐漸演進,從RNN、GAN到Transformer以及Stable Diffusion,這些算法共同塑造了這第三次技術浪潮,這也是聯結主義的鼎盛時期。

深度學習產業鏈

當前大模型語言使用的都是基於神經網路的深度學習方法。以GPT爲首的大模型造就了一波人工智能的熱潮,大量的玩家湧入這個賽道,我們也發現市場對於數據、算力的需求大量迸發,因此在報告的這一部分,我們主要是探索深度學習算法的產業鏈,在深度學習算法主導的AI行業,其上下遊是如何組成的,而上下遊的現狀與供需關係、未來發展又是如何。

首先我們需要明晰的是,在進行基於Transformer技術的GPT爲首的LLMs(大模型)訓練時,一共分爲三個步驟。

在訓練之前,因爲是基於Transformer,因此轉換器需要將文本輸入轉化爲數值,這個過程被稱爲"Tokenization",之後這些數值被稱爲Token。在一般的經驗法則下,一個英文單詞或者字符可以粗略視作一個Token,而每個漢字可以被粗略視爲兩個Token。這個也是GPT計價使用的基本單位。

第一步,預訓練。通過給輸入層足夠多的數據對來尋找該模型下各個神經元最佳的參數,這個時候需要大量的數據,而這個過程也是最耗費算力的過程,因爲要反復迭代神經元嘗試各種參數。

第二步,微調。微調是給予一批量較少,但是質量非常高的數據來訓練,這樣的改變就會讓模型的輸出有更高的質量,因爲預訓練需要大量數據,但是很多數據可能存在錯誤或者低質量。

第三步,強化學習。首先會建立一個全新的模型,我們稱其爲"獎勵模型",這個模型目的非常簡單,就是對輸出的結果進行排序。之後用這個模型來判定我們大模型的輸出是否是高質量的,這樣就可以用一個獎勵模型來自動迭代大模型的參數。

簡而言之,在大模型的訓練過程中,預訓練對數據的量有非常高的要求,所需要耗費的GPU算力也是最多的,而微調需要更加高質量的數據來改進參數,強化學習可以通過一個獎勵模型來反復迭代參數以輸出更高質量的結果。

在訓練的過程中,參數越多那麼其泛化能力的天花板就越高。因此,影響大模型表現主要由三個方面決定,參數數量、數據量與質量、算力,這三個共同影響了大模型的結果質量和泛化能力。

Crypto與AI的關係

區塊鏈得益於ZK技術的發展,演變成了去中心化 + 去信任化的思想。我們回到區塊鏈創造之初,是比特幣鏈。在中本聰的論文中,其首先稱其爲去信任化的、價值轉移系統。之後Vitalik等人發表了論文推出了去中心化、去信任化、價值互換的智能合約平台。

回到本質,我們認爲整個區塊鏈網路就是一個價值網路,每一筆交易都是以底層代幣爲基礎的價值轉換。這裏的價值是Token的形式體現,而Tokenomics就是具體的Token價值體現的規則。

代幣和區塊鏈技術這種對價值重新定義與發現的手段,對任何行業也至關重要,包括AI行業。在AI行業中,發行代幣能夠讓AI產業鏈中的各方面都進行價值的重塑,那麼會激勵更多人願意在AI行業各個細分賽道深根,因爲其帶來的收益將變得更爲顯著,不僅僅是現金流來決定其當前價值,並且代幣的協同作用會讓基礎設施的價值得到提升,這會天然的導致胖協議瘦應用範式的形成。

其次,AI產業鏈中所有項目都將獲得資本增值的收益,並且這種代幣能夠反哺生態系統以及促進某種哲學思想的誕生。

代幣經濟學顯然對行業的影響是有其積極的一面,區塊鏈技術的不可篡改和無需信任的性質也有其AI行業的實際意義,能夠實現一些需要信任的應用,比如我們的用戶數據能夠允許在某個模型之上,但是確保模型不知道具體的數據、確保模型不泄露數據、確保返回該模型推理的真實數據。當GPU不足夠時,能夠通過區塊鏈網路分銷,當GPU迭代,閒置的GPU能貢獻算力到網路中,重新發現剩餘價值,這是全球化的價值網路才能做到的事情。

總之,代幣經濟學能夠促進價值的重塑和發現,去中心化帳本能夠解決信任問題,將價值在全球範圍重新流動起來。

Crypto行業AI相關項目概覽

GPU供給側

目前使用較多的是Render項目,其在2020年推出,主要用於非大模型類的視頻渲染任務。Render面向的場景與AI並不同,因此嚴格意義上不算是AI板塊。並且其視頻渲染業務確實有一定的真實需求,因此GPU雲算力市場不僅僅可以面向AI模型的訓練、推理,也可以應用於傳統渲染任務,這降低了GPU雲市場依賴單一市場風險。

在Crypto關於AI的產業鏈中,算力供給無疑是最重要的一點。根據行業預測,2024年GPU的算力需求大約有750億美元,到2032年大約有7730億美元的市場需求,年化復合增長率(CAGR)約爲33.86%。

GPU的迭代率遵循摩爾定律(18-24各月性能翻倍,價格下降一半),那麼對於共享GPU算力的需求將會變得極大,因爲GPU市場的爆發,會在未來摩爾定律的影響下,形成大量的非最新幾代的GPU,這時候這些閒置的GPU將作爲長尾算力在共享網路中繼續發揮其價值,因此我們確實看好這個賽道的長期潛力和實際效用,不僅僅是中小模型的業務還有傳統的渲染業務也會形成比較強的需求。

數據

目前上線的項目包括EpiK Protocol、Synesis One、Masa等,不同點在於EpiK protocol和Synesis One是對於公開數據源進行收集,但是Masa是基於ZK技術,能夠實現隱私數據的收集,這樣對於用戶更加友好。

相比於其它Web2的傳統數據企業,Web3數據提供商具備的優勢在於數據採集側,因爲個人能夠貢獻自己非隱私的數據,這樣項目的接觸面會變得很廣,不僅僅是ToB,而且能夠爲任何用戶的數據都進行定價,任何過去的數據都有了價值,並且由於代幣經濟學的存在,本身網路價值和價格是相互依賴的,0成本的代幣隨着網路價值變高也會變高,而這些代幣會降低開發商的成本,用來獎勵用戶,用戶貢獻數據的動機將變得更足。

ZKML

如果數據想要實現隱私計算以及訓練,目前業內主要採用的ZK方案,使用同態加密技術,將數據在鏈下推理然後將結果和ZK證明上傳,那麼就能保證數據的隱私性和推理