人工智能 x 加密货币 - 承诺与现实

中级7/13/2024, 3:21:38 PM
AI+ Crypto 是近期加密货币市场备受瞩目的前沿领域之一,例如去中心化AI 训练、GPU DePINs 以及抗审查的AI 模型等等,上AI 训练的问题在于需要GPU 间的高速通讯和协调,因为神经网络在训练时需要反向传播,如果引入去中心化网络,由于网络延迟和带宽增加,速度会突然变慢几个数量级。同时本文也整理了如何解决目前面对的困境以及加密货币 x AI 可以增加明显的价值的范例进行解析。

近年来,人工智能(AI)已成为加密市场中最热门和最有前途的类别之一。 💡去中心化AI训练 💡GPU DePINs 💡非审查AI模型 这些是突破还是只是流行语?🤔 在Hack VC,我们通过筛选信息来区分承诺与现实。 本文剖析了顶级加密与AI结合的想法,探讨了真正的挑战和机会。

以下是一些最初有希望但在现实中遇到挑战的想法。

首先,让我们从“web3 AI的承诺”开始——这些想法有很多炒作,但现实可能并不那么光鲜。

想法一:去中心化AI训练

在链上进行AI训练的问题在于,训练需要GPU之间高速通信和协调,因为神经网络在训练时需要反向传播。Nvidia为此有两个创新(NVLink和InfiniBand)。这些技术有效地使GPU通信超快,但它们仅适用于位于单个数据中心内的GPU集群(50+千兆比特速度)。

如果引入一个去中心化网络,因增加的网络延迟和带宽,速度会突然降低几个数量级。与Nvidia在数据中心内的高速互连相比,这对于AI训练用例来说是一个无法解决的问题。

需要注意的是,这方面的创新可能为未来提供一些希望:

通过InfiniBand进行分布式训练在相当大的规模上已经开始了,因为NVIDIA本身通过NVIDIA集体通信库支持基于InfiniBand的分布式、非本地训练。不过,这仍处于初期阶段,采用情况尚待确定(TBD)。物理定律对距离仍然是瓶颈,因此本地InfiniBand训练仍显著更快。

一些新的研究已经发表,探讨依赖较少通信同步的去中心化训练,这可能在未来使去中心化训练更加实用。详情请见此处和此处。

智能分片和模型训练调度可以帮助提高性能。同样,新模型架构未来可能专门为分布式基础设施设计(Gensyn正在这些领域进行研究)。

训练的数据组件也是一个挑战。任何AI训练过程都涉及处理大量数据。通常,模型在具有高扩展性和性能的集中式安全数据存储系统上进行训练。这需要传输和处理数TB的数据,而且这不是一次性循环。数据通常是嘈杂且包含错误的,因此必须清洗并转换为可用格式后再进行模型训练。这个阶段包括归一化、过滤和处理缺失值的重复任务。在去中心化环境中,这一切都构成了严重挑战。

训练的数据组件也是迭代性的,这并不适合web3。OpenAI花费了数千次迭代才取得了成果。AI团队的数据科学专家的最基本任务场景包括定义目标、准备数据、分析和结构化数据以提取重要见解并使其适合建模。然后,开发机器学习模型以解决定义的问题,并使用测试数据集验证其性能。这一过程是迭代的:如果当前模型表现不如预期,专家会返回数据收集或模型训练阶段以改进结果。现在,想象一下在去中心化环境中进行这一过程,在web3中现有的最佳框架和工具并不容易获得。

在链上训练AI模型的另一个问题是,与推理相比,这个市场要少得多。目前,有大量GPU计算资源用于AI LLM训练。但从长远来看,推理将成为(远远)更普遍的GPU用例。想想看:世界上需要训练多少个AI LLM才能满足需求,与使用这些模型的客户数量相比?

一个在各方面都取得进展的解决方案是0g.ai(由Hack VC支持),他们提供链上数据存储和数据可用性基础设施。他们的超高速架构和在链上存储海量数据的能力允许对任何类型的AI模型进行快速迭代的链上训练。

想法二:利用AI推理的过度冗余计算达成共识

加密与AI结合的一个挑战是验证AI推理的准确性,因为不能完全信任单一的中心化实体进行推理,节点可能会出现不当行为。这在web2 AI中不存在,因为没有去中心化共识系统。

一个解决方案是冗余计算,即多个节点重复相同的AI推理操作,从而可以以无需信任的方式操作,避免单点故障。

这种方法的问题在于我们生活在高端AI芯片严重短缺的世界。高端NVIDIA芯片需要等待多年,这导致了价格上涨。如果还要求AI推理在多个节点上多次重复执行,那么这些昂贵的成本将会成倍增加。对于许多项目来说,这是一个无法解决的问题。

想法三:短期内的Web3特定AI用例

有人建议web3应该有其独特的AI用例,专门针对web3用户。例如,一个web3协议使用AI对DeFi池进行风险评分,一个web3钱包根据用户的历史记录推荐新协议,或者一个web3游戏使用AI控制非玩家角色(NPC)。

目前,这是一个新兴市场,用例仍在探索中。一些挑战包括:

  • web3原生用例需要的AI交易较少,因为市场需求还处于初期阶段。
  • 客户较少,因为web3客户相比web2客户少了几个数量级,因此市场较不分散。
  • 客户本身不够稳定,因为他们是资金较少的初创公司,这些初创公司可能会随着时间的推移倒闭。面向web3客户的web3 AI服务提供商可能需要随着时间的推移重新获取一部分客户,以替代那些倒闭的公司,这使得业务扩展更具挑战性。

从长远来看,我们对web3原生的AI用例非常看好,特别是随着AI代理的普及。我们设想未来每个web3用户都有众多AI代理协助他们。这个领域的早期领导者是Theoriq(由Hack VC支持),它实现了可组合和自主的链上AI代理。

想法四:消费级GPU DePINs

有许多去中心化AI计算网络依赖于消费级GPU而不是数据中心。消费级GPU适用于低端AI推理任务或对延迟、吞吐量和可靠性要求灵活的消费级用例。但对于重要的企业级用例(这是大多数重要市场),客户希望有一个比个人家庭计算机更可靠的网络,并且通常需要高端GPU来处理更复杂的推理任务。数据中心更适合这些更有价值的客户用例。

需要注意的是,我们认为消费级GPU适用于演示用途或能容忍较低可靠性的个人和初创公司。但这些客户从根本上来说价值较低,因此我们相信面向web2企业的DePINs将更有长期价值。因此,众所周知的GPU DePIN项目通常从早期主要依赖消费级硬件演变为拥有A100/H100和集群级别的可用性。

现实——加密与AI的实际和现实用例

现在,让我们讨论那些带来“实际利益”的用例。这些是真正的“胜利”,即加密与AI结合可以增加显著价值的地方。

实际利益一:服务web2客户

麦肯锡估计,生成式AI每年可以为他们分析的63个用例增加相当于2.6万亿美元到4.4万亿美元的价值——相比之下,2021年英国的整个GDP为3.1万亿美元。这将使所有人工智能的影响增加15%到40%。如果我们将生成式AI嵌入到目前用于其他任务的软件中,其影响将大约翻倍。

根据上述估计进行计算,AI(超越生成式AI)的全球市场总价值可能达到数十万亿美元。相比之下,所有加密货币(包括比特币和所有山寨币)总共只有约2.7万亿美元。因此,现实一点:在短期内需要AI的绝大多数客户将是web2客户,因为实际需要AI的web3客户将是这2.7万亿美元市场中的一小部分(考虑到BTC占这个市场的一半,而BTC本身并不需要/使用AI)。

web3 AI用例才刚刚起步,目前还不清楚这个市场的规模会有多大。但有一点是直观确定的——在可预见的未来,它将是web2市场的一小部分。我们相信web3 AI仍有光明的未来,但这意味着目前web3 AI最强大的应用是服务web2客户。

可能从web3 AI中受益的web2客户包括:

  • 从头开始构建的AI中心垂直软件公司(例如,Cedar.ai或Observe.ai)
  • 为自身目的微调模型的大型企业(例如,Netflix)
  • 快速增长的AI提供商(例如,Anthropic)
  • 在现有产品中添加AI的软体公司(例如,Canva)

这是一个相对稳定的客户群体,因为这些客户通常规模庞大且有价值。他们不会很快倒闭,并且代表了AI服务的巨大潜在客户。服务web2客户的web3 AI服务将受益于这个稳定的客户基础。

但是,为什么web2客户会想使用web3堆栈?本文余下部分将阐述这一点。

实际利益二:通过GPU DePINs降低GPU使用成本

GPU DePINs汇集了未充分利用的GPU计算能力(其中最可靠的来自数据中心),并将其用于AI推理(例如io.net,这是由Hack VC管理的基金投资的公司)。可以简单地将其理解为“GPU的Airbnb”(实际上是未充分利用资产的协同消费)。

我们对GPU DePINs感到兴奋的原因如上所述,是由于NVIDIA芯片短缺,并且目前有许多浪费的GPU周期可以用于AI推理。这些硬件拥有者已经有了沉没成本,而他们今天没有充分利用其设备,因此可以以远低于现状的成本提供这些部分GPU周期,因为对硬件拥有者来说,这实际上是“额外收入”。

例子包括:

  • AWS机器:如果今天从AWS租用一台H100,你需要签订为期一年的租约,因为市场供应紧张。这会造成浪费,因为你不太可能每年365天,每周7天都在使用GPU。
  • Filecoin挖矿硬件:Filecoin网络有大量的补贴供应,但没有显著的实际需求。Filecoin不幸地未能找到真正的产品市场契合点,因此Filecoin矿工面临倒闭的危险。这些机器上有GPU,可以重新用于低端AI推理任务。
  • ETH挖矿硬件:当ETH从PoW转换为PoS时,立即有大量硬件可用于AI推理。

需要注意的是,并非所有GPU硬件都适用于AI推理。一个明显的原因是旧的GPU没有足够的GPU内存来处理大型语言模型(LLM),尽管在这方面有一些有趣的创新。例如,Exabits的技术将活跃神经元加载到GPU内存中,而将不活跃神经元加载到CPU内存中,并预测哪些神经元需要活跃/不活跃。这使得低端GPU即使在有限的GPU内存情况下也能处理AI工作负载,从而有效地使低端GPU在AI推理中更加有用。

还需要注意的是,web3 AI DePINs需要随着时间的推移加强其服务,并提供企业级服务,如单点登录、SOC 2合规、服务级别协议(SLAs)等。这将与当前web2客户享受的云服务相类似。

实际利益三:避免OpenAI自我审查的非审查模型

关于AI审查有很多讨论。例如,土耳其曾暂时禁止OpenAI(后来在OpenAI改善其合规性后改变了立场)。我们认为这种国家级别的审查本质上不那么有趣,因为各国需要接受AI才能保持竞争力。

更有趣的是OpenAI的自我审查。例如,OpenAI不会处理不适合工作的内容,也不会预测下一次总统选举。我们认为,对于那些因政治原因而被OpenAI避而不谈的AI用例,存在一个有趣且巨大的市场。

开源是一个很好的解决方案,因为Github仓库不受制于股东或董事会。例如,Venice.ai承诺保护你的隐私并以非审查的方式运行。关键当然是开源,这提供了支持。web3 AI能够有效提升这一点,通过更低成本的GPU集群来支持这些开源软件(OSS)模型进行推理。这就是为什么我们相信OSS + web3是铺平非审查AI道路的理想组合的原因。

实际利益四:避免将个人可识别信息发送给OpenAI

许多大型企业对其内部企业数据的隐私问题感到担忧。对于这些客户来说,信任像OpenAI这样的集中式第三方处理其数据可能非常困难。

对于web3来说,这些企业可能表面上更为担忧,因为他们的内部数据突然在一个去中心化网络上。然而,AI隐私增强技术的一些创新可以缓解这些担忧:

  • 可信执行环境(TEE),如Super协议
  • 完全同态加密(FHE),如Fhenix.io(由Hack VC管理的基金投资的公司)或Inco Network(两者都由Zama.ai提供支持),以及Bagel的PPML

这些技术仍在发展,性能也在通过即将推出的零知识(ZK)和FHE ASICs不断提高。但长期目标是保护企业数据在微调模型时的安全。随着这些协议的出现,web3可能会成为隐私保护AI计算的更具吸引力的场所。

实际利益五:利用开源模型的最新创新

在过去的几十年里,开源软件(OSS)一直在不断蚕食专有软件的市场份额。我们将大型语言模型(LLM)视为一种成熟的专有软件形式,适合进行开源软件的颠覆。几个值得注意的挑战者包括Llama、RWKV和Mistral.ai。随着时间的推移,这个名单无疑会不断增加(更全面的列表可在Openrouter.ai上找到)。通过利用web3 AI(由开源模型提供支持),可以利用这些新创新。

我们相信,随着时间的推移,结合加密激励机制的全球开源开发团队可以推动开源模型的快速创新,以及在其上构建的代理和框架。例如,Theoriq是一个AI代理协议。Theoriq利用开源模型创建一个可组合的互联AI代理网络,可以组装成更高级的AI解决方案。

我们对此有信心的原因是由于过去的经验:大多数“开发者软件”随着时间的推移慢慢被开源软件超越。微软曾经是一家专有软件公司,现在他们是Github的首要贡献者,这是有原因的。如果你看看Databricks、PostGresSQL、MongoDB等如何颠覆专有数据库,这是一个被开源软件颠覆的整个行业的例子,因此这一先例非常强大。

然而,这确实有一个问题。开源大型语言模型的一个棘手问题是,OpenAI已经开始与组织(如Reddit和纽约时报)签订付费数据许可协议。如果这一趋势继续下去,开源大型语言模型可能由于获取数据的财务障碍而难以竞争。Nvidia可能会加倍努力,通过保密计算作为安全数据共享的推动者。时间将证明这一点将如何发展。

实际利益六:通过高罚款成本的随机抽样或ZK证明达成共识

web3 AI推理的一个挑战是验证。存在验证者通过作弊结果来赚取费用的潜在机会,因此验证推理是一个重要的措施。虽然这种作弊行为还没有实际发生,因为AI推理还处于初期阶段,但除非采取措施来防止这种行为,否则这是不可避免的。

标准的web3方法是让多个验证者重复相同的操作并比较结果。显而易见的挑战是,由于高端Nvidia芯片目前短缺,AI推理非常昂贵。考虑到web3可以通过未充分利用的GPU DePINs提供较低成本的推理,冗余计算会严重削弱web3的价值主张。

一个更有前途的解决方案是对链下AI推理计算执行ZK证明。在这种情况下,可以验证简洁的ZK证明以确定模型是否正确训练,或推理是否正确运行(称为zkML)。例如,Modulus Labs和ZKonduit。这些解决方案的性能仍处于初期阶段,因为ZK操作计算量很大。然而,我们预计随着ZK硬件ASIC的发布,性能可能会有所改善。

更有前途的想法是“乐观”抽样式的AI推理方法。在这种模型中,只验证由验证者生成结果的一小部分,但设置足够高的罚款经济成本,以至于一旦被抓到,验证者作弊将面临强烈的经济惩罚。这种方式可以节省冗余计算(例如,参见Hyperbolic的抽样证明论文)。

另一个有前途的想法是水印和指纹解决方案,如Bagel Network提出的方案。这类似于Amazon Alexa对其数百万设备上的设备内AI模型的质量保证机制。

实际利益七:通过OSS节省费用(OpenAI的利润率)

web3带给AI的下一个机会是降低成本。到目前为止,我们讨论了通过DePINs节省GPU成本。但web3还提供了节省集中式web2 AI服务(例如,OpenAI,截至撰写本文时年收入超过10亿美元)的利润率的机会。这些成本节省来自于使用开源模型而不是专有模型的额外节省层,因为模型创建者不试图盈利。

许多开源模型将保持完全免费,这为客户提供了最佳的经济效益。但也可能有一些开源模型尝试这些货币化方法。考虑到Hugging Face上只有4%的模型由公司训练,并有预算来帮助补贴模型(参见此处)。其余96%的模型由社区训练。这一部分——96%的Hugging Face——有基本的真实成本(包括计算成本和数据成本)。因此,这些模型将需要以某种方式进行货币化。

总之,web3通过高罚款成本的随机抽样或ZK证明达成共识、利用开源模型的最新创新、降低GPU使用成本、保护企业数据隐私等多种方式为AI领域带来了实际利益和发展潜力。随着这些技术和方法的不断进步和成熟,web3与AI的结合将进一步释放其潜在价值。

有许多提议用于实现开源软件(OSS)模型的货币化。其中最有趣的概念之一是“初始模型发行”(IMO),即将模型本身代币化,保留一部分代币给团队,并将未来的部分收入流向代币持有者,尽管这里显然存在一些法律和监管障碍。

其他OSS模型将尝试通过使用量来货币化。如果实现了这一点,OSS模型可能会越来越像其web2的盈利对手。但实际上,市场将会分化,部分模型仍将完全免费。

实际利益八:去中心化的数据来源

AI面临的最大挑战之一是寻找合适的数据来训练模型。我们之前提到去中心化AI训练有其挑战。但使用去中心化网络来获取数据(然后可以在其他地方甚至传统的web2场所进行训练)呢?

这正是Grass等初创公司所做的事情。Grass是一个去中心化的“数据抓取者”网络,个体贡献其机器的闲置处理能力来获取数据,以便为AI模型的训练提供信息。假设在大规模运行下,这种数据获取可以优于任何一家公司内部的数据获取努力,因为大量激励节点网络的强大力量。这不仅包括获取更多数据,还包括更频繁地获取数据,使数据更相关和最新。由于去中心化的数据抓取者军队本质上是分散的,不在单一IP地址内,因此几乎不可能阻止它们。它们还拥有一个人类网络,可以清理和规范数据,使其在被抓取后变得有用。

一旦有了数据,还需要一个地方在链上存储这些数据,以及使用这些数据生成的大型语言模型(LLM)。0g.AI是这一领域的早期领导者。它是一个为AI优化的高性能web3存储解决方案,成本显著低于AWS(这是web3 AI的另一个经济胜利),同时也作为Layer 2s、AI等的数据可用性基础设施。

他们的世界的未来可能会走向一个新的范式——“实时”数据。 这个概念是,当法学硕士被问到推理问题时,法学硕士可以将数据迅速注入到法学硕士中,这些数据是从互联网实时收集的。 通过这种方式,法学硕士可以使用尽可能最新的数据。 Grass也在研究这个。

需要注意的是,未来数据在web3 AI中的角色可能会发生变化。今天,大型语言模型(LLMs)的现状是通过数据进行预训练,并随着时间的推移通过更多数据进行优化。然而,这些模型总是略显过时,因为互联网数据是实时变化的。因此,LLM推理的响应可能会稍有不准确。

未来的发展方向可能是一种新范式——“实时”数据。其概念是,当LLM被问及推理问题时,该LLM可以通过提示注入实时从互联网上收集的数据。这样,LLM使用的是最为最新的数据。Grass也在研究这一方向。

结论

我们希望这能在你思考web3 AI的承诺与现实时提供有用的分析。这只是对话的起点,随着环境的快速变化,请随时发表你的观点,因为我们希望继续学习和共同建设。

致谢

特别感谢Albert Castellana、Jasper Zhang、Vassilis Tziokas、Bidhan Roy、Rezo、Vincent Weisser、Shashank Yadav、Ali Husain、Nukri Basharuli、Emad Mostaque、David Minarsch、Tommy Shaughnessy、Michael Heinrich、Keccak Wong、Marc Weinstein、Phillip Bonello、Jeff Amico、Ejaaz Ahamadeen、Evan Feng和JW Wang对本文的反馈和贡献。

此处的信息仅供一般参考,不构成投资建议,也不应用于任何投资决策的评估。此类信息不应被用作会计、法律、税务、商业、投资或其他相关建议的依据。你应咨询你自己的顾问,包括你的法律顾问,获取会计、法律、税务、商业、投资或其他相关建议,包括与本文讨论的内容相关的建议。

本文反映了作者当前的意见,并不代表Hack VC或其关联公司的意见,包括任何由Hack VC管理的基金,也不一定反映Hack VC、其关联公司(包括其普通合伙人关联公司)或与Hack VC相关的任何其他个人的意见。本文包含的某些信息已从公开来源获得和/或由第三方准备,在某些情况下没有更新至本文日期。虽然这些来源被认为是可靠的,但Hack VC及其关联公司(包括其普通合伙人关联公司)或与Hack VC相关的任何其他个人并不对其准确性或完整性做出陈述,也不应依赖这些信息作为会计、法律、税务、商业、投资或其他决策的依据。本文不声称是完整的,可能会有所变化,Hack VC没有义务更新这些信息或在这些信息变得不准确时发出任何通知。

过去的表现不一定代表未来的结果。本文中所做的任何前瞻性陈述均基于作者在其经验和对历史趋势、当前状况和预期未来发展的认识,以及他认为在特定情况下适当的其他因素所做的某些假设和分析。此类陈述不保证未来的表现,并受到某些难以预测的风险、不确定性和假设的影响。

声明:

  1. 本文转载自[黑客VC],原标题《AI x Crypto - Promises and Realities》,版权归原创所有作者 [Ed Roman,Hack VC 执行合伙人],如对转载有异议,请联系Gate Learn团队,团队将尽快按照相关流程进行处理。

  2. 免责声明:本文所表达的观点和意见仅代表作者个人观点,不构成任何投资建议。

  3. 文章的其他语言版本由 Gate Learn 团队翻译,文中未提及Gate.io,翻译的文章不得转载、分发或抄袭。

人工智能 x 加密货币 - 承诺与现实

中级7/13/2024, 3:21:38 PM
AI+ Crypto 是近期加密货币市场备受瞩目的前沿领域之一,例如去中心化AI 训练、GPU DePINs 以及抗审查的AI 模型等等,上AI 训练的问题在于需要GPU 间的高速通讯和协调,因为神经网络在训练时需要反向传播,如果引入去中心化网络,由于网络延迟和带宽增加,速度会突然变慢几个数量级。同时本文也整理了如何解决目前面对的困境以及加密货币 x AI 可以增加明显的价值的范例进行解析。

近年来,人工智能(AI)已成为加密市场中最热门和最有前途的类别之一。 💡去中心化AI训练 💡GPU DePINs 💡非审查AI模型 这些是突破还是只是流行语?🤔 在Hack VC,我们通过筛选信息来区分承诺与现实。 本文剖析了顶级加密与AI结合的想法,探讨了真正的挑战和机会。

以下是一些最初有希望但在现实中遇到挑战的想法。

首先,让我们从“web3 AI的承诺”开始——这些想法有很多炒作,但现实可能并不那么光鲜。

想法一:去中心化AI训练

在链上进行AI训练的问题在于,训练需要GPU之间高速通信和协调,因为神经网络在训练时需要反向传播。Nvidia为此有两个创新(NVLink和InfiniBand)。这些技术有效地使GPU通信超快,但它们仅适用于位于单个数据中心内的GPU集群(50+千兆比特速度)。

如果引入一个去中心化网络,因增加的网络延迟和带宽,速度会突然降低几个数量级。与Nvidia在数据中心内的高速互连相比,这对于AI训练用例来说是一个无法解决的问题。

需要注意的是,这方面的创新可能为未来提供一些希望:

通过InfiniBand进行分布式训练在相当大的规模上已经开始了,因为NVIDIA本身通过NVIDIA集体通信库支持基于InfiniBand的分布式、非本地训练。不过,这仍处于初期阶段,采用情况尚待确定(TBD)。物理定律对距离仍然是瓶颈,因此本地InfiniBand训练仍显著更快。

一些新的研究已经发表,探讨依赖较少通信同步的去中心化训练,这可能在未来使去中心化训练更加实用。详情请见此处和此处。

智能分片和模型训练调度可以帮助提高性能。同样,新模型架构未来可能专门为分布式基础设施设计(Gensyn正在这些领域进行研究)。

训练的数据组件也是一个挑战。任何AI训练过程都涉及处理大量数据。通常,模型在具有高扩展性和性能的集中式安全数据存储系统上进行训练。这需要传输和处理数TB的数据,而且这不是一次性循环。数据通常是嘈杂且包含错误的,因此必须清洗并转换为可用格式后再进行模型训练。这个阶段包括归一化、过滤和处理缺失值的重复任务。在去中心化环境中,这一切都构成了严重挑战。

训练的数据组件也是迭代性的,这并不适合web3。OpenAI花费了数千次迭代才取得了成果。AI团队的数据科学专家的最基本任务场景包括定义目标、准备数据、分析和结构化数据以提取重要见解并使其适合建模。然后,开发机器学习模型以解决定义的问题,并使用测试数据集验证其性能。这一过程是迭代的:如果当前模型表现不如预期,专家会返回数据收集或模型训练阶段以改进结果。现在,想象一下在去中心化环境中进行这一过程,在web3中现有的最佳框架和工具并不容易获得。

在链上训练AI模型的另一个问题是,与推理相比,这个市场要少得多。目前,有大量GPU计算资源用于AI LLM训练。但从长远来看,推理将成为(远远)更普遍的GPU用例。想想看:世界上需要训练多少个AI LLM才能满足需求,与使用这些模型的客户数量相比?

一个在各方面都取得进展的解决方案是0g.ai(由Hack VC支持),他们提供链上数据存储和数据可用性基础设施。他们的超高速架构和在链上存储海量数据的能力允许对任何类型的AI模型进行快速迭代的链上训练。

想法二:利用AI推理的过度冗余计算达成共识

加密与AI结合的一个挑战是验证AI推理的准确性,因为不能完全信任单一的中心化实体进行推理,节点可能会出现不当行为。这在web2 AI中不存在,因为没有去中心化共识系统。

一个解决方案是冗余计算,即多个节点重复相同的AI推理操作,从而可以以无需信任的方式操作,避免单点故障。

这种方法的问题在于我们生活在高端AI芯片严重短缺的世界。高端NVIDIA芯片需要等待多年,这导致了价格上涨。如果还要求AI推理在多个节点上多次重复执行,那么这些昂贵的成本将会成倍增加。对于许多项目来说,这是一个无法解决的问题。

想法三:短期内的Web3特定AI用例

有人建议web3应该有其独特的AI用例,专门针对web3用户。例如,一个web3协议使用AI对DeFi池进行风险评分,一个web3钱包根据用户的历史记录推荐新协议,或者一个web3游戏使用AI控制非玩家角色(NPC)。

目前,这是一个新兴市场,用例仍在探索中。一些挑战包括:

  • web3原生用例需要的AI交易较少,因为市场需求还处于初期阶段。
  • 客户较少,因为web3客户相比web2客户少了几个数量级,因此市场较不分散。
  • 客户本身不够稳定,因为他们是资金较少的初创公司,这些初创公司可能会随着时间的推移倒闭。面向web3客户的web3 AI服务提供商可能需要随着时间的推移重新获取一部分客户,以替代那些倒闭的公司,这使得业务扩展更具挑战性。

从长远来看,我们对web3原生的AI用例非常看好,特别是随着AI代理的普及。我们设想未来每个web3用户都有众多AI代理协助他们。这个领域的早期领导者是Theoriq(由Hack VC支持),它实现了可组合和自主的链上AI代理。

想法四:消费级GPU DePINs

有许多去中心化AI计算网络依赖于消费级GPU而不是数据中心。消费级GPU适用于低端AI推理任务或对延迟、吞吐量和可靠性要求灵活的消费级用例。但对于重要的企业级用例(这是大多数重要市场),客户希望有一个比个人家庭计算机更可靠的网络,并且通常需要高端GPU来处理更复杂的推理任务。数据中心更适合这些更有价值的客户用例。

需要注意的是,我们认为消费级GPU适用于演示用途或能容忍较低可靠性的个人和初创公司。但这些客户从根本上来说价值较低,因此我们相信面向web2企业的DePINs将更有长期价值。因此,众所周知的GPU DePIN项目通常从早期主要依赖消费级硬件演变为拥有A100/H100和集群级别的可用性。

现实——加密与AI的实际和现实用例

现在,让我们讨论那些带来“实际利益”的用例。这些是真正的“胜利”,即加密与AI结合可以增加显著价值的地方。

实际利益一:服务web2客户

麦肯锡估计,生成式AI每年可以为他们分析的63个用例增加相当于2.6万亿美元到4.4万亿美元的价值——相比之下,2021年英国的整个GDP为3.1万亿美元。这将使所有人工智能的影响增加15%到40%。如果我们将生成式AI嵌入到目前用于其他任务的软件中,其影响将大约翻倍。

根据上述估计进行计算,AI(超越生成式AI)的全球市场总价值可能达到数十万亿美元。相比之下,所有加密货币(包括比特币和所有山寨币)总共只有约2.7万亿美元。因此,现实一点:在短期内需要AI的绝大多数客户将是web2客户,因为实际需要AI的web3客户将是这2.7万亿美元市场中的一小部分(考虑到BTC占这个市场的一半,而BTC本身并不需要/使用AI)。

web3 AI用例才刚刚起步,目前还不清楚这个市场的规模会有多大。但有一点是直观确定的——在可预见的未来,它将是web2市场的一小部分。我们相信web3 AI仍有光明的未来,但这意味着目前web3 AI最强大的应用是服务web2客户。

可能从web3 AI中受益的web2客户包括:

  • 从头开始构建的AI中心垂直软件公司(例如,Cedar.ai或Observe.ai)
  • 为自身目的微调模型的大型企业(例如,Netflix)
  • 快速增长的AI提供商(例如,Anthropic)
  • 在现有产品中添加AI的软体公司(例如,Canva)

这是一个相对稳定的客户群体,因为这些客户通常规模庞大且有价值。他们不会很快倒闭,并且代表了AI服务的巨大潜在客户。服务web2客户的web3 AI服务将受益于这个稳定的客户基础。

但是,为什么web2客户会想使用web3堆栈?本文余下部分将阐述这一点。

实际利益二:通过GPU DePINs降低GPU使用成本

GPU DePINs汇集了未充分利用的GPU计算能力(其中最可靠的来自数据中心),并将其用于AI推理(例如io.net,这是由Hack VC管理的基金投资的公司)。可以简单地将其理解为“GPU的Airbnb”(实际上是未充分利用资产的协同消费)。

我们对GPU DePINs感到兴奋的原因如上所述,是由于NVIDIA芯片短缺,并且目前有许多浪费的GPU周期可以用于AI推理。这些硬件拥有者已经有了沉没成本,而他们今天没有充分利用其设备,因此可以以远低于现状的成本提供这些部分GPU周期,因为对硬件拥有者来说,这实际上是“额外收入”。

例子包括:

  • AWS机器:如果今天从AWS租用一台H100,你需要签订为期一年的租约,因为市场供应紧张。这会造成浪费,因为你不太可能每年365天,每周7天都在使用GPU。
  • Filecoin挖矿硬件:Filecoin网络有大量的补贴供应,但没有显著的实际需求。Filecoin不幸地未能找到真正的产品市场契合点,因此Filecoin矿工面临倒闭的危险。这些机器上有GPU,可以重新用于低端AI推理任务。
  • ETH挖矿硬件:当ETH从PoW转换为PoS时,立即有大量硬件可用于AI推理。

需要注意的是,并非所有GPU硬件都适用于AI推理。一个明显的原因是旧的GPU没有足够的GPU内存来处理大型语言模型(LLM),尽管在这方面有一些有趣的创新。例如,Exabits的技术将活跃神经元加载到GPU内存中,而将不活跃神经元加载到CPU内存中,并预测哪些神经元需要活跃/不活跃。这使得低端GPU即使在有限的GPU内存情况下也能处理AI工作负载,从而有效地使低端GPU在AI推理中更加有用。

还需要注意的是,web3 AI DePINs需要随着时间的推移加强其服务,并提供企业级服务,如单点登录、SOC 2合规、服务级别协议(SLAs)等。这将与当前web2客户享受的云服务相类似。

实际利益三:避免OpenAI自我审查的非审查模型

关于AI审查有很多讨论。例如,土耳其曾暂时禁止OpenAI(后来在OpenAI改善其合规性后改变了立场)。我们认为这种国家级别的审查本质上不那么有趣,因为各国需要接受AI才能保持竞争力。

更有趣的是OpenAI的自我审查。例如,OpenAI不会处理不适合工作的内容,也不会预测下一次总统选举。我们认为,对于那些因政治原因而被OpenAI避而不谈的AI用例,存在一个有趣且巨大的市场。

开源是一个很好的解决方案,因为Github仓库不受制于股东或董事会。例如,Venice.ai承诺保护你的隐私并以非审查的方式运行。关键当然是开源,这提供了支持。web3 AI能够有效提升这一点,通过更低成本的GPU集群来支持这些开源软件(OSS)模型进行推理。这就是为什么我们相信OSS + web3是铺平非审查AI道路的理想组合的原因。

实际利益四:避免将个人可识别信息发送给OpenAI

许多大型企业对其内部企业数据的隐私问题感到担忧。对于这些客户来说,信任像OpenAI这样的集中式第三方处理其数据可能非常困难。

对于web3来说,这些企业可能表面上更为担忧,因为他们的内部数据突然在一个去中心化网络上。然而,AI隐私增强技术的一些创新可以缓解这些担忧:

  • 可信执行环境(TEE),如Super协议
  • 完全同态加密(FHE),如Fhenix.io(由Hack VC管理的基金投资的公司)或Inco Network(两者都由Zama.ai提供支持),以及Bagel的PPML

这些技术仍在发展,性能也在通过即将推出的零知识(ZK)和FHE ASICs不断提高。但长期目标是保护企业数据在微调模型时的安全。随着这些协议的出现,web3可能会成为隐私保护AI计算的更具吸引力的场所。

实际利益五:利用开源模型的最新创新

在过去的几十年里,开源软件(OSS)一直在不断蚕食专有软件的市场份额。我们将大型语言模型(LLM)视为一种成熟的专有软件形式,适合进行开源软件的颠覆。几个值得注意的挑战者包括Llama、RWKV和Mistral.ai。随着时间的推移,这个名单无疑会不断增加(更全面的列表可在Openrouter.ai上找到)。通过利用web3 AI(由开源模型提供支持),可以利用这些新创新。

我们相信,随着时间的推移,结合加密激励机制的全球开源开发团队可以推动开源模型的快速创新,以及在其上构建的代理和框架。例如,Theoriq是一个AI代理协议。Theoriq利用开源模型创建一个可组合的互联AI代理网络,可以组装成更高级的AI解决方案。

我们对此有信心的原因是由于过去的经验:大多数“开发者软件”随着时间的推移慢慢被开源软件超越。微软曾经是一家专有软件公司,现在他们是Github的首要贡献者,这是有原因的。如果你看看Databricks、PostGresSQL、MongoDB等如何颠覆专有数据库,这是一个被开源软件颠覆的整个行业的例子,因此这一先例非常强大。

然而,这确实有一个问题。开源大型语言模型的一个棘手问题是,OpenAI已经开始与组织(如Reddit和纽约时报)签订付费数据许可协议。如果这一趋势继续下去,开源大型语言模型可能由于获取数据的财务障碍而难以竞争。Nvidia可能会加倍努力,通过保密计算作为安全数据共享的推动者。时间将证明这一点将如何发展。

实际利益六:通过高罚款成本的随机抽样或ZK证明达成共识

web3 AI推理的一个挑战是验证。存在验证者通过作弊结果来赚取费用的潜在机会,因此验证推理是一个重要的措施。虽然这种作弊行为还没有实际发生,因为AI推理还处于初期阶段,但除非采取措施来防止这种行为,否则这是不可避免的。

标准的web3方法是让多个验证者重复相同的操作并比较结果。显而易见的挑战是,由于高端Nvidia芯片目前短缺,AI推理非常昂贵。考虑到web3可以通过未充分利用的GPU DePINs提供较低成本的推理,冗余计算会严重削弱web3的价值主张。

一个更有前途的解决方案是对链下AI推理计算执行ZK证明。在这种情况下,可以验证简洁的ZK证明以确定模型是否正确训练,或推理是否正确运行(称为zkML)。例如,Modulus Labs和ZKonduit。这些解决方案的性能仍处于初期阶段,因为ZK操作计算量很大。然而,我们预计随着ZK硬件ASIC的发布,性能可能会有所改善。

更有前途的想法是“乐观”抽样式的AI推理方法。在这种模型中,只验证由验证者生成结果的一小部分,但设置足够高的罚款经济成本,以至于一旦被抓到,验证者作弊将面临强烈的经济惩罚。这种方式可以节省冗余计算(例如,参见Hyperbolic的抽样证明论文)。

另一个有前途的想法是水印和指纹解决方案,如Bagel Network提出的方案。这类似于Amazon Alexa对其数百万设备上的设备内AI模型的质量保证机制。

实际利益七:通过OSS节省费用(OpenAI的利润率)

web3带给AI的下一个机会是降低成本。到目前为止,我们讨论了通过DePINs节省GPU成本。但web3还提供了节省集中式web2 AI服务(例如,OpenAI,截至撰写本文时年收入超过10亿美元)的利润率的机会。这些成本节省来自于使用开源模型而不是专有模型的额外节省层,因为模型创建者不试图盈利。

许多开源模型将保持完全免费,这为客户提供了最佳的经济效益。但也可能有一些开源模型尝试这些货币化方法。考虑到Hugging Face上只有4%的模型由公司训练,并有预算来帮助补贴模型(参见此处)。其余96%的模型由社区训练。这一部分——96%的Hugging Face——有基本的真实成本(包括计算成本和数据成本)。因此,这些模型将需要以某种方式进行货币化。

总之,web3通过高罚款成本的随机抽样或ZK证明达成共识、利用开源模型的最新创新、降低GPU使用成本、保护企业数据隐私等多种方式为AI领域带来了实际利益和发展潜力。随着这些技术和方法的不断进步和成熟,web3与AI的结合将进一步释放其潜在价值。

有许多提议用于实现开源软件(OSS)模型的货币化。其中最有趣的概念之一是“初始模型发行”(IMO),即将模型本身代币化,保留一部分代币给团队,并将未来的部分收入流向代币持有者,尽管这里显然存在一些法律和监管障碍。

其他OSS模型将尝试通过使用量来货币化。如果实现了这一点,OSS模型可能会越来越像其web2的盈利对手。但实际上,市场将会分化,部分模型仍将完全免费。

实际利益八:去中心化的数据来源

AI面临的最大挑战之一是寻找合适的数据来训练模型。我们之前提到去中心化AI训练有其挑战。但使用去中心化网络来获取数据(然后可以在其他地方甚至传统的web2场所进行训练)呢?

这正是Grass等初创公司所做的事情。Grass是一个去中心化的“数据抓取者”网络,个体贡献其机器的闲置处理能力来获取数据,以便为AI模型的训练提供信息。假设在大规模运行下,这种数据获取可以优于任何一家公司内部的数据获取努力,因为大量激励节点网络的强大力量。这不仅包括获取更多数据,还包括更频繁地获取数据,使数据更相关和最新。由于去中心化的数据抓取者军队本质上是分散的,不在单一IP地址内,因此几乎不可能阻止它们。它们还拥有一个人类网络,可以清理和规范数据,使其在被抓取后变得有用。

一旦有了数据,还需要一个地方在链上存储这些数据,以及使用这些数据生成的大型语言模型(LLM)。0g.AI是这一领域的早期领导者。它是一个为AI优化的高性能web3存储解决方案,成本显著低于AWS(这是web3 AI的另一个经济胜利),同时也作为Layer 2s、AI等的数据可用性基础设施。

他们的世界的未来可能会走向一个新的范式——“实时”数据。 这个概念是,当法学硕士被问到推理问题时,法学硕士可以将数据迅速注入到法学硕士中,这些数据是从互联网实时收集的。 通过这种方式,法学硕士可以使用尽可能最新的数据。 Grass也在研究这个。

需要注意的是,未来数据在web3 AI中的角色可能会发生变化。今天,大型语言模型(LLMs)的现状是通过数据进行预训练,并随着时间的推移通过更多数据进行优化。然而,这些模型总是略显过时,因为互联网数据是实时变化的。因此,LLM推理的响应可能会稍有不准确。

未来的发展方向可能是一种新范式——“实时”数据。其概念是,当LLM被问及推理问题时,该LLM可以通过提示注入实时从互联网上收集的数据。这样,LLM使用的是最为最新的数据。Grass也在研究这一方向。

结论

我们希望这能在你思考web3 AI的承诺与现实时提供有用的分析。这只是对话的起点,随着环境的快速变化,请随时发表你的观点,因为我们希望继续学习和共同建设。

致谢

特别感谢Albert Castellana、Jasper Zhang、Vassilis Tziokas、Bidhan Roy、Rezo、Vincent Weisser、Shashank Yadav、Ali Husain、Nukri Basharuli、Emad Mostaque、David Minarsch、Tommy Shaughnessy、Michael Heinrich、Keccak Wong、Marc Weinstein、Phillip Bonello、Jeff Amico、Ejaaz Ahamadeen、Evan Feng和JW Wang对本文的反馈和贡献。

此处的信息仅供一般参考,不构成投资建议,也不应用于任何投资决策的评估。此类信息不应被用作会计、法律、税务、商业、投资或其他相关建议的依据。你应咨询你自己的顾问,包括你的法律顾问,获取会计、法律、税务、商业、投资或其他相关建议,包括与本文讨论的内容相关的建议。

本文反映了作者当前的意见,并不代表Hack VC或其关联公司的意见,包括任何由Hack VC管理的基金,也不一定反映Hack VC、其关联公司(包括其普通合伙人关联公司)或与Hack VC相关的任何其他个人的意见。本文包含的某些信息已从公开来源获得和/或由第三方准备,在某些情况下没有更新至本文日期。虽然这些来源被认为是可靠的,但Hack VC及其关联公司(包括其普通合伙人关联公司)或与Hack VC相关的任何其他个人并不对其准确性或完整性做出陈述,也不应依赖这些信息作为会计、法律、税务、商业、投资或其他决策的依据。本文不声称是完整的,可能会有所变化,Hack VC没有义务更新这些信息或在这些信息变得不准确时发出任何通知。

过去的表现不一定代表未来的结果。本文中所做的任何前瞻性陈述均基于作者在其经验和对历史趋势、当前状况和预期未来发展的认识,以及他认为在特定情况下适当的其他因素所做的某些假设和分析。此类陈述不保证未来的表现,并受到某些难以预测的风险、不确定性和假设的影响。

声明:

  1. 本文转载自[黑客VC],原标题《AI x Crypto - Promises and Realities》,版权归原创所有作者 [Ed Roman,Hack VC 执行合伙人],如对转载有异议,请联系Gate Learn团队,团队将尽快按照相关流程进行处理。

  2. 免责声明:本文所表达的观点和意见仅代表作者个人观点,不构成任何投资建议。

  3. 文章的其他语言版本由 Gate Learn 团队翻译,文中未提及Gate.io,翻译的文章不得转载、分发或抄袭。

即刻开始交易
注册并交易即可获得
$100
和价值
$5500
理财体验金奖励!
It seems that you are attempting to access our services from a Restricted Location where Gate is unable to provide services. We apologize for any inconvenience this may cause. Currently, the Restricted Locations include but not limited to: the United States of America, Canada, Cambodia, Thailand, Cuba, Iran, North Korea and so on. For more information regarding the Restricted Locations, please refer to the User Agreement. Should you have any other questions, please contact our Customer Support Team.