区块链能给 AI 提供独特的基础设施,AI 也是改变 Web3 生产关系的重要工具,两者互相成就。
撰文:yihan,Foresight Ventures
通过这篇文章你可以了解:
开发者对基础设施建设的疯狂执着和各种 rollup 解决方案的更新迭代确实让原本落后的 web3 计算能力实现了突破,这也为 AI 上链提供了可能性,但你可能想说与其大费周章地实现链上 AI,直接在链下运行模型似乎也能满足大部分需求,而事实上现在几乎所有的 AI 模型都是以黑盒、中心化的模式在运行,并且同样在各个领域创造了无法替代的价值。
主流的理解是通过区块链让 AI 模型 transparent + verifiable
再具体一点,AI 上链意味着人工智能模型的 complete verification,也就是说一个模型需要向全网(用户或验证者)公开以下三点:
当满足以上条件时,整个模型执行的过程是具备确定性的且不再是黑盒操作,任何人都可以在链上对模型的输入和结果进行验证,从而防止模型拥有者或者相关权限人对模型进行操纵。
AI 与 blockchain 结合的意义不在于替代中心化的 Web2 人工智能的运作模式,而是:
想象一下 web3 的应用场景:
……
但是, 这些应用都是通过 AI 对已有的功能在效率或者用户体验上的进一步改善。
AI 能创在的价值从来都不仅是 99 到 100 的优化,真正让我兴奋的,是从 0 到 1 的全新应用,一些只有通过 transparent + verifiable 的链上模型才能实现的 use case。不过这些「令人兴奋的」use case 目前主要靠想象力,没有成熟的应用,先来开几个脑洞:
……
基于链上 AI 的新的产品形态基本可以总结为将去中心化和 trustless 的主体从人变为 AI 工具,这也符合传统世界生产力的进化过程,最开始是在人这个主体上下功夫,不断升级提升人效,到后面通过智能工具替代人,在安全性和效率上颠覆原有的产品设计。
其中最关键的、也是以上一切的前提,是通过区块链实现 AI 的transparent + verifiable。
区块链作为一个现象级的技术创新,不可能仅仅停留在原始阶段。流量和经济模型很重要,但用户不会一直停留在追捧流量或花费大量资源做 X to earn,web3 也不会因此 onboard 下一波新用户。但有一件事的确定性是很强的:web3 世界生产力和价值的革命一定来自 AI 的加入。
我觉得大致分成下面三个阶段
上面的讨论都是通过 AI 与区块链的结合 bottom up 地发掘应用场景,换个思路 top down 地看待 AI + blockchain,AI 会不会重溯区块链本身?AI + blockchain = 自适应的区块链
一些公链会率先融合链上 AI,从公链的层面转变为一种自适应的,自身发展方向不再依赖项目基金会决策而是基于庞大数据进行决策、自动化水平远超传统区块链的形态,从而从当前多链繁荣的格局中脱颖而出。
在 verifiable + transparent 的 AI 加持下,blockchain 的自调节体现在哪里,可以参考 modulus lab 提到的几个例子:
从另一个角度看,zkrollup 不断迭代优化,但是始终缺乏一个真正只能在 zk 生态上跑的应用,ZKML 恰好符合这一点,并且想象空间也足够大。ZK-rollup 未来很可能作为 AI 进入 web3 的入口从而创造更大价值,两者互相成就。
基础设施和 ZK 无疑是 web3 最疯狂内卷的赛道,各种 ZK 项目在电路优化和算法升级上下足了功夫,不管是对多层网络的探索,或者是对模块化区块链以及 data availability layer 的开发,还是进一步将 rollup 做成定制化的服务,甚至硬件加速……这些尝试都在将区块链的可扩展性、成本、算力推向下一个阶段。
AI + blockchain 听上去不错,但具体怎么个加法?
一种做法是通过 ZK proof system。比如针对 machine learning 做一个定制化的电路,链下电路生成 witness 的过程就是模型执行的过程,对模型预测的过程生成 proof(其中包括模型参数和 input),任何人都可以在链上验证 proof。
AI 模型还是在高效的集群上执行,甚至搞点硬件加速进一步提升计算速度,在最大化利用算力的同时确保没有中心化的人或者机构可以从中篡改或干涉模型,也就是确保:
模型预测结果的确定性 = 可验证的(input + 模型架构 + 参数)
根据以上做法,可以进一步推断哪些 infra 对 AI 上链至关重要:
补充:
大模型的基础是 GPU,没有高并行的支持,大模型的效率将会非常低,也就无法运行。因此,对于一个链上的 zk 生态:
GPU 友好 = AI 友好
拿 Starknet 举例,Cario 只能在 CPU 上跑,因此只能部署一些小的决策树模型,长期来看并不利好大模型的部署。
ZK Proof 的生成速度和内存使用情况至关重要,一个关系到用户体验和可行性,一个关系到成本和天花板。
现在的 zkp system 够用吗?
够用,但不够好…
Modulus lab 在文章「The Cost of Intelligence: Proving Machine Learning Inference with Zero-Knowledge」非常详细的分析了模型和算力的具体情况。有空可以读一读这篇 ZKML 届的「零号文献 -paper0」:https://drive.google.com/file/d/1tylpowpaqcOhKQtYolPlqvx6R2Gv4IzE/view
以下是 paper0 中提到的不同证明系统
基于以上 zk 算法,modulus lab 分别从时间消耗和内存占用两个维度出发进行测试,并且在这两个维度中分别控制了参数和层数两个核心变量。以下是 benchmark suites,这样的设计也可以大致覆盖从 LeNet5 的 60k 参数量,0.5MFLOPs,到 ResNet-34 的 22M 参数量, 3.77 GFLOPs。
时间消耗的测试结果:
内存占用的测试结果:
基于以上数据,整体看目前的 zk 算法以及具备支持对大模型生成 proof 的可能性,但相应的成本依旧很高,需要甚至 10 倍以上的优化。以 Gloth16 为例,虽然受益于高并发带来的 computation time 的优化,但是作为 tradeoff 内存占用显著增加。Plonky2 和 zkCNN 在时间和空间上的表现同样验证了这一点。
那么现在问题其实就从 zkp system 是否可以支持链上 AI 转变为了支持 AI+Blockchain 付出代价值不值? 并且随着模型参数的指数级上升,对 proof system 的压力也会迅速增加。确实,现在有 trustless 的神经网络吗,没有!就是因为成本算不过来。
因此,打造一个为 AI 定制化的 proof system 至关重要。同时,实现对 AI 这种单次调用计算十分复杂的逻辑,gas 的消耗模型也需重新设计,一个高性能的 zkvm 至关重要,但现在我们已经能看到很多高性能的尝试,比如 OlaVM, polygon Miden 等,这些基础设施的不断优化极大提升了 onchain-AI 的可行性。
尽管链上 AI 还在很早期阶段,用上面的分层来看可能只处于起始到发展之间,但 AI 这个方向从不缺乏优秀的团队和创新的想法。
就像上面说的,从 AI + Blockchain 发展阶段看现在市场处于起始到发展的中间阶段,产品尝试方向还是以基于现有功能对用户体验优化为主。但最能体现价值的还是通过 AI 在链上将 trustless 的主体由人变为工具,在安全性和效率上颠覆原有的产品形态。
下面从一些现有的应用尝试出发,分析一下 AI + Blockchain 长期的产品发展方向
Rockefeller 是 modulus lab 团队推出的第一个链上 AI 的产品,有很强的「纪念价值」。这个模型本质上是一个 trading bot,具体来说,rockefeller 的训练数据是大量链上公开的 WEth-USDC 的 price/exchange rate,其本身是一个三层前馈经网络模型,预测目标是未来 WEth 价格涨跌。
以下是当 trading bot 决策要进行交易时的流程:
可以看出 trading bot 的预测、资金操作完全是去中心化且 trustless 的,就像上面提到的,从更高维度看 rockefeller 更像是一种全新的 Defi 玩法。相比于信任其他 trader,这种模式下其实用户赌的是 transparent + verifiable + autonomous 的模型。用户可以不需要信任中心化的机构确保模型决策过程的合法性。同时,AI 也能最大程度上的消除人性的影响,更果断地进行交易。
你可能已经想给 Rockefeller 注点资金玩一玩了,但这真的能赚钱吗?
并不能, 按照 modulus 团队的说法,与其说 rockefeller 是一个应用,他更像是 on-chain AI 的 POC,由于成本、效率、证明系统等多方面的限制,rockefeller 的主要目的是作为一个 demo 让 web3 世界看到 on-chain AI 的可行性。(Rockefeller 已经完成任务下线 T T)
最近发布的 Leela v.s. the world 同样是出自 modulus lab。游戏机制很简单,人类玩家组成阵营对战 AI。游戏中玩家可以质押下注,最终谁会赢得对局,每次 match 结束后 loser’s pool 会根据质押代币的数量相应地分配给 winner。
说到 on-chain AI,这次 modulus lab 部署了一个更大的 deep neural network(Parameter 数量 > 3,700,000)。虽然在模型规模和产品内容上 Leela 都超越了 rockefeller,但归根结底这还是一次大型的 on-chain AI experiment。Leela 的背后的机制和运行模式才是需要关注的,这能帮我们更好地理解链上 AI 的运行模式和改善空间,以下是官方给出的逻辑图:
Leela 的每一次 move,也就是每次预测,都会生成 ZKP,并且只有在经过合约验证之后才会在游戏内生效。也就是说,受益于 trustless autonomous AI,用户下注的资金和公平性完全受到密码学的保护还不需要信任游戏开发者。
Leela 采用的是 Halo2 算法,主要原因是它的工具和设计的灵活性可以帮助设计更高效的证明体系,具体 performance 情况可以参考上面的测试数据。但同时在 Leela 的运行中 modulus 团队也发现了 Halo2 的弊端,比如生成证明的速度较慢,对 one-shot proving 不友好等。因此,也更加印证了之前基于测试数据得出的结论:如果需要将更大的模型带入 web3,我们需要开发更强大的 proof system。
不过 Leela 的价值在于给我们带来了 AI + Web3 game 更大的想象空间,王者荣耀玩家此刻应该无比希望王者匹配算法 fully on-chain:) Gamefi 需要更优质的内容支撑和更公平的游戏体系,而 on-chain AI 恰好提供了这一点。打个比方,在游戏中加入 AI-driven 的游戏场景或者 NPC,不管是玩家的游戏体验还是经济体系的玩法都提供了巨大的想象空间。
Worldcoin 是一个链上身份体系 (Privacy-Preserving Proof-of-Personhood Protocol),通过生物识别建立身份体系并实现支付等衍生功能,解决的问题是对抗女巫攻击,现在的注册用户超过了 1.4m。
用户通过一个叫 Orb 的硬件扫描虹膜,将个人信息添加到数据库中,Worldcoin 通过 Orb 硬件中的计算环境运行 CNN 模型压缩并证实用户虹膜数据的有效性。听上去很强,但如果需要做到身份验证的真正去中心化,worldcoin 团队正在探索通过 ZKP 验证模型的输出。
挑战
值得一提的是,worldcoin 的 CNN 模型的 size:参数=1.8 million,层数=50。基于上面展示的测试数据,现有的 proof system 在时间上完全可以胜任,但内存消耗对于消费级的硬件来说是不可能完成的。
Reference
https://worldcoin.org/blog/engineering/intro-to-zkml
https://medium.com/coinmonks/chapter-1-how-to-put-your-ai-on-chain-8af2db013c6b
https://medium.com/@ModulusLabs/chapter-2-why-put-your-ai-on-chain-33b7625147b7
https://medium.com/@ModulusLabs/chapter-3-the-worlds-first-on-chain-ai-trading-bot-c387afe8316c
https://medium.com/@ModulusLabs/chapter-4-blockchains-that-self-improve-e9716c041f36
https://medium.com/@ModulusLabs/chapter-4-5-trustless-ai-for-living-breathing-games-cc9f24080e30
https://medium.com/@ModulusLabs/chapter-5-the-cost-of-intelligence-da26dbf93307
https://medium.com/@ModulusLabs/chapter-6-leela-vs-the-world-the-worlds-1st-on-chain-ai-game-17ea299a06b6
https://drive.google.com/file/d/1tylpowpaqcOhKQtYolPlqvx6R2Gv4IzE/view
https://medium.com/@danieldkang/trustless-verification-of-machine-learning-6f648fd8ba88
【免责声明】市场有风险,投资需谨慎。本文不构成投资建议,用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。