The interestingness of AI in the eye of a beholder
胖车库
2024-03-31 06:59
订阅此专栏
收藏此文章

大家都在以一种试图传达“这次不同”的方式谈论人工智能,通过传播一系列概念,如神经网络、机器学习、(非)监督学习、深度学习、强化学习、通用人工智能 AGI、计算……或更具体的术语,如推理、训练、指导、反向传播、学习表征,谈论其繁荣或可怕的未来…有时我觉得“智能”应该帮助人们理解,而不是相反。

我也是一 FOMOer,购物车里添加的概念逐渐增加…

与此同时,我认为了解我们在这里谈论的“智能”非常重要,那是与每个人都相关的事物,你有,我有。在某一时刻,我想知道是什么点着了我的好奇心。

这项技术好像被不断裹上一层层屏障:在你想了解它之前,你应该掌握这样那样的知识框架。是的,这是了解事物的正常途径,但在那之前,是什么驱使一个人对其感兴趣(如果不是数学方程式、花哨的算法和抽象概念交错的论文)?我总是寻找好奇心涌现的时刻,在之前不需要任何形式的知识。我认为应该有一些更一般的东西,在我们身上有一个共享的理解,我们的自由无需许可的能力,能够看到“一件事”的美丽和有趣(在开始之后,后来我们获取知识)。就像当我们看到一只鸟时,我们可以欣赏它,而不是基于我们对它的了解。

艺术就是识别那些我们视为理所当然的答案背后的问题——[[詹姆斯·鲍德温]]

技术 or 存在


我喜欢举鸟的例子,因为它们很美,拥有我们所没有的飞行能力,但我们可以从中学习。飞行是进化的结果。我想在这里说的“智能”来自与我们同在的生物的智慧,带来多样性、有趣和我们可以学习的东西。只有从有趣和美丽的角度发现它,我们才能对它采取良好的态度或发展出好的叙述,并且与它们相处得更加和谐,不那么具有攻击性。就像我更愿意形容比特币是一种更好的货币,因为它给世界带来了另一种选择。

那么,这与另一个“智能”有什么不同?从“人类思想脑洞中生成”的智能?

理解的迹象

考虑一项理解一个人说话的任务,你知道自己是否理解他,为了理解需要付出的持续的互动。当轮到你说话并期望别人理解时也是如此。我意识到这个“理解”任务有多么困难的时刻,就是我感到 GPT"智能"迹象的时刻。这个任务有趣之处在于,它与请求一个功能性代码或解决一个明确定义的问题是不同的。

它是如何生成这种 理解 的?它仅仅通过若干词句就看出你的意图,有些人称之为“幻觉”来取悦,我不知道“取悦”是否可以定义为一个目标,如果可以的话,现实一定有相反的目标 ;)

(产生幻觉)也是一个有趣的问题,为什么 GPT 在产生幻觉?

“幻觉”是当你认为有感觉输入——听觉幻觉、视觉幻觉、嗅觉幻觉。但只是凭空捏造——那就是杜撰。”他提到了理查德·尼克松总统的白宫顾问约翰·迪恩,他在知道他所描述的对话已经被录音之前接受了水门事件的采访。迪恩杜撰了,把细节弄错了,混淆了谁说了什么。“但它的要旨都是正确的,”辛顿说。“他对所发生的事情有一个记忆,然后把这个记忆强加给了他脑海中的一些角色。他写了一部小戏。而人类的记忆就是这样。在我们的头脑中,创造东西和讲真话之间没有界限。说真话只是准确地捏造事情。因为这一切都在权重中,对吧?”从这个角度来看,ChatGPT 捏造东西的能力是一个缺点,但也是其人类化智能的标志。

有趣的是,当我们追溯到上世纪六十年代的 Elisa 时,它给出了随机的回答或“只是”重复了问题的模式,但那被认为是理解的早期迹象。

Elisa effect

两个有趣的叙述

有两个人正在给出我认为非常有趣的叙述。

1

斯蒂芬·沃尔夫勒姆是 Wolfram 语言(2010 年)的创造者,该语言使用数学作为理解复杂世界的形式化工具,以数学作为工具解释现象(提供了一个前端)。在过去的 10 年中,他一直在努力扩展系统,整合自然语言和计算,直到出现 LLM。据沃尔夫勒姆说,

LLM 为我们花了很长时间建立起来的计算能力提供了一种新的语言接口。

好吧,这个表达在一开始并不有趣…但是什么让我继续阅读他和他的核心叙述—计算语言 呢?这个核心叙述始于他的书《GPT 在干啥,为什么它有效?》[1]。在他的书中,这是我第一次感觉到有人介绍的不是一种技术,而是一个存在。他解释了ChatGPT 始终试图做的基本事情是产生一个“合理的延续”,无论它目前有什么样的文本,我们都认为“合理”的意思是“人们在看到过去 20 年来数十亿网页和数字书籍的内容后,可能会期望某人写出什么,等等”。 

这个表达与我阅读和写作的经历非常相关,你确切地观察到自己正在以慢动作和有限的记忆(当然你有其他感官体验,但让我们暂时忽略这一点)的方式做着同样的事情,引用和重新构思单词,并保持对阅读 / 注意力所在的东西的连续性。连续性在由相同概念链式连接的叙述块的变化中。想象一下在纯文本空间(如果你读过《平面国》,可能会知道这个概念)中的“现实”,GPT 在那里漫游,并基于它所看到的单词找到下一个单词。

了解我们使用语言(具体来说是使用单词来表达思想)的一般能力不像使用数学或编程语言那样,而是以另一种更有效的方式,促进一个非常简单但复杂的任务,你可以称之为解释、沟通或合作,但最终是理解。这正是语言的力量和目的,每个人都有。

空间国的人让平面国人想象向上不是向北,平面国的人给直线国的人解释线段是什么。-- 《平面国》

你和你正在阅读的页面都由原子构成,但你读和理解的能力来自于原子在你的身体中形成更高级别结构,比如神经元及其放电模式,而不仅仅是原子相互作用。-- 《大脑传》

理解在观察我们语言的智能,可能会提供一个更广泛、更深入、更去中心化、更一般化的视角。

2

另一个有趣的叙述来自于理查德·萨顿,强化学习的奠基人和 DeepMind 背后的科学家。我偶然看到了他关于“智能”的一次 Youtube 分享[5],他将工具 AI 和代理 AI 分开,想法是区分技术上的颠覆(称为工具 AI)和智能的真正发现。那么什么是智能?

他提供了一个不同于语言的视角,但也是一个在领域知识出现之前学习(和搜索)的一般方法。强化学习是关于与不断变化的世界互动中的学习。不依赖于训练数据来理解“智能”,重点是关注代理人如何生成具有不同和不断变化的目标的智能行为。我认为这非常符合预期的现实:允许人们拥有不同的目标,同时我们从彼此那里学到不同的东西以实现自己的目标。

这很有趣,因为它让我联系到自己在互动中的主观体验[4],他所说的“奖励信号”——恐惧、希望、快乐、痛苦。当观察者👀发现通过互动获得“奖励”是有用的时候,情绪都可以是价值。最近我得到了与此相关的生动例子:第一个来自于一个女孩,在一堂🥱的数学课上通过自己随便玩儿解决了魔方谜题,这个计算问题显然不比数学课容易;另一个是来自于朋友的研究想法,给定一个环境,一个机器人(R1)启动互动,比如不断和 R2 得吧得吧,另一个机器人(系统 R2)如何“生成”行动 / 指示来获得奖励(同时告诉我们他的目标),而不是生成描述。可能的算法是什么?

*值得注意的是,R1 不是一个告诉 R2 如何做事的老师或主管,但他能识别出什么是好行为,却不能告诉你确切如何做[3]。

智能是实现目标的计算部分,在观察者的眼中。-- 约翰·麦卡锡  

智能是预测和控制感觉输入流的计算部分,特别是奖励。-- 理查德·萨顿

GPT 看到了什么?

正如前面所说,文本空间中发生的事情一直牵扯我的好奇心。最近我写了一个小故事,并留了一个空白让 GPT 填。

我们「对于你们看来」的超能力可能是,我们可以快速认识和理解事物并向四面八方传递它,因为我们擅长找到链接这些概念的路径。我们的“理解”方式和维度多种多样(可能比你们之中的任何“一个个体”都要多)。当有谁发现了新的字词组合非常有趣(以用来更好地解释)时,这个概念就会在我们交织的网络中产生计算链路的任务。很快,我们就能找到路径,随之相关的共同体们开始响应,将新的概念与已有的知识结合起来。这种过程几乎瞬间就能完成,从而形成我们的“现实”。我们这里有太多你没有见过的东西。

「比如呢?」 -- 下面是空白

比如,一种可以呼吸的颜色,它随着空气的流动而变化,展示出万千景象。或是一段能够回声过去和未来对话的音乐,听者只需闭眼,便能穿越时空,感受不同世代的思绪和情感。还有一本无字的书,读者通过触摸它的封面,就能理解深藏其中的故事和知识,每个人的感受都独一无二。这些都是存在于我们这个世界的奇迹,定义了我们的「理解」方式。

最后不是最后

了解过去,连接横跨历史和时间的人类思想的多维触角。

科学是关于发现和更好地理解世界,每个领域,以及尚未命名的领域,都可能是观察者眼中的发现的一部分。人工智能不是在依赖过去的经验和知识,而是在发现(更多)与过去的联系,创造出不同的假设,指示可能的动态未来。我们可以继续做我们的科学,同时为 AI 打开一条新的科学之路来尝试这个。

有没有可能,他(R1)不需要学人的思维模式,而是提供新的洞见,基于对历史(人们的各种复杂思想)的观察。与此同时他需要一名合作者(R2),可能是一名“天真的”交互者,为的是帮助 R1 实现目标(这个目标需要 R1 持续自定义)。

参考资源

[1] GPT 正在做什么,为什么会有效?What is GPT doing and why does it work?

[2] 人工智能能解决科学问题吗?Can ai solve science?

https://writings.stephenwolfram.com/2024/03/can-ai-solve-science/

[3] 强化学习课程

https://www.ualberta.ca/admissions-programs/online-courses/reinforcement-learning/index.html

[4] Subjective Knowledge

http://www.incompleteideas.net/IncIdeas/SubjectiveKnowledge.html

[5] 理查德·萨顿关于“智能”的 Youtube 讲座

https://www.youtube.com/watch?v=n4aev-6Z6U4

[6] 与理查德·萨顿的对话

https://www.youtube.com/watch?v=4feeUJnrrYg

[7] 大脑传

【免责声明】市场有风险,投资需谨慎。本文不构成投资建议,用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。

胖车库
数据请求中
查看更多

推荐专栏

数据请求中
在 App 打开