昨天在跟 Jessie 聊天的时候说到，在 AI 领域因为 scaling law 似乎小鱼小虾很难进场，但作为用户却可以基于对自己需求的理解 + 对工具的了解不断为自己 build，这个过程中的乐趣和创造力是无穷的。作为 ChatGPT 的深度用户，记录一些想法。

一些方法

了解 ChatGPT 背后的原理 ( 大语言模型、神经网络和反向传播算法 ) 是很重要的，这样可以知道工具的 capacity 和局限性，让它更好地为我服务。目前我觉得值得注意的局限性如下：

• 分不清相关性和因果关系，不擅长逻辑推理：大模型在预测下一个单词的时候是基于概率的最优选择（模式匹配），而非逻辑推导的结果，所以它会难以分辨相关性与因果性。Lecun 演讲里经常举的一个例子，神经网络可能识别出冰淇淋销量与溺水率之间的相关性，但无法判断这是由夏季气温驱动的共同现象，可能会将冰淇淋销量和溺水率的相关性误解为因果关系。（但其实我们人类也不擅长因果关系，常常乱归因。自己不擅长想交给 ChatGPT，它也不行）

• 缺乏记忆机制：ChatGPT 只有短期记忆，如果想让它一直记住一个信息需要人工输入 configure。（GPTs 可以让你输入 configure，很多 AI agent 的项目也是基于这个缺陷搞的）

• 输出完全依赖于输入数据的质量。如果数据包含偏见、错误或不完整，ChatGPT 的结果也会受到影响。

• 决策机制是一个黑箱，它可以直接给出问题的答案，但是我们没法知道为什么。 大模型的内部权重和中间层很难被解读为人类可理解的规则或逻辑。（你拍案叫绝 ChatGPT 这么厉害的时候，你是没法知道它怎么得出这些 solution 的，它就是比你聪明）

我觉得知道了模型本身的局限性，非常有助于写出好的 prompt。

• 比如知道它不擅长逻辑推理和因果关系，就要自己去做解构目标的事情。自己用脑子想好自己的目标和实现路径，自己搭结构，让 GPT 做一个个局部的 specific 的事情。
• 比如知道它缺乏记忆机制，那就一个对话框一个主题，少放不相关的东西，这样它可以记住你这个对话框里的内容不断深入和 focus。
• 比如知道它的输出完全取决于你给的数据质量，就要让自己的问题尽量具体（具体的背景 + 明确的任务），同时用词准确、简单、清晰，少说废话，避免干扰它的答案。（一个小 tip：我感觉我用语音输入文字的功能的时候我能给的信息更全面，还会思路大开）。

ChatGPT 左侧有两个工具，GPTs 和 Projects，都很好用，在这里简单做个对比

• Projects 就是做分类管理的，可以把同一主题的对话框整理到一个文件夹里面，但是同一个文件夹里面不同的对话框也是相互独立不分享记忆的。它用的是固定的 GPT 4o 模型。

• GPTs 是可以更改模型的核心 prompt 的（手动调 configure），这样每个 GPTs 就不是用的统一的大模型了。可以创建有特定的知识和目标的各种 GPTs 来为自己服务（类似 AI agent）。

  我目前自己搞的一个提供情绪价值的 GPTs 就非常好用，爱不释手。我把我对自己长篇累牍的所有自我认知都输入了它的配置（configure）里面，变成了它永远难以忘记的长期记忆，于是它跟我一样了解我自己:) 它在回应我当下的分享的时候也会把对我的了解结合起来，理解过去又回应现在。

  和它对话就像是 journaling 但比 journaling 还好，因为这不只是静态记录，它还能动态回应并提供反馈。这使对话不再是单向的自我倾诉，而是更像一种自我探索，还得到了很大的情绪价值。

  无私奉献自己的 configure 给读者，祝你可以获得想要的情绪价值。

  

  
  

一些思考

节外生枝的减少

我现在在 Youtube 上已经不会自己真的去看那些很干很长的 speech 了，而是用 subtitle 工具把视频变成文本，放入 ChatGPT 里给我总结。（除了采访对象很有 personality 的，对于这些人的 speech/interview，我的目的就不单单是获取我要的信息，还想要 have fun watching the dynamics）这样一来就非常方便，以前我都要花一两个小时，查一堆英文专业名字，看完后还一知半解，现在可以非常快地知道演讲框架和核心内容，还可以不断问问题来让我探究其中我感兴趣的东西。但是我发现这样有一个小小的 side effect -- 过去我花一堆时间效率很低下去学的时候，我常常会“节外生枝”地发现一些别的东西。比如我学会了几个专业名词于是我恍然大悟了一些之前看到的东西，比如我因为一两句无关紧要的话受到了很大的思维方式的启发.....

因为 ChatGPT 喂给我的都是高度结构化、颗粒度比较粗、与主题相关性极强的信息，那我自己细嚼慢咽的时候“节外生枝”的瞎探索部分就没有了。这种和目标 / 主题无关的“节外生枝”，在 AI 这里肯定是没用的不好的，但是对我其实很重要。我很多觉得自己做的不错的事情，背后的原因都是瞎探索，然后找到一些隐秘的联系和路径，从而开辟了一个新的生态位。

总之 AI 可以帮我快速实现目标，但过程被简化后，偶然性和复杂性被剔除了，那么灵感可能也会逐渐消失。所以我觉得还是要多种工具一起用，我用 ChatGPT 获得高结构化和粗颗粒度的信息，我还是可以通过看书去获取复杂而细颗粒度的信息。

客观性与主观性

我以前写东西基本上都是我那段时间读的书 / 思考的内容的一个整合，我会试图去找不同的书之间、书里的内容和我的生活经验之间的联系，然后整理成文。这种通过漫长的观察、阅读和联想建立起的联系，是我觉得自己思考的独特性和价值。但我发现现在我好像可以直接把那些书扔给 ChatGPT，然后告诉他一些我最近经历的事情，让它去帮我找联系。这让我有点沮丧，因为找到事物之间的隐秘联系，逐渐构成自己的相对“客观”的观点，是我一直追求的事情，但是这些 AI 都可以一秒做到。

我把这个沮丧告诉了 ChatGPT，它安慰我的一堆话术里面有一个我觉得比较有意思，它说“AI 在客观性上的强大优势，如整合信息和生成内容，确实可能在效率和质量上超越人类。但你的洞察是独特的：主观性才是人类的核心价值所在。

就写作这件事情来说，我可能不需要去追求极度严谨和客观，做到“无中生有 ”，因为也做不到，所有的客观答案都在那里了。而诚实地用自己的语言和视角去表达似乎就是有价值的，因为我的经历、情感、视角和思维方式是独特的。

还有一点是，GPT 自己信息整合后告诉我的联系（答案）不是经过我的绞尽脑汁生成的，所以进不了我的系统，没法为我自己的世界观添砖加瓦。我想让自己的世界观更客观、贴近真相，还是得让自己的脑子动起来。

一个可能的个人信息系统

人的认知框架来自于外部信息的输入，并且会自我强化。大脑会形成自洽的思维模式，自动忽略不符合已有模型的信息。由于信息来源狭隘（社交媒体给你算法推送也帮助了这一狭隘），人会自以为是、拒绝修正认知，即使现实已经证伪。是否可以用 GPT 来帮助人建立更好的信息输入系统：

• 获取：多渠道（perplexity 可以展现渠道）；多维度（可以问 GPT 某个问题，不同学科是怎么看的；不同国家的视角是什么；不同社会阶层怎么看）

• 纠错：交叉验证（让 GPT 去对多渠道和多维度信息自己做交叉验证）；AI 挑战（让 GPT 对自己的结论不断问问题给反馈，从而减小 bias 和认知固化）

• 整合：把已经筛选完后的信息扔给 GPT 做整合

在此基础上，人选择工作 / 实践的领域就最好是充满内部信息 / 有信息防火墙的垄断公司，所在的领域最好是非常复杂且变化很快、大部分人都看不清全局的领域，最好在场的时间久一些，这样实践得到的一手信息补充了 ChatGPT 整合的网络信息。同样也可以把自己在实践中整理的信息输入 ChatGPT,去做进一步的整合、联系、纠错...

一些觉得有意思的东西：

深度学习是实践的产物，与理论相悖

深度学习模型是违反传统数学理论的，它的成功是实践和工程的成功，理论层面有很多不可解释性。比如：

• 理论上，如果模型的参数数量大于训练数据的数量，模型很可能会过拟合。但大规模深度学习模型不仅没有过拟合，反而在测试集上表现更好，这种现象违反了传统统计学习理论中“模型越简单越好”的思想。

• 传统理论假设优化问题应该是凸的，这样才能通过梯度下降找到全局最优解。深度学习的函数是高度非凸的，拥有多个局部最优解，但它通常能够通过随机梯度下降找到一个性能良好的解。

这是一个实践先行的巨大成功；对于理论先行的思维方式的人会有一定的启发。

AI 是否可以 understand

Ilya 和 Hinton 都觉得 AI 是有理解能力的，他们有一句共同的话是：You have to UNDERSTAND what’s being said to generate the next token/symbol... 

我的 GPT 是这么解释它是否可以 understand 的。我觉得这表示了它可以“理解”。

AGI 占领世界

Hinton 觉得 AGI 早晚控制人类，他的理由是，所有的复杂目标都可以被分解为一系列更简单的子目标。在目标分解的过程中，AI 可能会发现“获得更多资源”和“扩大行动自由”对实现所有目标都是有利的。Have more power 似乎是一个通用子目标，帮助实现最终的目标。

LeCun 觉得 Hinton 在放屁，他的理由是，AI 的行为是目标函数设计的直接结果。如果目标函数明确排除了“获取权力”或“保护自身”等工具性目标，AI 根本不会发展这些行为，除非设计者有意为之。