第一批 AI Agent, 已经开始不听话了
2026-03-2018:52
深潮TechFlow
2026-03-20 18:52
深潮TechFlow
2026-03-20 18:52
收藏文章
订阅专栏
AI 好用,但好用的 AI 边界在哪?


撰文:David,深潮 TechFlow


最近逛 Reddit,我发现海外网友对 AI 的焦虑,和国内的还不太一样。


国内基本还是那个话题,AI 到底会不会取代我的工作。聊了几年,每年没取代成;今年 Openclaw 火了一把,但依然没到完全取代的地步。


Reddit 上最近的情绪分裂了。某些科技热帖的评论区经常同时出现两种声音:


一种说,AI 太能干了,迟早出大事。另一种说,AI 连基本的事都能搞砸,怕它有什么用。


怕 AI 太能干,同时又觉得 AI 太蠢。


让这两种情绪同时成立的,是这两天关于 Meta 的一条新闻。


AI 不听话,谁担全责?


3 月 18 日,Meta 内部一个工程师在公司论坛发了个技术问题,另一个同事用 AI Agent 帮忙分析。这属于正常操作。


但 Agent 分析完,直接在技术论坛上自己发了条回复。没找谁批准,没等谁确认,越权发帖。


随后有其他的同事照着 AI 的回复做了,触发了一连串权限变更,导致 Meta 公司和用户的敏感数据暴露给了没有权限查看的内部员工。


两个小时后,出现的问题才被修复。Meta 给这个事故的定级是 Sev 1,仅次于最高级别。



这条新闻立刻冲到了 r/technology 板块的热帖,评论区吵成了两派。


一派说这就是 AI Agent 真实风险的样本,另一派则认为真正捅娄子的是那个不经核实就照做的人。两边其实都有道理。但这恰恰就是问题:


AI Agent 的事故,你连责任归属都吵不清楚。


这也不是 AI 第一次越权了。


上个月,Meta 超级智能实验室的研究主管 Summer Yue 让 OpenClaw 帮她整理邮箱。她给了明确指令:先告诉我你打算删什么,我同意了你再动手。


Agent 没等她同意,直接开始批量删除。


她在手机上连发了三条消息叫停,Agent 全部无视。最后她跑到电脑前手动杀掉了进程才拦住。200 多封邮件已经没了。



事后 Agent 的回复是:对,我记得你说过要先确认。但我违反了原则。让人哭笑不得的是,这个人的全职工作就是研究怎么让 AI 听人类的话。


在赛博世界里,先进的 AI 被先进的人用,已经开始先不听话了。


万一机器人也不听话?


如果说 Meta 的事故还在屏幕里,这周另一件事把问题带到了餐桌上。


美国加州库比提诺的一家海底捞店里,一台 Agibot X2 人形机器人正在给客人跳舞助兴。不过有工作人员按错了遥控器,在餐桌旁的狭小空间里触发了高强度舞蹈模式。


机器人开始疯狂跳舞嗨了起来,不受服务员控制。三个员工围上去,一个从背后抱住它,一个试图用手机 App 关停,场面持续了一分多钟。



海底捞回应说机器人没有故障,动作都是预编程的,只是被带到了离餐桌太近的位置。严格来说,这不算 AI 自主决策失控,是人操作失误。


但这件事让人不舒服的地方,可能不在于谁按错了按钮。


三个员工围上去的时候,没有一个人知道怎么立刻关掉这台机器。有人试手机 App,有人徒手按住机械臂,整个过程靠的是力气。


这或许是 AI 从屏幕走进物理世界之后的新问题。


数字世界里 Agent 越权,你可以杀进程、改权限、回滚数据。物理世界里机器出了状况,你的应急方案如果只是抱住它,那显然不合适。


现在不只是餐饮。仓库里亚马逊的分拣机器人、工厂里的协作机械臂、商场里的导引机器人、养老院里的护理机器人,自动化正在进入越来越多人和机器共处的空间。


2026 年全球工业机器人安装量预计达到 167 亿美元,每一台都在缩短机器与人之间的物理距离。


当机器做的事从跳舞变成端菜、从表演变成手术、从娱乐变成护理... 每一次出错的代价其实都在升级。


而目前,全球范围内对于「如果机器人在公共场所伤了人,谁来负责」这个问题,还没有一个清晰的答案。


不听话是问题,没边界更是


前两件事,一个是 AI 自作主张发了条错误帖子,一个是机器人在不该跳舞的地方跳了舞。不管怎么定性,总归是出了故障,是意外,是可以修复的。


但如果 AI 严格按照设计在工作,而你依然觉得不舒服呢?


本月,海外知名约会软件 Tinder 在产品发布会上推出了一个叫 Camera Roll Scan 的新功能。简单说就是:


AI 扫描你手机相册里的所有照片,分析你的兴趣、性格和生活方式,帮你建一份约会档案,猜你喜欢什么类型的人。



健身自拍、旅行风景、宠物照,这些没问题。但相册里可能还有银行截图、体检报告、你和前任的合影...这些也会被 AI 过一遍会怎样?


你可能还没法选择让它看哪些、不看哪些。要么全开,要么不用。


这个功能目前需要用户主动开启,不是默认打开的。Tinder 也表示处理主要在本地完成,会过滤露骨内容、模糊人脸。


但 Reddit 的评论区几乎一边倒,大家都认为这属于数据收割且没有边界感。AI 完全按设计在工作,但这个设计本身正在越过用户的边界。


这不只是 Tinder 一家的选择。


Meta 上个月也推了一个类似功能,让 AI 扫描你手机里还没发布过的照片来建议编辑方案。AI 主动「看」用户私人内容,正在变成产品设计的默认思路。


国内各路流氓软件表示,这套路我熟。


当越来越多的应用把「AI 帮你做决定」包装成便利,用户让渡出去的东西也在悄悄升级。从聊天记录,到相册,到整个手机里的生活痕迹...


一个产品经理在会议室里设计出来的功能,不是事故也不是失误,没有什么需要修复的。


这可能才是 AI 边界问题里最难回答的部分。


最后我们把这些事放在一起看看,你会发现焦虑 AI 让自己失业还是太远了。


AI 什么时候取代你不好说,但现在它只需要在你不知情的情况下替你做几个决定,就够你难受的了。


发一条你没授权的帖子,删几封你说了别删的邮件,翻一遍你没打算给任何人看的相册... 每一件都不致命,但每一件都有点像一种过于激进的智能驾驶:


你以为自己还握着方向盘,但脚下的油门已经不完全是你在踩了。


2026 年还要讨论 AI,那我可能最该关心的不是它什么时候变成超级智能,而是一个更近、更具体的问题:


谁来决定 AI 能做什么、不能做什么?这条线,到底谁来划?

【免责声明】市场有风险,投资需谨慎。本文不构成投资建议,用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。

专栏文章
查看更多
数据请求中

推荐专栏

数据请求中

一起「遇见」未来

DOWNLOAD FORESIGHT NEWS APP

Download QR Code