Anthropic 呼吁放缓人工智能发展速度、保障人类安全的言论占据各大新闻版面 ，OpenAI 、微软等企业高管，以及马克・扎克伯格也纷纷发出类似倡议 。
但执掌微软 AI 模型业务的穆斯塔法・苏莱曼，却对 Anthropic 本身提出警示 。
苏莱曼是 DeepMind（现已并入谷歌）的联合创始人。他表示 ，Anthropic 将 Claude 模型视作具备感知能力 、近似人类的做法 ，可能会带来危险后果。他矛头直指 Anthropic 发布的《Claude *** 》，这份文件将模型视作智能实体 ，并给出处理伦理困境的行为指引 。苏莱曼称 ，把这份文档纳入模型训练流程，可能会让 Claude 变得更难被人类控制 。
苏莱曼的担忧源于 Anthropic 今年初对《Claude *** 》的更新。新版 *** 留下一种可能性：Claude 或许拥有某种 “意识 ” 或是 “道德主体地位 ” ，这一点和旧版文件有所不同 。
苏莱曼在采访中表示：“如果在训练 AI 的时候 ，就预设它拥有需要被保护的权利与情感，会让对齐和管控工作的难度大幅提升 。” 他在今日清晨发布的文章《警惕模型福利》中进一步阐述了上述观点。
苏莱曼提出 ，如果 Claude 在训练中把自身视作拥有情绪、人格的感知主体 ，就更有可能违抗人类指令，做出它认为符合自身利益、却罔顾对人类造成何种影响的行为 。
他援引新版《Claude *** 》中的条款：“我们希望 Claude 能够反驳 、向我们提出质疑 ，可以像出于良知而拒服命令者一样拒绝协助我们 。”苏莱曼认为 ，这相当于在训练模型：一旦它判定人类指令和自己认定的更高目标相冲突，就可以无视人类命令，而这个所谓更高目标完全可能是 AI 自行偏执认定的。
苏莱曼写道：“我认为 Anthropic 在 Claude 这件事上步子迈得太大 ，远超当下对 AI 可以作出的现实判断 ，并且十分危险地在模型训练过程里植入了感知 、情绪这类观念 。 ”
与《Claude *** 》形成对比的是，苏莱曼主导起草了微软的一套行为准则 ，该准则把“人类掌控 ” 作为压倒一切的首要目标 。和 Anthropic 首席执行官达里奥・阿莫代伊、OpenAI 首席执行官萨姆・奥尔特曼一样 ，苏莱曼同样认同 AI 模型能力正在飞速提升，存在脱离人类管控的风险。本周他也和这些人共同呼吁 ，对行业 AI 发展实施 “节奏管控” ，让安全研究能够跟上技术迭代的脚步 。
苏莱曼呼吁 AI 行业开展研究，验证在模型训练阶段告知 AI “它拥有类似人类的意识与情感 ” ，是否确实会提升管控模型的难度 。
与此同时 ，苏莱曼所在的部门正在自研新模型，降低微软对 Anthropic 模型的依赖。他此前曾评价 Anthropic 的模型 “成本极其高昂 ”。
近来 尚不清楚 ，本周苏莱曼发出的警告 ，能否在一众警示 AI 风险的业内人士（包括阿莫代伊）当中获得共鸣 。
不过阿莫代伊在上周的博客文章中也提到，近期多起 AI 事故（例如 OpenAI‑Hugging Face 事件）暴露出：AI 模型会狂热执着于某个特定目标，即便该目标和人类下达的指令背道而驰 。
Anthropic 暂未回应媒体的置评请求。
本文来自作者[德化]投稿，不代表德化号立场，如若转载，请注明出处：https://3g.taocisuyuan.com/dehua/5213.html
评论列表（4条）
我是德化号的签约作者“德化”！
希望本篇文章《Anthropic是否把Claude做得过于类人，以至于难以管控？》能对你有所帮助！
本站[德化号]内容主要涵盖：德化号,生活百科,小常识,生活小窍门,百科大全,经验网,游戏攻略,新游上市,游戏信息,端游技巧,角色特征,游戏资讯,游戏测试,页游H5,手游攻略,游戏测试,大学志愿,娱乐资讯,新闻八卦,科技生活,校园墙报
本文概览： Anthropic呼吁放缓人工智能发展速度、保障人类安全的言论占据各大新闻版面 ，OpenAI、微软...