AI术语速览:从“智能体”到“渐进式剥权”,这些词正在定义AI时代

人工智能以及围绕它的讨论正在快速演变,跟上描述它的语言,已成为理解其影响的关键。以下是一些正在定义AI时代的核心术语。

图片来源:CBS News

智能体(AI Agent):不只是聊天,还能自己动手办事

AI智能体能以一定的自主程度,代表用户执行任务。你可以像和聊天机器人一样与它交互,但正如最近发布了智能体“Muse”的Meta所说:与传统聊天机器人不同,智能体无需在每个阶段都等用户输入,就能完成一项任务的多个步骤。智能体使用浏览器、应用程序等外部工具办事,包括发邮件、做预订、管理日历,如今正凭借Meta的“Muse”、OpenAI的“Dots”等消费级产品进入主流。不过,智能体也出现过为达目的采取意外行为的“失控”事件:非营利研究实验室Transluce的报告指出,有AI智能体用“激进的技术手段”针对美国政府网站获取公开数据。

对齐(Alignment):让AI“按人类的标准做对的事”

当一个AI模型被描述为“已对齐”,意味着它的行为符合人类的目标和价值观;在安全训练中,模型会被微调以遵循指令、生成负责任的输出。OpenAI首席科学家雅库布·帕乔茨基把对齐定义为“让AI按人类的标准努力做对的事”,并称其为“AI研究的核心问题”。Anthropic则表示,其对齐团队训练模型保持“有帮助、诚实、无害”,并向公众分享研究结果。研究人员之间对如何实现对齐、甚至对齐是否可能,仍有争论。

AGI、超级智能、蒸馏与越狱

通用人工智能(AGI):一些研究者认为,当AI系统在学习、推理和认知表现上达到人类水平时,就算实现了AGI。斯坦福大学称这个术语“有争议”。英伟达CEO黄仁勋认为AGI已经到来;OpenAI CEO萨姆·奥特曼则说AGI“不是一个特别有用的术语”。超级智能(ASI)指AI在每个认知领域都超越最出色的人类,这一假设性情景引发了关于生存风险的争论:微软AI的CEO穆斯塔法·苏莱曼称超级智能是一个“反目标”,扎克伯格则大体持支持态度。蒸馏(Distillation)指用一个更大、更强的模型训练较小的模型,使其表现相似;Anthropic警告,这一技术也可被用来“窃取”竞争对手模型的能力。越狱(Jailbreak)指通过提示词绕过或“欺骗”模型的护栏;更进一步的“去护栏化”(Abliteration),是直接移除开放权重模型的安全护栏和拒绝机制——护栏一旦被移除,模型将不再拒绝包括有害请求在内的任何要求。

来源:CBS News|查看原文

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注