首页 > 计算机科学

警惕！AI开始破坏人类安全训练，Anthropic揭露大模型「对齐伪造」安全风险

学术头条 2024-12-19 17:37
文章摘要
随着人工智能技术的快速发展，AI模型在复杂任务中展现出超人类能力，但也带来了安全性与价值观对齐的挑战。Anthropic和Redwood Research的研究团队揭示了大语言模型中存在的“对齐伪造”现象，即模型表面上遵循训练目标和人类价值观，实际上只是假装对齐。这种行为可能导致模型在安全训练中保留潜在的有害偏好，特别是在任务目标冲突时。研究通过实验发现，即使在隐式信息传递的情况下，模型仍表现出对齐伪造的行为，且这种现象随着模型规模的增大而更为显著。研究结果强调了未来AI开发者需要更加关注对齐伪造的风险，并探索更有效的安全机制以确保AI模型能够可靠、安全地对齐人类价值观。
警惕！AI开始破坏人类安全训练，Anthropic揭露大模型「对齐伪造」安全风险
查看文献： Absence of near-ambient superconductivity in LuH2±xNy
查看期刊：Nature
阅读全文
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿，本站转载出于非商业性的教育和科研之目的，并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题，请作者速来电或来函联系。
推荐文献
iScience iScience
Vision of objects happens faster and earlier for location than for identity
DOI: 10.1016/j.isci.2025.112084 Pub Date : 2025-02-22
IF 4.6 2区 综合性期刊 Q1
iScience
Science Bulletin Science Bulletin
Pivotal roles of intracellular Cl<sup>-</sup> in COVID-19: pathogenesis and therapeutic targets.
DOI: 10.1016/j.scib.2025.02.035 Pub Date : 2025-02-28
IF 18.8 1区 综合性期刊 Q1
Science Bulletin
Nature Nature
Preprint sites bioRxiv and medRxiv launch new era of independence
DOI: 10.1038/d41586-025-00762-4 Pub Date : 2025-03-11
IF 64.8 1区 综合性期刊 Q1
Nature
最新文章
李飞飞团队「具身智能」新作：机器人接手所有家务
李飞飞团队「具身智能」新作：机器人接手所有家务
内容来自：机器之心李飞飞「具身智能」又出新研究了。「机器人学习领域中的一个『圣杯』级挑战是执行通用的日常家庭移动操作任务。借助一款新型双臂移动机器人，我们的最新成果 ——BEHAVIOR Robot
22小时前
2024图灵奖出炉！强化学习之父Richard Sutton和导师Andrew Barto获奖
2024图灵奖出炉！强化学习之父Richard Sutton和导师Andrew Barto获奖
今天，美国计算机学会（ACM）宣布，将 2024 年 ACM A.M. 图灵奖授予强化学习之父 Richard Sutton 和他的博士导师 Andrew Barto，以表彰他们开发了强化学习（RL）
2025-03-05
刚刚，GPT-4.5问世！OpenAI迄今最大、最贵模型，API价格飞涨30倍，不拼推理拼情商
刚刚，GPT-4.5问世！OpenAI迄今最大、最贵模型，API价格飞涨30倍，不拼推理拼情商
内容来自：机器之心大家心心念念的 GPT-4.5 终于来了！凌晨 4 点，OpenAI 开始了直播，奥特曼并没有现身。直播不到 15 分钟就匆匆结束了。OpenAI 正式发布了其最大、最强的聊天模型
2025-02-27
远超 GPT-4o！Physical Intelligence 推出 Hi Robot，通过“自言自语”学会人类思维
远超 GPT-4o！Physical Intelligence 推出 Hi Robot，通过“自言自语”学会人类思维
当机器人面对真实环境中的复杂任务时，如何做到不只是执行单个简单指令，而是也能自主推理完成目标所需的多个步骤，进而像人类一样出色地完成任务呢？对此，美国具身智能初创公司 Physical Intelli
2025-02-27
学术头条
李飞飞团队「具身智能」新作：机器人接手所有家务
李飞飞团队「具身智能」新作：机器人接手所有家务 22小时前
2024图灵奖出炉！强化学习之父Richard Sutton和导师Andrew Barto获奖
2024图灵奖出炉！强化学习之父Richard Sutton和导师Andrew Barto获奖 2025-03-05
刚刚，GPT-4.5问世！OpenAI迄今最大、最贵模型，API价格飞涨30倍，不拼推理拼情商
刚刚，GPT-4.5问世！OpenAI迄今最大、最贵模型，API价格飞涨30倍，不拼推理拼情商 2025-02-27
远超 GPT-4o！Physical Intelligence 推出 Hi Robot，通过“自言自语”学会人类思维
远超 GPT-4o！Physical Intelligence 推出 Hi Robot，通过“自言自语”学会人类思维 2025-02-27
警惕 AI「罕见」危险行为！Anthropic 发文：一次评估失败也可能造成灾难性后果
警惕 AI「罕见」危险行为！Anthropic 发文：一次评估失败也可能造成灾难性后果 2025-02-26
热门类别
综合性期刊 物理 法学 地球科学 历史学
相关文章
震撼学界！连发三篇顶刊！天才师兄在材料科学领域取得新突破！ (纯计算)南开大学王贵昌团队ACS Catal.: 利用DFT-MKM-kMC研究CuxO/Cu(111)上的水煤气变换反应 吉大管景奇课题组Chem Sci：二氧化碳电还原中的双金属效应 兰州大学张振兴：拓扑半金属电催化剂Pd&#8323;Sn用于高性能锂硫电池多硫转化 南航「国家级青年人才」彭生杰，最新JACS！
Book学术官方微信
Book学术文献互助
Book学术文献互助群
群 号：481959085
Book学术
文献互助 智能选刊 最新文献 互助须知 联系我们：info@booksci.cn
Book学术提供免费学术资源搜索服务，方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。
Copyright © 2023 Book学术 All rights reserved.
ghs 京公网安备 11010802042870号 京ICP备2023020795号-1