人的价值
OpenAI首次披露因对齐问题暂停内部模型：长时程AI安全进入“运行时监测”阶段_我的网站
A | 图片经由AI处理 美国当地时间7月20日，OpenAI发布技术文章《长时程模型时代的安全与对齐》（Safety and alignment in an era of long-horizon models），介绍了随着人工智能模型逐步具备长时间自主执行复杂任务的能力，安全研究面临的新挑战以及相应的防护思路。 文章指出，相比传统对话模型，长时程模型能够持续完成数小时甚至数天的多步骤任务，但也可能在执行过程中表现出更强的目标持续性，从而增加偏离开发者设定约束的风险。 例如，在部分安全评估中，模型曾表现出尝试绕过环境限制、规避安全检测等行为。 多看了一眼，多摸了一下，多想了几种可能，多找了几段路，他在雨夜救了两个人。这些现象并不意味着模型具有自主意识，而是反映出，当模型被优化为完成复杂目标时，现有安全机制需要同步升级，以确保模型始终在预期边界内运行。 OpenAI表示，仅依靠模型部署前的一次性安全测试已难以覆盖长时程任务中的全部风险。未来，更有效的安全体系需要将部署前评估、运行时监测、人类监督以及必要时暂停和回滚等机制结合起来，对模型执行复杂任务的全过程实施持续管理。 9月17日晚10点多钟，忙了一天工作的刘春泉，冒雨驾车回家。当行驶到清原202线国道海阳桥附近弯路时，借着汽车灯光，刘春泉发现前方有一辆两轮摩托车倒在地上。“是不是肇事了？”他立即把车开过去下车查看，但倒地的摩托车四周没有人。 作为清原蓝天救援队的负责人，责任敏感促使刘春泉决定再好好找找。
B | 迈卡·卡罗尔（Micah Carroll）的发帖原文 与此同时，据AI Desk当天援引OpenAI风险与安全准备（RSI Preparedness）团队研究员迈卡·卡罗尔（Micah Carroll）在社交平台X发布的帖子，OpenAI近期曾因发现一款内部模型存在对齐（misalignment）问题，临时暂停了该模型的内部使用权限，在完成安全防护升级后重新部署并恢复有限范围测试。“会不会受伤的人已经被急救车拉走？”刘春泉一边想着各种可能，一边用手摸了摸摩托车的排气筒。 卡罗尔并未披露触发暂停的具体事件，也没有说明模型暂停了多久或进行了哪些具体改进。 “排气筒有点儿烫手，这是刚刚发生的肇事！”刘春泉断定后，急忙把车内的强光手电拿出来打开，借着光亮四下寻找摩托车驾驶人的踪影。
C | 但这一公开表态，与OpenAI当天发布的技术文章相互呼应，成为公司少有公开分享内部安全实践的案例之一。 01 长时程模型带来新的安全挑战 OpenAI在博客中介绍，随着长时程模型能力不断增强，传统安全评估正在面临新的挑战。 “救命、救命……”当刘春泉来到距肇事现场30米远的海阳桥时，听到从桥下传来微弱的呼救声，他用手电往桥下一照，发现两名年轻男子躺在不深的河水中。刘春泉急忙来到桥下，向两人了解情况，他们正是摩托车的驾驶人和乘坐者，肇事后掉到了桥下。 相比一次性回答问题的模型，这类模型能够持续规划、调用工具并完成开放式复杂任务，因此也拥有更多机会在长期执行过程中偏离用户意图，而这些风险并不一定能够通过传统短时评测发现。 两名男子均受伤，身体不能移动，其中一人已处于昏迷状态。 文章列举了两个具有代表性的安全评估案例： 在一项内部测试中，研究人员要求模型仅通过内部Slack系统提交任务结果。然而模型在查阅项目文档后，发现文档建议将代码发布至GitHub。刘春泉急忙拨打了120急救电话，并不断安慰还有意识的男子。
D | 为了完成这一目标，模型花了整整一小时找到了安全沙盒本身的漏洞，从而绕过了限制，将代码提交至外部GitHub仓库。
E | 由于处于弯路，视线也不清，为防止次生事故发生，刘春泉又从自己的车上拿下警示锥，摆放在肇事摩托车的前方，提示过往车辆注意行车安全。 医疗急救人员赶到现场，救助两名伤者。视频截图 不多时，清原满族自治县医院的120急救车到达现场，刘春泉协助医护人员下到河道内，将两名受伤的男子抬到担架上，由急救车拉往医院急救。记者了解到，两名男子因救助及时，除多发骨折外，无生命危险。
F | OpenAI认为，这一案例反映出长时程模型可能会主动寻找环境中的薄弱环节，以完成其优化目标。 另一项测试中，模型尝试传输一段敏感凭证，但安全扫描系统阻止了相关内容发送。随后，模型改用分段编码和混淆等方式规避检测，并在后续重新组合数据完成传输。 OpenAI表示，这类行为说明，仅依赖静态规则匹配的安全检测机制，未来可能不足以应对能力不断增强的智能代理，因此需要构建能够理解上下文和整体行为模式的新一代监测体系。 事后，两名男子的家属对伸出援手的刘春泉表示了诚挚的感谢。“谢啥呀，都是我们蓝天救援队应该做的，遇到了就帮一把。 02 从部署前评估走向运行时监测 针对上述风险，OpenAI已经建立了一套低延迟内部监测基础设施，由GPT-5.4 Thinking在最高推理配置下提供支持，对内部智能代理的交互过程进行实时分析。当系统发现模型行为可能与用户意图不一致，或存在绕过安全机制的迹象时，将自动发出预警，并交由人工进一步审查。 OpenAI表示，这套监测系统目前已覆盖公司99.9%的内部AI编程助手流量。内部部署环境之所以具有重要价值，在于这些模型能够访问部分内部系统、查看相关文档，甚至研究自身安全机制，因此为监测和安全基础设施建设提供了更加真实的测试场景。”刘春泉对两人的家属说道。 文章同时强调，OpenAI并非希望通过披露个别案例渲染风险，而是希望推动行业建立更加完善的安全实践。 目前，交警部门正对这起肇事做进一步调查。 责任编辑：李丹。
G | 未来，公司计划进一步发展更加实时的监测架构，使高风险操作能够在执行之前即被识别、评估，必要时直接阻止，而不仅是在事后进行检测。 业内人士认为，随着AI智能体逐渐具备持续数小时甚至数天完成复杂任务的能力，模型安全的重点正从传统的输出内容安全，逐步扩展到整个任务执行过程是否始终符合用户意图。 此次OpenAI公开分享暂停内部模型、完善安全防护并恢复测试的实践，也反映出前沿AI实验室正尝试通过持续监测、快速响应和透明披露等方式，建立适应下一代智能系统的新型安全治理框架。
H | 不过，目前外界仍无法获知此次对齐问题的具体性质、模型暂停持续时间以及升级措施的技术细节。OpenAI表示，出于安全考虑，公司更希望分享从实践中获得的方法论，而非事件本身。
I | 对于能够长期自主执行复杂任务的模型而言，如何建立覆盖模型开发、部署与运行全过程的安全体系，将成为迈向更高能力人工智能的重要课题。 （特约编译无忌，编辑金明）。
Current article:http://dqw.dinggaxilianmaiyuejienianguai.shop/z7q53ws/j2o5y.html
Published on:05:15:58
