
随着人工智能模型能力不断提升,如何在追求技术突破的同时确保系统安全,正在成为整个行业无法回避的问题。
近日,曾在OpenAI安全部门工作的戴维·鲁宾森公开发表文章,对人工智能企业快速推进模型研发和部署的方式提出质疑。他认为,包括OpenAI在内的AI企业目前在安全方面仍然不够谨慎,模型能力不断增强的同时,安全研究和风险控制也需要同步升级。
鲁宾森自称曾在OpenAI工作三年半,期间参与公司风险应对框架的起草,并负责监督多次前沿模型发布所对应的安全报告。
在他的描述中,OpenAI较为依赖“迭代部署”模式,即先将新的AI系统推向用户,在实际使用过程中发现问题,再针对暴露出来的风险进行修补和完善。
鲁宾森认为,这种方式在人工智能发展早期或许具有一定意义,但随着模型能力越来越强,单纯依靠不断试错的方式可能面临更高风险。
他在文章中强调,AI行业需要重新思考快速试错的边界,并认为“试错的时代已经结束了”。
人工智能模型正在从简单的信息处理工具,向更加复杂的智能系统发展。
模型能力提升意味着应用范围不断扩大,也意味着潜在风险可能变得更加复杂。鲁宾森因此认为,在开发更强大模型之前,企业应当进一步加强安全专业人才队伍建设,并加大相关研究投入。
在他看来,先进AI系统的安全保障机制不应仅仅依赖传统的软件测试和上线后修复,而应该参考核电、航空等高风险行业的安全理念。
这些行业通常强调风险预防、严格测试、多重保障和事故应急机制。对于能力越来越强大的人工智能系统而言,同样需要建立更加系统化的安全框架。
鲁宾森的观点也折射出当前AI行业的一项核心争议。
一方面,人工智能企业需要持续推出性能更强、应用范围更广的新模型,以保持技术竞争力;另一方面,模型能力提升后,其潜在风险和不可预测性也可能随之增加。
如果研发速度明显快于安全研究进展,那么技术突破与风险控制之间可能出现新的不平衡。
鲁宾森认为,目前人工智能能力的发展速度已经超过了研究人员对于“对齐”问题的理解。
所谓AI对齐,核心目标是让人工智能系统的行为尽可能符合人类设定的目标、价值观和安全要求。随着模型自主能力不断提高,如何让系统在复杂环境中保持可控,已经成为AI安全研究的重要方向。
针对鲁宾森的相关批评,OpenAI方面也作出了回应。
OpenAI一名发言人表示,公司一直在对模型能力进行控制,避免模型能力超出安全管理范围。如果评估认为有必要放慢进度,公司会暂停训练或者推迟模型对外发布。
这意味着,在AI企业追求快速创新的同时,如何确定“什么时候应该继续推进,什么时候必须暂停”,正在成为模型研发流程中的重要问题。
对于企业而言,安全并不只是模型发布前的一次检查,而需要贯穿训练、测试、部署以及实际使用的全过程。
人工智能行业过去几年发展迅速,从大模型到智能体,AI系统的能力边界不断扩展。与此同时,围绕模型失控、错误输出、滥用风险以及安全防护的讨论也越来越多。
这使得AI安全逐渐从一个技术部门内部的问题,变成整个行业都需要面对的系统性课题。
未来的AI竞争或许不只是“谁的模型更强”,还包括“谁能够更安全地使用强大的模型”。
对于企业来说,快速创新固然重要,但安全能力同样需要同步成长。对于整个行业而言,建立更加成熟的风险评估机制、完善安全研究体系,并探索适合先进AI系统的治理模式,都可能成为下一阶段发展的重要任务。
人工智能究竟应该跑多快,没有简单答案。但随着模型能力不断接近新的边界,如何让技术发展的速度与安全能力相匹配,已经成为摆在AI行业面前的一道重要课题。