ChatGPT背后的人工智能公司OpenAI制定了计划，在它认为自己开发的技术可能存在严重危险的方面保持领先地位，比如允许不良行为者学习如何制造化学和生物武器。
OpenAI的“准备”团队由麻省理工学院人工智能教授亚历山大·马德里(Aleksander Madry)领导，将聘请人工智能研究人员、计算机科学家、国家安全专家和政策专业人士来监控其技术，不断进行测试，并在公司认为其任何人工智能功能变得危险时发出警告。该团队位于OpenAI的“安全系统”团队和该公司的“超级校准”团队之间，前者致力于解决将种族主义偏见注入人工智能等现有问题，后者研究如何确保人工智能在技术完全超越人类智能的想象未来不会伤害人类。
ChatGPT的流行和生成式人工智能技术的进步在科技界引发了一场关于这项技术可能变得多么危险的辩论。今年早些时候，来自OpenAI、谷歌(Google)和微软(Microsoft)的知名人工智能领导者警告称，这项技术可能会对人类的生存构成威胁，堪比流行病或核武器。其他人工智能研究人员表示，对这些巨大而可怕的风险的关注，让公司忽视了这项技术已经产生的有害影响。越来越多的人工智能商业领袖表示，风险被夸大了，企业应该继续开发这项技术，以帮助改善社会——并从中赚钱。
OpenAI在这场辩论中采取了中间立场。首席执行官萨姆·奥特曼(Sam Altman)表示，他认为这项技术存在严重的长期风险，但人们也应该专注于解决当前的问题。Altman说，试图防止人工智能有害影响的监管不应该让小公司更难竞争。与此同时，他推动公司将其技术商业化，并筹集资金以实现更快的增长。
Madry是麻省理工学院可部署机器学习中心的资深人工智能研究员，也是麻省理工学院人工智能政策论坛的共同负责人，他于今年早些时候加入了OpenAI。他是去年11月奥特曼被公司董事会解雇后辞职的少数几位OpenAI领导人之一。五天后，奥特曼复职，马德里也回到了公司。OpenAI由一个非营利性董事会管理，该董事会的使命是推动人工智能的发展，并使其对所有人类都有帮助。在解雇奥特曼的四名董事会成员中，有三人因他的回归而辞职，目前该公司正在挑选新的董事会成员。
尽管领导层出现了“动荡”，但马德里表示，他相信OpenAI的董事会认真对待他正在研究的人工智能的风险。“我意识到，如果我真的想塑造人工智能对社会的影响，为什么不去一家真正在做这件事的公司呢?”
准备小组正在聘请人工智能领域以外的国家安全专家，他们可以帮助公司了解如何应对重大风险。Madry说，OpenAI正开始与监管美国核技术的国家核安全管理局(National Nuclear Security Administration)等组织进行讨论，以确保公司能够适当地研究人工智能的风险。
该团队将监控其人工智能如何以及何时指导人们入侵电脑或制造危险的化学、生物和核武器，而不是人们通过常规研究在网上找到的东西。马德里正在寻找那些“真正会思考‘我怎么能破坏这套规则?我怎样才能在我的邪恶中最巧妙呢?’”
该公司在周一的一篇博客文章中表示，该公司还将允许来自OpenAI外部的“合格、独立的第三方”测试其技术。
Madry表示，他不同意人工智能“末日论者”和“加速论者”之间的争论，前者担心人工智能已经具备了超越人类智能的能力，后者希望消除人工智能发展的所有障碍。
“我真的认为这种加速和减速的框架过于简单化，”他说。“人工智能有很多优点，但我们也需要做些工作，以确保这些优点真正得到实现，而缺点没有得到实现。”
