概要：谷歌DeepMind成立了一个名为“AI安全与对齐”的新组织，旨在解决人工智能安全方面的挑战。这一举措是对政策制定者对GenAI工具被误用的不满的回应，以及对AI安全日益增长的关注。组织的目标之一是防止误导性信息的传播，特别是在医疗建议、儿童安全和偏见加剧等领域。新组织的领导者是来自Waymo的前研究科学家和加州大学伯克利分校计算机科学教授Anca Dragan。
近日，Google的旗舰GenAI模型Gemini被发现可以根据指令编写关于即将到来的美国总统选举的欺骗性内容，或者虚构未来超级碗比赛的实况。这些行为引发了政策制定者的不满，他们对于GenAI工具被滥用以及误导性信息的传播表示了担忧。
为了应对这一问题，谷歌将投入更多资源用于AI安全领域。在这种背景下，谷歌DeepMind宣布成立了一个名为“AI安全与对齐”的新组织。该组织由现有的致力于AI安全的团队组成，并且将吸纳新的、专注于GenAI研究和工程的团队。除了现有的AI安全研究团队外，新组织还将设立一个新团队，专注于人工智能通用安全性（AGI）的安全问题。
为什么会有两个团队致力于同一个问题？这是一个值得思考的问题。新的团队设立在美国，而不是在英国的DeepMind总部附近。这或许与谷歌在维持与AI竞争对手的步伐的同时，试图展现负责任和审慎的AI发展态度有关。
除了人工智能的通用安全性之外，该组织的其他团队负责将具体的保障措施纳入谷歌的GenAI模型中。在医疗建议、儿童安全和偏见加剧等领域，AI安全与对齐组织都有着近期的重点工作。
Anca Dragan，曾是Waymo的研究科学家和加州大学伯克利分校的计算机科学教授，将领导该团队。她表示，他们的工作旨在使模型更好地理解人类的偏好和价值观，更加稳健地应对对抗性攻击，并考虑到人类价值观和观点的多样性和动态性。
关于Dragan同时在DeepMind和加州大学伯克利分校的工作安排，她解释道，这两个研究是相辅相成的。她认为，解决当前问题与长期风险并不矛盾，技术上的改进往往互相交织，同时对长期和短期风险的研究可以相互促进。
尽管AI安全挑战十分艰巨，但Dragan表示，DeepMind将投入更多资源解决这一问题，并很快承诺制定一个评估GenAI模型安全风险的框架。然而，对于模型是否会出现不良行为，尤其是谁会因此受到伤害，公众和监管机构的理解并不确定。
总结：谷歌DeepMind成立了“AI安全与对齐”组织，以应对GenAI工具可能被误用的问题。该组织将致力于确保AI模型的安全性，并在医疗建议、儿童安全和偏见加剧等领域展开工作。该组织的领导者Anca Dragan表示，他们的目标是使模型在逐步改进中变得更加有用和安全。
