OpenAI最近宣布成立一个新的团队，由其首席科学家兼联合创始人Ilya Sutskever领导，旨在开发方法来引导和控制“超智能”人工智能系统。
在今天发布的一篇博文中，Sutskever和OpenAI对齐团队的负责人Jan Leike预测，拥有超过人类智能的AI可能在未来十年内出现。然而，这种AI（如果最终出现）并不一定是善意的，因此需要进行研究来控制和限制它。
“目前，我们还没有解决控制潜在超智能AI并防止其失控的方法，”他们写道。“我们目前用于对齐AI的技术，如通过人类反馈进行强化学习，依赖于人类监督AI的能力。但对于比我们聪明得多的AI系统，人类将无法可靠地监督它们。”
为了在“超智能对齐”领域取得进展，OpenAI正在创建一个新的“超对齐”团队，由Sutskever和Leike共同领导，该团队将获得公司迄今为止获得的计算资源的20%。该团队将与OpenAI之前的对齐部门的科学家和工程师以及公司内其他组织的研究人员合作，致力于在未来四年解决控制超智能AI的核心技术挑战。
主体段落2：他们计划通过构建一个“人级别自动对齐研究员”来推动进展。高层目标是使用人类反馈来训练AI系统，训练AI协助评估其他AI系统，并最终构建能够进行对齐研究的AI（这里的“对齐研究”是指确保AI系统实现预期结果或不走偏的工作）。
OpenAI的假设是，AI可以比人类更快、更好地进行对齐研究。
正文完
