OpenAI 宣布成立新团队来解决超级智能问题

在技​​术进步领域，超级智能是一个突破性的概念，有可能以我们只能想象的方式重塑我们的世界。它拥有解决人类最紧迫问题的能力，但它也存在需要我们关注的固有风险。

“超级智能将是人类发明的最具影响力的技术”

什么是超级智能?

“超级智能”是指在几乎所有领域都比人类最优秀的大脑聪明得多的智力，包括科学创造力、一般智慧和社交技能。OpenAI 的使命是确保通用人工智能 (AGI)造福全人类。AGI 指的是在最具经济价值的工作中表现优于人类的高度自治系统。

ChatGPT，不具备超级智能。虽然它是一个在各种互联网文本上训练的大型语言模型，并且可以根据提示生成文本，但它实际上并不理解它生成的文本，也没有意识、情感或信仰。它无法做出决定或计划，也没有世界观或个人经历。从根本上来说，它是一种根据其所训练的数据模式做出响应的工具。

随着 OpenAI 继续开发 ChatGPT 等更高级版本的 AI 模型，他们努力保持长期安全和技术领先地位，专注于确保对 AGI 部署的任何影响都能造福于每个人。他们还努力避免使用可能危害人类或过度集中权力的人工智能或通用人工智能。

当我们探索超级智能的可能性和影响时，很明显，管理这些风险并确保其与人类价值观保持一致需要创新的解决方案和仔细的考虑。OpenAI 今天宣布，他们正在组建一个团队，专注于检查这种超级智能。

人工智能

我们正在组建一个由顶尖机器学习研究人员和工程师组成的团队来解决这个问题。我们将在未来四年内将 20% 的计算资源用于解决超级智能对齐问题。我们的主要基础研究赌注是我们新的 Superalignment 团队，但正确对待这一点对于实现我们的使命至关重要，我们期望许多团队做出贡献，从开发新方法到扩大规模再到部署。

我们的目标是建立一个大致达到人类水平 的自动对齐研究人员。然后，我们可以使用大量计算来扩展我们的工作，并迭代地调整超级智能。

为了对齐第一个自动对齐研究人员，我们需要 1) 开发可扩展的训练方法，2) 验证生成的模型，3) 对整个对齐管道进行压力测试：

为了针对人类难以评估的任务提供训练信号，我们可以利用人工智能系统来 协助评估其他人工智能系统 (可扩展监督)。此外，我们希望了解和控制我们的模型如何将我们的监督推广到我们无法监督的任务(泛化)。

为了验证我们系统的一致性，我们 自动搜索有问题的行为 (鲁棒性)和有问题的内部结构(自动可解释性)。

最后，我们可以通过故意训练未对准的模型来测试我们的整个流程，并确认我们的技术可以检测到最严重的未对准类型(对抗性测试)。

我们预计，随着我们对这个问题的了解越来越多，我们的研究重点将会发生重大变化，并且我们可能会增加全新的研究领域。我们计划在未来分享更多有关我们的路线图的信息。