本文是对OpenAI关于AGI及相关领域规划的翻译。
全文综合使用了Google、Immersive Translate、Monica、ChatGPT和Claude进行翻译校准，尽可能保留原文的含义。
原文：https://openai.com/blog/planning-for-agi-and-beyond (opens in a new tab)
我们的使命是确保通用人工智能（通常比人类更聪明的人工智能系统）造福全人类。
如果成功创造出AGI（通用人工智能，artificial general intelligence）技术，这项技术可以通过增加丰富性、推动全球经济和帮助发现新的科学知识来改变可能性的极限，从而帮助我们提高人类的水平。
AGI有可能给每个人带来令人难以置信的新能力。我们可以想象这样一个世界：我们所有人几乎都可以在任何认知任务中获得帮助，这将大大的增强人类的智慧和创造力。
另一方面，AGI也会带来滥用、严重事故和社会混乱的严重风险。由于AGI的好处如此之大，我们认为社会不可能或不希望永远停止其发展；相反，社会和 AGI 的开发者必须弄清楚如何正确使用它。
尽管我们无法准确预测将会发生什么，当然我们目前的进展可能会遇到困难，但我们可以阐明我们最关心的原则：
-
我们希望 AGI 能够使人类在宇宙中最大限度地繁荣发展。我们并不指望未来会成为无条件的乌托邦，但我们希望最大化好处、最小化坏处，让 AGI 成为人类的放大器。
-
我们希望AGI的好处、访问权和治理权得到广泛和公平的分享。
-
我们希望成功地应对巨大的风险。在面对这些风险时，我们承认理论上看似正确的事情，往往在实践中变得比预期的更奇怪。我们相信，我们必须通过部署功能较弱的技术版本来不断学习和适应，以最大限度地减少“一劳永逸”的情况。
短期目标
现在，我们认为为了应对AGI，有几件事情是比较重要的。
首先，当我们创建更强大的系统时，我们希望部署它们并获得在现实世界中操作它们的经验。我们相信这是谨慎管理AGI存在的最佳方式 - 逐步过渡到AGI世界总比突然到来要好。我们预计强大的人工智能将使世界的进步速度更快，我们认为最好逐步适应这一点。
渐进式的过渡可以让人们、政策制定者和机构有时间理解正在发生的事情，亲身体验这些系统的好处和缺点，适应我们的经济，并制定监管措施。它还允许社会和人工智能共同演化，让人们在风险相对较低的情况下集体思考他们想要什么。
我们认为，成功应对人工智能部署挑战的最佳方式是通过紧密的快速学习和谨慎迭代的反馈循环。在这个过程中，我们需要回答一些重要的问题，例如：AI系统可以做什么？如何消除偏见？如何应对工作岗位流失？所有这些决策都取决于技术发展的路径。然而，就像任何新兴领域一样，到目前为止大多数专家的预测都是错误的。因此，这使得在真空中（注：脱离实际环境和条件，仅凭空想和理论）进行规划非常困难。
总的来说，我们认为在全球范围内更广泛地使用人工智能将会带来很多好处，并且我们希望通过在我们的API中加入模型、开源它们等方式来推广它。我们相信，人们更容易获得使用人工智能的机会，也将会促进更多更好的研究成果，分散权力，带来更多好处，并且有更广泛的人群可以为此贡献新的想法。
随着我们的系统越来越接近 AGI，我们对模型的创建和部署也变得越来越谨慎。我们的决策需要比社会通常对待新技术要更加谨慎，也比许多用户希望的更加谨慎。人工智能领域的一些人认为AGI及其后继系统的风险是虚构的；如果它们被证明是正确的，我们会很高兴，但我们将按照这些风险是存在的方式运作。
在某些时候，部署的优点和缺点之间的平衡（例如增强恶意行为者的能力、造成社会和经济混乱以及加速不安全的竞赛）可能会发生变化，在这种情况下，我们将大幅度改变我们关于持续部署的计划。
随着我们的系统越来越接近AGI，我们对模型的创建和部署变得越来越谨慎。
其次，我们正在努力创建越来越一致和可操纵的模型。我们从GPT-3的第一个版本转向InstructGPT和ChatGPT就是一个早期的例子。
特别是，我们认为对于人工智能的使用范围，社会应该达成广泛的共识，但在这个范围内，个人用户应该有很大的自主权。我们最终希望世界各机构能够就这些范围达成一致意见，但在短期内，我们计划进行一些外部输入实验。为了应对涉及通用人工智能的复杂决策，世界各地的机构需要增强自身的能力和经验。
我们的产品的“默认设置”将会有一定的限制，但我们计划让用户能够轻松的更改他们所使用的人工智能的行为。我们相信赋予个人自主权和思想多样性的重要性。
随着我们的模型变得越来越强大，我们需要研发新的对齐技术，并进行测试以了解当前技术的失败情况。在短期内，我们计划利用人工智能帮助人类评估更复杂模型的输出和监控复杂系统。从长远来看，我们计划利用人工智能帮助我们提出更好的对齐技术的新思路。
重要的是，我们认为在人工智能的安全和能力方面需要同时取得进展。将它们分开讨论是不正确的，因为它们在很多方面都是相关的。我们最好的安全工作是与我们最有能力的模型合作完成的。然而，我们也需要确保安全进展与能力进展的比率保持在一个合理的范围内。
第三，我们希望进行全球性的讨论，探讨三个关键问题：如何治理这些系统、如何公平分配它们带来的好处，以及如何公平地分享使用权。
除了这三个领域，我们还试图建立一种结构，使我们的激励与良好结果保持一致。我们的章程中有一项条款，是关于协助其他组织提高安全性，而不是在 AGI 开发的后期与他们竞争。我们对股东可以获得的回报设定了上限，这样我们就不会受到激励去尝试无限制地获取价值，也不会冒险部署一些潜在灾难性危险的东西（当然也是作为与社会分享利益的一种方式）。我们有一个非营利组织来管理我们，让我们为了人类的利益而运作（并且可以凌驾于任何营利性利益之上），包括让我们做一些事情，比如在安全需要时取消对股东的股权义务，以及赞助世界上最全面的全民基本收入（UBI, Universal Basic Income）实验。
我们试图建立一种结构，使我们的激励与良好结果保持一致。
我们认为，在发布新系统之前，像我们这样的努力进行独立审计是非常重要的；我们将在今年晚些时候详细讨论这个问题。在某种程度上，在开始训练未来的系统之前，可能需要获得独立审查，同时对于最先进的研究成果，应达成限制用于创建新模型的计算资源增长速度的共识。我们认为，制定关于何时应该停止AGI项目的训练、决定模型是否可以安全发布或从生产使用中撤回模型的公共准则非常重要。最后，我们认为，世界主要政府对于超过一定规模的模型训练的运行有所了解非常重要。
长期来看
我们相信人类的未来应该由人类自己决定，与公众分享进展的信息非常重要。应该对所有试图建立通用人工智能的努力进行严格审查，并就重大决策进行公众咨询。
第一个通用人工智能只是智能连续体中的一个点。我们认为，进展很可能会继续下去，并可能在很长一段时间内维持我们在过去十年中看到的进展速度。如果这是真的，世界可能会变得与今天截然不同，而且风险可能会非常大。一个没有正确对齐的超级智能 AGI 可能会对世界造成严重伤害；而如果某个专制政权拥有决定性的超级智能领先优势，也会带来同样的威胁。
能够加速科学发展的人工智能是一个值得思考的特例，也许比其他一切都更具影响力。如果AGI有足够的能力加速自身进步，那么它可能会以惊人的速度引发重大变化（即使转变开始很缓慢，我们预计它在最后阶段也会很快发生）。我们认为缓慢的进步更容易确保安全，并且在关键时刻协调以减缓AGI的发展速度可能很重要。即使在不需要解决技术对齐问题的世界中，放慢速度也很重要，以给社会足够的时间来适应。
成功过渡到一个拥有超级智能的世界也许是人类历史上最重要、最有希望、最可怕的项目。成功远未得到保证，但赌注（无限的负面影响和无限的正面影响）有望使我们所有人团结起来。
我们可以想象一个人类繁荣的世界，这种繁荣程度可能是我们中任何一个人都无法完全想象的。我们希望为这个世界做出贡献，创造一个与这种繁荣相一致的通用人工智能。
参考
https://openai.com/blog/planning-for-agi-and-beyond (opens in a new tab)