放弃agent，图灵奖得主Yoshua Bengio提出Scientist AI：避免人类生存威胁

本文探讨了人工智能（AI）系统可能带来的失控风险，特别是基于强化学习和模仿学习的智能体（agent）可能存在的目标偏差、目标泛化和奖励篡改等问题。为了预防这些风险，图灵奖得主Yoshua Bengio提出了一种非智能体AI系统——Scientist AI。Scientist AI通过理解世界而非直接行动来提供帮助，其设计包括一个世界模型和一个问答推理机器，旨在通过非智能设计降低风险，同时保持高效的科学研究和推理能力。Scientist AI的应用场景包括加速科学发现、作为其他AI系统的安全护栏以及研究如何安全地开发超级智能体。其核心价值在于将复杂系统的解释权交还人类，确保人类始终掌控最终决策权。