Adam获时间检验奖！清华揭示保辛动力学本质，提出全新RAD优化器

本文介绍了清华大学团队对Adam优化器性能背后理论解释的研究成果。背景方面，Adam优化器自2014年提出以来，因其卓越的自适应能力成为深度学习领域的标配优化器，但其优异性能的理论解释一直不完善。研究目的是揭示Adam优化器的优化动力学机理，并提出性能更优的RAD优化器。结论表明，团队发现了神经网络优化过程与共形哈密顿系统演化的数学对偶性，揭示了Adam优化器的"相对论动力学"和"保辛离散化"本质，并由此提出了训练更稳定、性能更优秀的RAD优化器。实验显示RAD在多种强化学习任务中表现优于Adam，特别是在图像类标准测试环境Seaquest任务中，性能达到Adam的2.5倍。