“Transformer八子”之一，让AI大模型学会了主动“忘记”

本文介绍了Sakana AI开发的神经注意力记忆模型（NAMM），这是一种新型的Transformer记忆系统，灵感来源于人类记忆的选择性保留和修剪信息。NAMM优化了Transformer存储和检索信息的方式，提高了效率和性能，使其在各种语言和编码任务中表现优异，并具有跨领域应用的能力。NAMM通过进化学习记忆框架，利用注意力矩阵决定哪些信息应被保留或遗忘，从而在长上下文推理任务中表现出色。研究结果表明，NAMM在多个基准测试中优于现有的内存管理方法，并展示了其在不同Transformer模型和任务中的广泛适用性。