智谱「新清影」是怎样炼成的？CogVideoX+CogSound 技术详解

本文详细介绍了智谱公司开发的“新清影”视频生成产品的技术背景和最新升级。文章首先回顾了智谱在视频生成领域的研究历程，从2021年的CogVideo到2024年的CogVideoX，强调了在数据筛选、模型结构、视频理解和训练框架等方面的创新。随后，文章介绍了2024年7月上线的“清影”产品及其重要升级，包括10秒时长、4K分辨率、60帧超高清画质、任意尺寸和自带音效等功能。文章还详细阐述了CogVideoX模型的技术细节，包括三维变分自编码器、因果三维卷积、时间维度上的序列并行等，以及如何通过这些技术提升视频生成的质量和效率。此外，文章介绍了新加入的音效模型CogSound，强调了其在音频生成、音视频特征关联和时序建模精度方面的技术优势。最后，文章展望了多模态模型在智能领域的未来发展，并提到了智谱在多模态大模型技术方面的布局和成就。