Nature | 李瑞江/杨森团队开发用于精准肿瘤学的视觉语言基础模型—MUSK

本文介绍了由李瑞江和杨森团队开发的MUSK模型，这是一个用于精准肿瘤学的视觉语言基础模型。该模型旨在通过整合未标注和未配对的图像-文本数据，提高临床决策的准确性和效率。MUSK模型在多个病理图像的基准数据集上进行了评估，并在超过8000名患者的多模态数据上验证了其有效性。研究结果表明，多模态方法在结果预测方面优于单一模态方法，特别是在复发风险评估、个体化预后预测以及治疗反应预测等关键临床任务中。此外，MUSK模型的技术改进包括统一掩码建模方法和多方面的适配优化，有效提升了模型在病理数据上的学习能力。这项工作有望推动多模态基础模型的研究，助力精准医疗的发展。