单细胞地基模型的更深层次评价

IF 18.8 1区计算机科学 Q1 COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE Nature Machine Intelligence Pub Date : 2024-12-12 DOI:10.1038/s42256-024-00949-w

Rebecca Boiarsky, Nalini M. Singh, Alejandro Buendia, Ava P. Amini, Gad Getz, David Sontag

引用次数: 0

摘要

源于杨芳等人。Nature Machine Intelligence https://doi.org/10.1038/s42256-022-00534-z（2022）大规模基础模型，在大量未标记的数据集上进行预训练，然后在特定任务上进行微调，最近在广泛的应用中取得了无与伦比的成功，包括医疗保健和生物学1,2,3,4,5,6。这些模型的成功展示了利用一般化特征和上下文理解来提高模型性能的力量。Yang等人的单细胞双向编码器表示（scBERT）是最近开发的几种基础模型之一，用于学习单细胞rna测序数据的表示8,9,10,11,12。Yang等人在112万个细胞上对他们的模型进行了预训练，以估算被掩盖的基因表达值，并表征他们的模型在注释细胞类型的微调任务中的表现。我们重现了他们的结果，并提供了额外的基线和消融研究（即，删除模型架构或训练过程的组件），以更深入地了解他们的结果以及单细胞基础模型的潜在优势和局限性。(1)我们证明了简单的逻辑回归基线在两个不同数据集中的细胞类型注释的微调任务上优于或与scBERT相当。这一发现甚至适用于“少数次学习”设置，即模型只能访问有限数量的标记示例。在少数镜头设置中，我们期望scBERT具有优势，因为它使用通过对逻辑回归模型从未见过的大量未标记数据进行预训练而学习到的表示；然而，情况并非如此。(2)我们对scBERT架构和训练策略进行了精简，从而揭示了其表示学习能力的局限性。我们表明，去除预训练不会对模型在细胞类型注释上的下游性能产生有意义的影响。此外，我们证明了scBERT在不学习有意义的基因表征的情况下可以很好地完成隐藏的预训练任务。

本文章由计算机程序翻译，如有差异，请以英文原文为准。

摘要图片

查看原文

微信好友朋友圈 QQ好友复制链接

本刊更多论文

Deeper evaluation of a single-cell foundation model

求助全文

通过发布文献求助，成功后即可免费获取论文全文。去求助

来源期刊

Nature Machine Intelligence Multiple-

CiteScore

36.90

自引率

2.10%

发文量

127

期刊介绍： Nature Machine Intelligence is a distinguished publication that presents original research and reviews on various topics in machine learning, robotics, and AI. Our focus extends beyond these fields, exploring their profound impact on other scientific disciplines, as well as societal and industrial aspects. We recognize limitless possibilities wherein machine intelligence can augment human capabilities and knowledge in domains like scientific exploration, healthcare, medical diagnostics, and the creation of safe and sustainable cities, transportation, and agriculture. Simultaneously, we acknowledge the emergence of ethical, social, and legal concerns due to the rapid pace of advancements. To foster interdisciplinary discussions on these far-reaching implications, Nature Machine Intelligence serves as a platform for dialogue facilitated through Comments, News Features, News & Views articles, and Correspondence. Our goal is to encourage a comprehensive examination of these subjects. Similar to all Nature-branded journals, Nature Machine Intelligence operates under the guidance of a team of skilled editors. We adhere to a fair and rigorous peer-review process, ensuring high standards of copy-editing and production, swift publication, and editorial independence.