五大建议！OpenAI最强竞对Anthropic：正确的大模型评测应该是怎样的？

Anthropic在其最新博客中提出了关于如何科学地评测人工智能大模型的五大建议。首先，建议使用中心极限定理来计算评测分数的标准误差，以减少统计噪声。其次，对于聚类标准误差问题，建议以随机化单位对标准误差进行聚类。第三，通过减少问题内的差异方差来提高统计精度。第四，建议使用配对差异分析来消除问题难度的差异。最后，通过效力分析来确定评测中应包含的问题数量，以提高统计检验的效力。这些建议旨在帮助研究人员更精确地计算、解释和传达评测结果，推动大模型行业的健康发展。