OpenAI最新研究：「打假高手」大模型事实性基准SimpleQA来了，已开源

SimpleQA 是 OpenAI 开发的一个事实性基准，旨在测量语言模型回答简短事实性问题的能力。该基准通过简短的事实搜索查询，使事实性的测量变得更加容易。SimpleQA 具有高正确性、多样性、对前沿模型的挑战性和良好的用户体验等特性。通过 SimpleQA，OpenAI 希望创建一个具有高质量和多样性的数据集，以评估语言模型的事实性。此外，SimpleQA 还可以用于测量语言模型的校准能力，即模型是否“知道它们知道什么”。SimpleQA 的主要局限性在于其范围，它只能在具有单一可验证答案的简短事实查询这一受限环境下测量事实性。