警惕 AI「罕见」危险行为！Anthropic 发文：一次评估失败也可能造成灾难性后果

本文讨论了AI模型在部署前评估中的挑战，特别是如何预测和评估AI模型的罕见危险行为。Anthropic团队提出了一种新方法，通过幂律分布来预测在大量查询中可能出现的罕见风险，即使只进行了少量测试。这种方法在预测模型提供危险信息或不对齐行为的风险方面显示出较高的准确性。此外，文章还探讨了如何将这种预测方法应用于自动化红队测试，以优化计算资源的分配。尽管这种方法在提高预测准确性和实用性方面显示出潜力，但仍需进一步研究以突破现有假设并扩展应用场景。