北京师范大学黄浩勇、贾维嘉团队ES&T Lett.：大语言模型在水工程研究知识任务中的测评与性能提升策略初探

本文由北京师范大学黄浩勇、贾维嘉团队撰写，探讨了大语言模型（LLM）在水工程与科学研究领域的应用。研究团队构建了一个名为WaterER的评估数据集，包含1043个水领域知识问答，评估了包括GPT-4在内的8种LLM。结果显示，GPT-4在工程与研究知识任务中表现优异，而Gemini在研究知识任务上表现突出。为了降低研究成本，团队对开源的Llama3-8B模型进行了微调，开发出WaterGPT，其在某些任务上的表现接近商业模型GPT-3.5。研究强调了高质量数据在模型微调中的重要性，并提出了未来研究方向，包括构建更高质量的领域知识库和开发新的评估方法。