随着自然语言处理技术的快速发展，越来越多的预训练语言模型（如GPT、BERT等）被应用到各类任务中，包括对话生成、文章撰写、机器翻译等。
然而，这些模型在生成内容时并不总是准确的，它们有时会“胡乱”生成一些与事实不符的信息，这就是我们通常说的“幻觉”（Hallucination）。这些幻觉可能表现为：
- 模型生成错误的事实（比如错误的日期、人物信息等）。
- 模型生成与实际数据不符的内容。
因此，研究人员一直在寻找方法来减少这些幻觉，使得模型输出的内容更加真实和可靠。
Hallucination Leaderboard
Vectara团队的推出的Hallucination Leaderboard （幻觉排行榜），是一个专门跟踪和评估各种语言模型生成幻觉的频率。它让我们能够清楚地看到，哪些模型表现得好，哪些模型还存在问题，尤其是在生成准确事实信息方面。
通过这个排行榜，研究人员可以：
- 比较不同语言模型的表现，看看哪些模型在减少幻觉方面做得好，哪些模型则存在较多的错误。
- 获得关于模型幻觉表现的详细数据，这些数据有助于改进现有的模型，或者为未来开发新的、更可靠的语言模型提供参考。
主要内容
1. 幻觉定义与评估：
在这个项目中，幻觉指的是语言模型生成的错误信息。这些错误可能是完全不符合事实的，也可能是数据和上下文中的小错误（例如，错误的人名、地点或数字）。该项目的重点是通过量化幻觉的频率，来评估每个模型的表现。
2. 排行榜：
项目为不同的预训练语言模型创建了一个排名系统，展示哪些模型的幻觉表现最好，哪些则较差。通过这个榜单，大家可以快速看到不同模型的优劣。
3. 数据统计：
项目不仅展示了各模型的排名，还提供了详细的统计数据，帮助研究人员更深入地理解每个模型在幻觉生成方面的具体表现。例如，它会显示每个模型在生成错误信息时的频率、类型等。
Hallucination Leaderboard 模型幻觉排行榜
这是一个公开的 LLM 排行榜,使用 Vectara 的 Hughes 幻觉评估模型计算各种大型语言模型在总结文档时引入幻觉的频率。该排行榜旨在帮助评估 LLM 的事实一致性,并为 RAG (检索增强生成) 系统提供参考。
该榜单最后更新于 2025 年 2 月 11 日
如何运作
- 收集模型： 该项目收集了许多流行的语言模型，如OpenAI的GPT系列、Google的BERT等。每个模型都会接受一系列测试，生成文本并判断其幻觉频率。
- 测试数据集： 项目使用了多个公开的标准数据集进行测试，这些数据集包含了大量的事实性信息。在模型生成的文本中，评估者会检查是否存在幻觉，确保测试结果的一致性和公正性。
- 评估标准： 评估模型幻觉的标准包括生成文本中的“事实性错误”。具体来说，研究人员会检查模型输出的文本是否存在明显的错误，例如历史日期错误、人物名称错误、地理位置错误等。
Hallucination Leaderboard项目为语言模型的开发者和研究人员提供了一个透明、开放的评估平台，帮助大家理解和解决模型幻觉问题。通过这个排行榜，大家可以看到哪些模型生成的信息更准确，哪些则容易生成错误信息。最终目标是推动更加可靠、精确的语言模型研发，减少幻觉，提升模型的实用性和可信度。
