由Katherine、Eric mitchell、Huaxiu Yao、Christopher D. Manning和Chelsea Finn组成的外国研究团队发布了一篇关于大型预训练语言模型（LLM）提高大型预训练语言模型事实性的方法，以下是他们的内容摘要。
摘要：AI人工智能大型预训练语言模型（LLM）在流畅性和创造性方面表现出色，然而，它们常常产生令人信服但不准确的主张，被称为“幻觉”。这些错误可能误导信息传播并延续误解。为解决这一问题，他们通过微调语言模型，使其更真实，无需人工标记，同时针对更开放的生成设置。他们借鉴了NLP领域最新的两项关键创新。
首先，他们采用了测量与外部知识库一致性或仅测量模型置信度分数的方法来判断开放式文本真实性。这有助于减少AI大型预训练语言模型幻觉的产生。其次，他们引入了直接偏好优化算法，通过对模型响应的偏好排名进行微调，无需依赖人工标记。这大大降低了获取人类事实性标签的成本。
研究结果表明，与传统的RLHF（人类反馈强化学习）或事实性解码策略相比，从自动生成的事实偏好排名中学习，无论是通过现有检索系统还是他们的无检索方法生成的，都显著提高了Llama-2在保留主题上的事实性。在7B量表上，与Llama-2-chat相比，生成传记和回答医学问题时，事实错误率分别降低了58%和40%。这一方法为提高语言模型的真实性和准确性提供了有效途径，有望改善其在实际应用中的可靠性。
那这项技术对AI模型有什么用呢？
- 首先，通过减少大型预训练语言AI模型（LLM）产生的幻觉，可以提高模型在实际应用中的可信度。这对于AI语言模型在自然语言处理任务中的广泛应用至关重要，包括文本生成、问答系统等。
- 其次，采用直接偏好优化算法进行微调，而无需依赖人工标记，极大地降低了获取人类事实性标签的成本。这意味着更为经济高效的人工智能模型改进方法，为研究人员和开发人员提供了更多资源来专注于其他创新性的工作。
- 此外，通过引入对外部知识库一致性的测量和模型置信度分数的评估方法，研究者们为开放式文本真实性的判断提供了新的思路。这为未来的语言AI模型设计和评估提供了有益的参考，有助于进一步提高模型在处理开放性生成设置中的准确性和可靠性。
总体而言，这项AI技术的成功应用为改进大型预训练语言模型提供了实用的方法，有望推动人工智能领域在语言理解和AI生成方面取得更大的进展。
