谷歌AGREE框架:提升大型语言模型回答准确性的新篇章

AI教程 2024-06-11

谷歌研究院最近公布了一项名为AGREE的革命性架构,它致力于加强大型语言模型(LLM)在内容生成和引用方面的精准度。AGREE通过深度挖掘文档中的关联段落,极大地丰富了大型模型回答的事实支撑,并辅以相关引用,使得回答不仅更加精确,还为用户提供了验证信息真实性的可靠依据。

image.png

技术核心亮点:

训练阶段的精妙调整:AGREE架构首先利用基础的大型语言模型生成初步回答,随后通过自然语言推理模型(NLI)对生成的回答进行深度分析,评估其中的段落是否足以支撑特定的声明。AGREE的独特之处在于,它能够自动从未标记的查询中构建训练数据集,通过智能匹配回答与检索到的文档,为每个声明精准定位到最具支持性的段落。

测试时的智能适应:面对新的内容查询,AGREE展现出了令人瞩目的适应性。它采用了一种动态、迭代的推理增强策略,能够主动地从庞大的语料库中检索与查询相关的信息,并对已生成的回答进行实时补充与修正,确保回答的全面性与准确性。

AGREE的运作流程:

在训练阶段,AGREE巧妙地运用了LORA的轻量级微调技术。这一技术通过在大型语言模型的权重矩阵上添加低秩更新,实现了高效且精准的模型调整,不仅大幅降低了计算资源的消耗,还确保了模型的泛化能力得以保持。

当进入测试阶段时,经过微调的大型语言模型会根据在训练阶段学到的知识,针对新的查询生成初步的回答。随后,模型会进入自动迭代的过程,对生成的回答进行自我评估,并精准地识别出那些需要额外信息支持的声明。

一旦识别出需要补充的声明,AGREE便会启动其强大的检索功能,在预先构建的丰富语料库中寻找与声明相关的段落。这些段落将与初步的回答相结合,共同构成更加完善、准确的最终答案,为用户提供更加全面、深入的信息服务。

@版权声明:部分内容从网络收集整理,如有侵权,请联系删除!

相关文章