LMEDR对话模型：引入自然语言推理数据提升对话模型的连贯性和一致性

一、概述

title：You Truly Understand What I Need : Intellectual and Friendly Dialogue Agents grounding Knowledge and Persona

论文地址：https://aclanthology.org/2022.findings-emnlp.75/

代码地址：https://github.com/dlawjddn803/INFO

1.1 Motivation

• 以前的研究将知识或个人资料混合融入预先训练的语言模型。其同时考虑知识和人物角色的能力仍然是有限的，导致生成结果出现幻觉，并且使用人物角色的方法也很被动。

1.2 Methods

• 提出一种有效的agent，同时基于外部知识和persona来生成回复。
• 选择合适的知识和persona生成回答，利用poly-encoder的方法来实现候选打分。
• 实施了人物角色级别指标，以考虑微妙的人物角色基础的多种人物角色选择。
• 利用检索的方式来增强query，其包含知识-角色的增强信息，使其生成的回复少幻觉，多参与性。

总结：

1）先计算persona和knowledge的分数

2）选择合适的persona+knowledge

3）结合2+query，利用faiss检索相近的paragraphs

4）生成更具信息量，更多参与度的responses。

1.3 Conclusion

• 提出了INFO (Intellectual and Friendly dialOg agents)，在persona-knowledge chat数据集自动评估metrics上取得sota。
• 人工评估也显示其少幻觉，多参与性。
• 相对于之前的检索器件retrievers，证明了我们retrievers的有效性，也比较了multiple candidate scoring的方法。

1.4 limitation

• 缺乏真实的知识和persona候选，导致在现实环境不可用。
• 评估幻觉的cases数量还比较少。
• 需要高的GPU计算资源（ since it marginalizes loss at the token level ）

二、大纲

三、详细内容

3.1 整体架构图

主旨思想：利用对话历史信息，挖掘出最相近的背景信息，然后利用该信息检索出更多额外知识，进而提高生成结果的质量。

U：人类和机器的历史对话数据。

cand：每个候选，感觉是knowledge的候选 or persona的候选，目的是排序后选择分数最高的。

KPEQ（knowledge persona enhanced query）：增强后的query

Retriever（Non parameters）：非参数的，相当于是检索出相关文档，辅助额外的知识来提升回复效果。

3.2 语义检索效果比较:相对于bi-encoder双塔和cross-encoder，poly这种交互模式效果最好

3.3 实验结果

Generation：生成效果评估

Grounding：persona和knowledge分类预测的精度（挑选分数最高的persona和knowledge的精度吗？）

RAG：token级别生成效果好，sequence级别分类效果好

3.4 人工评估：效果碾压其他的

3.5 实验设置

本文转载自​​PaperWeekly​​，作者： 胡翔 ​​NLP ​​