Learning to Ask Question in Open-domain Conversational Systems with Typed Decoders

ask question with type information

概述

本文动机明确,模型简单有效,值得学习其解决问题的思路。
作者认为在开放域的对话系统中的问题生成任务与传统的问题生成任务有着以下两点不同之处:

  1. 对相同的输入(背景知识)可能有不同的提问模式,如Yes-No或者Wh-,How-类型的问题
  2. 对给定的输入,问题的提出往往需要有一定的场景知识,进而推动对话的发展。如,针对“我跟朋友去吃饭”,就可以提出一些关于朋友、地点、价格、味道等主题的问题;而传统的问题生成可能更多的在于某个特定的主题,并且更多表现为转述的方式。

基于此特点,作者认为“好”的问题不仅要有多样的提问模式,也要能够自然的衔接主题。而问题中,常常可以自然的分为三个部分:疑问词、主题词及常见词。为此,作者提出了两种利用词语类别信息的问题生成模型。并在收集的491000对微博的post-response上验证了模型的有效性。
Good questions in conversational systems are a natural composition of interrogatives, topic words, and ordinary words.

技术细节

模型较简单,详情参见原文
作者修改的基本模型是Seq2Seq模型,为了融入类别信息。作者在解码器端增加了两种融入信息的方式:
一是,通过在每步解码时考虑该时刻的待解码词的类别分布(softmax),这被作者称为STD (soft-typed decoder);
二是,通过在每步解码时先生成该时刻词语的类别(argmax),再在已知该类别的基础上生成词语,这被称为HTD(hard-typed decoder)。

为了解决argmax不可求导的问题,作者采用Gumbel-Softmax技术来替代该操作。

参考文献

Learning to Ask Question in Open-domain Conversational Systems with Typed Decoders

0%