ICLR-2019 Structured Neural Summarization

论文地址：Structured Neural Summarization

代码：https://github.com/CoderPat/structured-neural-summarization

seq encoder+GNN的结构化摘要提取

1. 简介

1. 作者发现图对于弱结构性数据具有很好的建模效果，同时单纯的seq模型和GNN模型效果都不好，于是作者提出了混和的

2. 结构化总结任务：

   2.1 方法命名：极致的总结，方法名平均长度为2.9，33%的名字的子集来自源码直接复制

   2.2 方法文档：文档平均长度19.1，19.4%的词元来自源码复制，已经较为类似自然语言

   2.3 自然语言总结：传统的NLP总结方法不是很在意结构，因此利用现有NLP工具加入了命名体和实体共同参考

2. 模型

2.1 Gated Graph Neural Networks

1. 图 $G=(V,E,X)$，顶点，边，特征
2. 信息传递与聚合：$m_v^{(i)}=g({f_k(h_u^{(i)})})$ 指从点 $u$ 到点 $v$ 通过类型为 $k$ 的边后以 $g$ 方式聚合（求和/平均等）
3. 更新状态：$h_v^{(i+1)}=GRU(m_v^{i},h_v^{i})$

2.2 Sequence GNNs

1. 每个元素的表示 $[e_1,\cdots,e_N]$，$[e_1’,\cdots,e_N’]=GNN((S,[R_1,\cdots,R_K],[e_1,\cdots,e_N]))$ ， $R$ 是 $K$ 个二元关系，$S$ 是句子
2. 对于图的每个顶点 $v$，计算权重 $\sigma (w(h_v^{(T)}))\in [0,1]$，$w$ 是线性函数，计算图层次表示 $\hat{e}=\sum_{i\le i\le N}\sigma (w(e_i’))\cdot \mathfrak{N}(e_i’)$，其中 $\mathfrak{N}$ 是另一个线性函数

2.3 实现细节

1. 增加 super node 连接每个顶点
2. 增加 NEXT edge 等多种边属性

3. 实验

---