达观数据CTO纪达麒:小标注数据量下自然语言处理实战经验

自然语言处理 在文本 信息抽取 、自动审校、智能问答、情感分析等场景下都有非常多的实际应用需求，在人工智能领域里有极为广泛的应用场景。然而在实际工程应用中，最经常面临的挑战是我们往往很难有大量高质量的标注语料。 

“巧妇难为无米之炊”， 在缺少语料的情况下，如何达到良好的NLP应用效果，是这些场景要落地所必须解决的问题。我们通常称其为“低资源问题”，或者称为“小样本学习”问题，本文从 达观数据 的实践经验出发，用 命名实体识别 （NER）任务为例，来介绍在小标注数据量下进行NLP处理的经验和方法，希望对大家有所启发。 

经典的低资源NLP方法

在众多文本处理场景中，NER（Named Entity Recognition， 命名实体识别 ）又称专名识别，是最为常见的一项任务，使用的范围非常广，因此本文中我们以NER任务为例来讲解。命名实体通常指文本中具有特别意义或者指代性非常强的事物，例如人名、地名、机构名、书名、时间、以及其他专有名词等。 NER的任务就是从原始的非机构化文本中自动抽取出上述实体，或者按业务需求识别出更多特定类别的实体，比如产品名称、型号、价格等。实体这个概念可以很广，只要是业务需要的特殊文本片段都可以称为实体。例如在金融行业文本中，债权人、债务人、利润总额、资产负载率等，这些特定意义的信息，都可以视为实体。

在实际应用中，由于标注数据稀少（这个原因来自很多实际条件的限制），但又期望能达到足够好的效果，在经典的 机器学习 方法里，往往可以通过对特征进行概率统计学习，来形成抽取模型。其具体算法思想如下：

先由工程师标定特征，通过对训练数据进行特征统计和挖掘，形成抽取模型。

下面简单举例说明，假设标注的样本数据是：

百度 是一家人工智能公司  à NER (公司名:百度 )

需要抽取出“ 参加本次活动的达观数据 是一家人工智能公司”这句话里的公司名。通过分词、 词性标注 、句法结构分析等，掌握到“参加本次活动”这样的定语修饰词，以及后续13个字，经典方法是用概率计算方法判断出现在“是人工智能公司”前面的词汇是公司名的概率。

在经典NER方法中，达观的经验是 条件随机场 （CRF）效果较好。 条件随机场 使用势函数和图结构上的团来定义条件概率P(y | x)。给定观测序列x，链式 条件随机场 主要包含两种关于标记变量的团，即单个标记变量{y _i}以及相邻的标记变量{y _i-1，y _i}。在 条件随机场 中，通过选用合适的势函数，并引入特征函数，可以得到条件概率的定义：

其中： 

其中t _k(y _{i- 1}, y _i, x, i)是定义在观测序列的两个相邻标记位置上的转移特征函数，用于刻画相邻标记变量之间的相关关系以及观测序列对它们的影响，s _l(y _i, x, i)是定义在观测序列的标记位置i上的状态特征函数，用于刻画观测序列对标记变量的影响，λ _k和u _l为 参数 ，Z为 规范化 因子。

可以将t _k(y _{i  - 1}, y _i, x, i)和s _l(y _i, x, i)两个特征函数统一为：f _k(y _{i -1}, y _i, x, i)，则有：

其中：

已知训练数据集，由此可知经验 概率分布 ，可以通过极大化训练数据的对数 似然函数 来求模型 参数 。加入惩罚项后，训练数据的对数 似然函数 为：

其中的σ是可以调节的惩罚 权重 。对 似然函数 L(w)中的w求偏导，令：

可以依次求出w _i。在上述情况下，如果带来干扰的训练样本不多，则CRF还是可以取得尚可的效果的。但是前置的句法结构分析、词性分析等一旦出现误差，会带来连锁反应。例如“参加本次活动的”这样的定语有时需要进行剔除才能确保NER识别的精度，不得不让工程师针对每个场景进行很多繁琐的预处理和后处理工作。

深度学习 与小标注数据训练

使用深度学习 的优点是不需要工程师告诉算法要提取哪些特征，而是由算法从标注数据中自动学习并寻找到关键特征，再进行预测（提取）。 深度学习 源自经典的BP 神经网络 模型，一般由输入层，隐藏层，输出层组成，其中隐藏层的数目按需确定。 深度学习 增加了网络层数，将每一层的输出作为下一层的输入，将底层的简单特征进行多层组合抽象为高层的特征表示。NER最常使用的深度 神经网络 结构是长短时记忆网络LSTM（Long ShortTerm Memory）。 长短期记忆网络 的原理可见下图： 

第一步，如何做长期记忆的更新？输入Ht-1和Xt，Ht-1是上一个时刻这个cell隐状态的输出，Xt是当前输入，它们两个通过这个函数计算后的输出是0-1之间的某一个值。这一步，决定上个时刻 神经元 状态留下的比率是多少。

第二步，上下文中获得了新的信息，不能只是把老的 神经元 状态更新，还要把新的信息添进去，通过这两个公式来添，第一个公式输出0-1的系数，第二个公式要选出量是多少。有了第一步和第二步之后就开始第三步 神经元 状态更新。

第三步，第一步的输出0-1和Ct-1相乘决定上一时刻这个 神经元 状态留下多少。第二步算出来系数和信息量相乘决定留下多少新增信息，然后把上一步剩下的和这一步新增的加起来，做一个更新，这个更新就是现的 神经元 状态值。

第四步，现在单元的状态更新完了，接下来就要输出，这个输出有两个：第一个，对外是一样，还是隐层的输出Ht。决定留下多少老的信息，决定留下多少新的信息，第二个再把老的信息和新的信息加起来就是最终的结果。

使用 深度学习 的方法通常需要有大量的训练数据，在小数据集下往往很难对网络结构进行充分训练。 多任务学习 （Multi-task Learning）可通过端到端的学习方式，直接在当前任务中引入其他相关任务的标注信息作为监督学习 的样本。2008年Collobert等人最早提出了NLP中应用Multi-task的思想，通过不同任务的标注数据，共同训练一个 神经网络 模型，来共同提升数据的综合利用程度。 多任务学习 可以设计为可共享网络的核心层次，在输出层对不同任务设计特定的网络结构。达观在实际使用中，也会使用Bi-LSTM和CRF结合的网络结构，效果略有提升，但受限于数据规模，并非有质的提升。

引入预训练 神经网络

前面所提的方法只依赖了测试场景下已有的训练数据，而很多实际场景下获取标注语料非常困难，那为了达到好的效果还有什么不同的思路吗？这些专有名词除了出现在标注语料中，还有很多文本中也一样会出现，无论是字、词或者句子，都大量存在。 所以是否可以使用其他文本中的未标注过的语料，来改进当前测试场景下的效果？这就是近年来在NLP领域大放异彩的预训练思路。而词向量（Word Embedding）是普遍使用的方法，相比传统的对于词语进行One-Hot编码，词向量携带了更加丰富的语义信息。

字面上不相关的词在中文中有可能是非常相近甚至是同义词，如“电脑”和“计算机”，“香蕉”和“水果”，“公司”和“企业”，如果模型可以结合这些信息，能有效提高抽取的泛化能力。词向量主要的几代技术有Word2Vec，ELMO和BERT。

Word2Vec 

Word2Vec是google在2013年推出的一个NLP工具，它的特点是将所有的词向量化。Word2Vec中最重要的两个模型是CBOW（Continuous Bag-of-Word）模型和 Skip-gram （Continuous Skip-gram ）模型，两个模型都包含三层：输入层，投影层，输出层。CBOW模型的作用是已知当前词Wt的上下文环境（Wt-2，Wt-1，Wt+1，Wt+2）来预测当前词， Skip-gram 模型的作用是根据当前词Wt来预测上下文（Wt-2，Wt-1，Wt+1，Wt+2）

在模型求解中，和一般的 机器学习 方法类似，也是定义不同的 损失函数 ，使用 梯度下降 法寻找最优值。Word2vec模型求解中，使用了HierarchicalSoftmax方法和NegativeSampling两种方法。通过使用Word2vec，我们可以方便的将词转化成向量表示，让计算机和理解图像中的每个点一样，数字化词的表现。

相同的词在不同上下文是可能有不同的含义。如“苹果”，在“我吃了一个苹果”，和“我买了一个苹果手机”两个句子下的含义完全不同。所以word embedding 对于每个词只有一个唯一的向量，是无法区分不同语义下相同词的不同含义。ELMO（Embeddingfrom Language Models）通过上下文来调整word  embedding 的方式， 可以比较好的解决这个问题。

上图展示的是其预训练过程，它的网络结构采用了双层双向 LSTM，目前 语言模型 训练的任务目标是根据单词的上下文去正确预测单词，单词之前的单词序列称为上文，之后的单词序列称为下文。图中左端的前向双层LSTM代表正方向编码器，输入的是从左到右顺序的除了预测单词外的上文。右端的逆向双层 LSTM 代表反方向编码器，输入的是从右到左的逆序的句子下文。每个编码器的深度都是两层 LSTM 叠加。这个网络结构其实在NLP 中是很常用的。

使用这个网络结构利用大量语料做 语言模型 任务就能预先训练好这个网络，如果训练好这个网络后，输入一个新句子，句子中每个单词都能得到对应的三个Embedding:最底层是单词的 WordEmbedding，往上走是第一层双向LSTM中对应单词位置的Embedding，这层编码单词的句法信息更多一些；再往上走是第二层 LSTM 中对应单词位置的Embedding，这层编码单词的语义信息更多一些。 所以，ELMO不仅仅学会单词的 WordEmbedding，还学会了一个双层双向的LSTM 网络结构。

达观数据 在实践中发现，使用预训练方法，通过词嵌入 ，对于比较常见的字段抽取可以有明显的提升，比如人名类字段（甲方，乙方，律师，原告等），很少的标注语料就可以达到很好的效果，但对于行业性质比较强的字段，由于本身能获取到的未标注语料总量也不够大，相关字词的出现频率不够多，限制了方法的效果。

2-gram，就是“信委”和“委员”，“信委”不是核心词，而“委员”是核心词，所以编码为“01”
3-gram，就是“通信委”和“委员会”，“通信委”不是核心词，而“委员会”是核心词，所以编码为“01”
4-gram，就是“邦通信委”和“委员会最”都不是核心词，所以编码为“00”
5-gram，就是“联邦通信委”和“委员会最近”都不是核心词，所以编码为“00”

纪达麒： 达观数据 首席技术官（CTO），研发团队总负责人，中国计算机学会（CCF）会员。拥有10年技术团队管理经验，在加入达观前，曾担任 腾讯 文学数据中心高级研究员、盛大文学技术总监， 搜狗 广告系统高级研发工程师， 百度 工程师等职务，擅长 数据挖掘 以及实时服务系统架构设计工作。曾代表公司多次参加国际 数据挖掘 竞赛，是ACM KDD-Cup，CIKM Competition等世界一流 数据挖掘 竞赛获胜队伍的核心成员。