用深度神经网络处理NER命名实体识别问题

人工智能 深度学习 移动开发
命名实体识别(NER)是指识别文本中具有特定意义的实体,主要包括人名、地名、机构名、专有名词等。命名实体识别是信息提取、问答系统、句法分析、机器翻译等应用领域的重要基础工具,作为结构化信息提取的重要步骤。

本文结构:
 

  1. 什么是命名实体识别(NER)
  2. 怎么识别?

cs224d Day 7: 项目2-用DNN处理NER问题

课程项目描述地址

什么是NER?

命名实体识别(NER)是指识别文本中具有特定意义的实体,主要包括人名、地名、机构名、专有名词等。命名实体识别是信息提取、问答系统、句法分析、机器翻译等应用领域的重要基础工具,作为结构化信息提取的重要步骤。摘自 BosonNLP

怎么识别?

先把解决问题的逻辑说一下,然后解释主要的代码,有兴趣的话,完整代码请去 这里看 。

代码是在 Tensorflow 下建立只有一个隐藏层的 DNN 来处理 NER 问题。

1.问题识别:

NER 是个分类问题。

给一个单词,我们需要根据上下文判断,它属于下面四类的哪一个,如果都不属于,则类别为0,即不是实体,所以这是一个需要分成 5 类的问题:

  1. • Person (PER) 
  2. • Organization (ORG) 
  3. • Location (LOC) 
  4. • Miscellaneous (MISC) 

我们的训练数据有两列,***列是单词,第二列是标签。

  1. EU ORG 
  2. rejects O 
  3. German MISC 
  4. Peter PER 
  5. BRUSSELS LOC 

2.模型:

接下来我们用深度神经网络对其进行训练。

模型如下:

输入层的 x^(t) 为以 x_t 为中心的窗口大小为3的上下文语境,x_t 是 one-hot 向量,x_t 与 L 作用后就是相应的词向量,词向量的长度为 d = 50 :

我们建立一个只有一个隐藏层的神经网络,隐藏层维度是 100,y^ 就是得到的预测值,维度是 5:

用交叉熵来计算误差:

J 对各个参数进行求导:

得到如下求导公式:

在 TensorFlow 中求导是自动实现的,这里用Adam优化算法更新梯度,不断地迭代,使得loss越来越小直至收敛。

3.具体实现

在 def test_NER() 中,我们进行 max_epochs 次迭代,每次,用 training data 训练模型 得到一对 train_loss, train_acc ,再用这个模型去预测 validation data,得到一对 val_loss, predictions ,我们选择最小的 val_loss ,并把相应的参数 weights 保存起来,***我们是要用这些参数去预测 test data 的类别标签:

  1. def test_NER(): 
  2. config = Config() 
  3. with tf.Graph().as_default(): 
  4. model = NERModel(config) # 最主要的类 
  5.  
  6. init = tf.initialize_all_variables() 
  7. saver = tf.train.Saver() 
  8.  
  9. with tf.Session() as session: 
  10. best_val_loss = float('inf') # ***的值时,它的 loss 它的 迭代次数 epoch 
  11. best_val_epoch = 0 
  12.  
  13. session.run(init) 
  14. for epoch in xrange(config.max_epochs): 
  15. print 'Epoch {}'.format(epoch) 
  16. start = time.time() 
  17. ### 
  18. train_loss, train_acc = model.run_epoch(session, model.X_train, 
  19. model.y_train) # 1.把 train 数据放进迭代里跑,得到 loss 和 accuracy 
  20. val_loss, predictions = model.predict(session, model.X_dev, model.y_dev) # 2.用这个model去预测 dev 数据,得到loss 和 prediction 
  21. print 'Training loss: {}'.format(train_loss) 
  22. print 'Training acc: {}'.format(train_acc) 
  23. print 'Validation loss: {}'.format(val_loss) 
  24. if val_loss < best_val_loss: # 用 val 数据的loss去找最小的loss 
  25. best_val_loss = val_loss 
  26. best_val_epoch = epoch 
  27. if not os.path.exists("./weights"): 
  28. os.makedirs("./weights"
  29.  
  30. saver.save(session, './weights/ner.weights') # 把最小的 loss 对应的 weights 保存起来 
  31. if epoch - best_val_epoch > config.early_stopping: 
  32. break 
  33. ### 
  34. confusion = calculate_confusion(config, predictions, model.y_dev) # 3.把 dev 的lable数据放进去,计算prediction的confusion 
  35. print_confusion(confusion, model.num_to_tag) 
  36. print 'Total time: {}'.format(time.time() - start) 
  37.  
  38. saver.restore(session, './weights/ner.weights') # 再次加载保存过的 weights,用 test 数据做预测,得到预测结果 
  39. print 'Test' 
  40. print '=-=-=' 
  41. print 'Writing predictions to q2_test.predicted' 
  42. _, predictions = model.predict(session, model.X_test, model.y_test) 
  43. save_predictions(predictions, "q2_test.predicted") # 把预测结果保存起来 
  44.  
  45. if __name__ == "__main__"
  46. test_NER() 

4.模型是怎么训练的呢?

首先导入数据 training,validation,test:

  1. # Load the training set 
  2. docs = du.load_dataset('data/ner/train'
  3.  
  4. # Load the dev set (for tuning hyperparameters) 
  5. docs = du.load_dataset('data/ner/dev'
  6.  
  7. # Load the test set (dummy labels only) 
  8. docs = du.load_dataset('data/ner/test.masked'

把单词转化成 one-hot 向量后,再转化成词向量:

  1. def add_embedding(self): 
  2.   # The embedding lookup is currently only implemented for the CPU 
  3.   with tf.device('/cpu:0'): 
  4.  
  5.     embedding = tf.get_variable('Embedding', [len(self.wv), self.config.embed_size])    # assignment 中的 L     
  6.     window = tf.nn.embedding_lookup(embedding, self.input_placeholder)                # 在 L 中直接把window大小的context的word vector搞定 
  7.     window = tf.reshape( 
  8.       window, [-1self.config.window_size * self.config.embed_size]) 
  9.  
  10.     return window 

建立神经层,包括用 xavier 去初始化***层, L2 正则化和用 dropout 来减小过拟合的处理:

  1. def add_model(self, window): 
  2.  
  3.   with tf.variable_scope('Layer1', initializer=xavier_weight_init()) as scope:        # 用initializer=xavier去初始化***层 
  4.     W = tf.get_variable(                                                                # ***层有 W,b1,h 
  5.         'W', [self.config.window_size * self.config.embed_size, 
  6.               self.config.hidden_size]) 
  7.     b1 = tf.get_variable('b1', [self.config.hidden_size]) 
  8.     h = tf.nn.tanh(tf.matmul(window, W) + b1) 
  9.     if self.config.l2:                                                                # L2 regularization for W 
  10.         tf.add_to_collection('total_loss'0.5 * self.config.l2 * tf.nn.l2_loss(W))    # 0.5 * self.config.l2 * tf.nn.l2_loss(W) 
  11.  
  12.   with tf.variable_scope('Layer2', initializer=xavier_weight_init()) as scope: 
  13.     U = tf.get_variable('U', [self.config.hidden_size, self.config.label_size]) 
  14.     b2 = tf.get_variable('b2', [self.config.label_size]) 
  15.     y = tf.matmul(h, U) + b2 
  16.     if self.config.l2: 
  17.         tf.add_to_collection('total_loss'0.5 * self.config.l2 * tf.nn.l2_loss(U)) 
  18.   output = tf.nn.dropout(y, self.dropout_placeholder)                                    # 返回 output,两个variable_scope都带dropout 
  19.  
  20.   return output 

关于 L2正则化 和 dropout 是什么, 如何减小过拟合问题的,可以看 这篇博客,总结的简单明了。

用 cross entropy 来计算 loss:

  1. def add_loss_op(self, y): 
  2.  
  3.   cross_entropy = tf.reduce_mean(                                                        # 1.关键步骤:loss是用cross entropy定义的 
  4.       tf.nn.softmax_cross_entropy_with_logits(y, self.labels_placeholder))                # y是模型预测值,计算cross entropy 
  5.   tf.add_to_collection('total_loss', cross_entropy)            # Stores value in the collection with the given name. 
  6.                                                               # collections are not sets, it is possible to add a value to a collection several times. 
  7.   loss = tf.add_n(tf.get_collection('total_loss'))            # Adds all input tensors element-wise. inputs: A list of Tensor with same shape and type 
  8.  
  9.   return loss 

接着用 Adam Optimizer 把loss最小化:

  1. def add_training_op(self, loss): 
  2.  
  3.   optimizer = tf.train.AdamOptimizer(self.config.lr) 
  4.   global_step = tf.Variable(0, name='global_step', trainable=False
  5.   train_op = optimizer.minimize(loss, global_step=global_step)    # 2.关键步骤:用 AdamOptimizer 使 loss 达到最小,所以更关键的是 loss 
  6.  
  7.   return train_op 

每一次训练后,得到了最小化 loss 相应的 weights。

这样,NER 这个分类问题就搞定了,当然为了提高精度等其他问题,还是需要查阅文献来学习的。下一次先实现个 RNN。

责任编辑:林师授 来源: 简网
相关推荐

2020-08-28 12:00:47

NER人工智能深度学习

2024-03-18 13:36:36

大型语言模型个人可识别信息

2017-11-10 11:51:39

Python自然语言分析器

2017-05-25 11:24:18

达观数据NER系统

2018-01-04 15:50:44

深度学习自然语言机器学习

2018-02-05 08:58:36

Python神经网络识别图像

2019-10-29 08:50:31

深度学习编程人工智能

2017-12-05 15:32:44

深度学习语音识别

2018-01-29 00:16:16

神经网络递归卷积深度学习

2010-10-15 12:21:55

2023-06-26 06:55:25

2022-10-11 23:35:28

神经网络VGGNetAlexNet

2017-12-22 08:47:41

神经网络AND运算

2022-06-06 13:05:32

神经网络宇宙

2017-05-23 18:54:18

深度学习人工智能

2022-10-19 07:42:41

图像识别神经网络

2017-06-25 16:04:56

神经网络人类视觉信号

2017-03-22 11:59:40

深度神经网络

2016-12-27 14:24:57

课程笔记神经网络
点赞
收藏

51CTO技术栈公众号