GitHub - GlassyWing/bi-lstm-crf: 使用keras实现的基于Bi-LSTM +...

通过Bi-LSTM获得每个词所对应的所有标签的概率，取最大概率的标注即可获得整个标注序列，如上图序列W0W1W2的标注为BIS。但这样有可能会取得不合逻辑的标注序列，如BS、SI等。我们需要为其设定一些约束，如：

而要做到这一点，我们可以在原有的模型基础之上，加上一个CRF层，该层的作用即是学习符号之间的约束（如上所述）。模型架构变为Embedding + Bi-LSTM + CRF，原理参考论文：https://arxiv.org/abs/1508.01991。

语料预处理

要训练模型，首先需要准备好语料，这里选用人民日报2014年的80万语料作为训练语料。语料格式如下：

\"人民网/nz 1月1日/t 讯/ng 据/p 《/w [纽约/nsf 时报/n]/nz 》/w 报道/v ，/w 美国/nsf 华尔街/nsf 股市/n 在/p 2013年/t 的/ude1 最后/f 一天/mq 继续/v 上涨/vn ，/w 和/cc [全球/n 股市/n]/nz 一样/uyy ，/w 都/d 以/p [最高/a 纪录/n]/nz 或/c 接近/v [最高/a 纪录/n]/nz 结束/v 本/rz 年/qt 的/ude1 交易/vn 。/w \"

原格式中每一个词语使用空格分开后面使用POS标记词性，而本模型所需要的语料格式如下：

嫌 疑 人 赵 国 军 。 B-N I-N I-N B-NR I-NR I-NR S-W

使用命令:

python tools/data_preprocess.py people-2014/train 2014_processed -c True -s True

可将原文件转换为用BIS标签（B:表示语句块的开始，I:表示非语句块的开始，S:表示单独成词）标注的文件。

如上将会使用people-2014/train下的文件生成文本文件2014_processed

生成字典

使用命令：

python tools/make_dicts.py 2014_processed -s src_dict.json -t tgt_dict.json

这会使用文件2014_processed，生成两个字典文件，src_dict.json, tgt_dict.json

使用方式见：python tools/make_dicts.py -h

转换为hdf5格式

使用命令：

python tools/convert_to_h5.py 2014_processed 2014_processed.h5 -s src_dict.json -t tgt_dict.json

可将文本文件2014_processed转换为hdf5格式，提升训练速度，

使用方式见：python tools/convert_to_h5.py -h

训练

训练示例见：

train_example.py

训练时，默认会生成模型配置文件data/default-config.json, 权重文件将会生成在models文件夹下。

使用字（词）向量

在训练时可以使用已训练的字（词）向量作为每一个字的表征，字（词）向量的格式如下：

而 -0.037438 0.143471 0.391358 ...个 -0.045985 -0.065485 0.251576 ...以 -0.085605 0.081578 0.227135 ...可以 0.012544 0.069829 0.117207 ...第 -0.321195 0.065808 0.089396 ...上 -0.186070 0.189417 0.265060 ...之 0.037873 0.075681 0.239715 ...于 -0.197969 0.018578 0.233496 ...对 -0.115746 -0.025029 -0 ...

每一行，为一个字（词）和它所对应的特征向量。

汉字字（词）向量来源可从https://github.com/Embedding/Chinese-Word-Vectors获得字（词）向量。字（词）向量文件中每一行格式为一个字（词）与其对应的300维向量。

训练效果

训练时模型配置如下：

config = { \"vocab_size\": 6864, \"chunk_size\": 259, \"embed_dim\": 300, \"bi_lstm_units\": 256, \"max_num_words\": 20000, \"dropout_rate\": 0.1 }

其它参数：