前言

　　CRF++是著名的条件随机场的开源工具，也是目前综合性能最佳的CRF工具。在这里我们简单介绍一下windows系统下CRF++的使用。

一、工具包的下载：

CRF 的工具有两种，一种是支持Linux环境的，一种是支持Windows环境的，大家可以自行根据自己的系统进行下载。
（在此我下载的是CRF++0.58）
安装
在此先简单说一下Linux环境下的安装，后面我们主要介绍Windows环境下的使用。

解压到某一个目录下面
打开控制台，切换到解压目录
依次输入命令：
./configure
make
su
make install
注意：需要root权限才能成功安装。
在Windows下的安装很简单，其实严格来讲不能说是安装。我们解压我们下载的压缩包文件到某一个目录下面。你可能会得到如下所示的文件，（版本不同，可能会有所不同。）

doc文件夹：就是官方主页的内容
example文件夹：有四个任务的训练数据（test.data）、测试数据(train.data)和模板文件(template),还有一个执行脚本文件exec.sh。
sdk文件夹：CRF++的头文件和静态链接库。
clr_learn.exe:CRF++的训练程序
crl_test.exe:CRF++的测试程序
libcrffpp.dll:训练程序和测试程序需要使用的静态链接库。
实际上，需要使用的就是crf_learn.exe，crf_test.exe和libcrfpp.dll，这三个文件。

二.一个小例子

训练过程
　　为了让大家尽快练练手，看到结果，我们先拿example中的某个例子做一下测试。例如：example中chunking文件夹，其中原有4个文件：exec.sh；template；test.data；train.data。将crf_learn.exe；crf_test.exe；libcrfpp.dll三个文件复制到这个文件夹（chunking）底下。
　　在命令窗口中，cd到该文件夹，然后输入以下命令进行训练模型。
　　crf_learn template_file train_file model_file
　　eg:crf_learn template train.data model
　　你可以看到控制台上打印处的信息，并会产生一个新的文件：model。这个训练过程的时间、迭代次数等信息就会输出到控制台上（感觉是crf_learn程序的输出信息到标准输出流上了），如果想要保存这些信息，我们可以将这些标准输出流到文件，命令格式为：
crf_learn template_file train_file model_file >> train_info_file
eg:crf_learn template train.data model >> model_out.txt

在这里有四个参数可以调整：
-a CRF-L2 or CRF-L1
规范化算法的选择。默认是CRF-L2。一般来说L2算法效果要比L1算法稍微好一点，虽然L1算法中非零特征的数值要比L2中大幅度的小。

-c float
这个参数设置CRF的hyper-parameter。c的数值越大，CRF拟合训练数据的程度越高。这个参数可以调整过拟合和不拟合之间的平衡度。这个参数可以通过交叉验证等方法寻找较优的参数。

-f NUM
这个参数设置特征的cut-off threshold。CRF++使用训练数据中至少出现NUM次的特征。默认值为1。当使用CRF++到大规模数据的时候，只出现一次的特征可能会有百万个，这个选项就会在这样的情况下起作用了。

-p NUM
如果电脑有多个CPU ,那么可以通过多线程提升训练速度。NUM是线程数量。

举一个带参数的命令例子：
clr_learn -f 3 -c 1.5 tempalte train.data model##过滤掉了频数低于3的特征，并且设超参数为1.5

测试过程
输入命令进行测试数据,测试程序的命令为：
crf_test -m model_file test_file
eg: crf_test -m model test.data
同样，与crf_learn类似，输出的结果放到了标准输出流上，而这个输出结果是最重要的预测结果信息（预测文件的内容+预测标注），同样可以使用重定向，将结果保存下来，命令为：
crf_test -m model_file test_files >> result_file
eg：crf_test -m model test.data >> output.txt
你会发现生成一个新的文件output.txt，就是我们的测试结果。

在这里的参数有两个-v 和-n,都是用来显示一些信息的。-v 可以用来预测标签概率值, -n可以显示不同可能序列的概率值。对于准确率、召回率、运行效率，没有影响。
做到这里，心里应该有一丝小兴奋吧，毕竟看到了点东西嘛。

　三、训练语料格式

训练语料至少应该具有两列，列间由空格或者制表位间隔，且所有行（空行除外）必须具有相同的列数。句子间使用空行间隔。
示例：

有两列特征的：

太 Sd N
短 Sa N
而 Bu N
已 Eu N
。 Sw N

以 Sp N
家 Bn N
乡 En N
的 Su N

只有一列特征的：
太 N
短 N
而 N
已 N
。 N

以 N
家 N
乡 N
的 N

特征选取及模板的编写
特征选取的行是相对的，列数绝对的，一般选取相对行前后m行，选取n-1列（假设语料总共有n列），特征表示方法为：%x[行，列]，行列的初始位置都为0。
例如：
“ Sw N
北 Bns B-LOC
京 Mns I-LOC
市 Ens I-LOC
首 Bn N
假设当前行为“京”字这一行，那么特征可以这样选取：

模板分为两类：Unigram和Bigram。其中Unigram/Bigram是指输出token的Unigram/Bigrams，而不是特征的。

以前面的示例中的特征为特征，制作模板如下：

Unigram类型：每一行%x[#,#]生成一个CRFs中的点(state)函数：f(s,o),其中s为t时刻的标签（output），o为t时刻的上下文。

Bigram类型：每一行%x[#,#]生成CRFs中的边(Edge)函数：f(s’,s,o),其中s’为t-1时刻的标签，也就是说，Bigram类型与Unigram类型大致相同，只是还要考虑到t-1时刻的标签，如果直线一个B的话，默认生成f(s’,s).
U00:%x[-2,0]
U01:%x[-1,0]
U02:%x[0,0]
U03:%x[1,0]
U04:%x[2,0]
U05:%x[-2,1]
U06:%x[-1,1]
U07:%x[0,1]
U08:%x[1,1]
U09:%x[2,1]
U10:%x[-1,0]/%x[0,0]
U11:%x[0,0]/%x[1,0]
U12:%x[-2,1]/%x[-1,1]
U13:%x[-1,1]/%x[0,1]
U14:%x[0,1]/%x[1,1]
U15:%x[1,1]/%x[2,1]
U16:%x[-2,1]/%x[-1,1]/%x[0,1]
U17:%x[-1,1]/%x[0,1]/%x[1,1]
U18:%x[0,1]/%x[1,1]/%x[2,1]
说明：
i. 其中#开头的行不起作为，为注释；
ii. 行与行之间可以有空行；
iii. Unigram的特征前使用字母U，而Bigram的特征前使用字母B。后面的数字用于区分特征，当然这些数字不是一定要连续。

训练方法
语料的训练可以使用命令（在终端或DOS命令行中）：crf_learn <模板> <训练语料> <模板文件>。其中模板和训练语料是需要事先准备好的，模板文件在训练完成后生成。

注意：

如果提示语料格式错误，则注意检查语料的存储编码，有些编码CRF++是会读取错误的；

2)文件路径要正确，如果文件没在当前目录，那么要使用绝对路径。
1
2
3
训练中一些参数的说明：

ter：迭代次数
terr：标记错误率
serr：句字错误率
obj：当前对象的值。当这个值收敛到一个确定值的时候，训练完成
diff：与上一个对象值之间的相对差

六、解码方法（测试）

可以使用命令：crf_test -m <模板文件> <测试文件1> <测试文件2> ……进行测试，这样会在控制台上看到测试结果。
利用上面的命令进行测试，测试结果会直接输出到屏幕上，如果你想让测试结果保存到文件里，那么在此需要使用重定向，就是在上面命令后面加上一个开关“>保存文件”即可：crf_test -m <模板文件> <测试文件1> > <保存位置>。例如：crf_test -m model test.txt > result.txt