聊天机器人训练语料，100万条中文对话

古诗词语料可以用来进行相关古诗词方面的语言理解和信息挖掘~

这个链接是训练集，测试集请见我的资源本语料库由复旦大学李荣陆提供。
test_corpus.rar为测试语料，共9833篇文档；
train_corpus.rar为训练语料，共9804篇文档，两个预料各分为20个相同类别。
训练语料和测试语料基本按照1:1的比例来划分。
使用时尽量注明来源（复旦大学计算机信息与技术系国际数据库中心自然语言处理小组）。
文件较大（训练测试各50多兆），下载时请耐心等待。

1、 该软件只支持ANSI编码文本，不支持Unicode编码文本。
2、 汉语文本可不进行分词处理。
3、 中英文文本文件要求分别以*.ZH.txt和*.EN.txt方式命名。
4、 数据文件必须严格行对齐，如包含空行也必须达到文本对应，即平行文件的对应行都是空的。
软件不能智能自动对齐语料。
5、 软件支持正则表达式检索。
6、 软件默认支持英文词形还原检索（lemmatizedsearch），如，检索go，可得到含有go、goes、went、going、gone等的平行句对。
去除lemmatized前的复选框，则可以检索实际输入的检索项（比如搜goes，只能得到含goes的平行句对）。
7、 软件还支持对应语言文本中包含或不含（exclude）某词项的检索。
如检索education，以及结果中包含（或不含）“教育”的句对。
8、 结果可存为tab符分隔的文本文件，便于后续分析。

本文档介绍Sphinx4在Windows下的中文训练过程及注意事项，与本文档配套的是我自己的训练实例bergtrain和用到的软件。
本文档编写日期2013-04-231、为什么要训练？sphinx4目前的版本中仅提供了英文等语音识别库。
中文的库是PTM或semi类型的，在java版sphinx中无法使用。
2、Sphinx的训练指哪些内容？在Sphinx中有语言模型、声学模型等概念，如果你不想了解这些，请参考以下内容：a1、中文每个字的标准发音已经有一个较为全面的文件进行了标注这个文件就是zh_broadcastnews_utf8.dic（下称这类文件为发音字典），在sphinx网站上可以下载，我们也包含了它。
下面是该文件的片断，它用类似拼音的方式标注了每个字或词的发音。
昌chang昌北changbei昌必changbi昌都changdu昌赫changhea2、需要告诉sphinx我们经常使用的字、词是哪些，它们出现的频率如何由于开放式语音识别尚难实现，所以sphinx实际上只能较好的处理相对小的语言集合。
因此，针对特定的领域，告诉sphinx该领域的词汇和各词出现的频率将极大提高识别率。
a3、需要告诉sphinx每个字、词的真正读音发音字典告诉sphinx每个字的标准读音，但面对的说话人往往不会以标准读音来朗读。
因此sphinx需要学习说话人的“口音”。
如果训练时的读者发音比较标准，则sphinx能“举一反三”，识别其他不那么标准的读者的语音。
推荐的做法是训练一些典型的口音：标准男、女声，童音，最后再考虑特定用户的口音。
3、如何准备训练内容所需的原料？需要准备两大内容：1)文本语料文件，2)语料录音文件。
文本语料文件给出2.a2中需要的内容，在bergtrain的etc文件下的berginput.txt文件就是一个预料文件。
它以行为单位，给出了150个中文句子。
语料录音文件是根据文本语料文件，朗读它的每行/句话，保存到每一个语音文件即可。
语料文件中的语句应该尽量选择领域相关的，在覆盖领域内名词的前提下，覆盖尽可能多的通用词汇。
4、训练环境及注意事项本文的训练软硬件如下：硬件：T60P笔记本，机器自带录音设备；
操作系统为Win732位。
软件：Sphinx cmuclmtk-0.7-win32.zip pocketsphinx-0.8-win32.zip sphinxbase-0.8-win32.zip sphinxtrain-1.0.8-win32.zip sphinx4-1.0beta6-bin.zip，用于编写java版的识别软件所需的库 脚本执行软件 ActivePerl-5.16.3.1603-MSWin32-x86-296746.msi ActivePython-2.7.2.5-win32-x86.msi 录音和处理软件 audacity-win-2.0.3rc1.zip，可进行录音和声音文件处理（如降噪），免费软件 FairStars.zip，可进行批量录音（V3.5绿色版） 文本编辑软件UltraEdit，UltraEdit-32.rar绿色版注意： 文件格式 语料文件必须使用UltraEdit进行编辑， 在编辑后，使用文件-转换-ASCII转UTF-8(UNICODE编辑)，指定文件中的中文使用utf8编码。
在保存前，设置格式如下： 换行符：UNIX终束符-LF 指定文件中的回车/换行符为编码0A的换行符 格式：UTF-8-无BOM 每个文件的末尾必须有一个回车！ 这个回车将在保存时被替换为编码0A的换行符，训练脚本需要这个符号来确认文件的结束。
录音文件 如果你不希望去编辑训练中的配置文件，则在使用FairStars录音时作如下设定： 进入菜单和对话框选项-显示录音选项-编码-WMA， 设定：采样率（16000Hz）、通道（单声道）、比特率（16Kbps）5、训练步骤下面逐步从零开始进行训练5.1软件环境的安装将本文档所在的文件夹解压或拷贝到d:\，即本文档路径是d:\sphinxtrain\Sphinx中文训练教程.txt1)点击安装ActivePerl-5.16.3.1603-MSWin32-x86-296746.msi和ActivePython-2.7.2.5-win32-x86.msi；
2)解压Sphinx中除sphinx4-1.0beta6-bin.zip外的压缩文件到d:\sphinxtrain下

对文本进行聚类，文本预处理-->构造特征向量-->聚类，压缩包内含有实验用语料

美国当代英语语料库（CorpusofContemporaryAmericanEnglish，简称COCA），用计算机统计英语单词词频并排序，已包含5.6亿字的文本，是目前最大的免费英语语料库。
1990年至2017年，COCA以每年2000万字的速度更新扩充，以保证语料库内容的时效性。
其语料均衡分布在口语、小说、杂志、报纸以及学术文章五类文体中，被认为是用来观察美国英语当前发展变化的最合适的英语语料库，也是广大英语爱好者的学习宝库。

中文维基百科语料库，将其转换为文本文件后，进行繁体字转换为简体字，字符集转换，分词，然后训练得到模型以及向量。
由于文件上传的大小限制是60MB，而训练后的所有文件大小有1G以上，所以这里只提供了下载链接，地址在网盘中。
使用python中的gensim包进行训练得到的，运行时间较长，纯粹的维基百科中文语料训练后的结果，拿去可以直接使用。

问题发现：本次案例为工作中遇到的实际问题，在语音识别中的语料准备部分，需要从网络中爬取相当数量的相关文本，其中发现爬取到了一些不相关的内容，如何把这些不相关的内容剔除掉成为笔者需要思考的问题。
初步思考：遇到此问题笔者第一时间考虑是将文本分词后向量化，使用聚类看一下分布情况，然而发现在不同训练集中，训练样本变化时，向量随之变化，在测试集中表现一般，在实测中几乎无用。
于是想到向量化的方法问题，使用sklearnCountVectorizer方法进行向量化，仅仅是将所有词频无序的向量化，看到另外博文时，发现应该先将目标主题的文本进行词频统计，将统计结果当做向量化模板，实测发现效果不错，现将此方法分享给大家

中文文本分类语料（复旦）训练集+测试集（100M）完整版

在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。 另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。 为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。