History

iaom 62b82585a9 删除子项目，upstream分支将只作为打包时同步代码的分支		2023-12-28 10:27:40 +08:00
..
pos_dict	删除子项目，upstream分支将只作为打包时同步代码的分支	2023-12-28 10:27:40 +08:00
README.md	删除子项目，upstream分支将只作为打包时同步代码的分支	2023-12-28 10:27:40 +08:00
hmm_model.utf8	删除子项目，upstream分支将只作为打包时同步代码的分支	2023-12-28 10:27:40 +08:00
idf.utf8	删除子项目，upstream分支将只作为打包时同步代码的分支	2023-12-28 10:27:40 +08:00
jieba.dict.utf8	删除子项目，upstream分支将只作为打包时同步代码的分支	2023-12-28 10:27:40 +08:00
pinyinWithoutTone.txt	删除子项目，upstream分支将只作为打包时同步代码的分支	2023-12-28 10:27:40 +08:00
stop_words.utf8	删除子项目，upstream分支将只作为打包时同步代码的分支	2023-12-28 10:27:40 +08:00
user.dict.utf8	删除子项目，upstream分支将只作为打包时同步代码的分支	2023-12-28 10:27:40 +08:00

CppJieba字典

文件后缀名代表的是词典的编码方式。比如filename.utf8 是 utf8编码，filename.gbk 是 gbk编码方式。

分词

作为最大概率法(MPSegment: Max Probability)分词所使用的词典。

作为隐式马尔科夫模型(HMMSegment: Hidden Markov Model)分词所使用的词典。

对于MixSegment(混合MPSegment和HMMSegment两者)则同时使用以上两个词典

IDF(Inverse Document Frequency) 在KeywordExtractor中，使用的是经典的TF-IDF算法，所以需要这么一个词典提供IDF信息。

停用词词典