ukui-search/libchinese-segmentation/dict
iaom 6f3c610896 同步分词模块<更新分词基础词库内容,分词准确性提升> 2022-11-22 10:29:26 +08:00
..
pos_dict Import Upstream version 3.14.0.6 2022-06-18 10:46:14 +08:00
README.md Import Upstream version 3.14.0.6 2022-06-18 10:46:14 +08:00
hmm_model.utf8 Import Upstream version 3.14.0.6 2022-06-18 10:46:14 +08:00
idf.utf8 Import Upstream version 3.14.0.6 2022-06-18 10:46:14 +08:00
jieba.dict.utf8 同步分词模块<更新分词基础词库内容,分词准确性提升> 2022-11-22 10:29:26 +08:00
pinyinWithoutTone.txt Import Upstream version 3.14.0.6 2022-06-18 10:46:14 +08:00
stop_words.utf8 Import Upstream version 3.14.0.6 2022-06-18 10:46:14 +08:00
user.dict.utf8 Import Upstream version 3.14.0.6 2022-06-18 10:46:14 +08:00

README.md

CppJieba字典

文件后缀名代表的是词典的编码方式。 比如filename.utf8 是 utf8编码filename.gbk 是 gbk编码方式。

分词

jieba.dict.utf8/gbk

作为最大概率法(MPSegment: Max Probability)分词所使用的词典。

hmm_model.utf8/gbk

作为隐式马尔科夫模型(HMMSegment: Hidden Markov Model)分词所使用的词典。

对于MixSegment(混合MPSegment和HMMSegment两者)则同时使用以上两个词典

关键词抽取

idf.utf8

IDF(Inverse Document Frequency) 在KeywordExtractor中使用的是经典的TF-IDF算法所以需要这么一个词典提供IDF信息。

stop_words.utf8

停用词词典