ukui-search/libchinese-segmentation

chinese-segmentation

介绍

libchinese-segmentation工程以单例的形式分别提供了中文分词、汉字转拼音和中文繁体简体转换功能。

接口文件分别为: chinese-segmentation.h libchinese-segmentation_global.h common-struct.h

hanzi-to-pinyin.h pinyin4cpp-common.h

Traditional-to-Simplified.h 安装路径:/usr/include/chinese-seg

使用说明

其中中文分词相关功能由chinese-segmentation.h提供接口，主要包括以下功能函数：

   static ChineseSegmentation *getInstance();//全局单例
     /**
     * @brief ChineseSegmentation::callSegment
     * 调用extractor进行关键词提取，先使用Mix方式初步分词，再使用Idf词典进行关键词提取，只包含两字以上关键词
     *
     * @param sentence 要提取关键词的句子
     * @return vector<KeyWord> 存放提取后关键词的信息的容器
     */
    vector<KeyWord> callSegment(const string &sentence);
    vector<KeyWord> callSegment(QString &sentence);

    /**
     * @brief ChineseSegmentation::callMixSegmentCutStr
     * 使用Mix方法进行分词，即先使用最大概率法MP初步分词，再用隐式马尔科夫模型HMM进一步分词，可以准确切出词典已有词和未登录词，结果比较准确
     *
     * @param sentence 要分词的句子
     * @return vector<string> 只存放分词后每个词的内容的容器
     */
    vector<string> callMixSegmentCutStr(const string& sentence);

    /**
     * @brief ChineseSegmentation::callMixSegmentCutWord
     * 和callMixSegmentCutStr功能相同
     * @param sentence 要分词的句子
     * @return vector<Word> 存放分词后每个词所有信息的容器
     */
    vector<Word> callMixSegmentCutWord(const string& str);

    /**
     * @brief ChineseSegmentation::lookUpTagOfWord
     * 查询word的词性
     * @param word 要查询词性的词
     * @return string word的词性
     */
    string lookUpTagOfWord(const string& word);

    /**
     * @brief ChineseSegmentation::getTagOfWordsInSentence
     * 使用Mix分词后获取每个词的词性
     * @param sentence 要分词的句子
     * @return vector<pair<string, string>> 分词后的每个词的内容(firsr)和其对应的词性(second)
     */
    vector<pair<string, string>> getTagOfWordsInSentence(const string &sentence);

    /**
     * @brief ChineseSegmentation::callFullSegment
     * 使用Full进行分词，Full会切出字典里所有的词。
     * @param sentence 要分词的句子
     * @return vector<Word> 存放分词后每个词所有信息的容器
     */
    vector<Word> callFullSegment(const string& sentence);

    /**
     * @brief ChineseSegmentation::callQuerySegment
     * 使用Query进行分词，即先使用Mix，对于长词再用Full，结果最精确，但词的数量也最大
     * @param sentence 要分词的句子
     * @return vector<Word> 存放分词后每个词所有信息的容器
     */
    vector<Word> callQuerySegment(const string& sentence);

    /**
     * @brief ChineseSegmentation::callHMMSegment
     * 使用隐式马尔科夫模型HMM进行分词
     * @param sentence 要分词的句子
     * @return vector<Word> 存放分词后每个词所有信息的容器
     */
    vector<Word> callHMMSegment(const string& sentence);

    /**
     * @brief ChineseSegmentation::callMPSegment
     * 使用最大概率法MP进行分词
     * @param sentence 要分词的句子
     * @return vector<Word> 存放分词后每个词所有信息的容器
     */
    vector<Word> callMPSegment(const string& sentence);

汉字转拼音相关功能由hanzi-to-pinyin.h提供接口，主要包括以下功能函数：

    static HanZiToPinYin * getInstance();//全局单例

    /**
     * @brief HanZiToPinYin::isMultiTone 判断是否为多音字/词/句
     * @param word 要判断的字/词/句
     * @return bool 不是返回false
     */
    bool isMultiTone(string &word);
    bool isMultiTone(string &&word);
    bool isMultiTone(const string &word);
    bool isMultiTone(const string &&word);

    /**
     * @brief HanZiToPinYin::contains 查询某个字/词/句是否有拼音（是否在数据库包含）
     * @param word 要查询的字/词/句
     * @return bool 数据库不包含返回false
     */
    bool contains(string &word);

    /**
     * @brief HanZiToPinYin::getResults 获取某个字/词/句的拼音
     * @param word 要获取拼音的字/词/句
     * @param results word的拼音列表（有可能多音字），每次调用results会被清空
     * @return int 获取到返回0，否则返回-1
     */
    int getResults(string word, QStringList &results);

    /**
     * @brief setConfig 设置HanZiToPinYin的各项功能，详见pinyin4cpp-common.h
     * @param dataStyle 返回数据风格，默认defult
     * @param segType 是否启用分词，默认启用
     * @param polyphoneType 是否启用多音字，默认不启用
     * @param processType 无拼音数据处理模式，默认defult
     */
    void setConfig(PinyinDataStyle dataStyle,SegType segType,PolyphoneType polyphoneType,ExDataProcessType processType);

中文繁体转简体相关功能由Traditional-to-Simplified.h提供接口，主要包括以下功能函数：

    static Traditional2Simplified * getInstance();//全局单例
    /**
     * @brief Traditional2Simplified::isMultiTone 判断是否为繁体字，是则返回true
     * @param oneWord 要判断的字
     * @return bool 不是返回false
     */
    bool isTraditional(string &oneWord);

    /**
     * @brief Traditional2Simplified::getResults 转换某个字/词/句的繁体字
     * @param words 要转换为简体中文的字/词/句
     * @return words 的简体中文结果
     */
    string getResults(string words);

除此之外工程中提供了测试程序位于chinese-segmentation/test，运行界面如下：

参与贡献

1. Fork 本仓库
2. 新建分支
3. 提交代码
4. 新建 Pull Request