[00005628]一种基于改进互信息和熵的文本分类特征提取方法
技术详细介绍
本发明提供一种用于文本分类的特征提取方法，用于解决文本分类存在的准确率和召回率有待进一步提高的问题。本发明是一种策略性方法。考虑到统计热力学中熵的概念，熵用来描述体系的混乱程度，它在控制论、概率论、数论、天体物理、生命科学、信息论等领域都有重要应用。本发明认为熵同样可以用在文本分类中，可以将特征看成是一个事件，文本的类集就是一个系统，这样熵就可以衡量特征和类别的混乱程度，进而转化为它们之间关系的紧密程度。本发明在改进互信息的基础上，结合熵的概念，提出一种新的特征评估函数，并基于该函数进行特征提取，能选取更优特征子集，用以表示文本和构建分类器，以提高文本分类的准确率与召回率。
