1. TF-IDF的概念与算法
为研究小米10手机所具有的特殊商品属性,发掘该款手机的优缺点,继续保持该款手机的优势,弥补商品的弱势,为店铺运营提供策略,本文采用TF-IDF的方法来提取商品的属性。
TF-IDF的方法适用于用文本挖掘中,常用于商品的属性提取,该方法采用一种加权技术,统计该统计术语对文档重要程度,通过统计该统计术语对文档重要程度的反应,表示商品属性的重要程度。
每个特征词对于每个类别有不同的区分能力。通过特征选择来体现特征词的重要程度。它所属的类是单词集中的类,具有该类的特征。特征词必须均匀地分布在每一个类别文档中,如果随机地分布在某一个类别文档中,可能会出现该特征词仅出现在某个文档中,造成属性提取不准确。
常用信息增益函数IG和卡方值CHI对于评估函数进行特征选择,用卡方值CHI来衡量特征词的重要性,然而,卡方值CHI不能将特征词的重要性全部反映,所以,需要对卡方值CHI进行对数字化处理,通过数字化的处理,提高了特征选取的效率,以此,避免造成权重失衡。
2. TF-IDF提取商品属性
本文基于TF-IDF和改进的TF-IDF算法,使用ROSTCM6工具计算小米10手机产品的评论数据的TF-IDF值。借助ROSTCM6软件实现商品属性的提取,打开ROSTCM6软件的操作页面,在“功能性分析”菜单栏里点击“TF/IDF批量词频分析”功能菜单,导入文本数据,计算TF-IDF值。
计算出小米10手机评论的TF-IDF值,并且提取前十个商品属性TF-IDF值最大的,从而提取小米10手机商品的关键属性,并且做小米10手机TF-IDF值的柱形图,从直观上提取商品属性,计算结果如下下表所示:
图1 小米10手机最优商品属性
通过计算并且提取小米10手机商品的关键属性,做可视化分析后可以发现,小米10手机的屏幕属性TF-IDF值最大,体现为用户对于小米10手机的屏幕体验最佳,对于屏幕的评价最优,其次,小米10手机自带的拍照功能好,外观漂亮大方,运行速度快,音效好,都成为小米10手机的最优属性。