针对用户在电商平台上留下的评论数据，对其进行分词、词性标注和去除停用词等文本预处理。基于预处理后的数据进行情感分析，并使用LDA主题模型提取评论关键信息，以了解用户的需求、意见、购买原因及产品的优缺点等，最终提出改善产品的建议。
数据预处理
评论去重
避免一些客户长时间不进行评论，往往会设置一道程序，如果用户超过规定的时间仍然没有做出评论，系统就会自动替客户做出评论，这类数据显然没有任何分析价值。
import pandas as pd
import re
import jieba.posseg as psg
import numpy as np
reviews = pd.read_csv("./data/reviews.csv")
print(reviews.shape)
(2000, 5)
# 去重，去除列完全重复的数据 reviews = reviews[['content', 'content_type']].drop_duplicates() content = reviews['content'] print(reviews.shape)
(1974, 2)
数据清洗
由于该评论文本数据主要是围绕京东商城中美的电热水器进行评价的，其中“京东”“京东商城”“美的”“热水器”“电热水器”等词以及评论中夹杂着许多数字与字母等符号对分析目标并没有什么作用，因此可以在分词之前将这些词去除，对数据进行清洗
# 去除去除英文、数字等
# 由于评论主要为京东美的电热水器的评论，因此去除这些词语
strinfo = re.compile('[0-9a-zA-Z]|京东|美的|电热水器|热水器|')
content = content.apply(lambda x: strinfo.sub('', x))
分词、词性标注、去除停用词
不准确的分词将会产生大量的噪声，严重干扰计算机的识别理解能力，并对这些信息的后续处理工作产生较大的影响。中文分词的任务就是把中文的序列切分成有意义的词，即添加合适的词串使得所形成的词串反映句子的本意，中文分词的关键问题为切分歧义的消解和未登录词的识别。
#分词、词性标注、去除停用词代码 # 分词 worker = lambda s: [(x.word, x.flag) for x in psg.cut(s)] # 自定义简单分词函数 seg_word = content.apply(worker) seg_word.head()
0 [(东西, ns), (收到, v), (这么久, r), (，, x), (都, d), ... 1 [(安装, v), (师傅, nr), (很, d), (给, p), (力, n), (，... 2 [(还, d), (没, v), (安装, v), (，, x), (基本, n), (满意... 3 [(收到, v), (了, ul), (，, x), (自营, vn), (商品, n), ... 4 [(用, p), (了, ul), (几次, m), (才, d), (来, v), (评价... Name: content, dtype: object
# 将词语转为数据框形式，一列是词，一列是词语所在的句子ID，最后一列是词语在该句子的位置
n_word = seg_word.apply(lambda x: len(x)) # 每一评论中词的个数
n_content = [[x+1]*y for x,y in zip(list(seg_word.index), list(n_word))]
index_content = sum(n_content, []) # 将嵌套的列表展开，作为词所在评论的id
seg_word = sum(seg_word, [])
word = [x[0] for x in seg_word] # 词
nature = [x[1] for x in seg_word] # 词性
content_type = [[x]*y for x,y in zip(list(reviews['content_type']), list(n_word))]
content_type = sum(content_type, []) # 评论类型
result = pd.DataFrame({"index_content":index_content,
"word":word,
"nature":nature,
"content_type":content_type})
result.head()
# 删除标点符号
result = result[result['nature'] != 'x'] # x表示标点符号
# 删除停用词
stop_path = open("./data/stoplist.txt", 'r',encoding='UTF-8')
stop = stop_path.readlines()
stop = [x.replace('\n', '') for x in stop]
word = list(set(word) - set(stop))
result = result[result['word'].isin(word)]
result.head()
# 构造各词在对应评论的位置列 n_word = list(result.groupby(by = ['index_content'])['index_content'].count()) index_word = [list(np.arange(0, y)) for y in n_word] index_word = sum(index_word, []) # 表示词语在改评论的位置 # 合并评论id，评论中词的id，词，词性，评论类型 result['index_word'] = index_word result.head()
提取含名词的评论
由于本案例的目标是对产品特征的优缺点进行分析，类似“不错，很好的产品”“很不错，继续支持”等评论虽然表达了对产品的情感倾向，但是实际上无法根据这些评论提取出哪些产品特征是用户满意的。评论中只有出现明确的名词，如机构团体及其他专有名词时，才有意义，因此需要对分词后的词语进行词性标注。之后再根据词性将含有名词类的评论提取出来。
#提取含有名词的评论 # 提取含有名词类的评论 ind = result[['n' in x for x in result['nature']]]['index_content'].unique() result = result[[x in ind for x in result['index_content']]] result.head()
绘制词云
对词语进行词频统计，将词频按照降序排序，选择前100个词，使用wordcloud模块中的WordCloud绘制词云，将文本中出现频率较高的“关键词”予以视觉上的突出。
import matplotlib.pyplot as plt
from wordcloud import WordCloud
frequencies = result.groupby(by = ['word'])['word'].count()
frequencies = frequencies.sort_values(ascending = False)
backgroud_Image=plt.imread('./data/pl.jpg')
wordcloud = WordCloud(font_path="simsun.ttc", # 设置字体，不设置就会出现乱码
max_words=100,
background_color='white',
mask=backgroud_Image)# 词云形状
my_wordcloud = wordcloud.fit_words(frequencies)
plt.imshow(my_wordcloud)
plt.axis('off')
plt.show()
由图可以看出，“安装”“师傅”“售后”“物流”“服务”等词出现频率较高，因此可以初步判断用户对产品的这几个方面比较重视。
# 将结果保存
result.to_csv("./word.csv", index = False, encoding = 'utf-8')
词典匹配
评论数据情感倾向分析
本案例主要是对产品的优缺点进行分析，因此只要确定用户评论信息中的情感倾向方向分析即可，不需要分析每一评论的情感程度。
#匹配情感词
word = pd.read_csv("./tmp/word.csv")
# 读入正面、负面情感评价词
pos_comment = pd.read_csv("./data/正面评价词语（中文）.txt", header=None,sep="\n",
encoding = 'utf-8', engine='python')
neg_comment = pd.read_csv("./data/负面评价词语（中文）.txt", header=None,sep="\n",
encoding = 'utf-8', engine='python')
pos_emotion = pd.read_csv("./data/正面情感词语（中文）.txt", header=None,sep="\n",
encoding = 'utf-8', engine='python')
neg_emotion = pd.read_csv("./data/负面情感词语（中文）.txt", header=None,sep="\n",
encoding = 'utf-8', engine='python')
# 合并情感词与评价词
positive = set(pos_comment.iloc[:,0])|set(pos_emotion.iloc[:,0])
negative = set(neg_comment.iloc[:,0])|set(neg_emotion.iloc[:,0])
# 正负面情感词表中相同的词语
intersection = positive&negative
positive = list(positive - intersection)
negative = list(negative - intersection)
positive = pd.DataFrame({"word":positive,"weight":[1]*len(positive)})
negative = pd.DataFrame({"word":negative,"weight":[-1]*len(negative)})
posneg = positive.append(negative)
# 将分词结果与正负面情感词表合并，定位情感词
data_posneg = posneg.merge(word, left_on = 'word', right_on = 'word', how = 'right')
data_posneg = data_posneg.sort_values(by = ['index_content','index_word'])
data_posneg.head()
修正情感倾向
情感倾向修正主要根据情感词前面两个位置的词语是否存在否定词而去判断情感值的正确与否，由于汉语中存在多重否定现象，即当否定词出现奇数次时，表示否定意思；当否定词出现偶数次时，表示肯定意思。按照汉语习惯，搜索每个情感词前两个词语，若出现奇数否定词，则调整为相反的情感极性。读入否定词表，对情感值的方向进行修正。计算每条评论的情感得分，将评论分为正面评论和负面评论，并计算情感分析的准确率。
# 修正情感倾向
# 根据情感词前时候有否定词或双层否定词对情感值进行修正
# 载入否定词表
notdict = pd.read_csv("./data/not.csv")
# 构造新列，作为经过否定词修正后的情感值
data_posneg['amend_weight'] = data_posneg['weight']
data_posneg['id'] = np.arange(0, len(data_posneg))
# 只保留有情感值的词语
only_inclination = data_posneg.dropna().reset_index(drop=True)
index = only_inclination['id']
for i in np.arange(0, len(only_inclination)):
# 提取第i个情感词所在的评论
review = data_posneg[data_posneg['index_content'] == only_inclination['index_content'][i]]
review.index = np.arange(0, len(review))
# 第i个情感值在该文档的位置
affective = only_inclination['index_word'][i]
if affective == 1:
ne = sum([i in notdict['term'] for i in review['word'][affective - 1]])%2
if ne == 1:
data_posneg['amend_weight'][index[i]] = -data_posneg['weight'][index[i]]
elif affective > 1:
ne = sum([i in notdict['term'] for i in review['word'][[affective - 1,
affective - 2]]])%2
if ne == 1:
data_posneg['amend_weight'][index[i]] = -data_posneg['weight'][index[i]]
# 更新只保留情感值的数据
only_inclination = only_inclination.dropna()
# 计算每条评论的情感值
emotional_value = only_inclination.groupby(['index_content'],as_index=False)['amend_weight'].sum()
# 去除情感值为0的评论
emotional_value = emotional_value[emotional_value['amend_weight'] != 0]
查看情感分析效果
# 给情感值大于0的赋予评论类型（content_type）为pos,小于0的为neg emotional_value['a_type'] = '' emotional_value['a_type'][emotional_value['amend_weight'] > 0] = 'pos' emotional_value['a_type'][emotional_value['amend_weight'] < 0] = 'neg' emotional_value.head()
# 查看情感分析结果
result = emotional_value.merge(word,
left_on = 'index_content',
right_on = 'index_content',
how = 'left')
result.head()
result = result[['index_content','content_type', 'a_type']].drop_duplicates() result.head()
假定用户在评论时不存在“选了好评的标签，而写了差评内容”的情况，比较原评论的评论类型与情感分析得出的评论类型，绘制情感倾向分析混淆矩阵，查看词表的情感分析的准确率。
# 交叉表:统计分组频率的特殊透视表
confusion_matrix = pd.crosstab(result['content_type'], result['a_type'],
margins=True)
confusion_matrix.head()
(confusion_matrix.iat[0,0]+confusion_matrix.iat[1,1])/confusion_matrix.iat[2,2]
0.8945615982241953
# 提取正负面评论信息 ind_pos = list(emotional_value[emotional_value['a_type'] == 'pos']['index_content']) ind_neg = list(emotional_value[emotional_value['a_type'] == 'neg']['index_content']) posdata = word[[i in ind_pos for i in word['index_content']]] negdata = word[[i in ind_neg for i in word['index_content']]]
# 绘制词云
import matplotlib.pyplot as plt
from wordcloud import WordCloud
# 正面情感词词云
freq_pos = posdata.groupby('word')['word'].count()
freq_pos = freq_pos.sort_values(ascending = False)
backgroud_Image=plt.imread("./data/pl.jpg")
wordcloud = WordCloud(font_path="simsun.ttc",
max_words=100,
background_color='white',
mask=backgroud_Image)
pos_wordcloud = wordcloud.fit_words(freq_pos)
plt.imshow(pos_wordcloud)
plt.axis('off')
plt.show()
# 负面情感词词云
freq_neg = negdata.groupby(by = ['word'])['word'].count()
freq_neg = freq_neg.sort_values(ascending = False)
neg_wordcloud = wordcloud.fit_words(freq_neg)
plt.imshow(neg_wordcloud)
plt.axis('off')
plt.show()
# 将结果写出,每条评论作为一行
posdata.to_csv("./tmp/posdata.csv", index = False, encoding = 'utf-8')
negdata.to_csv("./tmp/negdata.csv", index = False, encoding = 'utf-8')
由图正面情感评论词云可知，“不错”“满意”“好评”等正面情感词出现的频数较高，并且没有掺杂负面情感词语，可以看出情感分析能较好地将正面情感评论抽取出来。
由图负面情感评论词云可知，“差评”“垃圾”“不好”“太差”等负面情感词出现的频数较高，并且没有掺杂正面情感词语，可以看出情感分析能较好地将负面情感评论抽取出来。
LDA模型
#建立词典及语料库
import pandas as pd
import numpy as np
import re
import itertools
import matplotlib.pyplot as plt
# 载入情感分析后的数据
posdata = pd.read_csv("./data/posdata.csv", encoding = 'utf-8')
negdata = pd.read_csv("./data/negdata.csv", encoding = 'utf-8')
from gensim import corpora, models
# 建立词典
pos_dict = corpora.Dictionary([[i] for i in posdata['word']]) # 正面
neg_dict = corpora.Dictionary([[i] for i in negdata['word']]) # 负面
# 建立语料库
pos_corpus = [pos_dict.doc2bow(j) for j in [[i] for i in posdata['word']]] # 正面
neg_corpus = [neg_dict.doc2bow(j) for j in [[i] for i in negdata['word']]] # 负面
主题数寻优
基于相似度的自适应最优LDA模型选择方法，确定主题数并进行主题分析。
具体步骤如下：
- 取初始主题数k值，得到初始模型，计算各主题之间的相似度（平均余弦距离）。
- 增加或减少k值，重新训练模型，再次计算各主题之间的相似度。
- 重复步骤2直到得到最优k值。
# 余弦相似度函数 def cos(vector1, vector2): dot_product = 0.0; normA = 0.0; normB = 0.0; for a,b in zip(vector1, vector2): dot_product += a*b normA += a**2 normB += b**2 if normA == 0.0 or normB==0.0: return(None) else: return(dot_product / ((normA*normB)**0.5)) # 主题数寻优 def lda_k(x_corpus, x_dict): # 初始化平均余弦相似度 mean_similarity = [] mean_similarity.append(1) # 循环生成主题并计算主题间相似度 for i in np.arange(2,11): # LDA模型训练 lda = models.LdaModel(x_corpus, num_topics = i, id2word = x_dict) for j in np.arange(i): term = lda.show_topics(num_words = 50) # 提取各主题词 top_word = [] for k in np.arange(i): top_word.append([''.join(re.findall('"(.*)"',i)) \ for i in term[k][1].split('+')]) # 列出所有词 # 构造词频向量 word = sum(top_word,[]) # 列出所有的词 unique_word = set(word) # 去除重复的词 # 构造主题词列表，行表示主题号，列表示各主题词 mat = [] for j in np.arange(i): top_w = top_word[j] mat.append(tuple([top_w.count(k) for k in unique_word])) p = list(itertools.permutations(list(np.arange(i)),2)) l = len(p) top_similarity = [0] for w in np.arange(l): vector1 = mat[p[w][0]] vector2 = mat[p[w][1]] top_similarity.append(cos(vector1, vector2)) # 计算平均余弦相似度 mean_similarity.append(sum(top_similarity)/l) return(mean_similarity)# 计算主题平均余弦相似度 pos_k = lda_k(pos_corpus, pos_dict) neg_k = lda_k(neg_corpus, neg_dict)
# 绘制主题平均余弦相似度图形 from matplotlib.font_manager import FontProperties font = FontProperties(size=14) #解决中文显示问题 plt.rcParams['font.sans-serif']=['SimHei'] plt.rcParams['axes.unicode_minus'] = False fig = plt.figure(figsize=(10,8)) ax1 = fig.add_subplot(211) ax1.plot(pos_k) ax1.set_xlabel('正面评论LDA主题数寻优(3144)', fontproperties=font) ax2 = fig.add_subplot(212) ax2.plot(neg_k) ax2.set_xlabel('负面评论LDA主题数寻优(3144)', fontproperties=font)Text(0.5, 0, '负面评论LDA主题数寻优(3144)')
由图可知，对于正面评论数据，当主题数为2或3时，主题间的平均余弦相似度就达到了最低。因此，对正面评论数据做LDA，可以选择主题数为3；对于负面评论数据，当主题数为3时，主题间的平均余弦相似度也达到了最低。因此，对负面评论数据做LDA，也可以选择主题数为3。
评价主题分析结果
根据主题数寻优结果，使用Python的Gensim模块对正面评论数据和负面评论数据分别构建LDA主题模型，设置主题数为3，经过LDA主题分析后，每个主题下生成10个最有可能出现的词语以及相应的概率
# LDA主题分析 pos_lda = models.LdaModel(pos_corpus, num_topics = 3, id2word = pos_dict) neg_lda = models.LdaModel(neg_corpus, num_topics = 3, id2word = neg_dict) pos_lda.print_topics(num_words = 10)
[(0, '0.047*"师傅" + 0.034*"服务" + 0.032*"很快" + 0.023*"信赖" + 0.021*"人员" + 0.016*"品牌" + 0.016*"速度" + 0.016*"电话" + 0.014*"真的" + 0.014*"质量"'), (1, '0.023*"值得" + 0.017*"东西" + 0.015*"物流" + 0.014*"太" + 0.010*"赞" + 0.010*"收" + 0.010*"第二天" + 0.010*"服务态度" + 0.009*"告诉" + 0.009*"活动"'), (2, '0.122*"安装" + 0.053*"满意" + 0.030*"送货" + 0.024*"不错" + 0.021*"好评" + 0.020*"客服" + 0.017*"售后" + 0.014*"购物" + 0.014*"差" + 0.014*"送"')]
neg_lda.print_topics(num_words = 10)
[(0, '0.128*"安装" + 0.021*"东西" + 0.020*"客服" + 0.016*"加热" + 0.015*"太慢" + 0.012*"坑人" + 0.011*"服务" + 0.011*"问" + 0.010*"高" + 0.009*"免费"'), (1, '0.031*"售后" + 0.024*"安装费" + 0.019*"装" + 0.018*"小时" + 0.018*"收" + 0.017*"贵" + 0.015*"漏水" + 0.012*"真的" + 0.012*"材料" + 0.011*"坑"'), (2, '0.034*"垃圾" + 0.034*"师傅" + 0.031*"太" + 0.029*"差" + 0.019*"不好" + 0.019*"打电话" + 0.018*"收费" + 0.017*"慢" + 0.017*"烧水" + 0.014*"人员"')]
综合以上对主题及其中的高频特征词的分析得出，美的电热水器有价格实惠、性价比高、外观好看、服务好等优势。相对而言，用户对美的电热水器的抱怨点主要体现在安装的费用高及售后服务差等方面。因此，用户的购买原因可以总结为以下几个方面：美的是大品牌值得信赖、美的电热水器价格实惠、性价比高。
根据对京东平台上美的电热水器的用户评价情况进行LDA主题模型分析，对美的品牌提出以下两点建议：
- 在保持热水器使用方便、价格实惠等优点的基础上，对热水器进行加热功能上的改进，从整体上提升热水器的质量。
- 提升安装人员及客服人员的整体素质，提高服务质量，注重售后服务。建立安装费用收取的明文细则，并进行公布，以减少安装过程中乱收费的现象。适度降低安装费用和材料费用，以此在大品牌的竞争中凸显优势。
(confusion_matrix.iat[0,0] + confusion_matrix.iat[1,1])/confusion_matrix.iat[2,2] 标签：index,word,content,情感,评论,result,电商 From： https://www.cnblogs.com/zjx15975136073/p/17286748.html