tcs393数据挖掘
分组分配【每组2-3名成员】这项课业相当于本模块总分的25%。此课业旨在帮助学生探索和分析一组数据，并将其重建为有意义的数据决策代表。在线环境不断发展，网站成为企业的重要资产，组织和个人。随着互联网的不断发展高效的网站分类变得至关重要。了解网站的性质内容及其提供的用户体验对于包括在线在内的各种目的都至关重要安全性、营销策略和内容过滤。开始一个数据科学项目，你与一家致力于加强网络安全措施。该公司为您提供了丰富的数据集，包括网站的各种属性，包括其URL、用户评论和指定的类别。您的目标是开发一个能够准确分类网站的分类模型基于这些变量。数据集包括不同网站的URL信息、相关联的用户评论这些网站以及分配给它们的预先存在的类别。挑战在于创造该模型不仅能准确地对网站进行分类，而且能适应网站的动态特性在线环境中，新型网站不断涌现。
介绍
您的目标是实现高级数据分析技术，以训练一个模型，从而增强web分类的效率。技术用于使用各种数据探索、操作和分析来探索数据集的技术，转换和可视化技术都包含在课程中。作为附加特征，您必须进一步探索可以提高检索效果的概念。提供的数据集因为这个任务与网站分类有关。数据集此数据集包含1407个网站URL的信息。它包括3个变量，用于描述各类网站。数据集将使用这些变量的子集进行分析代 写tcs393数据挖掘描述性和定量分析，取决于所使用的具体模型。客观的使用先进的数据科学技术开发一个分类模型来对网站进行分类。这个模型应该根据数据集中的评论对网站进行稳健的分类。
任务：
1.数据探索：对数据集进行初步探索，以了解其结构、大小和变量。检查网站类别的分布，以确定数据集。探索URL的分布和用户评论长度，以深入了解数据任务分配：网站分类
2.描述性分析：
A.基本探索：描述数据集的结构。有多少观察结果和变量它包含吗？数据集中变量的数据类型是什么？
B.统计摘要：提供“类别”变量的统计摘要。最多的是什么常见网站类别？计算的基本描述性统计数据（平均值、中位数、标准差）相关的数字变量。
C.URL分析：分析网站URL的分布。是否有任何模式或共性？是否有任何异常URL需要特别关注？
3.数据预处理：
A.清理文本数据：浏览“cleaned_website_text”变量。预处理步骤是什么你要清除文本数据进行分析吗？实施文本清理技术，并解释其在准备中的重要性用于基于文本的分析的数据。
B.处理缺失值：确定数据集中是否存在任何缺失值。提出战略处理丢失的值，特别是在“cleaned_website_text”列中。
4.可视化：
A.类别分布可视化：创建条形图或饼图，以直观地表示网站的分布情况类别。可视化如何帮助理解的平衡或不平衡数据集？
B.文本数据可视化：为“cleaned_website_text”生成单词云或频率图变量从这些可视化中可以获得哪些见解？
5.模型开发
A.数据挖掘分析：将数据集拆分为用于模型评估的训练集和测试集。实现各种机器学习算法进行分类，如逻辑回归、决策树或随机森林。
B.培训和评估
?使用准确性、精确度、召回率等指标评估每个模型的性能，
和F1得分。讨论评估网站模型的具体挑战和注意事项
分类
先进技术：i.功能工程：提出可以提高模型性能的其他功能。这些功能是如何获取有关网站的更细微的信息的？ii。网站的动态性质：考虑到在线环境的动态性质，该模型如何适应新出现的网站类型？讨论模型策略改编本创建仪表板、报告和结论：总结调查结果，包括从探索性数据分析和分类模型的性能。所选模型的解释性如何？你能解释一下决策过程吗网站分类背景下的模型？为动态中的进一步改进或考虑提供建议web分类的景观。反思分析过程中遇到的挑战。什么潜力您建议改进或将来的工作来增强模型的表演此课业允许学生应用数据探索、预处理、数据以解决业务领域中的真实世界问题。它还鼓励他们探索用于提高模型性能的其他概念完整的Python程序（源代码（ipynb））和报告必须提交到
黑板Python脚本（程序代码）：
o以您的姓名和SUKD编号命名文件。
o输入姓名和SUKD，开始程序的前两行数字例如

也不是阿尼斯·苏莱曼

suk20231234

o对于每个问题，给出一个ID并解释你想发现的内容。例如
a.探索数据集中网站类别的分布。有什么具体的吗比其他类别更普遍的类别？
b.可视化URL长度和用户评论长度的分布。有图案吗或者可以为分类模型提供信息的异常值？
c.您将采取哪些步骤来清理和预处理URL和用户评论有效的分析？
d.如何处理数据集中丢失的值，它们会产生什么影响对分类模型有什么影响？
e.提供关键变量的描述性统计信息，如URL长度和用户评论长度。从这些统计数据中可以得出哪些见解？
f.探索可能增强模型分类能力的潜在附加功能网站准确。
g.包含来自URL或用户评论的功能会有什么贡献整体模型性能？
h.选择适合网站分类的分类算法。解释您的选择
i.使用Python和相关库实现所选算法。什么在模型实施阶段应该考虑哪些因素？
j.将数据集拆分为训练集和测试集。您将如何评估绩效使用准确性、精确度、召回率和F1分数等指标对模型进行评估？
k.讨论评估模型有效性和通用性的潜在挑战到新网站。
l.创建可视化以解释模型的预测并展示其分类表演
可交付成果
6.
作为评估的一部分，您必须以打印和软拷贝的形式提交项目报告，其应具有以下格式：
A）封面：所有报告都必须有封面。保护性透明塑料片可以放置在报告前面以保护封面。前盖应提供以下详细信息：
o模块
o课程名称
o进水口
o学生姓名和身份证
o分配日期（报告发布的日期）。
o完成日期（报告应提交的日期）。
B） 内容：
?介绍和假设（如有）
?数据导入/清洗/预处理/转换
?每个问题必须从一个单独的页面开始，并包含：
o分析技术-数据探索/操作/可视化
o带有说明的源代码屏幕截图。
o带有说明的输出/绘图屏幕截图。
o根据获得的结果概述调查结果。
?额外功能说明必须在单独的页面上，并包含：
文档：课程报告o带有说明的源代码屏幕截图。
o带有说明的输出/绘图屏幕截图。
o解释添加此额外功能如何提高效果。
C） 结论
?分析的深度和广度
?分析过程反馈的质量和深度
?反思学习和需要改进的领域
D）参考文献报告中使用的字体大小必须为12pt，字体为Times New Roman。满的报告中不允许包含源代码。报告必须键入并且清晰印刷。
您可以从互联网或书籍中获取算法和信息。适当的文件中应明显提及资源。
所有参考资料必须使用APA（美国心理协会）参考样式如下所示：该理论于1970年首次提出（Larsen，A.E.，1971），但从那时起被驳斥；M.K.Larsen（1983）是他们