CS 7280数据库管理专题2024春季项目3：大数据分析
目标：
1.了解Hadoop生态系统和数据分析
2.熟悉MapReduce编程和Spark
3.获得大数据和数据分析研究经验这将是一个为期一学期的小组项目（由两名学生）。这样做的主要目的项目是为了熟悉大数据平台，包括Hadoop系统，MapReduce编程和基于云的大数据解决方案（如谷歌大查询）。你需要按照指示进行这个项目。
第一阶段（15%）：选择数据集-截止日期：2024年3月27日（周三）
•每位学生研究您感兴趣的任何数据，并收集有关数据的信息。
•找到您选择的数据的任何特征，并描述您为什么对感兴趣
•如果可能，准备3~4个样本数据，这些数据可以是真实数据，也可以是操纵数据一
•制作2-3页的Powerpoint文件作为报告
•将PPT文件提交到Canvas
o仅PPT、PPTX或PDF文件格式第二阶段（15%）：确定问题——截止日期：2024年4月3日（周三）
•在第二阶段，您将根据您在阶段1中选择的数据：-您可以根据Hadoop HDFS使用所选数据分析什么Spark和使用GCP的Google Big Query。
o 1个火花
o 1使用GCP的谷歌大查询-如何收集至少1GB的数据。这意味着你的数据必须在第4-5阶段使用VM上传到HDFS。
•制作2-3页的Powerpoint文件作为报告
•将PPT文件提交到Canvas
o仅PPT、PPTX或PDF文件格式第三阶段（20%）：编制建议书——截止日期：2024年4月3日（周三）
•使用MS单词模板准备提案：可以找到提案模板在Canvas
o仅限DOC、DOCX或PDF文件格式
•准备并提交5~10页的Powerpoint文件用于演示
o仅PPT、PPTX或PDF文件格式
•然后，向Canvas提交10分钟的演示视频
o提交YouTube等链接，或使用Canvas录制演示文稿
•在您的提案中，您需要考虑如何准备的最终交付成果
以下输出
1.写
2.源代码
3.数据集
4.海报
**请注意，这是一个计划，准备1~4以上。目前尚未实施。
•然后，将您的提案提交给Canvas
•准备5分钟的提案演示（同时提交PPT文件）
第4阶段（25%）：实施——截止日期：2024年4月10日（周三）
1.准备数据并上传到HDFS。您可以使用多种方式来准备数据集包括：-使用每个网站提供的API，如Facebook API、Twitter API和Flickr API使用基准测试数据集，例如
o UCI数据集：http://archive.ics.uci.edu/ml/datasets.html
o维基百科数据库：https://en.wikipedia.org/wiki/Database_testing政府数据库
o美国人口普查数据：
http://factfinder.census.gov/faces/nav/jsf/pages/index.xhtml
o NOAA天气数据：https://www.ncdc.noaa.gov/cdo-web/
-利用Web查询实现数据采集程序
-合成数据集
-使用谷歌搜索
2.您的数据集必须至少有100000个实例（或行）
3.将您的数据集上传到HDFS（VM）
4.实现Spark或Big Query
-您可以将PySpark或任何Steaming与其他程序语言一起使用，例如
蟒蛇o 1个火花，或o 1大查询
5.将源代码提交到Canvas并下载数据集的链接-所有源文件都应该使用TAR压缩（例如，TAR cvf XXX.TAR）
VM（仅限JAR、TAR或ZIP文件格式）-对于数据集，您可以将其上传到Google Drive（或任何Web硬盘），然后提交源代码时发送链接
6.然后，向Canvas提交10分钟的演示视频-提交一个链接，如YouTube，或使用Canvas录制您的演示第5阶段（25%）：项目介绍——截止日期：2024年4月17日（周三）上课前。
1.写作（至少4页IEEE格式）。您必须使用IEEE格式。仅限DOC、DOCX或PDF文件格式
2.海报（36 x 24英寸Powerpoint文件）。您可以使用提供的模板之一画布上。o仅PPT、PPTX或PDF文件格式
3.将您的论文和海报提交到Canvas
4.制作8～10页的Powerpoint文件并提交给Canvas
o仅PPT、PPTX或PDF文件格式
5.然后，在2022年4月27日（星期三）准备8分钟的期末报告
屈服
您将使用Canvas提交您的程序。如果你在使用黑板方面有任何困难，您可以联系TA或讲师。