计算机系数学、物理和计算科学学院评估课程集首页
模块代码：CSMBD21大数据与云计算课程描述课程名称：大数据与云计算
个人/小组分配：个人
任务的总权重：50%，其中大数据和云计算各占25%结果技术报告的页数/字数：最多约3000字，由两部分组成，每个部分最多3页，用于报告执行两项任务（任务A和任务B）；A节报告大数据任务（任务A）和B报告云计算（任务B）——最多6页，不包括附录，应遵循学校风格指南。此作业预计花费的小时数：30小时。
需提交的项目：通过BB提交两份PDF，每份最多3页，一份用于A部分（任务A），以及一个用于部分B（任务B）。PDF将在第一页上包括一个代码链接，以便访问
解决方案将在您的免费Azure帐户中提供，请提供临时用户名和密码您的azure帐户；对于部分B，链接可以是GitLab。作品将通过黑板在线提交学习时间：2024年3月20日星期三12:00作品将在提交之日后的15个工作日内标记并退回。笔记通过提交这篇作品，你就证明了这都是你自己的作品，并且使用了其他来源的材料已在文本中得到适当和充分的承认。您还确认您已阅读并
了解大学网页上的《大学学术不端行为声明》。如果你的作品在截止日期后提交，每件作品将扣除最高分数的10%工作日（或部分工作日）它迟到了。如果您的作品提交超过5个工作日，将获得零分晚了几天。强烈建议您在截止日期前提交作品，作为迟交作品的工作可能会对其他工作产生影响。如果你认为你有正当理由未能在截止日期前完成，那么你应该完成
情有可原情况表，并在截止日期前或尽快提交给学生支持中心是可行的，然后解释原因。2.A部分（大数据任务）：
•任务A：实施基于历史预测航班延误的解决方案您的免费azure帐户中提供的代 写CSMBD21天气和航空公司数据，以及解释您首选机器学习（ML）模型的原因。B部分（云计算任务）
•任务B：实施MapReduce解决方案以确定乘客根据航班和上模块的分配文件夹中提供的乘客数据黑板基于本文件附录中解释性说明的分配任务如果您面临任何困难，请在提交的材料中明确说明您能够继续进行多远实施并解释您面临的挑战。任务A的评分标准：
•本任务A的总分将正常化，占整个课程的25%。
•下表显示了每个评估范围的预期绩效水平：分类范围通常，工作应满足这些要求头等舱（>=70%）作业展示：
•在实施该系统方面具有出色的技术技能，可能还建议任何其他被认为可行的解决方案；包括优选解决方案的原因。
•专业的技术写作技巧和风格。Upper Second（60-69）作业展示：
•在实施解决方案方面具有出色的技术技能。
•适当的技术写作技能和清晰的陈述；包括原因优选的解决方案。下半秒（50-59）任务演示：
•在实施该系统方面具有出色的技术技能。
•中等的技术写作能力和清晰的表达；包括原因
优选的解决方案。第三（40-49）任务证明：
•在实施该系统方面具有令人满意的技术技能。
•一定的技术写作能力和清晰的表达；包括一些推理对于优选的解决方案。不及格（<40）课程未能展示实施的技术技能和技术书写清晰；不充分或不存在的推理优选的解决方案。
3.
任务A（大数据任务）评分方案及反馈模板
•本任务A的总分将正常化，在整个课程评估中获得25%的学分评估所提交课程的主要标准评分贡献率（%）
介绍
•简要说明案例研究的背景。
•部署的工具和技术的描述，包括“数据用于分析此解决方案的“Factory”、“Data Bricks”、“Power BI”（解释解决方案体系结构）。解决方案实施解决方案的实施：
•创建数据块集群
•加载样本数据
•设置数据工厂
•数据工厂管道
•ML的操作
•汇总数据
•数据可视化
评价
您对以下方面的个人思考：
•说明您首选解决方案的原因10报告的介绍：
•报告的结构和布局
•专业的写作风格
•使用图表、参考文献、引文和标题任务B（云计算任务）的评分标准
•本任务A的总分将正常化，占整个课程的25%。
•下表显示了每个评估范围的预期绩效水平：分类范围通常，工作应满足这些要求头等舱（>=70%）作业展示：
•对MapReduce范式的深入理解和出色的技术技能
落实制度，完成任务目标。
•最高质量的技术报告，包括解决方案评估，解决所有问题各方面，完整而清晰。
Upper Second（60..69）作业演示：
•对MapReduce范例有很好的理解，并能很好地实施与任务目标一致。
•高质量的技术报告，内容全面、完整、清晰。下秒（50..59）该作业演示：
•对MapReduce范式有足够的理解，并且令人满意执行与任务目标一致。
•解决关键方面的可接受的技术书面报告。第三（40..49）该任务证明：
•对MapReduce的基本理解以及任务
•技术报告的基本标准；有一些明显的缺点。不及格（<40）课程未能充分理解MapReduce范式，甚至无法提供基本标准的报告。5.任务B（云计算任务）的评分方案和反馈模板
•本任务B的总分将正常化，在整个课程评估中获得25%的学分MapReduce概念概念示例最大值。映射相位输入和输出5减少相位输入和输出5角色划分工作划分2
文件处理文件和缓冲区的使用3分布式并行优势、容错等3附加过程组合/Shuffling/分区等的说明1MapReduce问题解决的流程图说明1软件原型概念示例最大值项目结构对象定向/类层次结构7代码可重用性泛型，模板化7解决方案优雅设计优化620最大纵横比。任务执行键/值选择6正确结果4输出格式4并行多线程620文档最大纵横比。报告结构摘要、章节、长度、参考文献等2章节内容开发说明4版本控制5的使用证据了解MapReduce 7的证据结论5报告质量报告5的总体质量代码注释代码12中注释的使用406.课程描述：大数据解决方案架构分析实施和评估将提供给需要现代化的客户的大数据解决方案
系统您的任务：
实施基于历史天气和航空公司数据预测航班延误的解决方案为了处理大数据，需要以分布式方式处理数据。中的Azure Synapse Analytics
Azure机器学习（ML）为数据预处理、特征化、培训和部署。它可以连接Azure Synapse Analytics中的Spark池。PySpark帮助预处理互动方式。此环境提供强大的大数据分析工具，如数据工厂、数据砖和Power BI，您需要使用该案例的数据为本课程开发解决方案Azure Synapse案例研究中可用的研究如下所述。请从评估区域的大数据作业指南下载案例研究：黑板→ 注册人数→ CSMBD21-23-4MOD：大数据与云计（2023/24）在“评估”选项卡中，选择如下所示：看法→ 大数据→ 个案研究并相应地开发您的解决方案。