首页 > 其他分享 >数据清洗

数据清洗

时间:2024-04-23 21:00:24浏览次数:18  
标签:科技成果 表中 维度 清洗 重复记录 数据

石家庄铁道大学2024年

  2022 课堂测试试卷—数据同步练习

课程名称: 大数据库技术与应用  任课教师: 王建民   考试时间: 120 分钟  

 

一、 数据结构分析:

(1)京津冀三省的2015年度的科技成果数据原始表,为Access数据库,;

 

(2)要求将三省的科技成果数据汇总到同一表中(要求结果表为MySql数据表);

(3)三个原始数据表结构不一致,要求结果表中包括所有的字段,表达意思相同或相似的字段要进行合并,不允许丢失字段(若只有本表独有字段,在结果表中其他两表数据在该字段填入空值)。

二、 数据同步练习要求采编程实现三个原始表数据同步功能,将三个表的数据同步到一个结果表中。

三、 数据清洗练习:

(1)重复记录清洗,分析结果表中是否存在重复的数据记录,主要是地域和成果名称相同即判定为重复记录,保留一条记录,并补充其他重复记录中独有的数据字段内容,再删除其余记录。

(2)在结果表中追加年份和地域两个标准维度字段,如果原始表中存在该字段则直接转化成维度字段,若不存在则根据单位名称确定地域字段内容,天津科技成果表中不存在年度字段,则直接将年度维度字段确定为2015年。

四、 数据分析

根据提供已知字段名称,自动将科技成果分类,并且分析京津冀三地的科技优势

五、 最终的MySQL数据表导入,放入源程序,将文件夹命名为为班级学号姓名提交

 

标签:科技成果,表中,维度,清洗,重复记录,数据
From: https://www.cnblogs.com/mine-my/p/18153740

相关文章

  • C++ 访问说明符详解:封装数据,控制访问,提升安全性
    C++访问说明符访问说明符是C++中控制类成员(属性和方法)可访问性的关键字。它们用于封装类数据并保护其免受意外修改或滥用。三种访问说明符:public:允许从类外部的任何地方访问成员。private:仅允许在类内部访问成员。protected:允许在类内部及其派生类中访问成员。示例:cla......
  • 数据结构:单循环链表的创建插入与删除
    数据结构:单循环链表的创建·插入·删除/***@filename: 单循环链表的创建·插入·删除*@brief实现单循环链表的创建删除插入的功能*@[email protected]*@date2024/04/23*@version1.0:版本*@notenoone*CopyRight(c)2023-2024liuliu@......
  • MYSQL使用binlog恢复数据
    要使用MySQL的二进制日志(binlog)恢复被删除的数据,你需要确保二进制日志功能已经开启,并且已经有足够的日志记录来恢复数据。以下是恢复数据的基本步骤和示例代码:1、确认二进制日志功能已经开启:查看my.cnf(或my.ini)配置文件,确保log_bin变量设置为非空值,或者使用以下SQL命令SHOWVAR......
  • 如何画数据库ER图
    ER图基本概念ER图分为实体、属性、关系三个核心部分。在ER图中,实体是长方形,属性是椭圆形,关系为菱形。实体(entity):即数据模型中的数据对象(即数据表),用长方体来表示,每个实体都有自己的实体成员(entitymember)或者说实体对象(entityinstance),例如学生实体里包括张三、李四等。实体还......
  • 前端编程另一种数据传输方法,window.postMessage 技术
    window.postMessage是一项非常实用的浏览器技术,它允许不同窗口或框架之间进行安全的消息传递。一、技术介绍window.postMessage可以在不同的源之间传递消息,包括跨域的情况。这为跨文档通信提供了一种强大而灵活的方式。二、使用方法举例假设有两个页面,一个是发送方页面send......
  • Blob数据转String
    importjava.io.InputStream;importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.ResultSet;importjava.sql.SQLException;importjava.sql.Statement;publicclassTest{   /**    *@paramargs    */   @SuppressWarnings("unused......
  • 前端数据处理常用方法
    一、处理对象Object.keys()Object.values()for(letiinObj){console.log(i)console.log(obj[i])} 二、处理数组1、不会改变数组find  是返回数组中符合条件的第一个元素,否则返回undefined适用场景:一个由多个对象组成的数组,你明确知道对象中的属性有且仅有一个是......
  • SpringCloud(十)ES 进阶 -- 数据同步
    Demo案例,两个微服务项目,一个操作MySql,一个操作EShotel-admin:酒店管理微服务demo,实现对酒店信息的增、删、改(操作MySql)hotel-demo:ESdemo,实现了对索引库、文档的操作,以及高亮显示、搜索自动补全功能(操作ES)Demo源码下载地址(两个微服务在一起):链接:https://pan.baidu.com/s/1nPTCnL......
  • 使用 HttpWebRequest 类发送大量数据时,POST 或 PUT 请求失败
    本文可帮助你解决在使用 HttpWebRequest 类在运行Microsoft.NETFramework的计算机上发送大量数据时可能会引发错误的问题。原始产品版本:.NETFramework原始KB编号: 908573症状当你使用 HttpWebRequest 类通过 POST 或 PUT 请求发送大量数据时,请求可能会在运行.......
  • 原生js base64格式数据 下载
    原生jsbase64格式数据下载/***封装base64Strblob对象**/functionbase64toBlob(base64Str){varbstr=atob(base64Str),n=bstr.length,u8arr=newUint8Array(n);while(n--){u8arr[n]=bstr.charCodeAt(n);}returnnewBlob([u8arr]);}/......