首页 > 其他分享 >数据同步练习-1

数据同步练习-1

时间:2024-04-09 17:58:33浏览次数:23  
标签:同步 练习 表中 维度 重复记录 数据

一、     数据结构分析:

(1)京津冀三省的2015年度的科技成果数据原始表,为Access数据库,;

 

(2)要求将三省的科技成果数据汇总到同一表中(要求结果表为MySql数据表);

(3)三个原始数据表结构不一致,要求结果表中包括所有的字段,表达意思相同或相似的字段要进行合并,不允许丢失字段(若只有本表独有字段,在结果表中其他两表数据在该字段填入空值)。

二、     数据同步练习:要求采编程实现三个原始表数据同步功能,将三个表的数据同步到一个结果表中。

三、    数据清洗练习:

(1)重复记录清洗,分析结果表中是否存在重复的数据记录,主要是地域和成果名称相同即判定为重复记录,保留一条记录,并补充其他重复记录中独有的数据字段内容,再删除其余记录。

(2)在结果表中追加年份和地域两个标准维度字段,如果原始表中存在该字段则直接转化成维度字段,若不存在则根据单位名称确定地域字段内容,天津科技成果表中不存在年度字段,则直接将年度维度字段确定为2015年。

标签:同步,练习,表中,维度,重复记录,数据
From: https://www.cnblogs.com/xxaxf/p/18124455

相关文章

  • 数据结构复习-01enum枚举类型
    enum枚举类型语法:enum Nanme{name1=number1,name2=number2,};举例:enumDay{mon=1;tue=2;};enumDayday=mon;printf("dayis%d",day);输出:注意事项:1.若枚举类型中的首个元素未定义则默认为0 2.枚举类型的非首元素的默认值为......
  • datax 使用 增量同步需要动态传入参数
    datax使用阿里开源,主要用于离线数据同步。官方文档使用简单,主要就是写json配置对应的参数,重哪里读写到哪里去,中间可以转换脱敏等。环境依赖Python装好环境简单使用pythonE:\datax\bin\datax.pyE:\datax\job\mysqltomysql.json增量同步需要动态传入参数也就......
  • SqlBulkCopy批量插入数据
    privatevoiduiButton1_Click(objectsender,EventArgse){DataTabledt=newDataTable();dt.Columns.Add("CreateBy",typeof(System.Int64));dt.Columns.Add("CreateTime",typeof(System.Dat......
  • [转帖][数据库]000 - Sysbench 数据库压力测试工具
    https://zhuanlan.zhihu.com/p/340527565  sysbench 是一个开源的、模块化的、跨平台的多线程性能测试工具,可以用来进行CPU、内存、磁盘I/O、线程、数据库的性能测试。目前支持的数据库有MySQL、Oracle和PostgreSQL。以下操作都将以支持MySQL数据库为例进行。 1.......
  • DRBD + keepalived实现文件实时同步和双机热备
    DRBD+keepalived实现文件实时同步和双机热备安装DRBD系统初始化设置注意:需要有数据盘或者多的分区yumupdate-y关闭防火墙systemctlstopfirewalldsystemctldisablefirewalld修改host文件vim/etc/hosts192.168.1.240Primarykylin-01192.168.1.241Seconda......
  • mysql数据库备份脚本
    #!/bin/bash#保存备份个数,备份31天数据number=30#备份保存路径backup_dir=/data/mysql-backup/bak#日期dd=`date+%Y-%m-%d-%H-%M-%S`#备份工具tool=mysqldump#用户名username=root#密码password=123456host=127.0.0.1port=3306#将要备份的数据库database_name=m......
  • java-validation(数据校验)
    @PostMapping("/register")@SystemLog(BusinessName="注册用户")//启动AOP实现日志记录publicResponseResultregister(@Validated(ValidateType.INSERT.class)@RequestBodyTsUsertsUser){returntsUserService.register(tsUser);......
  • dp 练习 2024.3.9
    Luogu8389[ZJOI2022]树考虑容斥,每个点有三个状态:不钦定、钦定都是叶子、钦定都是非叶子。对于每一种钦定状态都计算答案,然后乘上对应容斥系数即可。叶子的钦定是可做的,考虑非叶子的钦定,我们可以用“容斥套容斥”的思想理解:对于钦定都是非叶子的点\(i\),考虑用总方案数减去钦定......
  • Java中 Arrays.asList() 处理基本数据类型数组和包装类型数组的差异
    文章目录前言一、基本数据类型数组和包装类型数组的区别二、Arrays.asList()对这两种数组的处理方式总结前言在使用Java中的Arrays.asList()方法时,我们可能会发现它对基本数据类型数组和包装类型数组的处理方式存在一些差异。这种差异体现了Java在基本数据......
  • X86/ARM服务器自建mysql数据库
    接上一篇应用容器化改造-CSDN博客https://blog.csdn.net/weixin_53439529/article/details/137045255应用后端需要写入数据库,比较方便的就是在服务器自建一个mysql数据库,还能顺便测一下并发数对后端数据库服务器的压力。【rpm安装】X86的虚拟机可以用rpm包安装数......