首页 > 其他分享 >假期周进度报告6

假期周进度报告6

时间:2023-08-12 21:57:35浏览次数:62  
标签:用户 报告 假期 Hadoop Hive 查询 进度 SQL 数据

(1)本周做了什么,花在学习上多长时间,花在代码上多长时间,花在解决问题用了多长时间

本周看完了黑马程序员关于Hadoop的剩下的所有视频,并跟着做了对于陌陌聊天消息的数据分析。

科二考试没约上,15个报科二的就我没约上。。。。。

每天会使用三个小时的时间来学习,大部分时间都花在了敲代码上。

Hive是一种基于Hadoop的数据仓库和分析工具,它提供了一个类似于SQL的查询语言,允许用户使用结构化查询语言(SQL)来查询和分析存储在Hadoop分布式文件系统(HDFS)中的大规模数据。Hive的目标是让非技术用户也能够轻松地进行数据分析,无需编写复杂的MapReduce代码。

以下是Hive的一些关键特点和组成部分:

  1. SQL-Like 查询语言: Hive使用类似于SQL的查询语言(称为HiveQL或HQL),使用户能够使用熟悉的SQL语法来查询和处理数据。

  2. 数据存储和管理: Hive能够将结构化的数据映射到Hadoop的分布式文件系统(HDFS)中,以便在集群上进行高可扩展的存储和管理。

  3. 元数据存储: Hive维护了一个元数据存储,用于描述存储在HDFS中的数据的结构和模式。这些元数据信息帮助Hive优化查询性能,并支持表的分区、分桶等概念。

  4. MapReduce执行引擎: 在Hive的早期版本中,查询通常会被转换为基于MapReduce的任务来执行。这意味着Hive将用户提交的查询转换为一系列Map和Reduce任务来处理数据。然而,随着时间的推移,Hive也引入了更多的执行引擎选项,如Tez和Spark,以加速查询执行。

  5. 数据转换和ETL: Hive支持数据的转换、清洗和提取,使用户能够执行ETL(抽取、转换、加载)操作,将原始数据转换为有用的信息。

  6. 用户自定义函数(UDF): Hive允许用户编写自定义函数,以便在查询过程中进行自定义数据处理和计算。

  7. 表分区和桶ing: Hive允许用户将表数据分割成多个分区,以便更有效地进行查询和管理。此外,数据还可以根据特定列的值进行分桶,以提高查询性能。

  8. 扩展性和容错性: Hive建立在Hadoop生态系统之上,可以在大规模集群上运行,并具有良好的容错性和可扩展性。

需要注意的是,尽管Hive的查询语言类似于传统的SQL,但由于Hive查询会转换为底层的MapReduce、Tez或Spark任务,因此它的实时查询性能可能不如传统关系型数据库。Hive更适用于批处理和大规模数据分析,适合处理大量的非结构化或半结构化数据。随着Hadoop生态系统的发展,Hive也在不断演进,支持更多的执行引擎和优化策略,以提高查询性能和用户体验。

(2)下周准备做什么

下周我计划学习一下springboot

(3)本周遇到的问题

没啥大问题,都是小case

标签:用户,报告,假期,Hadoop,Hive,查询,进度,SQL,数据
From: https://www.cnblogs.com/wzs-study/p/17625591.html

相关文章

  • WPF自定义控件实战:自制上传文件显示进度按钮
    自定义控件在WPF开发中是很常见的,有时候某些控件需要契合业务或者美化统一样式,这时候就需要对控件做出一些改造。 目录按钮设置圆角按钮上传文件相关定义测试代码 话不多说直接看效果默认效果:上传效果:按钮设置圆角因为按钮本身没有CornerRadius属性,所......
  • 假期周进度报告8
    本周(8.6-8.12)主要开展数学建模知识的学习和python知识的学习。下周继续学习数学建模知识和python知识。周日,进行数学建模知识和python知识的学习,开始跟随集训一块学习数学建模中的回归模型并查找作业论文的相关资料,未遇到问题。周一,进行数学建模知识和python知识的学习,写老师留......
  • 2023.8.12-假期周进度报告
    本周,主要进行继续电视剧天道的观看,下周准备开始进行暑期社会调查报告的相关内容编写。本周日,观看电视剧天道的第十五集和第十六集,完成了电视剧天道第十五集和第十六集的观看,遇到了该准备观看博客的时候了的问题,解决方法是先再拖几天,过几天再准备。本周一,观看电视剧天道的第十七......
  • 本周进度报告-5
    (1)这周我继续学习大数据和练车;在大数据方面已经配置完成了hadoop的虚拟机环境和xshell以及xftp;另外所幸这周通过了科目二的考试,有惊无险的通过了,接下来就是科目三了;这周的天气也是时好时坏,经常下雨,但是却很热;前天的模拟考试和昨天的科目二考试都是一大早就出发,我只好三四点就起床,......
  • WEB自动化-Allure报告-添加日志内容到Allure报告
    如果想把LOG内容输出到Allure报告,步骤如下:1、创建pytest.ini文件,设置规则 2、创建conftest文件,设置driver和日志封装及截图#浏览器驱动importloggingimportallureimportpytestfromseleniumimportwebdriverfromselenium.webdriver.chrome.optionsimportOpti......
  • Python进度条
    Python进度条li=list(range(10))importtime#使用经典的tqdm来实现进度条importtqdmforiintqdm.tqdm(li):time.sleep(0.2)print(i)#使用更新更好看的rich来实现进度条(print的输出不影响进度条)fromrich.progressimporttrackforiintrack(li):......
  • 陆上CPT触探车行业市场现状调研及发展前景预测报告
    2023-2029全球陆上CPT触探车行业调研及趋势分析报告2022年全球陆上CPT触探车市场规模约亿元,2018-2022年年复合增长率CAGR约为%,预计未来将持续保持平稳增长的态势,到2029年市场规模将接近亿元,未来六年CAGR为%。从核心市场看,中国陆上CPT触探车市场占据全球约%的市场份额,为全球最......
  • 履带式CPT触探车行业市场现状调研及发展前景预测报告
    2023-2029全球履带式CPT触探车行业调研及趋势分析报告2022年全球履带式CPT触探车市场规模约亿元,2018-2022年年复合增长率CAGR约为%,预计未来将持续保持平稳增长的态势,到2029年市场规模将接近亿元,未来六年CAGR为%。从核心市场看,中国履带式CPT触探车市场占据全球约%的市场份额,为......
  • 内圆磨轮行业市场现状调研及发展前景预测报告
    2023-2029全球内圆磨轮行业调研及趋势分析报告2022年全球内圆磨轮市场规模约亿元,2018-2022年年复合增长率CAGR约为%,预计未来将持续保持平稳增长的态势,到2029年市场规模将接近亿元,未来六年CAGR为%。从核心市场看,中国内圆磨轮市场占据全球约%的市场份额,为全球最主要的消费市场......
  • 太阳能杀虫灯行业市场现状调研及发展前景预测报告
    2023-2029全球太阳能杀虫灯行业调研及趋势分析报告2022年全球太阳能杀虫灯市场规模约亿元,2018-2022年年复合增长率CAGR约为%,预计未来将持续保持平稳增长的态势,到2029年市场规模将接近亿元,未来六年CAGR为%。从核心市场看,中国太阳能杀虫灯市场占据全球约%的市场份额,为全球最主......