首页 > 其他分享 >Hive“横空出世”的原因

Hive“横空出世”的原因

时间:2023-12-25 16:59:22浏览次数:35  
标签:HDFS SQL MapReduce Hive 横空出世 MySQL 数据 原因

         在沸沸扬扬的大数据江湖里,有这么一个框架,它刚开始很低调,然而,就在那么一个不起眼的一天,突然展示出其绝妙的武功,让大数据各大框架的掌门人暗挑大拇指,好了,不卖关子了,这个“横空出世”的框架就是——Hive。

      

一:Hive产生的背景

       万事有因果,Hive的出现也不是无缘无故的,总体来说,Hive出现的原因主要有两个:

         1.   MapReduce编程太麻烦

               有过MapReduce编程经验的小伙伴们应该都能体会到编写MapReduce代码有多麻烦,Hive正是体谅到了小伙伴们的烦 恼, 于是才扬长避短,更快、更方便地解决了大家的烦恼。

          2.  SQL不能直接在HDFS上进行查询

               虽然HDFS是一种强大的分布式存储系统,可是存储在HDFS上的内容就是普通的数据而已,这可难倒了一众数据库管理人员,于是,Hive说:“没关系,只要你们会SQL,就很容易掌握我,我能帮助你们方便地操作HDFS上的数据”。哇,Hive的出现又解决了数据库管理员的苦恼,太伟大了!

二:Hive到底是什么

       正式介绍一下Hive: 

         Facebook 为了解决海量结构化日志数据的分析而开发了 Hive,后来开源给了 Apache 软件基金会。

    Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL 查询功能, Hive 底层是将类SQL 语句转换为 MapReduce任务运行。

      注意:

  • 从Hive2.x开始,底层的默认执行引擎已经改成了Spark
  • Hive底层执行引擎支持:MR/Tez/Spark

三:Hive的数据管理

  • Hive数据是存放在HDFS

  • 元数据信息(记录数据的数据)是存放在MySQL中

四:Hive的部署

    1.先安装好MySQL

    2. 下载Hive安装包,并解压到指定目录

    3. 添加HIVE_HOME到系统环境变量

    4. 修改配置

        hive-env.sh

        hive-site.xml (MySQL的连接配置)

    5. 拷贝MySQL驱动包到$HIVE_HOME/lib

 

             

标签:HDFS,SQL,MapReduce,Hive,横空出世,MySQL,数据,原因
From: https://www.cnblogs.com/tianpan666/p/17926429.html

相关文章

  • 智能监控平台/视频共享融合系统EasyCVR点击通道后页面分页不显示是什么原因?如何解决?
    TSINGSEE青犀视频监控汇聚平台EasyCVR可拓展性强、视频能力灵活、部署轻快,可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等,以及支持厂家私有协议与SDK接入,包括海康Ehome、海大宇等设备的SDK等。平台既具备传统安防视频监控的能力,也具备接入AI智能分析的能力,包括对人、车、......
  • GB28181视频监控平台LiteCVR调用rtsp地址返回的IP不正确原因排查
    RTSP(Real-TimeStreamingProtocol)是一种用于控制实时流媒体传输的应用层协议。它被设计用于建立和管理客户端与媒体服务器之间的连接,以便实现实时音频、视频或其他交互式媒体内容的传输。RTSP允许客户端通过发送命令来控制流媒体服务器的播放、暂停、快进、倒带等操作。RTSP支持......
  • 大数据从业者必知必会的Hive SQL调优技巧 | 京东云技术团队
    摘要:在大数据领域中,HiveSQL被广泛应用于数据仓库的数据查询和分析。然而,由于数据量庞大和复杂的查询需求,HiveSQL查询的性能往往不尽人意。本文针对HiveSQL的性能优化进行深入研究,提出了一系列可行的调优方案,并给出了相应的优化案例和优化前后的SQL代码。通过合理的优化策略和技......
  • 大数据从业者必知必会的Hive SQL调优技巧 | 京东云技术团队
    摘要:在大数据领域中,HiveSQL被广泛应用于数据仓库的数据查询和分析。然而,由于数据量庞大和复杂的查询需求,HiveSQL查询的性能往往不尽人意。本文针对HiveSQL的性能优化进行深入研究,提出了一系列可行的调优方案,并给出了相应的优化案例和优化前后的SQL代码。通过合理的优化策略和技......
  • Hive 3.1.3 生产安装
    1.安装用于存储元数据的关系数据库生产环境中一般存储元数据采用独立的关系型数据库而非Hive本地的嵌入式数据库本地的嵌入式数据库无法支持多个请求同时访问。本示例采用Mysql8.0作为示例具体的支持列表参考官方文档:https://cwiki.apache.org/confluence/display/Hive/Admin......
  • 国标GB28181视频汇聚LiteCVR安防视频监控平台无法播放HLS的原因排查与解决
    视频监控有助于监控和管理重要设施和场所的安全。当出现紧急情况时,管理人员可以迅速做出反应,并向相关人员发送警报以进行应急处理。有用户在现场部署LiteCVR后反馈,平台上所有设备flv播放正常,但hls却无法播放,如下图: 安防视频监控/视频集中存储/云存储LiteCVR平台可拓展性强、视频......
  • TP-LINK设备在视频监控LiteCVR平台上语音对讲异常,是什么原因?
    随着科技的发展,语音对讲技术已经成为了视频监控领域中不可或缺的一部分。它不仅提高了监控的效率和准确性,还为安全监控带来了更多的可能性。在传统的视频监控中,人们只能通过观察屏幕上的图像来了解现场情况。然而,这种方式往往存在着许多局限性,例如视角、清晰度以及实时性等方面的......
  • 智慧安防LiteCVR可视化安防平台4分屏播放显示CPU过载的原因排查
    随着科技的飞速发展,视频编码技术已经成为现代监控系统中的核心组件。它不仅提高了视频数据的传输速度和存储效率,还使得监控系统变得更加智能化、高效化。通过这种方式,视频数据可以被压缩并存储在计算机或其他设备上。这种技术不仅提高了视频数据的传输速度,还使得视频数据可以被快......
  • 国标GB28181安防监控LiteCVR视频平台无法接入Ehome5.0的原因排查
    随着人工智能技术的迅速发展,未来的安防视频技术将更加智能化。通过深度学习和图像识别算法,安防摄像头可以自动识别异常行为、人脸识别、车辆识别等,从而提供更智能、自动化的安全监控。 用户在现场使用LiteCVR平台接入ehome5.0,显示无法接入。针对这个情况我们来好好分析一下。视......
  • 视频监控系统LiteCVR平台配置播放限制时长后并未生效的原因排查
    随着科技的不断发展,视频监控技术已经成为了现代社会中不可或缺的一部分。它的应用范围广泛,涵盖了公共安全、工厂管理、家庭安全等多个领域。有用户在使用中反馈,LiteCVR平台的http-flv、hls、webrtc协议,播放限制时长不起作用,如下图: 安防视频监控LiteCVR平台可拓展性强、视频能......