首页 > 其他分享 >客快物流大数据项目学习框架学习框架的重要性我是怎么坚持学习的怎么确定学习目标

客快物流大数据项目学习框架学习框架的重要性我是怎么坚持学习的怎么确定学习目标

时间:2023-07-04 19:36:37浏览次数:33  
标签:数据分析 运输 框架 项目 客快 学习 物流 数据


客快物流大数据项目学习框架学习框架的重要性我是怎么坚持学习的怎么确定学习目标_大数据

文章目录

客快物流大数据项目学习框架

前言

一、项目简介

二、功能介绍

三、项目背景

四、服务器资源规划

五、技术亮点及价值

六、智慧物流大数据平台


客快物流大数据项目学习框架

前言

利用框架的力量,看懂游戏规则,才是入行的前提

大多数人不懂,不会,不做,才是你的机会,你得行动,不能畏首畏尾

选择才是拉差距关键,风向,比你流的汗水重要一万倍,逆风划船要累死人的


上面这些看似没用,但实际很重要,这里我就不再具体说明,感兴趣的同学可以看看我的大数据学习探讨话题: 

学习框架的重要性

我是怎么坚持学习的

怎么确定学习目标

这个栏目缺少项目的同学全面整理的客快物流大数据项目逻辑,内容是按基础环境搭建项目架构设计,带你从基础架构实战,想学会就得自律加坚持,赶快行动吧

一、项目简介

本项目基于大型物流公司研发的智慧物流大数据平台,该物流公司是国内综合性快递、物流服务商,并在全国各地都有覆盖的网点。经过多年的积累、经营以及布局,拥有大规模的客户群,日订单达上千万,如此规模的业务数据量,传统的数据处理技术已经不能满足企业的经营分析需求。该公司需要基于大数据技术构建数据中心,从而挖掘出隐藏在数据背后的信息价值,为企业提供有益的帮助,带来更大的利润和商机

    该大数据项目主要围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据、信息等。通过大数据分析可以提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求,实现快速、高效、经济的物流,并针对数据分析结果,提出具有中观指导意义的解决方案

    物流大数据可以根据市场进行数据分析,提高运营管理效率,合理规划分配资源,调整业务结构,确保每个业务均可盈利。根据数据分析结果,规划、预计运输路线和配送路线,缓解运输高峰期的物流行为,提高客户的满意度,提高客户粘度。

二、功能介绍

  • 业务系统数据主要存放到Oracle和Mysql数据库中,比如CRM系统数据在Mysql,OMS系统数据存放在Oracle中 
  • OGG增量同步Oracle数据库的数据,Canal增量同步Mysql数据库的数据
  • OGG及Canal增量抽取的数据会写入到Kafka集群,供实时分析计算程序消费
  • 实时分析计算程序消费kafka的数据,将消费出来的数据进行ETL操作
  • 为了方便业务部门对各类单据的查询,StructureStreaming流式处理系统将数据经过JOIN处理后,将数据写入到Elastic Search中
  • StructureStreaming流处理会将数据写入到ClickHouse,Java Web后端直接将数据查询出来进行展示
  • StructureStreaming将实时ETL处理后的数据同步更新到Kudu中,方便进行数据的准实时分析、查询。Impala对kudu数据进行分析查询
  • 前端应用对数据进行可视化展示

客快物流大数据项目学习框架学习框架的重要性我是怎么坚持学习的怎么确定学习目标_数据项_02

三、项目背景

本项目基于一家大型物流公司研发的智慧物流大数据平台。该物流公司是国内综合性快递、物流服务商,并在全国各地都有覆盖的网点。经过多年的积累、经营以及布局,拥有大规模的客户群,日订单达上千万。以下列举了国内的几家物流公司某个月份的数据:

客快物流大数据项目学习框架学习框架的重要性我是怎么坚持学习的怎么确定学习目标_数据分析_03

 如此规模的业务数据量,传统的数据处理技术已经不能满足企业的经营分析需求。该公司需要基于大数据技术构建数据中心,从而挖掘出隐藏在数据背后的信息价值,为企业提供有益的帮助,带来更大的利润和商机。而自2012年,国家已陆续出台相关的产业规划和政策,也从侧面推动了大数据产业的发展。

该大数据项目主要围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据、信息等。通过大数据分析可以提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求,实现快速、高效、经济的物流,并针对数据分析结果,提出具有中观指导意义的解决方案。

物流大数据可以根据市场进行数据分析,提高运营管理效率,合理规划分配资源,调整业务结构,确保每个业务均可盈利。根据数据分析结果,规划、预计运输路线和配送路线,环节运输高峰期的物流行为,提高客户的满意度,提高客户粘度。

四、服务器资源规划

客快物流大数据项目学习框架学习框架的重要性我是怎么坚持学习的怎么确定学习目标_大数据_04

因服务器资源有限,该项目采用两台服务器进行演示,每台服务器配置如下:

用途

主机名

操作系统/版本

IP

内存

硬盘

业务系统服务器

node1

Centos/7.5.1804

192.168.88.10

3GB

40G

大数据服务器

node2

Centos/7.5.1804

192.168.88.20

12GB

60G

使用到的软件信息:

服务器

node1

node2

Docker


Oracle(11g)


OGG


MySql 5.7


Canal


Hadoop


Spark


Kafka


ClickHouse


ElasticSearch


Kudu


Azkaban


Impala


HUE


五、技术亮点及价值

  • 基于Docker搭建异构数据源,还原企业真实应用场景
  • 以企业主流的Spark生态圈为核心技术,例如:Structure Streaming
  • Azkaban定时调度主题及指标统计作业
  • Kudu + Impala准实时分析系统
  • 使用HUE集成Impala进行数据即席查询
  • ClickHouse实时存储、计算引擎
  • 自定义数据源实现Spark与Clickhouse的整合
  • ELK全文检索
  • Spring Cloud搭建数据服务
  • 存储、计算性能调优

标签:数据分析,运输,框架,项目,客快,学习,物流,数据
From: https://blog.51cto.com/lansonli/6624500

相关文章

  • FreeWheel基于Go的实践经验漫谈——GC是大坑(关键业务场景不用),web框架尚未统一,和c++性
    Go语言是FreeWheel公司目前主要力推的一个方向,在其看来,面向服务的架构的大环境中,Go非常适合做一些功能相对独立、功能比较明确的微服务的语言。在结合已有的各种编程语言,计算框架(如Hadoop、Java、Ruby、C++)的基础上,FreeWheel把Go语言定位成用来实现轻量级服务或API的缺省编程语言,将......
  • 在Twitter信息流中大规模应用深度学习——推文的相关度计算使用了深度学习
    我们如何对信息流进行排序?在引入排序算法之前,信息流的组成非常简单:收集所有由你的关注对象在你最后一次登录Twitter之后发送的推文,再将它们按照时间倒序显示出来。这个看起来很简单,但要为数以亿计的Twitter用户提供这种稳定的体验对我们来说是一个巨大的挑战,它对我们的基础设施和运......
  • 种类并查集 学习笔记
    用于维护「敌人的敌人是朋友」这类的关系。例题:luoguP2024对于点\(i\in[0,n)\)(我习惯用这种方法编号),假想一个点\(i+n\)是它的食物,则\(i\)捕食\(j\)可以通过合并\(j\)和\(i+n\)实现(即认为\(j\)和\(i+n\)是同类),如此下去,开三倍大小并查集即可。......
  • pycharm的接触学习[230703]测试插入图片
    python自述最庞大的代码库、“胶水语言”解释型语言,即不需要编译环节搭建开发环境输出函数可以输出哪些内容?输出内容可以是数字:print(520)、print(98.5);/字符串:print(‘helloworld‘);/含运算符的表达式(操作数、运算符):print(3+1)可以输出到目的地?到文件中("open"......
  • CDQ分治 学习笔记
    按@ouuan大佬所说,CDQ分治可以当作ex归并看待。它的思想和归并排序十分相似:假设要对区间\([l,r)\)处理先不管\([\text{mid},r)\),计算\([l,mid)\)同理计算\([mid,r)\)补回之前忽略的部分,即“归并”例:三维偏序给定\(n\)个点\((a,b,c)\),求\(a_1\lea_2\we......
  • 如何学习网络安全?有哪些小窍门?
    学好网络安全其实没有所谓的捷径,也没有什么小窍门。入门网络安全首先要有浓厚的学习兴趣,不然很容易就变成了从入门到放弃了。其次要能静下心,踏踏实实的打好基础。如果你是零基础,建议从Web安全入手,课程难度相对较低。学习Web安全需要掌握Web安全相关概念、渗透测试相关工具、渗......
  • 七月四号Java学习
    今天在Java中学习到字面量和变量   ......
  • python学习_转义字符
    一、什么是转义字符转义字符反斜杠(\),转义字符的表现形式:反斜杠+想要实现转义功能首字母如:\n:换行,n是newline的首字母    \r:回车,r是return的首字符,回车是光标回到当前行的开头位置    \t:水平制表符,t是tab的首字母(一个\t占4个空格)    \b:退格,b是ba......
  • ML Agents 学习笔记 (1)
    本文是对https://developer.unity.cn/projects/6232aab0edbc2a0019dcfe38的补充,非原创.0.环境搭建创建虚拟环境,环境内安装ml-agents包等.安装Unity,克隆ML-Agentsgithub仓库至本地.1.打开场景并运行用Unity打开Githubclone下来的项目;具体就是打开Unit......
  • Nginx学习笔记-部署静态页面实践
    目录准备一个静态登录页面demoHTML静态页面-index.htmlCSS样式文件-index.cssNginx配置文件-nginx.conf启动Nginx样例展示准备一个静态登录页面demo需要将下面的两个文件index.html和index.css放到nginx安装目录下html目录中HTML静态页面-index.html<!DOCTYPEhtml><htmll......