车联网实时大数据项目培训方案

一、项目介绍

项目名称:星途车联网实时大数据项目

项目周期:96课时

项目概述:

新媒体+目前,我国、俄罗斯、西欧和北美等国家和地区70%以上的新组装车辆都已配备互联网接口。当前全球联网车数量约为9000万辆,预计到2020年将增至3亿辆左右,到2025年则将突破10亿辆。2017年中国车联网用户规模达到1780万人,已成为全球最重要车联网市场。大数据、云计算、AI等技术创新融合将加快车联网市场深层次发展。

从车联网的整体规模来看,国内市场增速显著高于全球市场增速,并将成为全球最主要的市场。2016年的国内市场和2017年的国外市场规模分别约为77亿美元和1529亿美元,至2020年,国内外市场规模分别约为338亿美元和3062亿美元,年复合增长率约63.7%和21.3%,国内是国外的约3倍,至2025年,国内外市场规模分别约为2162亿美元和5506亿美元,年复合增长率约44.9%和12.5%,国内是国外的约3.6倍。综合盖世和埃森哲的预测,至2025年,国内市场将占全球市场的27%,成为全球最主要的市场。

大型车企累计大量车辆相关数据,在传统模式数据存储和计算方式下,无法满足原始车辆数据高效存储、快速计算、智能推荐等需求,此系统应运而生。此系统通过TBOX车辆终端收集车辆上报原始数据,通过嵌入式代码解析为TSP数据、DCS数据、充电数据、HU数据,原始数据经过ETL转换存储到分布式文件系统中和Nosql数据库中。

在计算与服务层,提供实时计算服务与离线计算服务,最终通过API接口提供数据查看,以报表和大屏展示分析结果数据,通过数据建模与机器学习算法,实现智能分析推荐。

1. TBOX

车辆终端,车辆相关数据设备

2. TSP

汽车远程服务提供商

3. DCS

车辆集散控制系统

4. 充电数据

充电基础设施(包括充电站、充电柱、充电接口等)数据

5. HU数据

第三方数据(充电桩企业存储的数据)

项目亮点:

1. 来自车联网智能IOT的BigData

一刻钟,千万级车辆数据上报,真实海量车辆信息数据采集方案、存储方案、处理方案

2. 流批一体全栈Flink架构

一种技术轻松搞定实时计算、离线计算,一套平台搞定所有,以不变应万变。毫秒级实时处理,轻松应对千万级数据处理

3. 业务实战+数据存储介质选型

Flink实时ETL + 基于业务主题针对数据存储最佳选型 + 索引、预写日志、预分区实现存储性能优化

4. 企业级BI极致可视化体验

使用Apache优秀的开源BI项目Superset作为数据可视化

整合Hive、Phoenix、MySQL等多数据源可视化

二、课程适合人群

1. 掌握Java语言基础

2. 掌握Linux基本操作

3. 有一定的sql技术基础

三、预习资料

获取方式:请扫描下方二维码,回复【大数据】即可获取完整预习资料

四、准备环境介绍

硬件环境:

Windows 或 mac os 操作系统

至少 12G 内存

至少 100G 剩余磁盘空间

软件:

IntelliJ IDEA 2019

虚拟机软件 VMware Workstation Pro

远程连接工具(XShell 或 SecureCRT 等)

五、课程培训目标

1. 了解车联网大数据行业

2. 了解车联网项目系统架构

3. 理解车联网数据量计算方法

4. 整合消息队列Kafka与Flink进行流式开发;

5. 了解原始数据实时ETL任务消费数据策略

6. 了解原始数据实时ETL任务备份与重启机制

7. 掌握原始数据实时ETL数据落地

8. 掌握原始数据实时ETL落地Hive流程

9. 掌握大数据调度系统开发

10. 了解BI、报表行情与实际应用

11. 熟悉常用的BI相关术语以及优缺点

12. 掌握Superset实现BI报表开发

六、项目进度安排

7月25日

环境安装

1. 环境安装
2. 项目结构介绍

7月26日

车联网项目基石与前瞻

1. 车联网行业
2. 车联网项目探索与发现
3. 车联网项目技术选型
4. 车联网项目业务架构

7月27日

分布式计算与存储

1. 分布式文件系统hdfs
2. 分布式存储引擎mapreduce

7月28日

分布式消息队列

1. 高性能分布式消息队列kafka
2. kafka分区

7月29日

海量分布式存储引擎

1. 海量存储HBase
2. 高性能存储引擎

7月31日

流批一体计算引擎

1. 流批一体存储Flink
2. Flink流式编程

8月1日

流批一体计算引擎进阶

1. Flink窗口函数
2. Flink双流连接
3. CDC捕捉变化数据

8月2日

大型数据分析湖

1. 数据湖iceberg
2. Flink整合数据湖

8月3日

车联网数据采集

1. 互联网数据格式json
2. json数据解析
3. 生产实时数据kafka

8月5日

原始数据实时ETL

1. Flink实时ETL
2. 任务检查点设置
3. 任务重启策略

8月6日

实时数据高性能存储

1. 数据实时写入HBase
2. 构建HBase的二级索引
3. 车辆指标统计

8月7日

车联网数据BI报表

1. Apache SuperSet BI
2. 车辆动态监测BI

七、项目运行效果图

请选择您要参加的培训模式