大数据项目培训方案·黑马甄选离线数仓

一、课程背景

课程名称：黑马甄选离线数仓项目

培训周期：40课时

课程背景：

作为民生消费的刚需行业，生鲜零售行业规模有着万亿级别的市场 体量，近年来，中国生鲜零售市场保持稳步增长，2020年中国生鲜零售 市场规模超5万亿元，生鲜产品作为我国的基础消费品之一，随着人均 可支配收入和消费支出的提高，未来生鲜零售市场仍将保持增长态势， 到2025年中国生鲜零售市场规模将达到6.8万亿元。

随着生鲜电商行业的迅速发展，黑马甄选公司累计了大量数据。为 了从已有的数据中挖掘出有价值的信息，黑马甄选搭建了大数据处理平 台。主要对各业务线的数据进行分析，从而便于精细化管理，最终提高 用户数量及活跃度，提高商品销量，降低运营成本。

课程收获：

1. 掌握ETL开发

2. 掌握数仓分层设计、数据建模

3. 掌握报表开发、Hive调优

4. 掌握真实的项目实践

5. 体验完整的从0到1的全行业通用的数仓建设方案

6. 掌握丰富的SQL调优方案

7. 掌握丰富的电商主题域开发模型

8. 掌握Presto引擎使用

9. 掌握FineReport报表开发

二、项目介绍

项目概述：

项目选用目前全球适用范围最为广泛的商用大数据平台: CDH，接 入阿里推出的数据迁移工具DataX，数仓框架Hive，高速分析引擎Presto， 调度系统DolphinScheduler(海豚调度)，数据报表采用目前国内使用广 泛的组件FineReport等技术架构。

本项目的数仓部分采用纯SQL方案, 完成整个数仓建设工作，具有 丰富的SQL调优方案，解决完整的从0到1的全行业通用的数仓建设方案， 丰富的电商主题域开发模型。

项目成果：

项目亮点：

（1）技术：

1. 项目选用目前全球适用范围最为广泛的商用大数据平台: CDH

2. 接入阿里推出的数据迁移工具DataX

3. 数仓项目采用纯SQL方案, 完成整个数仓建设工作

4. 丰富的SQL调优方案

5. 数据报表采用目前国内使用广泛的组件FineReport

（2）业务：

1. 完整的从0到1的全行业通用的数仓建设方案

2. 丰富的电商主题域开发模型

（3）课程设计：

1. 从数仓架构体系建设到数仓数据接入

2. 基于Hive SQL完成主题建设和数据处理

3. 从ODS层开发到ADS层建设, 实现数仓分层逐步开发

4. 从销售主题域链接到其他各主题域开发, 实现电商核心主题域开发

5. 最后完成数仓可视化平台，实现业务决策

三、适合人群

1. 掌握Linux基本操作

2. 有一定的sql技术基础

四、培训目标

1. 了解项目背景和技术架构

2. 掌握各个数仓架构优缺点

3. 理解黑马甄选离线数仓项目的需求

4. 掌握黑马甄选离线数仓项目的技术架构

5. 能够完成搭建项目基础开发环境

6. 能够基于DataX完成数据采集

7. 掌握数据仓库建模论

8. 掌握甄选项目数仓建设方案

9. 完成维表主题DWD层开发

10. 基于DolphinScheduler完成维度主题上线

11. 黑马甄选四大业务流程说

12. 完成核销主题数仓开发

13. 完成会员主题数仓开发

14. 能够使用Presto来完成项目核心指标开发

15. 掌握FineReport报表开发

五、参考预习资料

获取方式:请扫描下方二维码，回复【大数据】即可获取完整预习资料。

六、准备环境介绍

硬件：

1. 电脑类型：PC

2. 操作系统：win10/win11

3. 处理器：i7以上

4. 内存: >16G

软件：

1. Vmware16/15

2. DataDrip

3. Linux远程连接工具(CRT/FinalShell/Xshell)

七、课程日程安排