大数据项目培训方案·统一数仓解决方案

一、课程背景

课程名称：统一数仓解决方案

培训周期：五天

课程背景：

作为民生消费的刚需行业，生鲜零售行业规模有着万亿级别的市场 体量，近年来，中国生鲜零售市场保持稳步增长，2020年中国生鲜零售 市场规模超5万亿元，生鲜产品作为我国的基础消费品之一，随着人均 可支配收入和消费支出的提高，未来生鲜零售市场仍将保持增长态势， 到2025年中国生鲜零售市场规模将达到6.8万亿元。

随着生鲜电商行业的迅速发展，黑马甄选公司累计了大量数据。为 了从已有的数据中挖掘出有价值的信息，黑马甄选搭建了大数据处理平 台。主要对各业务线的数据进行分析，从而便于精细化管理，最终提高 用户数量及活跃度，提高商品销量，降低运营成本。

课程收获：

1.掌握Starrocks数据库开发

2.掌握数仓分层设计、数据建模

3.掌握报表开发

4.掌握真实的项目实践

5.体验完整的从0到1的全行业通用的数仓建设方案

6.掌握丰富的SQL调优方案

7.掌握丰富的电商主题域开发模型

8.掌握FineReport报表开发

二、项目介绍

项目概述：

项目采用FlinkCDC实时的采集Mysql数据库的binlog日志，将采集到的数据写入到Starrocks中，然后基于Starrocks进行数仓的分层设计，Starrocks作为极速的分析性数据库既可以满足数据的存储问题，又可以满足高速的实时统计分析的需求，不需要依赖第三方的框架，从而减少了系统的复杂性，提高运维效率，调度系统DolphinScheduler (海豚调度)，数据报表采用目前国内使用广泛的组件FineReport等技术架构。

本项目的数仓部分采用纯SQL方案, 完成整个数仓建设工作，具有 丰富的SQL调优方案，解决完整的从0到1的全行业通用的数仓建设方案，丰富的电商主题域开发模型。

项目成果：

项目亮点：

（1）技术：

1.该架构既可以满足离线数仓的需求也可以满足准实时数仓的需求

2.采用FlinkCDC实时同步Mysql数据库的业务数据，不需要事先在Starrocks 创建表，同时Mysql业务数据库的表结构发生变更的时候，也会自动同步Starrocks表的字段变化，大大减少了维护工作量

3.基于Starrocks进行数仓的建模设计，不需要依赖第三方的存储和查询 系统，提高了运维效率

4.数仓项目采用纯SQL方案, 完成整个数仓建设工作

5.丰富的SQL调优方案

6.数据报表采用目前国内使用广泛的组件FineReport

（2）业务：

1.完整的从0到1的全行业通用的数仓建设方案

2.丰富的电商主题域开发模型

（3）课程设计：

1.从数仓架构体系建设到数仓数据接入

2.基于Starrocks完成主题建设和数据处理

3.从ODS层开发到ADS层建设, 实现数仓分层逐步开发

4.从销售主题域链接到其他各主题域开发, 实现电商核心主题域开发

5.最后完成数仓可视化平台，实现业务决策

三、适合人群

1. 有一定的Linux技术基础

2. 有一定的SQL技术基础

四、培训目标

1.了解项目背景和技术架构

2.掌握各个数仓架构优缺点

3.理解黑马甄选离线数仓项目的需求

4.掌握黑马甄选离线数仓项目的技术架构

5.能够完成搭建项目基础开发环境

6.能够基于FlinkCDC完成数据采集

7.掌握数据仓库建模论

8.掌握甄选项目数仓建设方案

9.完成维表主题DWD层开发

10.基于DolphinScheduler完成维度主题上线

11.黑马甄选四大业务流程说明

12.完成核销主题数仓开发

13.完成会员主题数仓开发

14.掌握FineReport报表开发

五、参考预习资料

获取方式:请扫描下方二维码，回复【大数据】即可获取完整预习资料。

六、准备环境介绍

硬件：

硬件环境要求

1.笔记本或者台式机

2.操作系统：Windows10及以上系统

3.处理器：i7以上

4.内存: >16G

软件：

1.Vmware16/15

2.DataDrip

3.Linux远程连接工具(CRT/FinalShell/Xshell)

七、课程日程安排