AI+Python+大数据培训方案·

基于AI大模型+阿里云一站式数仓平台解决方案

一、课程概要

课程名称:基于AI大模型+阿里云一站式数仓平台解决方案

培训周期:五天

课程背景:

在网约车行业迅猛发展的态势下,黑马出行作为网约车服务领域的重要企业,积累了海量司乘出行数据。大数据技术已然成为公司发展的核心驱动力。通过对海量数据的分析,公司能够精准洞悉用户出行偏好等信息,提前安排车辆以提升出行效率,并依据用户评价持续改进服务质量。利用大数据预测出行需求,可优化司机车辆资源调配,提高经济效益。同时,通过监测车辆数据保障司乘安全,优化路线以提升司机工作效率。

本课程以真实项目为模型,依托 AI 大模型辅助代码开发。采用先进的流批一体、湖仓一体架构,数仓主题丰富多样、指标涵盖广泛,涉及订单、司机等多个方面。从 0 到 1 搭建数仓,切实提高学员实战能力。基于阿里云平台,结合 Flink、DataWorks、MaxCompute 等工具,充分发挥 Flink CDC/Flink SQL 优势,应用 StarRocks 进行查询展示,实战 Paimon 以深入了解数据湖组件,为提升公司竞争力、实现可持续发展提供有力支撑。

课程收获:

1. 深入了解黑马出行大数据平台的项目背景

2. 掌握 Lambda 架构和 Kappa 架构的优缺点

3. 熟悉黑马出行大数据项目技术架构

4. 掌握湖仓一体、流批一体的实现方式

5. 学会运用 AI 大模型进行项目辅助开发

6. 掌握基于 Flink SQL 的实时数仓开发

7. 掌握基于 DataWorks 和 MaxCompute 的离线数仓开发

8. 熟练掌握 Flink CDC 的使用

9. 掌握 Paimon 在数仓中的应用

10.了解 StarRocks 的使用

二、项目介绍

项目概述:

通过本课程,学员将全面且深入地了解网约车行业大数据应用的重要性及相关技术架构。学员将重点掌握以流批一体、湖仓一体为核心的先进技术架构,并在学习过程中借助 AI 辅助进行项目代码开发,提升开发效率与质量。深入学习阿里云平台上的多种工具应用,如结合阿里云 Flink 运用 Flink CDC/Flink SQL 编程,实战应用 DataWorks 和 MaxCompute 完成数据工作,以及运用 StarRocks 进行结果查询与展示、Paimon 进行数据湖组件实践等。课程从 0 到 1 教授数仓规划与搭建,涵盖数仓建模及规范理论并融入实践教学,包括实时数仓与离线数仓,场景多样充分体现流批一体优势。

课程不仅覆盖多种技术的基础使用与实战应用,编程语言兼顾 SQL 和 Java 的易用性与全面性,还提供项目代码方便学员练习对照,通过讲练结合的方式促进知识吸收。学员将通过实际操作提升实战能力,掌握核心技能,为在网约车行业及相关大数据领域的就业和发展奠定坚实基础,开拓创新思维以应对行业挑战和需求。在整个学习过程中,AI 辅助代码开发将为学员提供全新技术体验和学习助力,帮助学员更好地理解和应用复杂技术,加速项目开发进程,培养学员在大数据与人工智能融合领域的创新能力和实践能力。

项目成果:

项目亮点:

1. 以真实项目为模型精心打造,真实还原企业实际情况

2. 基于 AI 大模型进行代码辅助开发,提高开发效率与质量

3. 采用时下最流行的流批一体、湖仓一体技术架构,技术先进前沿

4. 数仓覆盖订单、司机、乘客、客服等多方面,主题多样,指标丰富

5. 从 0 到 1 进行数仓规划和搭建,极大提升实战能力

6. 基于云市场占有率第一的阿里云平台搭建,就业生态广阔

7. 结合阿里云 Flink,充分发挥 Flink CDC/Flink SQL 编程优势,简单易用高效

8. 实战应用 DataWorks 和 MaxCompute,轻松完成数据集成、数据开发、项目运维等工作

9. 以时下流行的 StarRocks 作为结果查询、报表展示和 Ad-hoc 组件,一件多用,简单高效

10.实战应用 Paimon,深入了解数据湖组件

三、适合人群

1. 对阿里云平台开发充满兴趣的人群

2. 专注于 AI 大模型项目开发,对流批一体、湖仓一体技术应用有追求的人群

3. 具备大数据基础知识,渴望进一步提升的人群

四、培训目标

1.熟练掌握 AI 大数据项目辅助开发技术

2.掌握流批一体、湖仓一体等技术架构及在网约车行业的应用,深刻理解其原理与实践

3.能够熟练运用阿里云平台相关工具,如 Flink CDC/Flink SQL 等,显著提升技术应用能力

4.具备从 0 到 1 搭建数据仓库的能力,强化实战经验与数仓建模理论应用

5.精通实时与离线数仓知识,充分发挥流批一体优势,为行业提供有力的支持决策

五、参考预习资料

获取方式:请扫描下方二维码,回复【AI+Python+大数据】即可获取完整预习资料。

六、准备环境介绍

硬件:

1.笔记本或者台式机

2.操作系统:Windows10及以上系统

3.处理器:i7以上

4.内存:>16G

软件:

1. Pycharm

2. DataGrip

七、课程日程安排

1月 13 日项目介绍及阿里云平台部署

  • 1.项目背景介绍
  • 2.项目技术架构
  • 3.项目平台实施细节
  • 4.阿里云环境搭建
  • 5.ESC 服务器部署

1 月 14 日Flink CDC 技术全析与实践

  • 1.Flink CDC 的原理
  • 2.Flink CDC 的核心特性和功能特性
  • 3.Flink CDC 项目实战操作
  • 4.Flink CDC2.0 的设计实现分析

1 月 15 日数据湖之 Paimon 开发

  • 1.数据湖知识介绍
  • 2.Paimon 的基本使用方法
  • 3.Paimon 文件操作
  • 4.Paimon 特色功能

1 月 16 日StarRocks 实时数仓开发

  • 1.StarRocks 介绍
  • 2.StarRocks 表设计实践
  • 3.StarRocks 数据湖查询应用

1 月 17 日DataWorks 湖仓一体开发

  • 1.DataWorks 基本功能
  • 2.数据集成的使用方法
  • 3.数据开发流程及操作
  • 4.运维中心的使用

(此日程安排会根据实际情况动态微调)