大数据培训项目课程方案

一、项目介绍

项目概述:

新冠疫情防控指挥作战平台项目实现了疫情态势、基层防控、物资保障、复工复产”等多个专题板块,包括新冠疫情防控指挥大屏子系统和新冠疫情防控指挥平台后台管理子系统。

通过新冠疫情防控指挥作战平台的建设及实施,使得从局部作战到中心指挥,让战“疫”指挥官对疫情防控心中有“数”,科学决策,下好疫情防控、救治、复工复产“一盘棋”,更高效地帮助防疫指挥部开展统筹、协调、决策工作,尽快打赢疫情防控战役。

项目亮点:

1. 从0到1使用Java爬虫进行新冠肺炎疫情数据爬取

2. 综合运用多种大数据技术如Spark、Kafka对进行数据实时处理和统计分析

3. 使用SpringBoot+Echarts技术构建Web可视化平台

4. 使用博雅云SaaS平台快速构建实时大屏

二、课程适合人群

掌握Java语言基础

掌握Scala语言基础

有一定大数据技术基础(如Spark、Kafka,课程中也会安排入门案例)

三、学习资料:

Java零基础入门到精通视频,下载地址: http://yun.itheima.com/course/540.html

大数据教程轻松学会scala视频,下载地址: http://yun.itheima.com/course/681.html

网站数据分析实战教程,下载地址: http://yun.itheima.com/course/360.html

四、准备环境介绍

硬件环境:

1、Windows或mac os 操作系统

2、至少8G内存

3、至少100G剩余磁盘空间

软件环境:

1、IntelliJ IDEA 2019

2、虚拟机软件VMware Workstation Pro

3、远程连接工具(XShell 或 SecureCRT等)

五、课程培训目标

1.掌握使用Java爬虫爬取疫情相关数据

2.掌握使用Java代码生成部分疫情相关数据

3.掌握Kafka基本使用并接收实时疫情数据

4.掌握Spark基本使用

5.掌握SparkStreaming对接Kafka消费、处理并分析数据

6.掌握将分析结果数据存入MySQL

7.能够搭建SpringBoot+Echarts项目对数据结果进行可视化

六、项目进度安排

本次培训计划如下:

day1

新冠疫情防控指挥作战平台项目介绍

1. 项目背景介绍
2. 项目需求分析
3. 项目业务梳理
4. 项目模块划分
5. 项目架构分析
6. 项目环境准备

day2

数据爬取和生成

1. 爬虫介绍
2. Java爬虫基础入门
3. Java爬虫实现数据爬取
4. 部分数据模拟生成
5. 数据对接Kafka

day3

实时数据处理和分析

1. Spark基本使用
2. SparkStreaming整合Kafka
3. 实时数据处理
4. 实时数据分析
5. 分析结果存入MySQL

day4

实时数据展示

1. SpringBoot基本使用
2. Echarts基本使用
3. SpringBoot+Echarts实现数据可视化

day5

云平台使用与项目总结

1. 博雅云SaaS平台介绍
2. 云平台组件基本使用
3. 云平台实现实时大屏展示
4. 项目业务与技术点总结

七、项目演示图