优购用户画像解决方案

一、课程背景

课程名称:用户画像解决方案

培训周期:48课时

课程背景:

直到2011年大数据时代兴起,经历10年多的沉淀,人们从大数据量开始关注如何利用大数据技术挖掘潜在价值,然后我们又慢慢的开始关注用户个性化技术。在通过互联网获取用户反馈的大量信息中,快速、精准分析用户行为习惯、消费习惯等特征,这也衍生了用户画像。

同时在完成企业级数据仓库构建基础之上,如何搭建合理的指标体系,给用户打上合适的标签,帮助企业进行数值化决策成为关键要素,该用户画像解决方案正是融合了多种业务,适合于不同场景用户画像的解决方案,通过Spark大数据平台完成从数据接入,标签管理,标签计算,标签调度于一体的数据平台,不仅方便了企业决策,而且可以为后续推荐系统解决方案提供数据支持。

课程收获:

1.了解用户画像业务背景 ;

2.掌握Lambda架构选型;

3.掌握用户画像解决方案数据接入;

4.掌握用户画像解决方案标签构建;

5.掌握用户画像规则类,统计类,挖掘类标签开发。

二、项目介绍

项目概述:

用户画像解决方案包括了保险行业用户画像项目和电商行业用户画像项目,从标签体系中包涵了基础类标签,规则类标签,挖掘类标签及组合类标签,为企业数据决策及推荐系统提供支持。

项目成果:

项目亮点:

1.1核心亮点

(1)提供了全行业通用的用户画像标签体系。

(电商行业画像体系)

(保险行业画像体系)

(2)用户画像采用SparkSQL的DSL方式写入,每一个标签通过Spark的Job实现,将结果写入到画像结果表中。

(3)实现了模板代码抽象,方便后续标签开发,重点关注画像标签的开发。

(4)标签展示,基于Presto对接MySQL实时统计分析,ES结果数据源的画像标签数据,完成大屏展示。

(presto和finebi对接的图示)

(finebi使用presto数据源写SQL图示)

1.2 其他亮点

(1)提供了全行业通用的用户画像标签体系;

(2)用户画像采用SparkSQL的DSL方式写入,每一个标签通过Spark的Job实现,将结果写入到画像结果表中;

(3)实现了模板代码抽象,方便后续标签开发,重点关注画像标签的开发;

(4)标签展示,基于Presto对接MySQL实时统计分析,ES结果数据源的画像标签数据,完成大屏展示。

三、适合人群

1. 对数据应用感兴趣的高校老师;

2. 有一定SQL基础的高校老师;

3. 有一定大数据Hive或者Spark基础的高校老师。

四、培训目标

1、完成一套完整用户画像解决方案;

2、完成电商行业画像指标体系构建;

3、完成画像标签统计分析及BI报表展示;

4、完成规则类标签、统计类标签构建;

5、完成挖掘类标签搭建。

五、参考预习资料

获取方式:请扫描下方二维码,回复【大数据】即可获取完整预习资料。

六、准备环境介绍

硬件:

硬件环境要求:

1.PC机器CPU:16G Hz以上

2.PC机器内存:16GB以上

3.录音设备与扬声设备

软件:

七、课程日程安排

7月30日

用户画像业务基础

1.什么是用户画像?
2.如何给用户进行画像?
3.用户画像解决方案项目流程
4.技术架构选型
5.画像项目Web模块构建
6.标签计算流程

7月31日

ElasticSearch技术栈

1.ES技术栈
2.ES核心概念
3.ES案例实战

8月1日

画像数据数据加载

1.画像平台数据采集
2.画像数据导入
3.数仓平台数据接入
4.画像平台业务表接入

8月2日

规则类标签

1.Spark和ES整合
2.ES工具类
3.年龄段标签开发
4.BaseModel代码重构

8月4日

规则和统计类标签

1.性别标签开发
2.性别标签方案重构
3.标签调度
4.完成打标签流程
5.统计类标签详解
6.购买周期类标签开发

8月5日

挖掘类标签

1.SparkML机器学习基础
2.KMeans聚类算法理论基础与实战
3.RFM用户价制度模型开发
3.RFE用户活跃度模型开发