课程名称:用户画像解决方案
培训周期:48课时
课程背景:
直到2011年大数据时代兴起,经历10年多的沉淀,人们从大数据量开始关注如何利用大数据技术挖掘潜在价值,然后我们又慢慢的开始关注用户个性化技术。在通过互联网获取用户反馈的大量信息中,快速、精准分析用户行为习惯、消费习惯等特征,这也衍生了用户画像。
同时在完成企业级数据仓库构建基础之上,如何搭建合理的指标体系,给用户打上合适的标签,帮助企业进行数值化决策成为关键要素,该用户画像解决方案正是融合了多种业务,适合于不同场景用户画像的解决方案,通过Spark大数据平台完成从数据接入,标签管理,标签计算,标签调度于一体的数据平台,不仅方便了企业决策,而且可以为后续推荐系统解决方案提供数据支持。
课程收获:
1.了解用户画像业务背景 ;
2.掌握Lambda架构选型;
3.掌握用户画像解决方案数据接入;
4.掌握用户画像解决方案标签构建;
5.掌握用户画像规则类,统计类,挖掘类标签开发。
项目概述:
用户画像解决方案包括了保险行业用户画像项目和电商行业用户画像项目,从标签体系中包涵了基础类标签,规则类标签,挖掘类标签及组合类标签,为企业数据决策及推荐系统提供支持。
项目成果:
项目亮点:
1.1核心亮点
(1)提供了全行业通用的用户画像标签体系。
(电商行业画像体系)
(保险行业画像体系)
(2)用户画像采用SparkSQL的DSL方式写入,每一个标签通过Spark的Job实现,将结果写入到画像结果表中。
(3)实现了模板代码抽象,方便后续标签开发,重点关注画像标签的开发。
(4)标签展示,基于Presto对接MySQL实时统计分析,ES结果数据源的画像标签数据,完成大屏展示。
(presto和finebi对接的图示)
(finebi使用presto数据源写SQL图示)
1.2 其他亮点
(1)提供了全行业通用的用户画像标签体系;
(2)用户画像采用SparkSQL的DSL方式写入,每一个标签通过Spark的Job实现,将结果写入到画像结果表中;
(3)实现了模板代码抽象,方便后续标签开发,重点关注画像标签的开发;
(4)标签展示,基于Presto对接MySQL实时统计分析,ES结果数据源的画像标签数据,完成大屏展示。
1. 对数据应用感兴趣的高校老师;
2. 有一定SQL基础的高校老师;
3. 有一定大数据Hive或者Spark基础的高校老师。
1、完成一套完整用户画像解决方案;
2、完成电商行业画像指标体系构建;
3、完成画像标签统计分析及BI报表展示;
4、完成规则类标签、统计类标签构建;
5、完成挖掘类标签搭建。
获取方式:请扫描下方二维码,回复【大数据】即可获取完整预习资料。
硬件:
硬件环境要求:
1.PC机器CPU:16G Hz以上
2.PC机器内存:16GB以上
3.录音设备与扬声设备
软件:
7月30日
用户画像业务基础
7月31日
ElasticSearch技术栈
8月1日
画像数据数据加载
8月2日
规则类标签
8月4日
规则和统计类标签
8月5日
挖掘类标签