基于大数据的java实战项目《智慧学成》（视频+资料+讲义+源码）

《智慧学成》项目是对在线教育平台业务进行大数据统计分析的系统，对课程、用户、教育机构三个业务领域进行数据挖掘，采用企业级ETL的规范化研发流程，以及企业级数据仓库建模思想，对课程、用户、机构三个主题的不同维度进行数据分析，挖掘数据的价值，为在线教育平台运营提供参考数据依据。
通过本课程，学员将深入了解如何利用Hadoop、Spark等技术栈进行数据仓库建模、ETL流程处理以及离线和实时数据分析。课程内容从项目介绍、环境搭建开始，逐步深入到数据仓库与ETL、课程分析、平板看台、即时查询等核心模块，最后完成系统集成测试和项目就业指导。无论是对大数据技术感兴趣的初学者，还是希望提升实战经验的中高级开发者，本课程都将提供宝贵的学习资源和实践机会。

课程目录：
第一章智慧学成-项目介绍环境搭建
1-1项目介绍(智慧学成学习资料在此下载~)
01-项目介绍-学习目标&项目背景和概述
02-项目介绍-业务流程
03-项目介绍-功能模块
04-项目介绍-技术架构
1-2环境搭建
05-环境搭建-学习目标&CDH组件介绍
06-环境搭建-CDH环境搭建
07-环境搭建-配置hosts
08-环境搭建-配置Maven
09-环境搭建-IDEA环境配置
10-环境搭建-导入Scala基础工程&基础工程介绍
11-环境搭建-wordcount代码编写及idea代码测试
12-环境搭建-wordcount任务提交到集群执行
13-Zeppelin简介、Zeppelin调式Spark程序
14-Hue简介、Hue操作hive及hdfs

第二章智慧学成-数据仓库与ETL
2-1数据仓库
15-数据仓库-学习目标、数据仓库介绍
16-数据仓库-数据仓库的特点
17-数据仓库-维度分析
18-数据仓库-数据仓库建模
19-数据仓库-Hive创建数据仓库
2-2 ETL
01-ETL-学习目标
02-ETL-ETL介绍
2-3 课程访问量需求分析
03-ETL-课程访问量需求分析-
2-4采集系统
04-ETL-采集系统介绍
05-ETL-采集系统搭建
06-ETL-采集系统-测试采集课程访问量
2-5 NiFi
07-ETL-NiFi介绍
08-ETL-快速入门
2-6 维度数据采集
09-ETL-维度数据采集-维度介绍-
10-ETL-维度数据采集-导入学成在线业务数据
11-ETL-维度数据采集-导入NiFi源码&执行采集
12-ETL-维度数据采集-注意事项-NiFi采集乱码处理
13-ETL-维度数据采集-区域维度原文件上传HDFS8spark读取文件
14-ETL-维度数据采集-区域维度原文件数据与实体映射
15-ETL-维度数据采集-区域维度字段关联及区域维度数据入库
16-ETL-维度数据采集-区域维度-注意事项:winutils配置
2-7 课程访问量-数据清洗
01-ETL-数据清洗-课程访问量事实表字段介绍&清洗逻辑介绍
02-ETL-数据清洗-课程访问量清洗-获取维度数据&原始数据
03-ETL-数据清洗-课程访问量清洗-过滤机器人&关联维度
04-ETL-数据清洗-课程访问量清洗-去重&保存到数据仓库
05-ETL-数据清洗-课程访问量清洗-测试
06-ETL-数据清洗-课程访问量清洗-使用NiFi生产数据并测试

第三章 智慧学成-课程分析
3-1 课程访问量-统计分析
07-课程分析-学习目标
08-课程分析-课程访问量分析-功能概述&统计分析步骤
09-课程分析-课程访问量分析-步骤1:读取课程访问量事实表数据
10-课程分析-课程访问量分析-步骤2:课程访问量统计求和
11-课程分析-课程访问量分析-步骤3:课程访问量统计结果保存数据仓库
12-课程分析-课程访问量分析-使用NiFi将课程访问量分析结果同步到MySQI
13-课程分析-课程访问量分析-集成测试概述
14-课程分析-课程访问量分析-集成测试-数据清洗统计分析NiFi调度
15-课程分析-课程访问量分析-集成测试-联动(清洗、统计分析、同步到业务库)配置并测试
3-2业务报表系统搭建
16-业务报表系统搭建-Web前端使用说明&Yapi使用说明
17-业务报表系统搭建-使用业务后台接口展示业务报表
3-3课程购买量-需求分析
01-课程分析-课程购买量-需求分析
3-4 课程购买量-数据采集
02-课程分析-课程购买量-采集字段及存储分析
03-课程分析-课程购买量-MySQL采集注意事项
04-课程分析-课程购买量-NiFi采集MySQL配置
05-课程分析-课程购买量-测试NiFi采集MySQL
06-课程分析-课程购买量-NiFi生产订单数据保存到MySQL&并进行实时采集
3-5 课程购买量-数据清洗
07-课程分析-课程购买量-数据清洗-DWD(事实表)结构分析
08-课程分析-课程购买量-数据清洗-用户维度采集
3-6课程购买量-统计分析
09-课程分析-课程购买量-DWD代码-维度数据获取
10-课程分析-课程购买量-DWD代码-事实表数据封装
11-课程分析-课程购买量-DWD代码-保存到数据仓库
12-课程分析-课程购买量-DWD代码-测试清洗入库
13-课程分析-课程购买量-DWM层结构分析
14-课程分析-课程购买量-DWM代码-轻度聚合封装数据
15-课程分析-课程购买量-DWM代码-保存到数据仓库&测试入库
16-课程分析-课程购买量-统计分析
17-课程分析-课程购买量-使用NiFi将业务数据从数据仓库同步到MySQL
3-7 课程购买量-集成测试
18-课程分析-课程购买量-集成测试-概述&NiFi调度数据清洗分析任务
19-课程分析-课程购买量-集成测试-联动配置&整流程测试
3-8热门学科排名-需求分析
01-热门学科排名-需求分析
02-热门学科排名-业务报表系统字段分析
3-9热门学科排名-用户选课-数据采集
03-热门学科排名-采集字段及存储分析
04-热门学科排名-NiFi采集用户选课数据&测试
05-热门学科排名-NiFi生产用户选课数据保存到MySQL&并进行实时采集
3-10 热门学科排名-用户选课-数据清洗
06-热门学科排名-用户选课DWD层字段说明&清洗分析
07-热门学科排名-用户选课-DWD代码-获取维度数据&用户选课原始数据
08-热门学科排名-用户选课-DWD代码-事实表数据封装&保存到数据仓库
09-热门学科排名-用户选课-DWD代码-测试清洗入库
3-11热门学科排名-维度数据采集
10-热门学科排名-统计分析概述&课程分类维度采集
3-12热门学科排名-统计分析
11-热门学科排名-统计分析-销售量-周-统计分析步骤
12-热门学科排名-统计分析-销售量-周-代码-获取周区间日期
13-热门学科排名-统计分析-销售量-周-代码-根据日期获取数据并计算涨幅
14-热门学科排名-统计分析-销售量-周-代码-维度关联&保存到数据仓库
15-热门学科排名-统计分析-销售量-周-代码-抽取工具类&测试入库
16-热门学科排名-统计分析-销售量-月-统计分析步骤及代码编写
17-热门学科排名-统计分析-销售量-月-测试入库
18-热门学科排名-统计分析-学生人数-周-统计分析步骤
19-热门学科排名-统计分析-学生人数-周-代码-获取周区间&获取数据&计算涨幅
20-热门学科排名-统计分析-学生人数-周-代码-维度关联&保存到数据仓库
21-热门学科排名-统计分析-学生人数-周-代码-抽取工具类&测试入库
22-热门学科排名-统计分析-学生人数-月-统计分析步骤&代码编写
23-热门学科排名-统计分析-学生人数-月-测试入库
24-热门学科排名-统计分析-销售额-周-统计分析步骤&代码编写
25-热门学科排名-统计分析-销售额-周-测试入库
26-热门学科排名-统计分析-销售额-月-统计分析步骤&代码编写
27-热门学科排名-统计分析-销售额-月-测试入库
28-热门学科排名-统计分析-使用NiFi将业务数据从数据仓库同步到MySQL
3-13 热门学科排名-集成测试
29-热门学科排名-集成测试-配置NiFi调度数据清洗分析任务
30-热门学科排名-集成测试-测试NiFi调度数据清洗分析
31-热门学科排名-集成测试-联动配置&测试
32-热门学科排名-集成测试-报表系统Web展示

第四章 智慧学成-平板看台
4-1实时分析-需求分析
01-实时分析-学习目标
02-实时分析-平台看板需求分析&实时分析应用场景
03-实时分析-实时分析技术方案
04-实时分析-指标与维度分析&数据存储分析
4-2实时分析-今日访问量-数据采集
05-实时分析-今日访问量-概述&数据采集
4-3实时分析-今日访问量统计分析
06-实时分析-今日访问量-统计分析逻辑
07-实时分析-今日访问量-代码-redis获取kafka的offset
08-实时分析-今日访问量-代码-SparkStreaming获取kafka中的数据
09-实时分析-今日访问量-代码-去重计算实时访问量&保存redis
10-实时分析-今日访问量-代码-redis中保存当前offset进度
11-实时分析-今日访问量-代码-测试
12-实时分析-今日访问量-NiFi生产数据&测试
4-4实时分析-新增用户量-数据采集
13-实时分析-新增用户量-概述&数据采集
4-5 实时分析-新增用户量统计分析
14-实时分析-新增用户量-统计分析逻辑
15-实时分析-新增用户量-代码-实时计算新增用户量
16-实时分析-新增用户量-代码-测试
17-实时分析-新增用户量-NiFi生产数据&测试
4-6实时分析-今日购买量数据采集
18-实时分析-今日购买量-概述&数据采集
4-7 实时分析-今日购买量统计分析
19-实时分析-今日购买量-统计分析逻辑&代码
20-实时分析-今日购买量-代码-测试
21-实时分析-今日购买量-NiFi生产数据&测试
4-8实时分析-集成测试
22-实时分析-集成测试-NiFi调度配置
23-实时分析-集成测试-测试8lweb展示

第五章 智慧学成-即时查询
5-1 即时查询-学习目标
即时查询-学习目标
5-2 即时查询-需求分析
即时查询-需求分析&技术方案
即时查询-技术方案-代码演示-保存-代码
即时查询-技术方案-代码演示-保存-测试
即时查询-技术方案-代码演示-查询-代码&测试
即时查询-采集分析&存储分析
5-3 即时查询-数据采集
即时查询-数据采集-用户学习采集
即时查询-数据采集-课程视频维度采集
5-4 即时查询-统计分析
即时查询-统计分析-概述&步骤1统计逻辑&中间表介绍
即时查询-统计分析-步骤1:代码-获取原始数据
即时查询-统计分析-步骤1:代码-注册udf函数
即时查询-统计分析-步骤1:代码-关联相关维度&统计学习时长
即时查询-统计分析-步骤1:代码-测试
即时查询-统计分析-步骤2:概述
即时查询-统计分析-步骤2:代码
即时查询-统计分析-步骤2:测试
即时查询-统计分析-使用hbase注意事项
即时查询-统计分析-NiFi生产数据-配置
即时查询-统计分析-NiFi生产数据-测试&代码测试
5-5 即时查询-集成测试
即时查询-集成测试-配置
即时查询-集成测试-测试&web展示

第六章智慧学成-系统集成测试
6-1 系统集成测试-学习目标
系统集成测试-学习目标&概述
6-2 系统集成测试-代码重新打包
系统集成测试-代码重新打包-代码修改
系统集成测试-代码重新打包-上传NiFi容器
6-3 系统集成测试-NiFi采集-清洗-统计分析
系统集成测试-NiFi采集-清洗-统计分析-概述&清理业务数据
系统集成测试-NiFi采集-清洗-统计分析-即时查询
系统集成测试-NiFi采集-清洗-统计分析-离线分析-课程访问量
系统集成测试-NiFi采集-清洗-统计分析-离线分析-课程购买量
系统集成测试-NiFi采集-清洗-统计分析-高线分析-热门学科排名
系统集成测试-NiFi采集-清洗-统计分析-实时分析
系统集成测试-NiFi采集-清洗-统计分析-web展示

第七章 智慧学成-项目就业指导
7-1 智慧学成-项目就业指导
项目就业指导-就业指导概述&项目功能模块
项目就业指导-技术构架&技术栈-1
项目就业指导-技术构架&技术栈-2
项目就业指导-数据仓库是如何设计的?
项目就业指导-数据采集是如何实现的?
项目就业指导-ETL是如何做的?
项目就业指导-离线分析是如何实现的?
项目就业指导-同比分析在项目的应用?
项目就业指导-实时分析是如何做的?
项目就业指导-如何从海量数据查询想的数据?
项目就业指导-项目中任务调度是如何做的?