[云计算&大数据] 2018年最新大数据24期实战项目 9天 附课件源码

课程目录：

第一天：

01.传统广告回顾
02.几个问题思考
03.广告的表现形式
04.名词解释
05.DSP原理图
06.DSP业务流程
07.DMP项目背景
08.DMP业务流程—-重要
09.日志格式介绍
10.需求一日志转parquet文件

第二天：

01.工程包的创建
02.日志转parquet文件实现方式一—-StructType
03.日志转换成parquet文件格式实现方式二—自定义类
04.统计各省市的数据量分布情况—-结果输出成json
05.统计各省市的数据量分布情况—-结果输出到mysql中
06.统计各省市的数据量分布情况—-使用Spark算子的方式实现
07.地域分布需求

第三天：

00.Ambari介绍及项目打包上传
00.集群运行Job观察01
00.集群运行Job观察02
01.地域报表实现—Spark SQL
02.地域报表实现—Spark Core实现01
03.地域报表实现—Spark Core实现02
03.地域报表实现—读取原始日志文件
04.媒体报表需求
05.媒体报表实现—broadcast
06.媒体报表实现—改造—字典存入到redis
07.媒体报表实现—改造—将redis作为字典库
08.代码托管到git

第四天：

01.git创建分支–合并分支–切换分支–删除分支
02.上下文标签需求

第五天：

01.标签实现过程–step1
02.标签实现过程–step2
03.标签实现过程–step3
04.标签实现过程–step4
05.商圈标签实现思路

第六天：

01.经纬度知识库的建立-StepOne
02.经纬度知识库的建立-StepTwo
03.添加商圈标签
04.商圈标签bug解决
05.graph共同好友案例
06.graph解决用户当天标签合并

第七天：

01.案例聚合用户标签
02.案例聚合用户标签–代码实现
03.案例聚合用户标签–代码实现–测试
04.上下文标签数据合并
05.项目总结

第八天：

01.中国移动实时项目背景
02.项目整体业务架构图
03.flume节点及数据量分布
04.需求
05.日志字段说明
06.ScalikeJDBC介绍

第九天：

01.创建kafka — topic
02.将数据对接到kafka
03.工程搭建–思路分析
04.代码实现-01—kafka偏移量有效性问题
05.代码实现-02—校验更新偏移量
06.代码实现–03–测试接收数据
07.代码实现–04—业务概况指标实现
08.代码实现–05—分区数据处理
09.代码实现–06—省市数据分布—每小时数据分布—每分钟数据分布
10.代码实现–07—偏移量有效性检验观察
11.Echarts展示
12.面试时的项目表述
13.面试问题补充