基于大数据技术之电视收视率企业项目实战Hadoop+Spark视频
笑哥2018-03-22笑哥共享网
这个将通过一个电视收视率项目实战驱动讲解,项目案例是国内的一家广电企业作为非洲国家的一个运营商,以用户收视行为数据作为基础数据,通过对频道和节目的分析,采用多维度统计分析的方法挖掘用户的收视行为特征。
通过此案例可以学习大数据整体开发流程,课程是围绕一个大数据整理流程而做的教学课程,让大家明白大数据不同技术的相互协调,从收集数据,过滤数据,数据分析,数据展示,
调度的使用而开发的课程,而且怎么从hadoop,hive应用快速的过度到spark上面而做的整套流程。学完此课程可以企业流程做一个整体的认识。
课程大纲:
1、项目的简介
2、项目的背景
3、项目流程演示
4、讲课的内容和对应的知识点!
5、php展示统计分析之后的数据
6、大数据架构介绍并且企业使用的测试集群环境和人员配置;
7、VM的安装
8、centos的安装和网络配置
9、通过第三方连接centos的方法
10、CentOS的yum源更新已经关闭防火墙
11、JAVA的安装和hadoop安装
12、完全分布式搭建(上)
13、完全分布式搭建(下)
14、通过hadoop自带的demo运行单词统计.
15、写一个sh脚本,可以通过一台机器控制多台机器!
16、hadoop常用的命令简单介绍4
17、maven的安装
18、maven的使用时出现的问题以及解决问题方法$ h, X/ \8 z+ h6 N
19、MAPREDUCE 示例编写及编程规范
20、安装时间同步工具,让所有电脑进行同步
21、Hive简介和工作流程
22、Mysql的安装,centos7安装mysql注意点
23、安装Hive,并且使用Hive做一个小案例
24、把txt文件的数据导入到Hive表中
25、Flume采集系统结构图
26、Flume的安装部署和实战
27、sqoop数据迁移和安装
28、sqoop数据从hadoop里面导入到mysql里面
29、sqoop数据从mysql里面导入到hadoop里面.
30、Azkaban介绍和安装
31、Azkaban创建SSL配置和配置文件
32、Azkaban实战通过5个不同场景介绍原理
33、电视采集项目流程篇之通过linux日志收集数据到hdfs上面
34、电视采集项目流程篇之通过MAPREDUCE 把收集数据进行清洗
35、电视采集项目流程篇之清洗数据绑定到hive表中(上)
36、电视采集项目流程篇之清洗数据绑定到hive表中(下)
37、电视采集项目流程篇之根据hive绑定数据统计计算保存到hive表中
38、电视采集项目流程篇之把hive表中数据导入到mysql中!
39、电视采集项目流程篇之安装php环境并且快速熟悉php语法
40、电视采集项目流程篇之安装php和echarts进行结合展示图表
41、电视采集项目流程篇之Azkaban调度脚本的编写
42、电视采集项目流程篇之Azkaban流程调度演示,最终在php页面展示
43、hadoop和hive项目怎么平滑的转到spark上面介绍
44、Spark介绍和整体架构;
45、Spark历史和特点
46、Spark下载源码和安装和使用
47、Spark创建RDD集合
48、Spark中transformation的介绍
49、Spark中action的介绍
50、Spark SQL发展史
51、HiveContext
52、Spark SQL和DataFrame
53、电视采集项目流程如何把hadoop项目平滑过渡到spark项目上
54、电视采集项目流程spark篇通过sparksql处理业务逻辑上
55、电视采集项目流程spark篇通过sparksql处理业务逻辑下
56、电视采集项目流程spark篇通过Azkaban调度spark
57、项目总体总结!
58、简历指导
百度网盘密码: cybs
最新淘宝特别整理精选优惠券商品,返利机器人,优惠券商城,点击进入!’
本站所有工具纯属免费共享,请学会感恩作者,无脑喷子永封IP段+删帐号所有评论 不喜欢请右上角X