大数据平台部署与运维

郭建磊

目录

  • 1 第一单元 大数据简介
    • 1.1 工作场景导入动画
    • 1.2 工作任务 认识大数据
      • 1.2.1 任务场景与描述
      • 1.2.2 必备知识点微视频
        • 1.2.2.1 大数据的概念
        • 1.2.2.2 大数据的发展背景
        • 1.2.2.3 大数据技术发展历程
        • 1.2.2.4 大数据的意义和应用现状
        • 1.2.2.5 大数据人才需求与岗位介绍
    • 1.3 课后练习二维码
    • 1.4 启智润心-拓展小课堂动画
    • 1.5 多元考核评价
  • 2 第二单元 Hadoop伪分布式安装部署
    • 2.1 单元内容整体介绍
    • 2.2 工作场景导入动画
    • 2.3 工作任务2.1 搭建Hadoop伪分布式
      • 2.3.1 工作任务2.1 导入动画
      • 2.3.2 必备知识点微视频
        • 2.3.2.1 Hadoop发展历程与应用现状
        • 2.3.2.2 Hadoop优势与核心组成
        • 2.3.2.3 Hadoop安装方式
        • 2.3.2.4 Hadoop各版本选择
        • 2.3.2.5 Hadoop伪分布式搭建基本流程
      • 2.3.3 任务实操微视频
        • 2.3.3.1 实训-基础环境配置
        • 2.3.3.2 实训-搭建Hadoop伪分布式
    • 2.4 工作任务2.2 启动和访问Hadoop
      • 2.4.1 工作任务2.2 导入动画
      • 2.4.2 必备知识点微视频
        • 2.4.2.1 Hadoop启动关闭等操作命令
        • 2.4.2.2 基于WebUI监控HDFS平台
        • 2.4.2.3 基于WebUI监控MapReduce平台
      • 2.4.3 任务实操微视频
        • 2.4.3.1 实训-启动和关闭Hadoop
        • 2.4.3.2 实训-WebUI监控Hadoop
    • 2.5 课后练习二维码
    • 2.6 启智润心-拓展小课堂动画
    • 2.7 多元考核评价
  • 3 第三单元 Hadoop集群部署与监控
    • 3.1 工作场景导入动画
    • 3.2 工作任务3.1 搭建Hadoop集群
      • 3.2.1 工作任务3.1 导入动画
      • 3.2.2 必备知识点微视频
        • 3.2.2.1 Hadoop集群的特点
        • 3.2.2.2 Hadoop集群的规划
        • 3.2.2.3 Hadoop集群部署过程
      • 3.2.3 任务实操微视频
        • 3.2.3.1 实训-集群规划与环境配置
        • 3.2.3.2 实训-部署集群
    • 3.3 工作任务3.2 监控Hadoop集群
      • 3.3.1 工作任务3.2 导入动画
      • 3.3.2 必备知识点微视频
        • 3.3.2.1 Hadoop集群监控方法
      • 3.3.3 任务实操微视频
        • 3.3.3.1 实训-监控HDFS
        • 3.3.3.2 实训-监控MapReduce
    • 3.4 课后练习二维码
    • 3.5 启智润心-拓展小课堂动画
    • 3.6 多元考核评价
  • 4 第四单元 HDFS分布式存储
    • 4.1 工作场景导入动画
    • 4.2 工作任务4.1 认识HDFS
      • 4.2.1 必备知识微视频
        • 4.2.1.1 HDFS原理与体系架构
        • 4.2.1.2 HDFS读写流程
        • 4.2.1.3 HDFS的特点
      • 4.2.2 任务实操微视频
        • 4.2.2.1 实训-HDFS操作方法
    • 4.3 工作任务4.2 HDFS文件系统操作
      • 4.3.1 必备知识微视频
        • 4.3.1.1 HDFS的shell操作命令
      • 4.3.2 任务实操微视频
        • 4.3.2.1 实训-使用Shell命令操作HDFS
    • 4.4 工作任务4.3  HDFS系统管理操作
      • 4.4.1 第四课时
      • 4.4.2 必备知识微视频
        • 4.4.2.1 HDFS的安全模式
        • 4.4.2.2 HDFS的数据平衡
        • 4.4.2.3 HFDS的存储策略
        • 4.4.2.4 HDFS快照管理
      • 4.4.3 任务实操微视频
        • 4.4.3.1 实训-HDFS安全模式管理
        • 4.4.3.2 实训-动态增加集群节点
        • 4.4.3.3 实训-快照管理
    • 4.5 工作任务4.4 本地开发环境部署
      • 4.5.1 工作任务4.4 导入动画
      • 4.5.2 必备知识微视频
        • 4.5.2.1 认识JDK
        • 4.5.2.2 认识Maven
        • 4.5.2.3 认识IDEA
      • 4.5.3 任务实操微视频
        • 4.5.3.1 实训-本地IDEA开发环境部署
    • 4.6 工作任务4.5 HDFS的Java API操作
      • 4.6.1 工作任务4.5 导入动画
      • 4.6.2 必备知识微视频
        • 4.6.2.1 HDFS的常用Java API
      • 4.6.3 任务实操微视频
        • 4.6.3.1 任务实操微视频
    • 4.7 课后练习二维码
    • 4.8 启智润心-拓展小课堂动画
  • 5 第五单元 MapReduce实现电商销售数据统计
    • 5.1 新建课程目录
    • 5.2 工作任务5.1 认识MapReduce
      • 5.2.1 工作任务导入动画
      • 5.2.2 必备知识微视频
        • 5.2.2.1 工作任务5.1 认识MapReduce
        • 5.2.2.2 第二课时
        • 5.2.2.3 第四课时
        • 5.2.2.4 Yarn运行机制
      • 5.2.3 任务实操微视频
        • 5.2.3.1 实训-运行MapReduce自带案例
    • 5.3 工作任务5.2 MapReduce实现词频统计
      • 5.3.1 任务实操微视频
      • 5.3.2 必备知识微视频
        • 5.3.2.1 第三课时
        • 5.3.2.2 MapReduce相关Java API及应用
        • 5.3.2.3 MapReduce驱动类
      • 5.3.3 任务实操微视频
        • 5.3.3.1 实训-自定义Mapper和Reducer类
        • 5.3.3.2 实训-编写驱动类-1
        • 5.3.3.3 实训-编写驱动类-2
    • 5.4 任务5.3 MapReduce实现电商销售数据统计
      • 5.4.1 工作任务导入动画
      • 5.4.2 必备知识微视频
        • 5.4.2.1 自定义分区
        • 5.4.2.2 自定义数据类型
        • 5.4.2.3 统计数据思路分析
      • 5.4.3 任务实操微视频
        • 5.4.3.1 实训-自定义数据类型
        • 5.4.3.2 实训-自定义Mapper类、分区类和Reducer类
        • 5.4.3.3 实训-驱动类编码运行-1
        • 5.4.3.4 实训-驱动类编码运行-2
    • 5.5 任务5.4 MapReduce任务监控
      • 5.5.1 工作任务导入动画
      • 5.5.2 必备知识微视频
        • 5.5.2.1 MapReduce任务监控方式
        • 5.5.2.2 任务执行失败常见原因
        • 5.5.2.3 MapReduce日志文件
      • 5.5.3 任务实操微视频
        • 5.5.3.1 实训-MapReduce任务监控
    • 5.6 课后练习二维码
    • 5.7 启智润心-拓展小课堂
  • 6 第六单元 Hadoop高可用集群规划部署
    • 6.1 工作单元导入动画
    • 6.2 工作任务6.1 部署与访问ZooKeeper
      • 6.2.1 工作任务导入动画
      • 6.2.2 必备知识微视频
        • 6.2.2.1 任务6.1 MySQL部署
        • 6.2.2.2 任务6.3 Hive远程部署
        • 6.2.2.3 任务6.2 Hive本地部署
      • 6.2.3 任务实操微视频
        • 6.2.3.1 实训-部署与访问ZooKeeper
    • 6.3 工作任务6.2 部署Hadoop高可用集群
      • 6.3.1 工作任务导入动画
      • 6.3.2 必备知识微视频
        • 6.3.2.1 Hadoop高可用集群工作原理
        • 6.3.2.2 Hadoop高可用集群配置项及含义
      • 6.3.3 任务实操微视频
        • 6.3.3.1 第三课时
    • 6.4 课后作业二维码
    • 6.5 启智润心-拓展小课堂
  • 7 第七单元 分布式数据HBase部署运维
    • 7.1 工作单元场景导入动画
    • 7.2 工作任务7.1  搭建伪分布式HBase
      • 7.2.1 工作任务7.1
      • 7.2.2 必备知识微视频
        • 7.2.2.1 第二课时
        • 7.2.2.2 HBase体系架构
        • 7.2.2.3 HBase与JDK、Hadoop的版本兼容关系
      • 7.2.3 任务实操微视频
        • 7.2.3.1 实训-搭建伪分布式HBase
    • 7.3 工作任务7.2 部署HBase完全分布式集群
      • 7.3.1 工作任务导入动画
      • 7.3.2 必备知识微视频
        • 7.3.2.1 HBase集群规划
        • 7.3.2.2 HBase常用配置选型及含义
        • 7.3.2.3 HBase访问命令
        • 7.3.2.4 基于WebUI监控HBase状态
      • 7.3.3 任务实操微视频
        • 7.3.3.1 实训-部署HBase完全分布式集群
    • 7.4 工作任务7.3 HBase集群运维
      • 7.4.1 工作任务导入视频
      • 7.4.2 必备知识微视频
        • 7.4.2.1 HBase监控工具
        • 7.4.2.2 HBase集群优化
      • 7.4.3 任务实操微视频
        • 7.4.3.1 实训-HBase集群运维
    • 7.5 课后作业二维码
    • 7.6 启智润心-拓展小课堂
  • 8 第八单元 数据仓库Hive部署运维
    • 8.1 工作单元场景导入视频
    • 8.2 工作任务8.1 部署Hive本地模式
      • 8.2.1 工作任务导入动画
      • 8.2.2 必备知识微视频
        • 8.2.2.1 Hive介绍
        • 8.2.2.2 Hive原理与体系架构
        • 8.2.2.3 Hive安装方式
        • 8.2.2.4 Hive本地模式部署过程
      • 8.2.3 任务实训微视频
        • 8.2.3.1 实训-部署Hive本地模式
    • 8.3 工作任务8.2 部署Hive远程模式
      • 8.3.1 工作任务导入动画
      • 8.3.2 必备知识微视频
        • 8.3.2.1 Hive远程模式部署规划
        • 8.3.2.2 Hive远程模式部署步骤
        • 8.3.2.3 Hive建表与导入数据等应用以及问题解决
      • 8.3.3 任务实操微视频
        • 8.3.3.1 部署运行Hive远程模式
    • 8.4 课后作业二维码
    • 8.5 启智润心-拓展小课堂
  • 9 第九单元 Spark部署与应用
    • 9.1 单元工作场景导入动画
    • 9.2 工作任务9.1 部署Spark Local模式
      • 9.2.1 工作任务导入动画
      • 9.2.2 必备知识微视频
        • 9.2.2.1 任务7.1 Spark local部署
        • 9.2.2.2 任务7.2 Spark Standalone部署
      • 9.2.3 任务实操微视频
        • 9.2.3.1 实训-部署与操作Spark Local
    • 9.3 工作任务9.2 部署Spark StandAlone
      • 9.3.1 工作任务导入动画
      • 9.3.2 必备知识微视频
        • 9.3.2.1 任务7.3 Spark on yarn部署
      • 9.3.3 任务实操微视频
        • 9.3.3.1 实训-部署与操作Spark Standalone
    • 9.4 工作任务9.3 部署Spark on YARN
      • 9.4.1 工作任务导入动画
      • 9.4.2 必备知识微视频
      • 9.4.3 任务实操微视频
        • 9.4.3.1 实训-部署与操作Spark on YARN
    • 9.5 课后习题二维码
    • 9.6 启智润心-拓展小课堂动画
  • 10 第十单元 Flink部署与运维
    • 10.1 单元工作场景导入动画
    • 10.2 工作任务10.1 部署本地模式Flink
      • 10.2.1 工作任务导入动画
      • 10.2.2 必备知识微视频
      • 10.2.3 任务实操微视频
        • 10.2.3.1 实训-部署本地模式Flink
    • 10.3 工作任务10.2 部署独立模式Flink集群
      • 10.3.1 工作任务导入动画
      • 10.3.2 必备知识微视频
      • 10.3.3 任务实操微视频
        • 10.3.3.1 实训-部署独立模式Flink集群
    • 10.4 工作任务10.3 部署运行Flink on YARN
      • 10.4.1 工作任务导入动画
      • 10.4.2 必备知识微视频
      • 10.4.3 任务实操微视频
        • 10.4.3.1 实训-部署运行Flink on YARN集群
    • 10.5 课后作业二维码
    • 10.6 启智润心-拓展小课堂
  • 11 大数据平台相关拓展资源
    • 11.1 Kafka部署与应用拓展学习
      • 11.1.1 kafka部署
      • 11.1.2 kafka应用
    • 11.2 Flume部署与应用拓展学习
      • 11.2.1 flume部署
      • 11.2.2 flume应用
      • 11.2.3 flume应用二
    • 11.3 Flink拓展学习视频
      • 11.3.1 Flink拓展视频1
      • 11.3.2 Flink拓展视频2
      • 11.3.3 Flink拓展视频3
      • 11.3.4 Flinke拓展视频4
工作任务10.1 部署本地模式Flink