目录

  • 1 第1章 初识Hadoop
    • 1.1 大数据概述
    • 1.2 大数据应用场景
    • 1.3 Hadoop概述
    • 1.4 章节测试
  • 2 第2章  搭建Hadoop集群
    • 2.1 安装准备
    • 2.2 Hadoop集群搭建
      • 2.2.1 Hadoop单机模式安装
      • 2.2.2 伪分布式模式部署
      • 2.2.3 完全分布式模式
    • 2.3 Hadoop集群测试
    • 2.4 章节测试
  • 3 第3章 HDFS分布式文件系统
    • 3.1 HDFS的简介
    • 3.2 HDFS构架和原理
    • 3.3 HDFS的Shell操作
    • 3.4 HDFS的Java API操作
    • 3.5 章节测试
  • 4 第4章 MapReduce分成式框架
    • 4.1 MapReduce概述
    • 4.2 MapReduce工作原理
    • 4.3 Mapreduce编程组件
    • 4.4 Mapreduce运行模式
    • 4.5 MapReduce性能优化策略
    • 4.6 经典案例
    • 4.7 章节测试
  • 5 第5章 Zookeeper分布式协调服务
    • 5.1 Zookeeper的简介
    • 5.2 Zookeeper的特性
    • 5.3 Zookeeper集群角色
    • 5.4 Zookeeper的数据模型
    • 5.5 Zookeeper的Watch机制
    • 5.6 Zookeeper的选举机制
    • 5.7 Zookeeper分布式集群部署
    • 5.8 Zookeeper的Shell操作
    • 5.9 Zookeeper的Java API操作
    • 5.10 Zookeeper典型应用场景
    • 5.11 章节测试
  • 6 第6章 Hadoop2.0新特性
    • 6.1 Hadoop2.0改进与提升
    • 6.2 Yarn体系结构
    • 6.3 Yarn工作流程
    • 6.4 HDFS HA的搭建方式
    • 6.5 HDFS的高可用架构
    • 6.6 章节测试
  • 7 Hive仓库
    • 7.1 数据仓库简介
      • 7.1.1 什么是数据仓库
      • 7.1.2 数据仓库的结构
      • 7.1.3 数据仓库数据模型
    • 7.2 Hive简介
      • 7.2.1 什么是Hive
      • 7.2.2 Hive系统架构
      • 7.2.3 Hive工作原理
      • 7.2.4 Hive数据模型
    • 7.3 Hive安装
    • 7.4 Hive的管理方式
    • 7.5 Hive内置数据类型
    • 7.6 Hive数据模型操作
    • 7.7 Hive数据操作
    • 7.8 Hive章节测试
  • 8 Flume日志采集系统
    • 8.1 Flume简介
    • 8.2 Flume运行机制
    • 8.3 Flume日志采集系统架构
    • 8.4 Flume系统要求
    • 8.5 Flume安装配置
    • 8.6 Flume入门使用
    • 8.7 Flume Sources
    • 8.8 Flume Channels
    • 8.9 Flume Sinks
    • 8.10 Flume负载均衡
    • 8.11 Flume故障转移
    • 8.12 Flume拦截器
    • 8.13 案例-日志采集
    • 8.14 Flume章节测验
  • 9 工作流管理器
    • 9.1 Azkaban工作管理流
      • 9.1.1 工作流管理器概述
      • 9.1.2 Azkaban概述
      • 9.1.3 Azkaban部署
        • 9.1.3.1 Azkaban资源准备
        • 9.1.3.2 Azkaban安装配置
        • 9.1.3.3 Azkaban启动测试
      • 9.1.4 Azkaban使用
        • 9.1.4.1 Azkaban工作流相关概念
        • 9.1.4.2 案例-依赖任务调度管理
        • 9.1.4.3 案例-MapReduce任务调度管理
        • 9.1.4.4 案例-Hive脚本任务调度管理
      • 9.1.5 Azkaban章节测试
  • 10 Sqoop数据迁移
    • 10.1 Sqoop概述
    • 10.2 Sqoop安装配置
    • 10.3 Sqoop指令介绍
    • 10.4 Sqoop数据导入
    • 10.5 Sqoop数据导出
    • 10.6 sqoop章节测试
  • 11 综合项目--网站流量日志数据分析系统
    • 11.1 系统概述
    • 11.2 模块开发-数据采集
    • 11.3 模块开发-数据预处理
    • 11.4 模块开发-数据仓库开发
    • 11.5 模块开发-数据分析
    • 11.6 模块开发-数据导出
    • 11.7 模块开发-日志分析系统报表展示
安装准备
  • 1 知识要点
  • 2 知识测试
  • 3 主题讨论

2.1 安装准备    

“磨刀不误砍柴工”,要想深入学习掌握Hadoop的相关应用,首先必须得学会搭建一个属于自己的Hadoop集群

2.1.1虚拟机安装


2.1.2虚拟机克隆


链接克隆:需要和原始虚拟机共享同一虚拟磁盘文件,不能脱离原始虚拟机独立运行。但是采用共享磁盘文件可以极大缩短创建克隆虚拟机的时间,同时还节省物理磁盘空间。

完整克隆:是对原始虚拟机完全独立的一个拷贝,它不和原始虚拟机共享任何资源,可以脱离原始虚拟机独立使用。

2.1.3Linux系统网络配置


1.主机名和IP映射配置

  (1)配置主机名,具体指令如下。

         $ vi /etc/sysconfig/network

  (2)查看IP地址可选范围,并配置IP映射

2. 网络参数配置

  (1)配置网卡设备的Mac地址。

  (2)配置静态IP地址

  (3)配置效果验证


2.1.4SSH服务配置

       实际工作中,服务器被放置在机房中,同时受到地域和管理的限制,开发人员通常不会进入机房操作直接上机操作,而是通过远程连接服务器,进行相关操作。

       在集群开发中,主节点通常会对集群中各个节点频繁的访问,就需要不断输入目标服务器的用户名和密码,这种操作方式非常麻烦并且还会影响集群服务的连续运行。

      为了解决上述问题,我们可以通过配置SSH服务来实现远程登录SSH免密登录功能

1. SSH远程登录功能配置

  (1)安装并开启SSH服务。


(2)创建CRT工具和服务器hadoop01的快速连接



2. SSH免密登录功能配置

  (1)生成SSH文件

    用命令ssh-keygen -t  rsa  生成 SSH文件

参数 -t rsa 表示使用rsa算法进行加密,执行后,会在当前用户家目录/.ssh目录下找到id_rsa(私钥)id_rsa.pub(公钥)


  (2)配置免密登录hadoop02虚拟机,并验证免密登录效果