课程门户-章节详情

Hadoop大数据技术原理与应用

凌敏

1 第1章初识Hadoop
- 1.1 大数据概述
- 1.2 大数据应用场景
- 1.3 Hadoop概述
- 1.4 章节测试
2 第2章搭建Hadoop集群
- 2.1 安装准备
- 2.2 Hadoop集群搭建
  - 2.2.1 Hadoop单机模式安装
  - 2.2.2 伪分布式模式部署
  - 2.2.3 完全分布式模式
- 2.3 Hadoop集群测试
- 2.4 章节测试
3 第3章 HDFS分布式文件系统
- 3.1 HDFS的简介
- 3.2 HDFS构架和原理
- 3.3 HDFS的Shell操作
- 3.4 HDFS的Java API操作
- 3.5 章节测试
4 第4章 MapReduce分成式框架
- 4.1 MapReduce概述
- 4.2 MapReduce工作原理
- 4.3 Mapreduce编程组件
- 4.4 Mapreduce运行模式
- 4.5 MapReduce性能优化策略
- 4.6 经典案例
- 4.7 章节测试
5 第5章 Zookeeper分布式协调服务
- 5.1 Zookeeper的简介
- 5.2 Zookeeper的特性
- 5.3 Zookeeper集群角色
- 5.4 Zookeeper的数据模型
- 5.5 Zookeeper的Watch机制
- 5.6 Zookeeper的选举机制
- 5.7 Zookeeper分布式集群部署
- 5.8 Zookeeper的Shell操作
- 5.9 Zookeeper的Java API操作
- 5.10 Zookeeper典型应用场景
- 5.11 章节测试
6 第6章 Hadoop2.0新特性
- 6.1 Hadoop2.0改进与提升
- 6.2 Yarn体系结构
- 6.3 Yarn工作流程
- 6.4 HDFS HA的搭建方式
- 6.5 HDFS的高可用架构
- 6.6 章节测试
7 Hive仓库
- 7.1 数据仓库简介
  - 7.1.1 什么是数据仓库
  - 7.1.2 数据仓库的结构
  - 7.1.3 数据仓库数据模型
- 7.2 Hive简介
  - 7.2.1 什么是Hive
  - 7.2.2 Hive系统架构
  - 7.2.3 Hive工作原理
  - 7.2.4 Hive数据模型
- 7.3 Hive安装
- 7.4 Hive的管理方式
- 7.5 Hive内置数据类型
- 7.6 Hive数据模型操作
- 7.7 Hive数据操作
- 7.8 Hive章节测试
8 Flume日志采集系统
- 8.1 Flume简介
- 8.2 Flume运行机制
- 8.3 Flume日志采集系统架构
- 8.4 Flume系统要求
- 8.5 Flume安装配置
- 8.6 Flume入门使用
- 8.7 Flume Sources
- 8.8 Flume Channels
- 8.9 Flume Sinks
- 8.10 Flume负载均衡
- 8.11 Flume故障转移
- 8.12 Flume拦截器
- 8.13 案例-日志采集
- 8.14 Flume章节测验
9 工作流管理器
- 9.1 Azkaban工作管理流
  - 9.1.1 工作流管理器概述
  - 9.1.2 Azkaban概述
  - 9.1.3 Azkaban部署
    - 9.1.3.1 Azkaban资源准备
    - 9.1.3.2 Azkaban安装配置
    - 9.1.3.3 Azkaban启动测试
  - 9.1.4 Azkaban使用
    - 9.1.4.1 Azkaban工作流相关概念
    - 9.1.4.2 案例-依赖任务调度管理
    - 9.1.4.3 案例-MapReduce任务调度管理
    - 9.1.4.4 案例-Hive脚本任务调度管理
  - 9.1.5 Azkaban章节测试
10 Sqoop数据迁移
- 10.1 Sqoop概述
- 10.2 Sqoop安装配置
- 10.3 Sqoop指令介绍
- 10.4 Sqoop数据导入
- 10.5 Sqoop数据导出
- 10.6 sqoop章节测试
11 综合项目--网站流量日志数据分析系统
- 11.1 系统概述
- 11.2 模块开发-数据采集
- 11.3 模块开发-数据预处理
- 11.4 模块开发-数据仓库开发
- 11.5 模块开发-数据分析
- 11.6 模块开发-数据导出
- 11.7 模块开发-日志分析系统报表展示

Sqoop数据导入

1、 MySQL表数据导入HDFS

2、增量导入

3、 MySQL表数据导入Hive

4、 MySQL表数据子集导入

图片预览