Hadoop平台部署与运维
赵建伟
目录
暂无搜索结果
1 前置知识--Linux操作系统基础
1.1 Linux系统认知
1.1.1 Linux概述
1.1.2 虚拟机简介
1.2 Linux系统管理
1.2.1 Linux系统登录
1.2.2 Linux命令基础
1.2.3 Linux系统管理命令
1.3 Linux目录管理
1.3.1 Linux目录与Windows目录区别
1.3.2 Linux目录结构
1.3.3 Linux系统路径
1.3.4 显示路径(pwd)
1.3.5 切换目录(cd)
1.3.6 查看目录(ls)
1.3.7 创建目录(mkdir)
1.3.8 删除目录(rmdir)
1.4 Linux文件管理
1.4.1 创建文件
1.4.2 查看文件内容
1.4.3 复制文件(cp)
1.4.4 移动文件(mv)
1.4.5 删除文件(rm)
1.5 目录和文件权限一般管理
1.5.1 文件的属性信息
1.5.2 文件的权限
1.5.3 设置文件权限(chmod)
2 初识Hadoop
2.1 大数据概述
2.2 大数据的应用场景
2.3 Hadoop的概述
3 Hadoop集群的构建
3.1 安装centos7
3.2 安装xshell
3.3 设置虚拟机
3.3.1 打通网络
3.4 安装JDK
3.5 安装hadoop
3.5.1 配置hadoop-env.sh
3.5.2 配置核心组件core-site.xml
3.5.3 配置文件系统hdfs-site.xml
3.5.4 配置yarn-env.sh(hadoop3不需要配置)
3.5.5 配置yarn-site.xml
3.5.6 配置计算框架mapred-site.xml
3.5.7 配置worker
3.5.8 配置hadoop启动环境变量
3.6 克隆虚拟机
3.7 配置hosts列表
3.8 免密登录配置
3.9 启动hadoop集群
3.9.1 格式化master节点
3.10 wordcount
4 Hadoop分布式文件系统
4.1 HDFS的简介
4.1.1 HDFS的演变
4.1.2 HDFS的基本概念
4.1.3 HDFS特点
4.2 HDFS的架构和原理
4.3 HDFS的Shell操作
4.4 HDFS的Java API操作
4.4.1 实验
4.5 启动已有的hadoop集群
5 MapReduce分布式计算框架
5.1 MapReduce概述
5.2 wordcount实验
5.2.1 pom.xml文件
5.2.2 WordCount类
5.2.3 WordMap类
5.2.4 WordReduce类
5.2.5 实验运行步骤
5.2.6 实验文件
5.3 倒排索引实验
5.3.1 InvertedIndexRunner
5.3.2 InvertedIndexMapper
5.3.3 InvertedIndexReducer
5.3.4 InvertedIndexCombiner
6 Zookeeper分布式协调服务
6.1 初识Zookeeper
6.2 数据模型
6.3 Zookeeper的Watcher机制
6.4 Zookeeper的选举机制
6.5 Zookeeper集群搭建
6.5.1 下载安装包
6.5.2 修改zookeeper配置文件
6.5.3 创建myid
6.5.4 配置环境变量
6.5.5 分发zookeeper相关文件
6.5.6 修改主机myid
6.5.7 启动zookeeper
6.6 shell操作
7 Hadoop2.0
7.1 hadoop2.0新特性
7.2 高可用集群搭建
7.2.1 准备安装包
7.2.2 安装虚拟机
7.2.3 安装JDK
7.2.4 安装zookeeper
7.2.5 安装hadoop
7.2.5.1 core-site.xml
7.2.5.2 hadoop-env.sh
7.2.5.3 hdfs-site.xml
7.2.5.4 workers
7.2.5.5 mapred-site.xml
7.2.5.6 yarn-site.xml
7.2.6 配置hosts列表
7.2.7 克隆虚拟机
7.2.8 设置免密登录
7.2.9 设置hostname
7.2.10 修改zookeeper的myid
7.2.11 启动zookeeper集群
7.2.12 journalnode共享存储
7.2.13 设置时钟同步(暂时不设置)
7.2.14 启动集群
7.2.15 验证ha故障自动转移
8 Hive数据仓库
8.1 hive简介
8.2 hadoop伪分布式安装
8.3 hive实验
8.3.1 嵌入模式
8.3.2 本地模式
8.3.2.1 mysql离线安装
8.3.2.2 Mariadb安装
8.3.2.3 hive安装
8.3.3 远程模式
8.3.4 hive相关命令
8.3.5 hive动态分区
8.3.6 hive桶表
9 Flume日志采集
9.1 flume单agent安装
9.2 采集到hdfs
9.3 多agent安装
9.4 日志采集案例
10 sqoop
10.1 sqoop安装
10.2 userdb.sql
10.3 mysql表导入HDFS
10.4 HDFS导出mysql
10.5 mysql导入hive
10.6 hive导出到mysql
11 网站日志流量分析
11.1 系统架构设计
11.2 使用flume搭建日志采集系统
11.3 数据预处理
11.3.1 新建weblog项目
11.3.2 pom.xml
11.3.3 WebLogBean
11.3.4 WeblogPreProcess
11.3.5 WebLogParser
11.3.6 使用maven打包项目
11.4 数据仓库开发
11.4.1 搭建hive数据仓库
11.4.2 实现数据仓库
11.4.3 数据分析
11.4.4 数据导出
11.4.5 数据展示
12 复习
12.1 课后习题
13 软件下载
13.1 常用软件
Linux系统管理
上一节
下一节
选择班级
确定
取消
图片预览