个人介绍
大数据平台部署与运维

主讲教师:郭建磊

教师团队:共1

  • 郭建磊

第1期

学校: 山东电子职业技术学院
开课院系: 大数据与人工智能学院
专业大类: 电子与信息大类
开课专业: 大数据技术
课程负责人: 郭建磊
课程英文名称: Deployment and Operation & Maintenance of Big Data Platform
学分: 4
课时: 64
课程介绍
      本课程依据国家专业教学标准新要求,聚焦Hadoop大数据平台及其生态系统组件的部署运维,采用项目化贯穿,以“任务情境+知识准备+任务实施+考核评价+思政小课堂”的模式展开各项目单元的内容。全书分为11个单元,主要内容包括Hadoop集群部署运维,HDFS实现分布式存储、MapReduce分布式计算框架应用,Hadoop生态圈组件ZooKeeper、HBase、Hive、Spark、Flink等平台部署与运维相关内容。由职业院校教学名师和企业资深大数据运维专家组成的双师型团队共同编写,以培养大数据运维职业能力为中心,将大数据平台实施与运维岗位能力要求、大数据平台运维职业技能等级标准的要求、大数据技术与应用国赛内容科学融入课程学习任务,实现“岗课赛证”融通,提高学生的职业适应性。
       课程立足“数字中国”战略需求,深度融合产教协同理念,聚焦大数据新基建领域核心技术岗位能力模型,构建“技术+思政”双螺旋育人体系,以岗位能力为核心,以真实场景驱动、以工作流程为主线,以产业项目贯穿,重构能力进阶的11个工作单元28项工作任务,培养善构思、懂规划、精部署、会运维,兼具“部署数智根基、运维匠心担当”的复合型高技能人才。
      本课程同步教材是“高等职业教育新目录新专标电子与信息大类教材”之一,全程受中国职业技术教育学会和数字技术教育专家智库指导,第一主编和副主编深度参与大数据技术国家新专业标准研制工作,确保教材内容紧贴新专标和行业标准,融入产业新技术、新标准、新规范。教材被评为新目录新专标数字技术系列教材建设典型案例,在世界职业教育产教融合博览会、中国职教学会学术年会、数字技术线上说课等重大活动上做重点展示,累计观看12万人次。
教师团队

郭建磊

职称:副教授

单位:山东电子职业技术学院

部门:大数据与人工智能学院

职位:大数据教研室主任

教学方法

围绕学情分析和学习任务,细化知识、技能、素质三维目标,导入企业真实工作场景,将各任务划分为“任务场景→任务布置→必备知识→任务实施→任务评价”五大环节,分组分阶段培养“构思→规划→部署→运维→优化”岗位核心技能。通过智能AI数字化评价体系跟踪学习全过程,构建多元多维、增值评价体系。

教学条件

    建有设备先进、功能完备的数据治理实训室、大数据技术与应用实训室。在硬件设施上,配备高性能服务器集群,可模拟大规模数据处理场景,满足高并发数据存储与计算需求。软件层面,拥有主流大数据开源框架,如 Hadoop、Spark 等,保持与行业前沿技术同步。智能教学辅助系统先进,借助 AI 分析学生学习数据,精准推送个性化学习资源,实时答疑。同时,完备的实验模拟环境,支持学生在虚拟场景实践平台部署与运维操作,保障教学与实践紧密结合,全面提升学生专业技能。

教学效果

(1)影响力高

课程紧密对接大数据产业新需求,紧贴新目录新专标,在世界职业教育产教融合博览会、中国职教学会学术年会、数字技术线上说课等重大活动上做重点展示,累计观看12万人次。

(2)使用广泛

    课程适用范围广泛、满足不同层次学习需求,复杂繁琐的集群部署运维工作分而治之、化繁为简易学易教,受到院校和企业用户的好评。



(3)育人成效好

课程内容紧密对接全国职业院校技能大赛大数据平台部署与运维相关内容,显著提高学生的岗位实践能力职业综合素质,毕业生在相关岗位的就业率明显提高,助力学生荣获全国职业院校技能大赛“大数据技术与应用”赛项一等奖1项、二等奖2项,山东省职业院校技能大赛一等奖2项,二等奖1项,荣获山东省“挑战杯”大学生创业计划竞赛银奖3项,人才培养成效显著。


参考教材

配套教材:第二批“十四五”职业教育国家规划教材《大数据平台部署与运维》郭建磊主编,ISBN:9787121448843,电子工业出版社,2023.6。


XY课程介绍

本课程依据国家专业教学标准新要求,聚焦Hadoop大数据平台及其生态系统组件的部署运维,采用项目化贯穿,以任务情境+知识准备+任务实施+考核评价+思政小课堂的模式展开各项目单元的内容。全书分为11个单元,主要内容包括Hadoop集群部署运维,HDFS实现分布式存储、MapReduce分布式计算框架应用,Hadoop生态圈组件ZooKeeperHBaseHiveSparkFlink等平台部署与运维相关内容。由职业院校教学名师和企业资深大数据运维专家组成的双师型团队共同编写,以培养大数据运维职业能力为中心,将大数据平台实施与运维岗位能力要求、大数据平台运维职业技能等级标准的要求、大数据技术与应用国赛内容科学融入课程学习任务,实现岗课赛证融通,提高学生的职业适应性。

    课程立足数字中国战略需求,深度融合产教协同理念,聚焦大数据新基建领域核心技术岗位能力模型,构建技术+思政双螺旋育人体系,以岗位能力为核心,以真实场景驱动、以工作流程为主线,以产业项目贯穿,重构能力进阶的11个工作单元28项工作任务,培养善构思、懂规划、精部署、会运维,兼具部署数智根基、运维匠心担当的复合型高技能人才。

   本课程同步教材是高等职业教育新目录新专标电子与信息大类教材之一,全程受中国职业技术教育学会和数字技术教育专家智库指导,第一主编和副主编深度参与大数据技术国家新专业标准研制工作,确保教材内容紧贴新专标和行业标准,融入产业新技术、新标准、新规范。教材被评为新目录新专标数字技术系列教材建设典型案例,在世界职业教育产教融合博览会、中国职教学会学术年会、数字技术线上说课等重大活动上做重点展示,累计观看12万人次。

XY课程收获

通过本课程的学习,将收获如下:

    一、 知识目标

1.掌握国家大数据专业教学标准及大数据平台运维职业技能等级标准核心要求。

2.理解 Hadoop 集群架构原理及 HDFS 分布式存储、MapReduce 分布式计算的核心机制。

3.熟悉 ZooKeeperHBaseHive Hadoop 生态圈组件的功能定位与应用场景。

4.了解 SparkFlink 等主流大数据计算框架的部署逻辑与运维要点。

5.明晰大数据平台“岗课赛证”融通的内涵及岗位能力模型核心要素。

6.知晓 “数字中国” 战略下大数据新基建领域的技术发展趋势与行业需求。

二、 技能目标

1.能独立完成 Hadoop 集群的搭建、配置、监控与故障排查等全流程运维操作。

2.具备 HDFS 分布式存储管理、MapReduce 任务调度与运行优化的实操能力。

3.能够部署和维护 ZooKeeperHBaseHive 等生态圈组件并解决常见问题。

4.掌握 SparkFlink 框架的部署方法与基础运维技能,适配实际业务场景需求。

5.能按照真实项目流程,完成从任务规划到实施、考核评价的全环节工作。

三、 素质目标

1.树立 “部署数智根基、运维匠心担当” 的职业精神,培养严谨细致的工作态度。

2.增强产教协同意识,形成符合行业规范的职业素养与岗位责任意识。

3.提升基于项目化学习的团队协作能力与跨岗位沟通协调能力。

4.具备自主学习新技术、适应大数据行业快速发展的可持续发展能力。

5.厚植家国情怀,将个人职业发展融入 “数字中国” 建设的战略大局中。
XY适合人群
课程的适合人群广泛,核心受众是高职院校大数据技术、云计算技术应用等相关专业在校生;同时适配零基础或入门级大数据从业者、需拓展技术栈的云计算与系统实施运维人员;也面向参加职业技能提升培训的社会转岗人员,助力不同群体夯实技能、明晰职业方向。

课程评价

教学资源
课程章节 | 文件类型   | 修改时间 | 大小 | 备注
1.1 工作场景导入动画
视频
.mp4
2025-02-11 31.57MB
1.2 工作任务 认识大数据
视频
.mp4
2023-08-29 75.55MB
1.2.2.1 大数据的概念
视频
.mp4
2025-02-11 188.03MB
1.2.2.2 大数据的发展背景
视频
.mp4
2025-02-11 105.26MB
 
视频
.mp4
2025-12-06 17.59MB
1.2.2.3 大数据技术发展历程
视频
.mp4
2025-02-11 15.69MB
1.2.2.4 大数据的意义和应用现状
视频
.mp4
2025-02-11 17.57MB
1.2.2.5 大数据人才需求与岗位介绍
视频
.mp4
2025-02-11 10.35MB
2.1 单元内容整体介绍
视频
.mp4
2025-12-03 81.77MB
2.2 工作场景导入动画
视频
.mp4
2025-02-11 5.02MB
2.3.1 工作任务2.1 导入动画
视频
.mp4
2025-02-11 12.99MB
2.3.2.1 Hadoop发展历程与应用现状
视频
.mp4
2025-02-11 48.13MB
2.3.2.2 Hadoop优势与核心组成
视频
.mp4
2025-02-12 54.56MB
2.3.2.3 Hadoop安装方式
视频
.mp4
2025-02-12 8.55MB
2.3.2.4 Hadoop各版本选择
视频
.mp4
2025-02-12 22.86MB
2.3.2.5 Hadoop伪分布式搭建基本流程
视频
.mp4
2025-02-12 8.85MB
2.3.3.1 实训-基础环境配置
视频
.mp4
2025-02-12 308.07MB
2.3.3.2 实训-搭建Hadoop伪分布式
视频
.mp4
2025-02-12 502.49MB
2.4.1 工作任务2.2 导入动画
视频
.mp4
2025-02-11 9.30MB
2.4.2.1 Hadoop启动关闭等操作命令
视频
.mp4
2025-02-12 10.31MB
2.4.2.2 基于WebUI监控HDFS平台
视频
.mp4
2025-02-12 14.98MB
2.4.2.3 基于WebUI监控MapReduce平台
视频
.mp4
2025-02-12 7.04MB
2.4.3 任务实操微视频
文档
.docx
2023-09-14 22.40KB
 
文档
.docx
2023-09-14 17.82KB
2.4.3.1 实训-启动和关闭Hadoop
视频
.mp4
2025-02-12 214.73MB
2.4.3.2 实训-WebUI监控Hadoop
视频
.mp4
2025-02-12 19.10MB
2.6 启智润心-拓展小课堂动画
视频
.mp4
2025-02-12 23.52MB
3.1 工作场景导入动画
视频
.mp4
2025-02-12 7.74MB
3.2.1 工作任务3.1 导入动画
视频
.mp4
2025-02-12 23.28MB
3.2.2.1 Hadoop集群的特点
视频
.mp4
2025-02-12 127.18MB
3.2.2.2 Hadoop集群的规划
视频
.mp4
2025-02-12 118.14MB
3.2.2.3 Hadoop集群部署过程
视频
.mp4
2025-02-12 13.98MB
3.2.3.1 实训-集群规划与环境配置
视频
.mp4
2025-02-12 67.39MB
3.2.3.2 实训-部署集群
视频
.mp4
2025-02-12 56.72MB
3.3.1 工作任务3.2 导入动画
视频
.mp4
2025-02-12 11.08MB
3.3.2.1 Hadoop集群监控方法
视频
.mp4
2025-02-12 11.01MB
3.3.3.1 实训-监控HDFS
视频
.mp4
2025-02-12 14.18MB
3.3.3.2 实训-监控MapReduce
视频
.mp4
2025-02-12 43.30MB
3.5 启智润心-拓展小课堂动画
视频
.mp4
2025-02-12 23.89MB
4.1 工作场景导入动画
视频
.mp4
2025-02-12 5.16MB
4.2.1.1 HDFS原理与体系架构
视频
.mp4
2025-02-12 21.03MB
4.2.1.2 HDFS读写流程
视频
.mp4
2025-02-12 16.85MB
4.2.1.3 HDFS的特点
视频
.mp4
2025-02-12 14.82MB
4.2.2.1 实训-HDFS操作方法
视频
.mp4
2025-02-12 24.83MB
4.3.1.1 HDFS的shell操作命令
视频
.mp4
2025-02-12 12.10MB
4.3.2.1 实训-使用Shell命令操作HDFS
视频
.mp4
2025-02-12 35.32MB
4.4.1 第四课时
视频
.mp4
2025-02-12 6.50MB
4.4.2.1 HDFS的安全模式
视频
.mp4
2025-02-12 12.57MB
4.4.2.2 HDFS的数据平衡
视频
.mp4
2025-02-12 6.69MB
4.4.2.3 HFDS的存储策略
视频
.mp4
2025-02-12 15.21MB
4.4.2.4 HDFS快照管理
视频
.mp4
2025-02-12 6.22MB
4.4.3.1 实训-HDFS安全模式管理
视频
.mp4
2025-02-12 16.28MB
4.4.3.2 实训-动态增加集群节点
视频
.mp4
2025-02-12 42.94MB
4.4.3.3 实训-快照管理
视频
.mp4
2025-02-12 24.51MB
4.5.1 工作任务4.4 导入动画
视频
.mp4
2025-02-12 11.21MB
4.5.2.1 认识JDK
视频
.mp4
2025-02-12 8.06MB
4.5.2.3 认识IDEA
视频
.mp4
2025-02-12 10.86MB
4.5.3.1 实训-本地IDEA开发环境部署
视频
.mp4
2025-02-12 49.87MB
4.6.1 工作任务4.5 导入动画
视频
.mp4
2025-02-12 11.43MB
4.6.2.1 HDFS的常用Java API
视频
.mp4
2025-02-12 14.23MB
4.6.3.1 任务实操微视频
视频
.mp4
2025-02-12 43.20MB
4.8 启智润心-拓展小课堂动画
视频
.mp4
2025-02-12 5.16MB
 
文档
.docx
2025-02-12 188.38KB
5.1 新建课程目录
文档
.docx
2025-02-13 185.37KB
5.2.1 工作任务导入动画
文档
.docx
2025-02-13 260.12KB
5.2.2.1 工作任务5.1 认识MapReduce
视频
.mp4
2025-02-13 11.86MB
5.2.2.2 第二课时
视频
.mp4
2025-02-13 11.68MB
5.2.2.3 第四课时
视频
.mp4
2025-02-13 15.39MB
5.2.2.4 Yarn运行机制
视频
.mp4
2025-02-13 19.99MB
5.2.3.1 实训-运行MapReduce自带案例
视频
.mp4
2025-02-13 23.35MB
5.3.2.1 第三课时
视频
.mp4
2025-02-13 26.83MB
5.3.2.2 MapReduce相关Java API及应用
视频
.mp4
2025-02-13 15.12MB
5.3.2.3 MapReduce驱动类
视频
.mp4
2025-02-13 12.92MB
5.3.3.1 实训-自定义Mapper和Reducer类
视频
.mp4
2025-02-13 21.37MB
5.3.3.2 实训-编写驱动类-1
视频
.mp4
2025-02-13 36.65MB
5.3.3.3 实训-编写驱动类-2
视频
.mp4
2025-02-13 13.17MB
5.4.2.1 自定义分区
视频
.mp4
2025-02-13 11.77MB
5.4.2.2 自定义数据类型
视频
.mp4
2025-02-13 9.75MB
5.4.2.3 统计数据思路分析
视频
.mp4
2025-02-13 16.34MB
5.4.3.1 实训-自定义数据类型
视频
.mp4
2025-02-13 26.93MB
5.4.3.2 实训-自定义Mapper类、分区类和Reducer类
视频
.mp4
2025-02-13 37.29MB
5.4.3.3 实训-驱动类编码运行-1
视频
.mp4
2025-02-13 30.64MB
5.4.3.4 实训-驱动类编码运行-2
视频
.mp4
2025-02-13 11.21MB
5.5.1 工作任务导入动画
文档
.docx
2025-02-13 253.63KB
5.5.2.1 MapReduce任务监控方式
视频
.mp4
2025-02-13 6.94MB
5.5.2.2 任务执行失败常见原因
视频
.mp4
2025-02-13 9.35MB
5.5.2.3 MapReduce日志文件
视频
.mp4
2025-02-13 14.39MB
6.2.2.1 任务6.1 MySQL部署
视频
.mp4
2025-02-13 12.22MB
 
视频
.mp4
2025-02-13 37.89MB
 
视频
.mp4
2025-02-13 23.59MB
6.2.2.2 任务6.3 Hive远程部署
视频
.mp4
2025-02-13 11.32MB
 
视频
.mp4
2025-02-13 28.59MB
6.2.2.3 任务6.2 Hive本地部署
视频
.mp4
2025-02-13 19.89MB
6.2.3.1 实训-部署与访问ZooKeeper
视频
.mp4
2025-02-13 52.25MB
6.3.2.1 Hadoop高可用集群工作原理
视频
.mp4
2025-02-13 22.46MB
6.3.2.2 Hadoop高可用集群配置项及含义
视频
.mp4
2025-02-13 26.48MB
6.3.3.1 第三课时
视频
.mp4
2025-02-13 21.52MB
 
视频
.mp4
2025-02-13 37.62MB
 
视频
.mp4
2025-02-13 31.09MB
 
视频
.mp4
2025-02-13 23.17MB
7.1 工作单元场景导入动画
文档
.docx
2025-02-13 188.86KB
7.2.1 工作任务7.1
文档
.docx
2025-02-13 205.53KB
7.2.2.1 第二课时
视频
.mp4
2025-02-13 14.72MB
7.2.2.2 HBase体系架构
视频
.mp4
2025-02-13 17.41MB
7.2.2.3 HBase与JDK、Hadoop的版本兼容关系
视频
.mp4
2025-02-13 7.09MB
7.2.3.1 实训-搭建伪分布式HBase
视频
.mp4
2025-02-13 50.83MB
7.3.1 工作任务导入动画
文档
.docx
2025-02-13 188.31KB
7.3.2.1 HBase集群规划
视频
.mp4
2025-02-13 4.29MB
7.3.2.2 HBase常用配置选型及含义
视频
.mp4
2025-02-13 10.53MB
7.3.2.3 HBase访问命令
视频
.mp4
2025-02-13 6.87MB
7.3.2.4 基于WebUI监控HBase状态
视频
.mp4
2025-02-13 6.12MB
7.3.3.1 实训-部署HBase完全分布式集群
视频
.mp4
2025-02-13 78.70MB
7.4.1 工作任务导入视频
文档
.docx
2025-02-13 191.82KB
7.4.2.1 HBase监控工具
视频
.mp4
2025-02-13 8.28MB
7.4.2.2 HBase集群优化
视频
.mp4
2025-02-13 12.94MB
7.4.3.1 实训-HBase集群运维
视频
.mp4
2025-02-13 35.93MB
8.1 工作单元场景导入视频
文档
.docx
2025-02-13 187.61KB
 
视频
.mp4
2025-02-13 5.75MB
8.2.1 工作任务导入动画
文档
.docx
2025-02-13 188.41KB
 
视频
.mp4
2025-02-13 14.38MB
8.2.2.1 Hive介绍
视频
.mp4
2025-02-13 13.16MB
8.2.2.2 Hive原理与体系架构
视频
.mp4
2025-02-13 16.99MB
8.2.2.3 Hive安装方式
视频
.mp4
2025-02-13 8.04MB
8.2.2.4 Hive本地模式部署过程
视频
.mp4
2025-02-13 10.89MB
8.2.3.1 实训-部署Hive本地模式
视频
.mp4
2025-02-13 26.70MB
 
视频
.mp4
2025-02-13 42.63MB
8.3.1 工作任务导入动画
文档
.docx
2025-02-13 188.99KB
 
视频
.mp4
2025-02-13 8.36MB
8.3.2.1 Hive远程模式部署规划
视频
.mp4
2025-02-13 8.44MB
8.3.2.2 Hive远程模式部署步骤
视频
.mp4
2025-02-13 16.86MB
8.3.2.3 Hive建表与导入数据等应用以及问题解决
视频
.mp4
2025-02-13 16.47MB
8.3.3.1 部署运行Hive远程模式
视频
.mp4
2025-02-13 22.48MB
 
视频
.mp4
2025-02-13 30.24MB
8.5 启智润心-拓展小课堂
视频
.mp4
2025-02-13 13.90MB
9.1 单元工作场景导入动画
视频
.mp4
2025-02-13 4.35MB
9.2.1 工作任务导入动画
视频
.mp4
2025-02-13 8.95MB
9.2.2.1 任务7.1 Spark local部署
视频
.mp4
2023-12-01 58.78MB
9.2.2.2 任务7.2 Spark Standalone部署
视频
.mp4
2023-12-01 36.64MB
9.2.3.1 实训-部署与操作Spark Local
视频
.mp4
2025-02-13 58.78MB
9.3.1 工作任务导入动画
视频
.mp4
2025-02-13 7.59MB
9.3.2.1 任务7.3 Spark on yarn部署
视频
.mp4
2023-12-01 33.43MB
9.3.3.1 实训-部署与操作Spark Standalone
视频
.mp4
2025-02-13 36.64MB
9.4.1 工作任务导入动画
视频
.mp4
2025-02-13 7.46MB
9.4.3.1 实训-部署与操作Spark on YARN
视频
.mp4
2025-02-13 33.43MB
9.6 启智润心-拓展小课堂动画
视频
.mp4
2025-02-13 11.87MB
10.1 单元工作场景导入动画
文档
.docx
2025-02-13 187.64KB
10.2.1 工作任务导入动画
文档
.docx
2025-02-13 189.79KB
10.2.3.1 实训-部署本地模式Flink
视频
.mp4
2025-02-13 18.12MB
10.3.1 工作任务导入动画
文档
.docx
2025-02-13 189.08KB
10.3.3.1 实训-部署独立模式Flink集群
视频
.mp4
2025-02-13 21.76MB
10.4.1 工作任务导入动画
文档
.docx
2025-02-13 189.99KB
10.4.3.1 实训-部署运行Flink on YARN集群
视频
.mp4
2025-02-13 45.72MB
11.1.1 kafka部署
视频
.mp4
2023-12-01 48.64MB
 
视频
.mp4
2023-12-01 38.10MB
11.1.2 kafka应用
视频
.mp4
2023-12-01 44.24MB
 
视频
.mp4
2023-12-01 56.08MB
11.2.1 flume部署
视频
.mp4
2023-12-01 28.69MB
 
视频
.mp4
2025-02-17 65.89MB
 
视频
.mp4
2025-02-17 78.08MB
11.2.2 flume应用
视频
.mp4
2023-12-01 58.48MB
 
视频
.mp4
2025-02-17 222.94MB
 
视频
.mp4
2025-02-17 110.52MB
 
视频
.mp4
2025-02-17 142.52MB
 
视频
.mp4
2025-02-17 80.70MB
 
视频
.mp4
2025-02-17 138.54MB
 
视频
.mp4
2025-02-17 82.05MB
11.2.3 flume应用二
视频
.mp4
2023-12-01 83.64MB
 
视频
.mp4
2025-02-17 32.36MB
 
视频
.mp4
2025-02-17 147.78MB
 
视频
.mp4
2025-02-17 277.31MB
 
视频
.mp4
2025-02-17 158.34MB
11.3.1 Flink拓展视频1
视频
.mp4
2023-08-29 21.76MB
11.3.2 Flink拓展视频2
视频
.mp4
2023-08-29 45.72MB
11.3.4 Flinke拓展视频4
视频
.mp4
2023-08-29 18.12MB
课程章节
提示框
提示框
确定要报名此课程吗?
确定取消

京ICP备10040544号-2

京公网安备 11010802021885号