BD211:企业级大数据技术与应用

开班计划时间:18 小时
上课地点 上课方式 预计上课时间
北京 线下面授
2019/10/19、20、21
广州 线下面授
2019/10/18、19、20
预约试听 马上咨询
课程介绍
适用对象:对大数据、分布式存储分析等感兴趣的朋友;云计算、大数据从业者; 熟悉Hadoop生态体系,想了解和学习Hadoop与Spark整合在企业应用实战案例的朋友; 系统架构师、系统分析师、高级程序员、资深开发人员; 牵涉到大数据处理的数据中心运行、规划、设计负责人; 政府机关,金融保险、移动互联网等大数据单位的负责人。
学习收获:1. 了解大数据业内最新发展趋势,深入掌握Hadoop的原理,Hadoop生态系统 2. 深入学习yarn 框架下的MapReduce,掌握MapReduce研发 3. 掌握HDFS 开发 4. 了解Hadoop集群规划,应用案例解析 5. 列式数据库HBase的基本原理,应用场景,掌握基本的编程技巧 6. 学习掌握 Hive工具 , 分布式协调系统Zookeeper的基本原理,应用场景,掌握基本的编程技巧 7. 掌握Spark技术 8. 掌握Impala 9. 掌握相关的大数据核心组件
详细大纲
1 大数据概念及行业应用
1.1 大数据基本概念
1.1.1 什么是大数据
1.1.2 为什么需要大数据
1.1.3 如何理解大数据架构
1.1.4 大数据关键技术介绍
1.1.5 大数据库关注的四项技术
1.1.6 大数据时代数据库技术的发展
1.1.7 大数据关键技术的应用场景
1.1.8 典型的大数据平台架构实现
1.2 电信运营商大数据
1.2.1 运营商面对的大数据
1.2.2 运营商大数据在哪里
1.2.3 运营商面临的大数据挑战
1.2.4 运营商大数据建设理念
1.3 商业大数据的行业应用
1.3.1 大数据在互联网的应用
1.3.2 大数据运营商的应用
1.3.3 大数据在金融行业中的应用案例
1.4 业界常用大数据平台介绍
1.4.1 Apache Hadoop
1.4.2 Cloudera
1.4.3 Hortonworks
1.4.4 Oracle Exdata
1.4.5 IBM Biginsight
1.4.6 华为 FusionInsight
2 HDFS分布式文件系统与MapReduce技术原理与应用
2.1 HDFS技术原理和功能架构
2.1.1 HDFS概述及行业应用
2.1.2 HDFS在Hadoop中的位置
2.1.3 HDFS的系统架构
2.1.4 HDFS的设计目标
2.1.5 HDFS的高可用机制
2.1.6 HDFS的副本机制
2.1.7 HDFS的元数据持久化机制
2.1.8 HDFS的数据输入输出方式
2.1.9 HDFS的数据存储机制
2.1.10 HDFS支持的接口
2.2 HDFS的安装和部署
2.2.1 HDFS的部署规划
2.2.2 HDFS的组网方法与原则
2.2.3 HDFS的部署原则及约束
2.2.4 HDFS的多种部署方式
2.2.5 HDFS常用参数及配置建议
2.3 HDFS运维管理
2.3.1 HDFS的目录结构
2.3.2 HDFS的服务检查
2.3.3 HDFS日志结构与作用
2.3.4 HDFS常用维护命令
2.3.5 HDFS健康检查关键指标
2.3.6 HDFS常见问题及定位方法
2.4 MapReduce & Yarn 计算框架
2.4.1 MapReduce和Yarn技术原理
2.4.2 MapReduce的功能与定义
2.4.3 MapReduce的应用场景
2.4.4 Yarn的定义及产生背景
2.4.5 Yarn在计算框架中的定位
2.4.6 MapReduce的计算过程
2.4.7 Yarn的框架与通信
2.4.8 使用Yan进行资源管理和任务调度
2.4.9 MapReduce & Yarn常用参数配置
2.4.10 运行一个MapReduce程序
2.4.11 MapReduce&Yarn的目录结构
2.4.12 MapReduce&Yarn的服务检查
2.4.13 MapReduce&Yarn常用维护命令
2.4.14 MapReduce&Yarn健康检查关键指标
3 HBase分布式数据库及Zookeeper集群分布式协调服务技术应用
3.1 HBase技术原理
3.1.1 HBase的功能与架构
3.1.2 HBase的技术原理
3.1.3 HBase与关系数据库的比较
3.1.4 HBase的应用场景
3.1.5 HBase在产品中的定位
3.1.6 HBase的应用场景
3.1.7 HBase的数据存储
3.1.8 HBase的输入输出流程
3.2 HBase的安装与配置
3.2.1 HBase的部署规划
3.2.2 HBase的部署方法
3.2.3 HBase的监控方法
3.2.4 HBase的灾备配置
3.3 HBase的运维管理
3.3.1 HBase的目录结构
3.3.2 HBase的日志与作用
3.3.3 HBase的常用维护命令
3.3.4 HBase的参数配置
3.3.5 HBase的性能优化
3.3.6 HBase的备份与恢复
3.3.7 HBase的健康检查
3.3.8 HBase常见问题及定位方法
3.4 Zookeeper技术架构
3.4.1 Zookeeper的功能与架构
3.4.2 Zookeeper的技术原理
3.4.3 Zookeeper的关键特性
3.4.4 Zookeeper与组件之间的关系
3.5 Zookeeper的安装与配置
3.5.1 Zookeeper的部署规划
3.5.2 Zookeeper的部署方法
4 Hive数据仓库工具与实时查询Impala的技术与应用
4.1 Hive技术架构
4.1.1 Hive的功能与架构
4.1.2 Hive在大数据平台产品中的位置
4.1.3 Hive的优缺点
4.1.4 Hive的应用场景
4.1.5 Hive与传统数据仓库的比较
4.1.6 Hive的数据存储结构
4.1.7 Hive的权限管理
4.2 Hive的安装与配置
4.2.1 Hive的部署规划
4.2.2 Hive的部署的关键参数配置
4.2.3 Hive的备份与恢复操作
4.2.4 Hive的监控配置
4.3 Hive的运维管理
4.3.1 Hive的目录结构介绍
4.3.2 Hive的常用维护命令
4.3.3 Hive的参数含义与配置
4.3.4 Hive的性能优化
4.3.5 Hive常见问题及定位方法
4.4 Spark技术架构
4.4.1 Spark的功能与架构
4.4.2 Spark的技术原理
4.4.3 Spark与Hadoop的异同点
4.4.4 Spark的应用场景
4.5 Spark安装配置
4.5.1 Spark的部署规划
4.5.2 Spark的部署原则与约束
4.5.3 Spark的关键参数与配置
4.5.4 Spark客户端工具的使用
4.5.5 在Spark上运行Scala程序
4.6 Spark运维管理
4.6.1 Spark的目录结构
4.6.2 Spark的相关进程
4.6.3 Spark日志目录结构
4.6.4 使用开发工具测试Spark
4.6.5 Spark常见问题及定位方法
5 大数据其他相关技术
5.1 Sqoop数据转换技术架构
5.1.1 Sqoop的功能与架构
5.1.2 Sqoop的技术原理
5.1.3 Sqoop的应用场景
5.2 Solr数据搜索技术架构
5.2.1 Solr的功能与架构
5.2.2 Solr的技术原理
5.2.3 Solr的关键特性
5.2.4 Solr的应用场景
5.3 Storm流式计算技术架构
5.3.1 Storm的功能与架构
5.3.2 Storm的技术原理
5.3.3 Storm的关键特性
5.3.4 Storm的应用场景
5.4 Storm的安装与配置
5.4.1 Storm的部署规划
5.4.2 Storm的安装部署
5.5 Storm的运维管理
5.5.1 Storm的常用维护命令
5.5.2 Storm的参数配置
5.5.3 Storm的性能优化
5.5.4 Storm常见问题及定位方法
5.6 Oozie工作流引擎技术架构
5.6.1 Oozie的功能与架构
5.6.2 Oozie的技术原理
5.6.3 Oozie的关键特性
5.6.4 Oozie的应用场景
课程评价

课程评价({{EvaluationTotal}})

课程满意度

评价

您还没有给课程评分哦

满意度

    追加评价:

课程咨询
内容:

您还没有填写内容!

暂无问答,赶紧去提问吧
{{item.AnswerState==1?"已解决":"未解决"}}
{{item.Content}}
{{item.StudentAskTime}}
{{itemanswer.UserName}}
{{itemanswer.Content}}
{{itemanswer.StudentAskTime}}
同类课程推荐 more
嘉为大讲堂 more
原创文章 more

您好! 欢迎来到学领未来 !

学领未来提供线上及线下的学习服务,根据您的位置,为您推荐最近的线下培训地点 分站,你选择:

今晚123期会开什么生肖号码 宁远县| 察哈| 潮州市| 翁牛特旗| 新宁县| 怀化市| 宜川县| 金寨县| 南平市| 通辽市| 宁晋县| 麟游县| 新和县| 饶阳县| 洮南市| 申扎县| 万荣县| 东莞市| 高安市| 靖宇县| 桂平市| 牙克石市| 济源市| 博湖县| 黑龙江省| 满洲里市| 齐齐哈尔市| 遵义市| 定结县| 台湾省| 洛南县| 中山市| 郓城县| 吉水县| 临西县| 樟树市| 靖边县| 新巴尔虎右旗| 新余市| 房产| 海兴县| 宜川县| 台山市| 云安县| 区。| 揭西县| 大名县| 红安县| 保亭| 读书| 莆田市| 镇坪县| 镇雄县| 乌拉特前旗| 溆浦县| 紫金县| 嘉兴市| 彭泽县| 刚察县| 珠海市| 榕江县| 图们市| 永善县| 临洮县| 江山市| 南郑县| 新野县| 江津市| 禹州市| 吉安县| 呼伦贝尔市| 武乡县| 那曲县| 文成县| 忻城县| 乌鲁木齐县| 阳新县| 漳浦县| 阳春市| 美姑县| 电白县| 谷城县| 孟津县| 中卫市| 清丰县| 浮山县| 宁波市| 吉首市| 鄂温| 镇坪县| 汉沽区| 泗洪县| 凤阳县| 安庆市| 石楼县| 弥渡县| 修文县| 浮梁县| 丹凤县| 珠海市| 阜新市| 郓城县| 自贡市| 常州市| 濉溪县| 云霄县| 江门市| 禹州市| 虹口区| 扎兰屯市| 博白县| 丰镇市| 普格县| 贺兰县| 子长县| 叶城县| 承德县| 清水县| 罗甸县| 江油市| 昌图县| 临泽县| 南川市| 伽师县| 鄂州市| 清河县| 天台县| 上林县| 武山县| 深水埗区| 大姚县| 甘孜县| 富宁县| 上杭县| 依兰县| 武乡县| 会理县| 漳平市| 富宁县| 财经| 青浦区| 平昌县| 湄潭县| 城口县| 遂宁市| 奎屯市| 姜堰市| 乌兰浩特市| 翁牛特旗| 筠连县| 游戏| 五莲县| 宿迁市| 磐安县| 麻江县| 于田县| 东兴市| 富源县| 长顺县| 蒙山县| 中超| 龙川县| 葫芦岛市| 华池县| 武城县| 城固县| 德安县| 伊金霍洛旗| 博白县| 宜君县| 壤塘县| 扶风县| 弥渡县| 华容县| 南投市| 武隆县| 长宁区| 清丰县| 崇阳县| 祁连县| 衡东县| 顺平县| 喀喇| 赫章县| 湘潭市| 玉树县| 漳浦县| 新蔡县|