温馨提示

1、列表网提醒您:在交易前请仔细核实商家真实资质!如发现非法商家,欢迎广大网民举报,举报电话:4000-999-800。

2、该信息由列表网网友发布,其真实性及合法性由发布人负责,列表网仅引用以供用户参考,详情请阅读列表网免责条款。

3、在签订合同或相关协议之前,任何要求预付定金、汇款等方式均存在风险,谨防上当受骗!

详情描述

1.1.1 hadoop知识背景


什么是hadoop、hadoop产生背景、hadoop在大数据云计算中的位置和关系、国内hadoop的就业情况分析及课程大纲介绍


国内外hadoop应用案例介绍


分布式系统概述、hadoop生态圈及各组成部分的简介


1.1.2 HIVE快速入门


hive基本介绍、hive的使用、数据仓库基本知识


1.1.3 数据分析流程案例


web点击流日志数据挖掘的需求分析、数据来源、处理流程、数据分析结果导出、数据展现


1.1.4 hadoop数据分析系统集群搭建


集群简介、服务器介绍、网络环境设置、服务器系统环境设置、JDK环境安装、hadoop集群安装部署、集群启动、集群状态测试


HIVE的配置安装、HIVE启动、HIVE使用测试


详解


的概念和特性


什么是分布式文件系统、HDFS的设计目标、HDFS与其他分布式存储系统的优劣势比较、HDFS的适用场景


的shell操作


HDFS命令行客户端启动、HDFS命令行客户端的基本操作、命令行客户端支持的常用命令、常用参数介绍


的工作机制


HDFS系统的模块架构、HDFS写数据流程、HDFS读数据流程


工作机制、元数据存储机制、元数据手动查看、元数据checkpoint机制故障恢复工作机制动态增减、全局数据负载均衡


的Java应用开发


搭建开发环境、获取api中的客户端对象、HDFS的java客户端所具备的常用功能、HDFS客户端对文件的常用操作实现、利用HDFS的JAVA客户端开发数据采集和存储系统


1.3 MAPREDUCE详解


1.3.1 MAPREDUCE快速上手


为什么需要MAPREDUCE、MAPREDUCE程序运行演示、MAPREDUCE编程示例及编程规范、MAPREDUCE程序运行模式、MAPREDUCE程序调试debug的几种方式


1.3.2 MAPREDUCE程序的运行机制


MAPREDUCE程序运行流程解析并发数的决定机制、MAPREDUCE中的combiner组件应用、MAPREDUCE中的序列化框架及应用、MAPREDUCE中的排序、MAPREDUCE中的自定义分区实现、MAPREDUCE的shuffle机制、MAPREDUCE利用数据压缩进行优化、MAPREDUCE程序与YARN之间的关系、MAPREDUCE参数优化


通过以上各组件的详解,深刻理解MAPREDUCE的核心运行机制,从而具备灵活应对各种复杂应用场景的能力


MAPREDUCE实战编程案例:通过一个实战案例来熟悉复杂MAPREDUCE程序的开发。该程序是从nginx服务器产生的访问服务器中计算出每个访客的访问次数及每次访问的时长。原始数据样例如下:


通过一系列的MAPREDUCE程序清洗、过滤、访问次数及时间分析,终计算出需求所要的结果,用于支撑页面展现:


1.4 HIVE增强


1.4.1 HIVE基本概念


HIVE应用场景、HIVE内部架构、HIVE与hadoop的关系、HIVE与传统数据库对比、HIVE的数据存储机制、HIVE的运算执行机制


1.4.2 HIVE基本操作


HIVE中的DDL操作、HIVE中的DML操作、在HIVE中如何实现高效的JOIN查询、HIVE的内置函数应用、HIVE shell的高级使用方式、HIVE常用参数配置、HIVE自定义函数和TRANSFORM的使用技巧、HIVE UDF开发实例


1.4.3 HIVE高级应用


HIVE执行过程分析及优化策略、HIVE在实战中的佳实践案例、HIVE优化分类详解、HIVE实战案例--数据ETL、HIVE实战案例--用户访问时长统计


HIVE实战案例--级联求和报表实例:


离线数据挖掘系统


学完此阶段可掌握的核心能力:


1、通过对数据仓库知识的加强初步掌握数据仓库的核心概念和设计流程2、通过对HADOOP生态圈关键辅助工具的学习掌握hadoop分析系统的整合能力3、通过电商系统点击流日志数据挖掘系统实战项目,掌握hadoop离线数据挖掘系统从数据采集、入库、分析及报表展现的整套流程


学完此阶段可解决的现实问题:


1、可根据企业具体场景设计海量数据分析系统的通用架构2、根据具体场景的特点有针对性地调整数据分析各环节的技术选型3、根据具体需求搭建起整套离线数据分析系统4、简单数据仓库模型的设计和架构5、各环节具体功能模块的开发实现


学完此阶段可拥有的市场价值:


具备企业数据部中高级应用开发和初级架构师能力


httpnxuexi.htm

大数据之HADOOP入门培训(大连)