大小:44.83M
更新时间:23-09-05
系统:Pc
版本:v
本书分为三篇。
第一篇为基础篇(第1~6章),从认识Hadoop开始,讲解Hadoop的前世今生以及使用领域,然后正式介绍Hadoop的基本使用,帮助读者了解Hadoop的背景知识和简单使用方法,接着通过HDFS分布式文件系统和MapReduce并行计算模型从理论和实现机制的角度对Hadoop核心技术进行讲解,最后对Hadoop的命令系统进行了系统的介绍。对于初级和中级读者而言,第一篇的内容需要重点阅读和学习,这篇是Hadoop核心技术的基础,只有基础知识扎实后才能更好地掌握Hadoop的高级功能和精髓。
第二篇为高级篇(第7~9章),从原理与实现的角度对Hadoop的核心功能进行了深入的研究,涵盖MapReduce深度分析、Hadoop Streaming和Pipes原理解析,以及Hadoop作业调度器系统的深入研究和讲解。本篇内容适合在阅读了基础篇的基础上或者已经对Hadoop的核心原理有了一定理解的基础上进行阅读。
第三篇为实战篇(第10~12章),从实战的角度进行讲解,首先讲述Hadoop集群搭建技术,然后对Streaming和Pipes编程进行了实战级的应用讲解,Streaming编程接口是一个非常简单且高效的MapReduce编程方式,由于不限制编程语言,因此Streaming的使用比Java原生接口应用得还要广泛,由此可见,学习并掌握Streaming编程技术非常有助于软件工程师的Hadoop应用技术的提高。第12章讲解了Hadoop MapReduce应用开发实战,从整体的并行应用开发角度进行讲解,对实际开发过程中的常用功能使用和常见问题解决都进行了介绍。这部分内容适合在实际工作中使用Hadoop开发应用的工程师阅读和学习。
前 言 基 础 篇 第1章 认识Hadoop 1.1 缘于搜索的小象 1.1.1 Hadoop的身世 1.1.2 Hadoop简介 1.1.3 Hadoop发展简史 1.2 大数据、Hadoop和云计算 1.2.1 大数据 1.2.2 大数据、Hadoop和云计算的关系 1.3 设计思想与架构 1.3.1 数据存储与切分 1.3.2 MapReduce模型 1.3.3 MPI和MapReduce 1.4 国外Hadoop的应用现状 1.5 国内Hadoop的应用现状 1.6 Hadoop发行版 1.6.1 Apache Hadoop 1.6.2 Cloudera Hadoop 1.6.3 Hortonworks Hadoop发行版 1.6.4 MapR Hadoop发行版 1.6.5 IBM Hadoop发行版 1.6.6 Intel Hadoop发行版 1.6.7 华为Hadoop发行版 1.7 小结 第2章 Hadoop使用之初体验 2.1 搭建测试环境 2.1.1 软件与准备 2.1.2 安装与配置 2.1.3 启动与停止 2.2 算法分析与设计 2.2.1 Map设计 2.2.2 Reduce设计 2.3 实现接口 2.3.1 Java API实现 2.3.2 Streaming接口实现 2.3.3 Pipes接口实现 2.4 编译 2.4.1 基于Java API实现的编译 2.4.2 基于Streaming实现的编译 2.4.3 基于Pipes实现的编译 2.5 提交作业 2.5.1 基于Java API实现作业提交 2.5.2 基于Streaming实现作业提交 2.5.3 基于Pipes实现作业提交 2.6 小结 第3章 Hadoop存储系统 3.1 基本概念 3.1.1 NameNode 3.1.2 DateNode 3.1.3 客户端 3.1.4 块 3.2 HDFS的特性和目标 3.2.1 HDFS的特性 3.2.2 HDFS的目标 3.3 HDFS架构 3.3.1 Master/Slave架构 3.3.2 NameNode和Secondary NameNode通信模型 3.3.3 文件存取机制 3.4 HDFS核心设计 3.4.1 Block大小 3.4.2 数据复制 3.4.3 数据副本存放策略 3.4.4 数据组织 3.4.5 空间回收 3.4.6 通信协议 3.4.7 安全模式 3.4.8 机架感知 3.4.9 健壮性 3.4.10 负载均衡 3.4.11 升级和回滚机制 3.5 HDFS权限管理 3.5.1 用户身份 3.5.2 系统实现 3.5.3 超级用户 3.5.4 配置参数 3.6 HDFS配额管理 3.7 HDFS的缺点 3.8 小结 第4章 HDFS的使用 4.1 HDFS环境准备 4.1.1 HDFS安装配置 4.1.2 HDFS格式化与启动 4.1.3 HDFS运行检查 4.2 HDFS命令的使用 4.2.1 fs shell 4.2.2 archive 4.2.3 distcp 4.2.4 fsck 4.3 HDFS Java API的使用方法 4.3.1 Java API简介 4.3.2 读文件 4.3.3 写文件 4.3.4 删除文件或目录 4.4 C接口libhdfs 4.4.1 libhdfs介绍 4.4.2 编译与部署 4.4.3 libhdfs接口介绍 4.4.4 libhdfs使用举例 4.5 WebHDFS接口 4.5.1 WebHDFS REST API简介 4.5.2 WebHDFS配置 4.5.3 WebHDFS使用 4.5.4 WebHDFS错误响应和查询参数 4.6 小结 第5章 MapReduce计算框架 5.1 Hadoop MapReduce简介 5.2 MapReduce模型 5.2.1 MapReduce编程模型 5.2.2 MapReduce实现原理 5.3 计算流程与机制 5.3.1 作业提交和初始化 5.3.2 Mapper 5.3.3 Reducer 5.3.4 Reporter和OutputCollector 5.4 MapReduce的输入/输出格式 5.4.1 输入格式 5.4.2 输出格式 5.5 核心问题 5.5.1 Map和Reduce数量 5.5.2 作业配置 5.5.3 作业执行和环境 5.5.4 作业容错机制 5.5.5 作业调度 5.6 有用的MapReduce特性 5.6.1 计数器 5.6.2 DistributedCache 5.6.3 Tool 5.6.4 IsolationRunner 5.6.5 Prof?iling 5.6.6 MapReduce调试 5.6.7 数据压缩 5.6.8 优化 5.7 小结 第6章 Hadoop命令系统 6.1 Hadoop命令系统的组成 6.2 用户命令 6.3 管理员命令 6.4 测试命令 6.5 应用命令 6.6 Hadoop的streaming命令 6.6.1 streaming命令 6.6.2 参数使用分析 6.7 Hadoop的pipes命令 6.7.1 pipes命令 6.7.2 参数使用分析 6.8 小结 高 级 篇 第7章 MapReduce深度分析 7.1 MapReduce总结构分析 7.1.1 数据流向分析 7.1.2 处理流程分析 7.2 MapTask实现分析 7.2.1 总逻辑分析 7.2.2 Read阶段 7.2.3 Map阶段 7.2.4 Collector和Partitioner阶段 7.2.5 Spill阶段 7.2.6 Merge阶段 7.3 ReduceTask实现分析 7.3.1 总逻辑分析 7.3.2 Shuffle阶段 7.3.3 Merge阶段 7.3.4 Sort阶段 7.3.5 Reduce阶段 7.4 JobTracker分析 7.4.1 JobTracker服务分析 7.4.2 JobTracker启动分析 7.4.3 JobTracker核心子线程分析 7.5 TaskTracker分析 7.5.1 TaskTracker启动分析 7.5.2 TaskTracker核心子线程分析 7.6 心跳机制实现分析 7.6.1 心跳检测分析 7.6.2 TaskTracker.transmitHeart-Beat() 7.6.3 JobTracker.heartbeat() 7.6.4 JobTracker.processHeartbeat() 7.7 作业创建分析 7.7.1 初始化分析 7.7.2 作业提交分析 7.8 作业执行分析 7.8.1 JobTracker初始化 7.8.2 TaskTracker.startNewTask() 7.8.3 TaskTracker.localizeJob() 7.8.4 TaskRunner.run() 7.8.5 MapTask.run() 7.9 小结 第8章 Hadoop Streaming和Pipes原理与实现 8.1 Streaming原理浅析 8.2 Streaming实现架构 8.3 Streaming核心实现机制 8.3.1 主控框架实现 8.3.2 用户进程管理 8.3.3 框架和用户程序的交互 8.3.4 PipeMapper和PiperReducer 8.4 Pipes原理浅析 8.5 Pipes实现架构 8.6 Pipes核心实现机制 8.6.1 主控类实现 8.6.2 用户进程管理 8.6.3 PipesMapRunner 8.6.4 PipesReducer 8.6.5 C++端HadoopPipes 8.7 小结 第9章 Hadoop作业调度系统 9.1 作业调度概述 9.1.1 相关概念 9.1.2 作业调度流程 9.1.3 集群资源组织与管理 9.1.4 队列控制和权限管理 9.1.5 插件式调度框架 9.2 FIFO调度器 9.2.1 基本调度策略 9.2.2 FIFO实现分析 9.2.3 FIFO初始化与停止 9.2.4 作业监听控制 9.2.5 任务分配算法 9.2.6 配置与使用 9.3 公平调度器 9.3.1 产生背景 9.3.2 主要功能 9.3.3 基本调度策略 9.3.4 FairScheduler实现分析 9.3.5 FairScheduler启停分析 9.3.6 作业监听控制 9.3.7 资源池管理 9.3.8 作业更新策略 9.3.9 作业权重和资源量的计算 9.3.10 任务分配算法 9.3.11 FairScheduler配置参数 9.3.12 使用与管理 9.4 容量调度器 9.4.1 产生背景 9.4.2 主要功能 9.4.3 基本调度策略 9.4.4 CapacityScheduler实现分析 9.4.5 CapacityScheduler启停分析 9.4.6 作业监听控制 9.4.7 作业初始化分析 9.4.8 任务分配算法 9.4.9 内存匹配机制 9.4.10 配置与使用 9.5 调度器对比分析 9.5.1 调度策略对比 9.5.2 队列和优先级 9.5.3 资源分配保证 9.5.4 作业限制 9.5.5 配置管理 9.5.6 扩展性支持 9.5.7 资源抢占和延迟调度 9.5.8 优缺点分析 9.6 其他调度器 9.6.1 HOD调度器 9.6.2 LATE调度器 9.7 小结 实 战 篇 第10章 Hadoop集群搭建 10.1 Hadoop版本的选择 10.2 集群基础硬件需求 10.2.1 内存 10.2.2 CPU 10.2.3 磁盘 10.2.4 网卡 10.2.5 网络拓扑 10.3 集群基础软件需求 10.3.1 操作系统 10.3.2 JVM和SSH 10.4 虚拟化需求 10.5 事前准备 10.5.1 创建安装用户 10.5.2 安装Java 10.5.3 安装SSH并设置 10.5.4 防火墙端口设置 10.6 安装Hadoop 10.6.1 安装HDFS 10.6.2 安装MapReduce 10.7 集群配置 10.7.1 配置管理 10.7.2 环境变量配置 10.7.3 核心参数配置 10.7.4 HDFS参数配置 10.7.5 MapReduce参数配置 10.7.6 masters和slaves配置 10.7.7 客户端配置 10.8 启动和停止 10.8.1 启动/停止HDFS 10.8.2 启动/停止MapReduce 10.8.3 启动验证 10.9 集群基准测试 10.9.1 HDFS基准测试 10.9.2 MapReduce基准测试 10.9.3 综合性能测试 10.10 集群搭建实例 10.10.1 部署策略 10.10.2 软件和硬件环境 10.10.3 Hadoop安装 10.10.4 配置core-site.xml 10.10.5 配置hdfs-site.xml 10.10.6 配置mapred-site.xml 10.10.7 SecondaryNameNode和Slave 10.10.8 配置作业队列 10.10.9 配置第三方调度器 10.10.10 启动与验证
2、如果打不开本文件,请务必下载pdf阅读器
3、安装后,在打开解压得出的pdf文件
4、双击进行阅读
同类热门
类似软件
hadoop大数据分析与挖掘实战38.23M235人在用hadoop大数据分析与挖掘实战是一本Hadoop大数据分析实战书籍,由张良均,樊哲,赵云龙和李成华四人共同编著。本书以大家熟知的Hadoop技术来展开,理论部分介绍了Hadoop生态系统基本原理及常用大数据挖掘建模工具。案例部分以解决某个应用的挖掘目标
查看深入理解hadoop 原书第2版50.83M294人在用深入理解hadoop 原书第2版是一本Hadoop系统使用掌握指导书籍,由世界级大数据专家萨米尔.瓦德卡和马杜.西德林埃共同编著。全书深入剖析了Hadoop系统实现原理及其工程实践应用,里面包含了大量真实案例和数据,从Hadoops各组件的运行机理,深入
查看Hadoop海量数据处理:技术详解与项目实战47.54M201人在用Hadoop海量数据处理:技术详解与项目实战是一本Hadoop数据处理技术指导手册,由范东来编著。本书主要介绍Hadoop技术的相关知识,不但详细介绍了Hadoop、MapReduce、HDFS、Hive和Sqoop,还深入探讨了Hadoop的运维和调优
查看hadoop实战第2版179.03M242人在用hadoop实战第2版是一本系统且极具实践指导意义的Hadoop工具书和参考书,作者陆嘉恒,已经扫描为pdf高清版电子图书,附带的福昕pdf阅读器可以完美打开浏览阅读。由于第1版广受好评,第2版基于hadoop及其相关技术最新版本撰写,从多角度做了全面的
查看热门标签
网友评论0人参与,0条评论
最新排行
响应式web设计html5和css3实战第2版10.6Mpdf扫描版响应式web设计是一种统一的解决方案,可以让web作品适配手机,平板和桌面电脑。但如何才能更好的学习和入门呢?响应式web设计html5和css3实战第2版将为用户提供最全面的讲解,是一本html和css3的实战手册,由英国程序员本·弗莱恩编著。本书涵盖
查看oracle开发实战经典110.75M李兴华pdf扫描版 oracle开发实战经典是一本Oracle数据库实战手册,由李兴华编著。本书以Oracle 12c版本为基础(也适合Oracle 11g版本),对12c的新功能做了详细讲述。并且实例非常丰富,各类实例达1200个,达到实战水平只需一本书够了。同时本
查看Android应用程序开发教程:Android Studio版47.32M罗文龙 pdf扫描版 Android应用程序开发教程:Android Studio版是一本Android应用程序开发教程书籍,由罗文龙编著。本书以最新的Google官方Android IDE-Android Studio V1.3为开发环境对实例进行开发讲解,让读者更快
查看grails技术精解与web开发实践106.74M宋友pdf扫描版Grails是一个成功的Web框架,不但具备J2EE和RoR的诸多优点,还解决了RoR不能有效适用于广大Java用户的一大难题。grails技术精解与web开发实践系统讲解了使用Grails技术快速进行Web开发的知识,由宋友、梁士兴等人编著。全书内容结
查看android编程实战14.52Mpdf扫描版android编程实战是一本安卓编程开发实战手册,由瑞典安卓工程师Erik Hellman编著。本书主要针对具有Android应用程序开发经验的读者,读者需要了解Android的基本知识,才能使用Activity、Service、BroadcastRec
查看C#程序设计及应用教程(第2版)28.33M马骏pdf扫描版C#程序设计及应用教程(第2版)是一本C#语言程序设计和应用开发教程,由马骏编著。本书内容丰富简洁、对一些初学者比较难以理解的知识点,尽量用简洁、形象而又浅显易懂的语言来表达。比如泛型、接口、组件、特性、纹理、图形图像用法等。但书中的某些重点章节则会以图
查看jsp应用开发详解 第三版41.09M刘晓华pdf扫描版jsp应用开发详解 第三版是一本JSP应用开发详解书籍,由刘晓华等人编著。本书结合JSP和Servlet的最新规范,从基本的语法和规范入手,以经验为后盾,以实用为目标,以实例为导向,以实践为指导,深入浅出地讲解了JSP开发中的种种问题。以精简的内容介绍了
查看游戏人工智能编程案例精粹53.61M游戏人工智能编程案例精粹是一本讲述如何使游戏角色具有人工智能的著作。对比传统游戏人工智能介绍,该书具有实例丰富、语言幽默的特点,能够帮助用户学会创建适合于各种游戏类型主要行为的、具有有趣的和挑战性的人工智能的必要技术,从而对游戏人工智能的关键领域具有一个
查看