大小:21.61M
更新时间:23-09-09
系统:Pc
版本:v
Spark技术内幕:深入解析Spark内核架构设计与实现原理是一本Spark解析实用教学书籍,由张安站编著,全书详细剖析了Spark内核各个模块,以源码为基础,全面分析了Spark内核的各个模块的设计思想和实现原理,深入理解其内部运作机制乃至实现细节,帮助Spark领域的从业人员全面掌握Spark核心技术,进而在应用开发中做到游刃有余和性能调优时做到有的放矢。
《Spark技术内幕:深入解析Spark内核架构设计与实现原理》以源码为基础,深入分析Spark内核的设计理念和架构实现,系统讲解各个核心模块的实现,为性能调优、二次开发和系统运维提供理论支持;本文最后以项目实战的方式,系统讲解生产环境下Spark应用的开发、部署和性能调优。
本书共分为9章:
第1章介绍了Spark的技术背景和特点,给出了架构的整体概述,并简单介绍了Spark的生态圈。
第2章介绍了Spark源码如何获取和学习环境如何搭建。
第3章是RDD的详细介绍,介绍了RDD的定义和Spark对于DAG的实现,最后通过RDD计算的详细介绍,讲解了Spark对于计算的实现原理。
第4章详细介绍任务调度的实现,包括如何通过DAG来生成计算任务,最后通过“Word Count”来加深对这个实现过程的理解。
第5章介绍了Spark的运行模式,尤其是Standalone模式。Standalone是Spark自身实现的资源管理和调度的模块,这里会详细介绍它的实现原理。
第6章是Executor模块的详细讲解。Executor是最终执行计算任务的单元,这章将详细介绍Executor的实现原理,包括Executor的分配、Task在Executor的详细执行过程。
第7章详细介绍了Spark对于Shuffle的实现原理,包括基于Hash和基于排序的实现。除了详细阐述基于Hash和排序的Shuffle写和Shuffle读之外,还介绍了Shuffle Pluggable框架,为需要实现特定Shuffle逻辑的读者介绍其实现原理。
第8章详细介绍了Spark的Storage模块,在详细介绍了模块的架构后详细解析了不同存储级别的实现细节。
第9章介绍了Spark在百度、腾讯和阿里等国内互联网领域的应用现状。
序 前言 第1章 Spark简介1 1.1Spark的技术背景1 1.2Spark的优点2 1.3Spark架构综述4 1.4Spark核心组件概述5 1.4.1Spark Streaming5 1.4.2MLlib6 1.4.3Spark SQL7 1.4.4 GraphX8 1.5Spark的整体代码结构规模8 第2章 Spark学习环境的搭建9 2.1源码的获取与编译9 2.1.1源码获取9 2.1.2源码编译10 2.2构建Spark的源码阅读环境11 2.3小结15 第3章 RDD实现详解16 3.1概述16 3.2什么是RDD17 3.2.1RDD的创建19 3.2.2RDD的转换20 3.2.3 RDD的动作22 3.2.4RDD的缓存23 3.2.5RDD的检查点24 3.3RDD的转换和DAG的生成25 3.3.1RDD的依赖关系26 3.3.2DAG的生成30 3.3.3Word Count的RDD转换和DAG划分的逻辑视图30 3.4RDD的计算33 3.4.1Task简介33 3.4.2Task的执行起点33 3.4.3缓存的处理35 3.4.4checkpoint的处理37 3.4.5RDD的计算逻辑39 3.5RDD的容错机制39 3.6小结40 第4章 Scheduler 模块详解41 4.1模块概述41 4.1.1整体架构41 4.1.2Scheduler的实现概述43 4.2DAGScheduler实现详解45 4.2.1DAGScheduler的创建46 4.2.2Job的提交48 4.2.3Stage的划分49 4.2.4任务的生成54 4.3任务调度实现详解57 4.3.1TaskScheduler的创建57 4.3.2Task的提交概述58 4.3.3任务调度具体实现61 4.3.4Task运算结果的处理65 4.4Word Count调度计算过程详解72 4.5小结74 第5章 Deploy模块详解76 5.1 Spark运行模式概述76 5.1.1 local77 5.1.2Mesos78 5.1.3YARN82 5.2模块整体架构86 5.3消息传递机制详解87 5.3.1Master和Worker87 5.3.2Master和Client89 5.3.3Client和Executor91 5.4集群的启动92 5.4.1Master的启动92 5.4.2Worker的启动96 5.5集群容错处理98 5.5.1Master 异常退出98 5.5.2Worker异常退出99 5.5.3Executor异常退出101 5.6Master HA实现详解102 5.6.1Master启动的选举和数据恢复策略103 5.6.2集群启动参数的配置105 5.6.3Curator Framework简介 106 5.6.4ZooKeeperLeaderElectionAgent的实现109 5.7小结110 第6章 Executor模块详解112 6.1Standalone模式的Executor分配详解113 6.1.1SchedulerBackend创建AppClient114 6.1.2AppClient向Master注册Application116 6.1.3Master根据AppClient的提交选择Worker119 6.1.4Worker根据Master的资源分配结果创建Executor121 6.2Task的执行122 6.2.1依赖环境的创建和分发123 6.2.2任务执行125 6.2.3任务结果的处理128 6.2.4Driver端的处理130 6.3 参数设置131 6.3.1 spark.executor.memory131 6.3.2日志相关132 6.3.3spark.executor.heartbeatInterval132 6.4小结133 第7章 Shuffle模块详解134 7.1Hash Based Shuffle Write135 7.1.1Basic Shuffle Writer实现解析136 7.1.2存在的问题138 7.1.3Shuffle Consolidate Writer139 7.1.4小结140 7.2Shuffle Pluggable 框架141 7.2.1org.apache.spark.shuffle.ShuffleManager141 7.2.2org.apache.spark.shuffle.ShuffleWriter143 7.2.3org.apache.spark.shuffle.ShuffleBlockManager143 7.2.4org.apache.spark.shuffle.ShuffleReader144 7.2.5如何开发自己的Shuffle机制144 7.3Sort Based Write144 7.4Shuffle Map Task运算结果的处理148 7.4.1Executor端的处理148 7.4.2Driver端的处理150 7.5Shuffle Read152 7.5.1整体流程152 7.5.2数据读取策略的划分155 7.5.3本地读取156 7.5.4远程读取158 7.6性能调优160 7.6.1spark.shuffle.manager160 7.6.2spark.shuffle.spill162 7.6.3spark.shuffle.memoryFraction和spark.shuffle.safetyFraction162 7.6.4spark.shuffle.sort.bypassMergeThreshold 163 7.6.5spark.shuffle.blockTransferService 163 7.6.6spark.shuffle.consolidateFiles 163 7.6.7spark.shuffle.compress和 spark.shuffle.spill.compress164 7.6.8spark.reducer.maxMbInFlight165 7.7小结165 第8章 Storage模块详解167 8.1模块整体架构167 8.1.1整体架构167 8.1.2源码组织结构170 8.1.3Master 和Slave的消息传递详解173 8.2存储实现详解181 8.2.1存储级别181 8.2.2模块类图184 8.2.3org.apache.spark.storage.DiskStore实现详解186 8.2.4org.apache.spark.storage.MemoryStore实现详解188 8.2.5org.apache.spark.storage.TachyonStore实现详解189 8.2.6Block存储的实现190 8.3性能调优194 8.3.1spark.local.dir194 8.3.2spark.executor.memory194 8.3.3spark.storage.memoryFraction194 8.3.4spark.streaming.blockInterval195 8.4小结195 第9章 企业应用概述197 9.1Spark在百度197 9.1.1现状197 9.1.2百度开放云BMR的Spark198 9.1.3在Spark中使用Tachyon199 9.2Spark在阿里200 9.3Spark在腾讯200 9.4小结201
1、下载并解压,得出pdf文件
2、如果打不开本文件,请务必下载pdf阅读器
3、安装后,在打开解压得出的pdf文件
4、双击进行阅读
同类热门
类似软件
Spark核心技术与高级应用38.49M170人在用Spark核心技术与高级应用是Spark领域少有的专注于核心原理与深度应用的著作,由科大讯飞和百分点科技的4位大数据专家撰写。全书不仅细致介绍了Spark的程序开发、编程模型、作业执行解析等基础知识,而且还深度讲解了Spark SQL、Spark ML、
查看DesignSparkPCB印刷电路板工具137.49M175人在用 DesignSpark PCB是一款由RS Components基于AutoCAD平台开发的印刷电路板(PCB)设计工具,能轻松进行原理图捕获,设计、编辑原理图及电路板布线图。支持使用Library Manager中的“3D 视图”选项卡建立3D
查看apache spark 源码剖析30.99M133人在用apache spark 源码剖析是一本Spark代码源码学习书籍,由许鹏编著,本书全面、系统地介绍了Spark源码,深入浅出,细致入微。先提供给读者一系列分析源码的实用技巧,并给出一个合理的阅读顺序,并且始终抓住资源分配、消息传递、容错处理等基本问题,
查看designspark mechanical官方版1.13G1370人在用 designspark mechanical官方版是一款专业的3D设计软件,能帮助设计人员把复杂的工作图分解成简单的草图进行制作,系统构建于AutoCAD平台之上,常用于二维绘图、详细绘制、设计文档和基本三维设计,现已成为国际上广为流行的绘图工具之
查看DesignSpark Electrical302.96M112人在用DesignSpark Electrical是一款专业的电气CAD工具,让电气设计师和自动化工程师可快速并精准地设计、修改电气系统。操作简单,功能强大,不管是用户需要的纯设计工具、海量技术信息,还是完整的设计生态系统,软件都可以与用户正在使用的设计工具无
查看spark高级数据分析5.79M237人在用spark高级数据分析是一本Spark实用手册,由著名大数据公司Cloudera的四名数据科学家编写,他们联袂展示了利用Spark进行大规模数据分析的若干模式,而且每个模式都自成一体。全书将Spark、统计学方法和真实数据集结合起来,通过实例向读者讲述了
查看热门标签
网友评论0人参与,0条评论
最新排行
版式设计从入门到精通44.69M高清全彩版版式设计从入门到精通是一本广告版式设计入门书籍,由ArtTone视觉研究中心编著。本书内容共三篇设计篇、色彩篇、主题篇,集中探讨了版式设计的基础和关键问题。透过对各设计方向的版式设计作品的详细分析,希望能让读者更快掌握版式设计的基础技巧与更高的表现力。书
查看轻而易举黑客攻防入门41.81M先知文化pdf扫描版轻而易举黑客攻防入门是一本黑客攻防类型的学习教材,由先知文化编著,电子工业出版社出版。全书从黑客新手的需要和学习习惯出发,详细介绍了黑客基础知识、信息搜集与漏洞扫描、黑客常用命令与工具、windows系统漏洞防范、密码攻防、远程控制攻防、木马攻防、网络攻
查看android从入门到精通 巅峰卓越 pdf104.92M高清扫描版 本款android从入门到精通是巅峰卓越编著的,是目前最优秀的一款android入门书籍。全书结合实际工作中的范例,逐一讲解Android的各种知识和技术。还以实际开发项目来总结本书所学内容,帮助读者在实战中掌握知识,轻松拥有项目经验。同时在每章首
查看逆向工程权威指南上册和下册101.9M丹尼斯 pdf扫描版逆向工程权威指南是一本逆向工程的经典指南,由乌克兰安全技术专家丹尼斯Dennis Yurichev编著,分为上册和下册。本书专注于软件逆向工程,即研究编译后的可执行程序,是写给初学者的一本经典指南。全书共分为12个部分,共102章,涉及软件逆向工程相关的
查看Android底层开发实战28.68M周庆国pdf扫描版android底层开发实战是一本安卓底层开发实战手册,也是掌握Android底层软件开发必备的工具书,由周庆国、郑灵翔、康筱彬和刘同山共同编著。本书对Android底层源码进行了系统的剖析,不仅覆盖了必要的嵌入式系统理论和Linux的基础知识,还对And
查看面向对象葵花宝典:思想技巧与实践38.21M李运华pdf扫描版面向对象葵花宝典:思想技巧与实践,作者李运华,全书不仅系统介绍了面向对象是什么,更着重介绍了如何让这些技术落地。通过面向对象基础、面向对象实战、面向对象技巧、面向对象架构设计4部分,书中有详尽的和通俗易懂的概念和方法介绍,有完整的面向对象开发流程,让你能
查看穿布鞋的马云:决定阿里巴巴生死的27个节点129.5M王利芬pdf扫描版穿布鞋的马云:决定阿里巴巴生死的27个节点是一本马云阿里创业录,由王利芬和李翔两人共同编著.本书内容丰富,干货满满,全书归纳出对创业者有益的27个关键节点:关于融资、关于团队、关于管理、关于谈判、关于失败、关于企业愿景、关于企业文化、关于战略、关于人才…
查看后台开发 核心技术与应用实践118M徐晓鑫pdf扫描版 后台开发 核心技术与应用实践是腾讯资深后台工程师徐晓鑫多年经验结晶,本书完整勾勒后台工程师能力体系结构图,详细讲解后台开发所需核心技术、开发工具和实践方法,用通俗的文字、详尽的示例代码,结合实际工作中的案例,讲述了后台开发方方面面的知识,内容丰富,
查看