大小:125.52M
更新时间:23-09-05
系统:Pc
版本:v
spark大数据实例开发教程是面向Spark开发者的一本实用参考书,是大数据资深培训师王家林最新作品。本书内容广度和深度兼顾,书中内容全面覆盖了Spark技术的核心知识点,全程注重从架构的底层到上层,由宏观到微观的讲解。全书都秉承“实战”类图书特色,解析大量案例和代码的编写操作,具有较强的可操作性,便于读者学习和理解,非常刚接触Spark或对Spark分布式计算的开发不熟悉的初学者。对于熟悉函数式开发或面向对象开发,并有一定经验的开发者。
《spark大数据实例开发教程》中首先通过介绍Spark的生态系统和RDD编程模型,使读者能够快速的对Spark技术的生态环境以及对Spark的RDD编程模型有个非常直观的了解。
首先介绍了Spark应用的两种部署模式;然后在应用部署模式基础上,开始Spark实战的案例与解析,通过提供一个完整的基础案例,使读者了解一个Spark应用的大致处理流程;接着对实战中的重点部分,结合源码分析、监控日志分析等深入解析了Spark运行机制、DAG图等关键内容;后给出Spark开发者常用的应用程序构建案例与分析,以及调试环境搭建的案例与应用调试的案例。
第1章Spark简介
1.1什么是Spark
1.2Spark生态圈
1.2.1伯克利数据分析协议栈
1.2.2Spark开源社区发展
1.3RDD编程模型
1.3.1RDD抽象概念
1.3.2RDD的操作
1.3.3RDD的依赖关系
1.3.4一个典型的DAG示意图
第2章Spark RDD实践案例与解析
2.1Spark应用程序部署
2.1.1Spark应用的基本概念
2.1.2应用程序的部署方式
2.2RDD数据的输入、处理、输出的基本案例与解析
2.2.1集群环境的搭建
2.2.2交互式工具的启动
2.2.3文本数据的ETL案例实践与解析
2.2.4文本数据的初步统计案例实践与解析
2.2.5文本数据统计结果的持久化案例实践与解析
2.2.6RDD的Lineage关系的案例与源码解析
2.2.7RDD的持久化案例与解析
2.2.8RDD的构建案例与解析
2.2.9分区数设置的案例与源码解析
2.3RDD API的应用案例与解析
2.3.1如何查找RDD API的隐式转换
2.3.2RDD[T]的分区相关的API
2.3.3RDD[T]常用的聚合API
2.3.4DoubleRDDFunctions(self:RDD[Double])常用的API
2.3.5PairRDDFunctions[K,V]聚合相关的API
2.3.6RDD相互间操作的API
2.3.7PairRDDFunctions[K,V]间的相关API
2.3.8OrderedRDDFunctions[K,V,P:Product2K,V]常用的API
2.4Spark应用程序构建
2.4.1基于SBT构建Spark应用程序的实例
2.4.2基于IDEA构建Spark应用程序的实例
2.4.3Spark提交应用的调试实例
2.5移动互联网数据分析案例与解析
2.5.1移动互联网数据的准备
2.5.2移动互联网数据分析与解析
2.6Spark RDD实践中的常见问题与解答
第3章Spark SQL实践案例与解析
3.1Spark SQL概述
3.2DataFrame处理的案例与解析
3.2.1DataFrame编程模型
3.2.2DataFrame基本操作案例与解析
3.2.3DataFrame与RDD之间的转换案例与解析
3.2.4缓存表(列式存储)的案例与解析
3.2.5DataFrame API的应用案例与分析
3.3Spark SQL处理各种数据源的案例与解析
3.3.1通用的加载/保存功能的案例与解析
3.3.2Parquet文件处理的案例与解析
3.3.3JSON数据集操作的案例与解析
3.3.4操作Hive表的案例与解析
3.3.5使用JDBC操作其他数据库的案例与解析
3.3.6集成Hive数据仓库的案例与解析
3.4基于Hive的人力资源系统数据处理案例与解析
3.4.1人力资源系统的数据库与表的构建
3.4.2人力资源系统的数据的加载
3.4.3人力资源系统的数据的查询
第4章Spark Streaming实践案例与解析
4.1Spark Streaming概述
4.2Spark Streaming基础概念
4.3企业信息实时处理的案例与解析
4.3.1处理TCP数据源的案例与解析
4.3.2处理HDFS文件数据源的案例与解析
4.3.3处理Kafka数据源的准备工作
4.3.4基于Receiver读取Kafka数据的案例与解析
4.3.5直接读取(无Receiver)Kafka数据的案例与解析
4.3.6处理Flume数据源的实践准备
4.3.7基于Flume风格的推送数据案例与解析
4.3.8定制FlumeSink的拉取数据案例与解析
4.4性能调优
4.4.1减少批处理的时间
4.4.2设置正确的批间隔
4.4.3内存调优
第5章Tachyon实践案例与解析
5.1Tachyon概述
5.2重新编译部署包
5.2.1重新编译Tachyon的部署包
5.2.2重新编译Spark的部署包
5.3Tachyon部署的案例与解析
5.3.1单机模式部署的案例与解析
5.3.2集群模式部署的案例与解析
5.3.3集群Master容错部署的案例与解析
5.4Tachyon配置的案例与解析
5.4.1底层存储系统的配置案例与解析
5.4.2配置属性与解析
5.5命令行接口的案例与解析
5.5.1命令行接口的说明
5.5.2命令行接口的案例实践与解析
5.6同步底层文件系统的案例与解析
5.6.1同步HDFS底层文件系统的案例与解析
5.6.2同步本地底层文件系统的案例与解析
5.7基于Tachyon运行的案例与解析
5.7.1基于Tachyon运行Spark的案例与解析
5.7.2基于Tachyon运行Hadoop MR的案例与解析
同类热门
类似软件
apache spark 源码剖析30.99M133人在用apache spark 源码剖析是一本Spark代码源码学习书籍,由许鹏编著,本书全面、系统地介绍了Spark源码,深入浅出,细致入微。先提供给读者一系列分析源码的实用技巧,并给出一个合理的阅读顺序,并且始终抓住资源分配、消息传递、容错处理等基本问题,
查看designspark mechanical官方版1.13G1370人在用 designspark mechanical官方版是一款专业的3D设计软件,能帮助设计人员把复杂的工作图分解成简单的草图进行制作,系统构建于AutoCAD平台之上,常用于二维绘图、详细绘制、设计文档和基本三维设计,现已成为国际上广为流行的绘图工具之
查看DesignSparkPCB印刷电路板工具137.49M175人在用 DesignSpark PCB是一款由RS Components基于AutoCAD平台开发的印刷电路板(PCB)设计工具,能轻松进行原理图捕获,设计、编辑原理图及电路板布线图。支持使用Library Manager中的“3D 视图”选项卡建立3D
查看Spark核心技术与高级应用38.49M170人在用Spark核心技术与高级应用是Spark领域少有的专注于核心原理与深度应用的著作,由科大讯飞和百分点科技的4位大数据专家撰写。全书不仅细致介绍了Spark的程序开发、编程模型、作业执行解析等基础知识,而且还深度讲解了Spark SQL、Spark ML、
查看DesignSpark Electrical302.96M112人在用DesignSpark Electrical是一款专业的电气CAD工具,让电气设计师和自动化工程师可快速并精准地设计、修改电气系统。操作简单,功能强大,不管是用户需要的纯设计工具、海量技术信息,还是完整的设计生态系统,软件都可以与用户正在使用的设计工具无
查看Spark技术内幕:深入解析Spark内核架构设计与实现原理21.61M248人在用Spark技术内幕:深入解析Spark内核架构设计与实现原理是一本Spark解析实用教学书籍,由张安站编著,全书详细剖析了Spark内核各个模块,以源码为基础,全面分析了Spark内核的各个模块的设计思想和实现原理,深入理解其内部运作机制乃至实现细节,帮
查看spark高级数据分析5.79M237人在用spark高级数据分析是一本Spark实用手册,由著名大数据公司Cloudera的四名数据科学家编写,他们联袂展示了利用Spark进行大规模数据分析的若干模式,而且每个模式都自成一体。全书将Spark、统计学方法和真实数据集结合起来,通过实例向读者讲述了
查看热门标签
网友评论0人参与,0条评论
最新排行
c++程序设计语言(第4部分:标准库)68.02M原书第4版c++程序设计语言(第4部分:标准库)是C++之父Bjarne Stroustrup编写的全新作品,也是通常用户所说的c++程序设计语言第四版,是无可替代的C++领域经典的参考书,详细的介绍C++11的各项新特性、功能等。全书知识结构完整,对C++语言介
查看chrome扩展及应用开发37.16M李喆pdf完整版chrome扩展及应用开发是一本介绍谷歌浏览器扩展和应用开发指导书籍,由李喆编著。全书主要介绍了Chrome平台开发的概念、扩展与应用的区别及其常用功能,并结合具体场景给出了实例。全书共十章,分为两大部分,分别是扩展和应用。本书由浅入深,条理清晰,再结合
查看7天学会Dreamweaver CS4网页制作16.45M三虎工作室pdf扫描版7天学会Dreamweaver CS4网页制作是一本Dreamweaver速成学习手册,由三虎工作室编著。本书内容详实、结构清晰、案例丰富、图文并茂,通过“步骤引导,图解操作”的讲解方式做到理论与实践相结合,从而使读者能在短时间内充分掌握Dreamwea
查看javascript编程全解6.67M井上诚一郎pdf扫描版javascript编程全解是一本JavaScript语言的使用指导手册,由日本程序员井上诚一郎、土江拓郎和滨边将太三人共同编著。本书涵盖了JavaScript开发中各个方面的主题,对从客户端及服务端JavaScript等基础内容,到HTML5、Web
查看ansible权威指南 李松涛 pdf版171.37M高清扫描版 ansible权威指南是一本Ansible的权威指南,由李松涛,魏巍和甘捷三人共同编著。本书内容丰富翔实,涵盖Ansible基础、高级技法与定制化扩展、7个实战企业案例,以及Web自动化开发,解决入门简单、深入难问题。 作者在介绍新技术
查看c#从入门到精通第3版119.82M明日科技pdf扫描版c#从入门到精通第3版是一本C#语言的入门书籍,由明日科技C#程序开发团队数十名程序员编著。本书内容由浅入深,循序渐进,全书以初、中级程序员为对象,先从C#语言基础学起,再学习C#的核心技术,然后学习C#的高级应用,最后学习开发一个完整项目。讲解过程中步
查看零基础学C语言(第2版)104.05M康莉pdf扫描版零基础学C语言(第2版)是一本c语言的基础入门图书,由程序员康莉、李宽,陈国建编著。本书由浅入深,循序渐进,全书分为编程基础、编程进阶、编程应用、项目实战、上机练习、面试指南六个阶段进行讲解,同时书中还拥有大量的实例、练习题和面试题,能够全方位的帮助你学
查看linuxshell脚本攻略 第2版18.24M门佳 pdf扫描版linuxshell脚本攻略 第2版是一本LinuxShell使用手册,由资深GNU/Linux用户Shantanu Tushar和Sarath Lakshman两人共同编著,门佳翻译。本书向读者展现了如何有效地利用shell完成复杂的任务。从shell
查看架构探险轻量级微服务架构上册70.8M黄勇 高清扫描版架构探险:轻量级微服务架构(上册)是一本微服务架构操作实践手册,由特赞公司CTO黄勇编著。本书首先围绕着如何构建服务器逐渐展开,详细的介绍了Spring Boot、Node.js以及如何使用ZooKeeper进行服务治理,在Docker上部署微服务等等,
查看