大数据管理:数据集成的技术、方法与最佳实践

大数据管理:数据集成的技术、方法与最佳实践是一本数据集成领域著作，由美国资深数据集成专家April Reeve编著，余水清，潘黎萍共同翻译。本书高屋建瓴地阐述了在大型组织的环境中，不同计算机系统之间传输数据，以及将异构数据进行集成所用到的技巧、技术以及最佳实践。每一部分都将对该部分所涉及的数据集成类型的架构、工具集以及技术进行阐述，如：批处理集成、实时集成以及大数据集成。同时，在每一部分中还给出了与相关专家就数据集成问题所进行的交流对话，以及基于笔者经验的一些实际案例，能够适用于资深业务和信息技术经理，企业数据、应用和技术架构师等人群阅读。

内容介绍

《大数据管理:数据集成的技术、方法与最佳实践》是数据集成领域的经典著作，由具有数十年从业经验的资深数据集成专家撰写，数据管理专家作序推荐！它为大数据时代的大中型企业管理企业内部大量的、复杂的应用系统之间的数据提供了解决方案，全面而深入地讲解数据集成的工具、方法、技巧、解决方案以及最佳实践。本书分为四部分，共22章，高屋建瓴地阐述了在大型组织环境中，不同计算机系统之间传输数据，以及将异构数据进行集成所用到的技巧、技术和最佳实践，内容涵盖数据集成导论、批处理数据集成、实时数据集成和大数据集成等。

《大数据管理:数据集成的技术、方法与最佳实践》虽然介绍了各种数据集成问题的多种不同类型的技术解决方案，但读者无需具备广阔的技术背景就能理解，适合数据处理相关的项目经理、数据分析师、数据模型设计师、数据库工作者以及数据集成程序员等相关技术人员及数据管理专业学生阅读。

章节目录

译者序

序言

前言

第一部分 数据集成导论

第1章 数据集成的重要性

1.1 数据接口的天然复杂性

1.2 购买供应商应用包的数量日益增加

1.3 大数据和虚拟化的催化剂

第2章 什么是数据集成

2.1 运动中的数据

2.2 集成为通用格式—数据转换

2.3 数据从一个系统迁移到另一个系统

2.4 在组织内部移动数据

2.5 从非结构化数据中抽取信息

2.6 将处理移动到数据端

第3章 数据集成的类型和复杂性

3.1 管理运动中的数据和持久化数据的异同点

3.2 批处理数据集成

3.3 实时数据集成

3.4 大数据集成

3.5 数据虚拟化

第4章 数据集成开发过程

4.1 数据集成开发生命周期

4.2 包含业务知识和专家经验

第二部分 批处理数据集成

第5章 批处理数据集成简介

5.1 什么是批处理数据集成

5.2 批处理数据集成生命周期

第6章 抽取、转换和加载

6.1 什么是ETL

6.2 概要分析

6.3 抽取

6.4 暂存

6.5 访问层次

6.6 转换

6.6.1 简单映射

6.6.2 查找表

6.6.3 聚合和规范化

6.6.4 计算

6.7 加载

第7章 数据仓库

7.1 什么是数据仓库

7.2 企业数据仓库架构中的层次

7.2.1 操作型应用层

7.2.2 外部数据

7.2.3 数据仓库中的数据暂存区

7.2.4 数据仓库数据结构

7.2.5 从数据仓库到数据集市或者商务智能层的暂存

7.2.6 商务智能层

7.3 加载到数据仓库中的数据类型

7.3.1 数据仓库中的主数据

7.3.2 数据仓库中的余额和快照数据

7.3.3 数据仓库中的事务型数据

7.3.4 事件

7.3.5 调整

第8章 数据转换

8.1 什么是数据转换

8.2 数据转换生命周期

8.3 数据转换分析

8.4 数据加载最佳实践

8.5 提高源数据质量

8.6 映射到目标系统

8.7 配置数据

8.8 测试和依赖

8.9 私有数据

8.10 校对

8.11 环境

第9章 数据归档

9.1 什么是数据归档

9.2 归档数据选择

9.3 已归档数据可以恢复吗

9.4 归档环境下数据结构的确认

9.5 灵活的数据结构

第10章 批处理数据集成架构和元数据

10.1 什么是批处理数据集成架构

10.2 概要分析工具

10.3 建模工具

10.4 元数据存储库

10.5 数据移动

10.6 转换

10.7 调度

第三部分 实时数据集成

第11章 实时数据集成简介

11.1 为什么需要实时数据集成

11.2 为什么需要两组技术

第12章 数据集成模式

12.1 交互模式

12.2 松耦合

12.3 中心和节点模式

12.4 同步交互和异步交互

12.5 请求和应答

12.6 发布和订阅

12.7 两阶段提交

12.8 集成交互类型

第13章 核心实时数据集成技术

13.1 令人困惑的术语

13.2 企业服务总线

13.3 面向服务架构

13.4 可扩展标记语言

13.5 数据复制和变化数据捕获

13.6 企业应用集成

13.7 企业信息集成

第14章 数据集成建模

14.1 规范化建模

14.2 消息建模

第15章 主数据管理

15.1 主数据管理简介

15.2 需要主数据管理方案的原因

15.3 购买的软件包与主数据

15.4 参考数据

15.5 主和从

15.6 外部数据

15.7 主数据管理功能

15.8 主数据管理方案的类型—注册表以及数据中心

第16章 实时更新数据仓库

16.1 企业信息工厂

16.2 操作型数据存储

16.3 移动到数据仓库的主数据

第17章 实时数据集成架构和元数据

17.1 实时数据集成元数据简介

17.2 建模

17.3 概要分析

17.4 元数据库

17.5 企业服务总线—数据转换和调度

17.5.1 技术中介

17.5.2 业务内容

17.6 数据移动和中间件

17.7 外部交互

第四部分 大数据集成

第18章 大数据集成简介

18.1 数据集成及非结构化数据

18.2 大数据、云数据及数据虚拟化

第19章 云架构和数据集成

19.1 为什么云中的数据集成比较重要

19.2 公共云

19.3 云安全

19.4 云延迟

19.5 云冗余

第20章 数据虚拟化

20.1 恰逢其时的一项技术

20.2 数据虚拟化的商业用途

20.2.1 商务智能方案

20.2.2 集成不同类型的数据

20.2.3 快速向数据仓库中增加或者原型增加数据

20.2.4 将物理上不同的数据一起展现

20.2.5 利用不同的数据和模型触发交易

20.3 数据虚拟化架构

20.3.1 源和适配器

20.3.2 映射、模型和视图

20.3.3 转换和展现

第21章 大数据集成

21.1 什么是大数据

21.2 大数据维度—量

21.2.1 大规模并行处理—将处理过程移动到数据端

21.2.2 Hadoop和MapReduce

21.2.3 与外部数据集成

21.2.4 虚拟化

21.3 大数据维度—多样性

21.3.1 数据类型

21.3.2 集成不同类型的数据

21.4 大数据维度—速度

21.4.1 流式数据

21.4.2 传感器和GPS数据

21.4.3 社会化媒体数据

21.5 传统大数据应用案例

21.6 更多大数据应用案例

21.6.1 医疗

21.6.2 物流

21.6.3 国家安全

21.7 利用大数据的力量—实施决策支持

21.7.1 触发行动

21.7.2 从内存以及磁盘中检索数据的速度

21.7.3 从数据分析到模型，从流式数据到决策

21.8 大数据架构

21.8.1 操作型系统和数据存储

21.8.2 中间数据中心

21.8.3 商务智能工具

21.8.4 数据虚拟化服务器

21.8.5 批处理和实时数据集成工具

21.8.6 分析型沙盒

21.8.7 风险响应系统

第22章 移动数据管理总结

22.1 数据集成架构

22.1.1 为什么需要数据集成架构

22.1.2 数据集成生命周期和专家经验

22.1.3 安全和隐私

22.2 数据集成引擎

22.2.1 操作连贯性

22.2.2 ETL引擎

22.2.3 企业服务总线

22.2.4 数据虚拟化服务器

22.2.5 数据移动

22.3 数据集成中心

22.3.1 主数据

22.3.2 数据仓库和操作型数据存储

22.3.3 企业内容管理

22.3.4 数据归档

22.4 元数据管理

22.4.1 数据发现

22.4.2 数据概要分析

22.4.3 数据建模

22.4.4 数据流建模

22.4.5 元数据存储库

22.5 结束语

参考文献