《大数据技术及架构图解实战派》pdf 电子书提供了学习大数据技术及架构的一站式解决方案,覆盖了大数据生态圈中的完整技术体系,包含以下内容。
一、数据采集
日志数据采集工具(Flume 、Logstash、Filebeat )
数据库数据采集工具(离线采集工具——Sqoop、DataX,实时数据采集工具——Canal、Maxwell
网页数据采集工具
物联网数据采集工具
消息队列中间件
二、数据存储
分布式文件存储之HDFS
NoSQL数据库之HBase
NoSQL数据库之Redis
三、离线数据计算
离线计算引擎MapReduce
离线计算引擎Spark
四、实时数据计算
实时计算引擎Storm
实时计算引擎Spark Streaming
新一代实时计算引擎Flink
五、OLAP数据分析
离线OLAP引擎(Hive、Impala、Kylin)
实时OLAP引擎(Druid、ClickHouse、Doris)
六、全文检索引擎
Lucene
Solr
Elasticsearch
七、分布式任务调度系统
Azkaban
Ooize
DolphinScheduler
八、分布式资源管理
YARN的原理、架构
YARN中的资源调度器
【实战】配置和使用YARN多资源队列
九 、大数据平台搭建工具
大数据平台工具HDP
大数据平台工具CDH
大数据平台工具CDP
推荐理由
(1)体系完整,内容丰富。
(2)从零起步,循序渐进。
(3)大量插图,易于理解。
(4)丰富的实战案例。
(5)衔接运维,无须担心大数据集群环境问题。
(6)丰富的大数据架构案例。
本书还介绍了多个企业级大数据应用案例(包括海量数据采集、“双十一”数据大屏、海量数据全文搜索系统等)和大数据平台架构案例(包括离线数据仓库架构、实时数据仓库架构、批流一体化数据仓库架构、数据中台架构、直播大数据平台架构、电商大数据平台架构等),可以帮助读者从全局角度理解大数据。
在本书中,技术内容基本上都是从零讲起的,结合原理和架构,以“图解 实战”的形式帮助读者轻松理解复杂的知识。