基于Apache Spark的流处理 word 网盘 高速 下载地址大全 免费

学习流处理的基本概念、研究各种流处理架构。 通过具体实例来研究Structured Streaming、深入理解流处理概念。 通过Spark Streaming创建并管理流作业，使用其他Spark API与Spark Streaming集成。 学习Spark Streaming高级技巧，包括近似算法和机器学习算法。 将Apache Spark与其他流处理项目比较，包括Apache Storm、Apache Flink和Apache Kafka Streams。

序 1 前言 3 第一部分 Apache Spark 流处理的基本原理 第1 章 流处理概述 13 什么是流处理 14 批处理与流处理 15 流处理中的时间概念 15 不确定性因素 16 流处理案例 16 可扩展的数据处理能力 18 扩展性与容错性 19 分布式流处理 19 Apache Spark 概述 20 第一波浪潮：函数式API 20 第二波浪潮：SQL 21 统一的引擎21 Spark 组件 22 Spark Streaming 23 Structured Streaming 23 接下来？ 24 第2 章 流处理模型 25 数据源与接收器 26 不可变流 27 转换与聚合 27 窗口聚合 28 滚动窗口 28 滑动窗口 29 无状态处理与有状态处理 29 有状态的流 30 案例：Scala 中的本地状态计算 31 无状态流，还是有状态流？ 33 时间效应 33 带时间戳的事件计算 33 通过时间戳来定义时间概念 34 事件时间与处理时间 34 使用水位线计算 37 小结 39 第3 章 流处理架构 41 数据平台的组件 41 体系模型 43 在流处理应用中使用批处理组件 44 流处理架构参考 45 Lambda 架构 45 Kappa 架构 46 流处理算法与批处理算法 47 流处理算法有时候本质上与批处理算法完全不同 47 流处理算法难以保证比批处理算法表现更好 48 小结 50 第4 章 流处理引擎Apache Spark 51 两种API 的由来 51 Spark 的内存使用 52 故障恢复 53 惰性执行 53 缓存使用建议 53 延迟 54 面向吞吐的数据处理 55 Spark 的多语言API 55 快速实现数据分析 56 更多关于Spark 的内容 57 小结 57 第5 章 Spark 分布式处理模型 59 通过集群管理器来运行Apache Spark 59 Spark 的集群管理器 61 分布式系统的弹性与容错 62 故障恢复 63 集群管理器对容错的支持 63 数据交付语义 64 微批处理与一次处理一个 66 微批处理：整体同步处理应用案例 66 一次处理一个 68 微批与一次处理一个：权衡 68 微批处理与一次处理一个方式地结合 69 动态的批次间隔 69 Structured Streaming 处理模型 69 第6 章 Spark 弹性模型 71 Spark 中的弹性分布式数据集 71 Spark 组件 73 Spark 容错保证 75 Task 失败恢复 76 stage 失败恢复 77 Driver 失败恢复 77 小结 78 参考文献 81 第二部分 Structured Streaming 第7 章 Structured Streaming 概述 87 学习Structured Streaming 之前 88 批处理分析 89 流分析 92 连接Stream 93 准备流数据93 流式Dataset 操作 94 创建查询（Query） 95 启动流处理96 浏览数据 97 小结 97 第8 章 Structured Streaming 编程模型 99 初始化Spark 实例 100 source：接收流数据 100 流数据的转换 102 sink：输出结果数据 105 format 106 outputMode 107 queryName 107 option 108 options 108 trigger 108 start() 109 小结 109 第9 章 Structured Streaming 实战 111 消费流source 112 程序逻辑 114 写入流sink 114 小结 116 第10 章 Structured Streaming 的Source 117 source 概述 117 可靠的source 需要能够重放数据 118 source 需要提供schema 119 可用的source 121 文件source 122 指定文件格式 122 公共配置 123 常用的文本解析配置项（CSV、JSON） 124 JSON 文件source 125 CSV 文件source127 Parquet 文件source 128 文本文件source 128 Kafka source 129 创建Kafka source 130 选择订阅主题的方法 131 Kafka source 的配置项 132 Kafka 消费者的配置项 133 Socket source 134 配置 135 操作 136 Rate source 136 第11 章 Structured Streaming 的Sink 139 sink 概述 139 可用的sink 140 可靠的sink 140 实验型sink 141 sink API 141 深入学习sink 141 文件sink 142 在文件sink 中使用触发器 143 文件格式的通用配置项 145 常见的时间和日期格式化设置（CSV、JSON） 146 CSV 文件sink 146 JSON 文件sink 147 Parquet 文件sink 148 文本文件sink 148 Kafka sink 148 Kafka 发布模型 148 Kafka sink 的使用 149 内存sink 152 控制台sink 153 配置项 153 输出模式 153 Foreach sink 154 ForeachWriter 接口 154 TCP Writer sink: ForeachWriter 使用案例 155 案例总结 158 ForeachWriter 序列化问题排查 159 第12 章 基于事件时间的流处理 161 Structured Streaming 中的事件时间 161 事件时间 163 处理时间 164 水位线 164 基于时间的窗口聚合 165 基于时间的窗口定义 166 如何计算间隔 167 多维聚合 167 滚动窗口和滑动窗口 168 记录去重 170 小结 170 第13 章 高级状态操作 173 案例：车队管理 174 分组状态操作 174 使用MapGroupsWithState 176 使用FlatMapGroupsWithState 180 输出模式 182 管理状态的时变性 183 小结 186 第14 章 Structured Streaming 应用监控 187 Spark 指标子系统 188 StreamingQuery 实例 189 StreamingQueryListener 接口 192 第15 章 实验性模块：连续处理与机器学习 195 连续处理 195 连续处理介绍 195 使用连续处理 197 局限性 198 机器学习 199 学习与应用199 在流中使用机器学习模型 200 案例：利用环境传感器估计房间使用情况 201 在线训练 204 参考文献 207 第三部分 Spark Streaming 第16 章 Spark Streaming 概述 213 DStream 抽象 214 基于DStream 的编程模型 214 基于DStream 的执行模型 216 Spark Streaming 程序结构 216 创建Spark Streaming Context 217 定义DStream 218 定义输出操作 218 启动Spark Streaming Context 218 停止Streaming 进程 219 小结 219 第17 章 Spark Streaming 编程模型 221 RDD，DStream 的底层抽象 221 DStream 转换操作 224 元素级别的DStream 转换 226 RDD 级别的DStream 转换228 Count 操作 229 修改结构的转换操作 230 小结 231 第18 章 Spark Streaming 执行模型 233 整体同步架构 233 Receiver 模型 235 Receiver API 235 Receiver 工作流程 236 Receiver 数据流 237 内部的数据弹性 238 Receiver 的并行 239 资源平衡：Receiver 与处理核数 239 通过预写式日志（Write-Ahead Log）达到零数据丢失 240 无Receiver（Direct）模式 241 小结 242 第19 章 Spark Streaming 的Source 245 source 分类 245 基础source 246 基于Receiver 模式的source 246 基于Direct 模式的source 247 常用source 247 文件source 248 队列source 251 工作流程 252 使用队列source 进行单元测试 252 队列source 的简单替代方案：ConstantInputDStream 254 Socket source 256 Kafka source 258 使用Kafka source 260 工作流程 261 哪里有更多的source 262 第20 章 Spark Streaming 的Sink 263 输出操作 263 内置的输出操作 265 print 266 saveAs 系列 266 foreachRDD 268 使用foreachRDD 编写自定义sink 268 第三方输出操作 271 第21 章 基于时间的流处理 273 窗口聚合 273 滚动窗口 274 滑动窗口 275 滑动窗口与批次间隔 275 滑动窗口与滚动窗口 276 使用窗口还是较长的批次间隔 276 窗口上的reduce 操作 277 reduceByWindow 278 reduceByKeyAndWindow 278 countByWindow 278 countByValueAndWindow 279 可逆的窗口聚合操作 279 流的分片 281 小结 281 第22 章 任意有状态的流处理 283 流的状态性 283 updateStateByKey 284 updateStateByKey 的局限性 286 性能 286 内存占用 287 使用mapwithState 进行有状态的计算 287 使用mapWithState 289 使用mapWithState 进行基于事件时间的流计算 291 第23 章 使用Spark SQL 295 Spark SQL 296 在Spark Streaming 中使用Spark SQL 函数 297 静态数据处理 301 Join 优化 304 更新流处理程序中的参考数据集 307 小结 309 第24 章 checkpoint 机制 311 checkpoint 的使用 312 DStream 的checkpoint 机制 317 从checkpoint 中恢复 318 checkpoint 的代价 320 checkpoint 调优 320 第25 章 Spark Streaming 应用监控 323 Streaming UI 324 通过Streaming UI 了解作业性能 326 输入速率图326 调度延迟图327 处理时间图328 总延迟图 328 批次细节 329 监控REST API 331 监控REST API 的使用 331 监控REST API 详解 331 指标子系统 333 内部事件总线 335 小结 339 第26 章 性能调优 341 Spark Streaming 中的性能平衡 341 批次间隔与处理延迟的关系 342 作业是如何失败的 342 深入理解调度延迟和处理延迟 343 checkpoint 对处理时间的影响 344 影响作业性能的外部因素 345 如何提高性能 345 调整批次间隔 346 以固定速率对数据摄入限流 346 反压 347 动态限流 348 PID 反压调优 349 自定义速率估算器 349 另一种动态处理策略 350 缓存 350 推测执行 352 参考文献 353 第四部分 Spark Streaming 高级技巧 第27 章 流式近似与抽样算法 357 准确性、实时性与大数据 358 准确性 358 实时处理 358 大数据 359 准确性、实时性与大数据之间的三角关系 359 近似算法 362 哈希与素描 362 去重统计：HyperLogLog 363 角色扮演练习：假如我们是系统管理员 364 HyperLogLog 在Spark 中的实践 367 统计元素频率：Count-min Sketch 371 布隆过滤器概述 372 在Spark 中使用布隆过滤器 373 使用Count-min Sketch 统计频率 373 排名与分位数：T-Digest 算法 376 减少元素数量：抽样 378 随机抽样 379 分层抽样 380 第28 章 实时机器学习 381 利用朴素贝叶斯进行流分类 382 streamDM 介绍384 朴素贝叶斯实践案例 385 训练一个电影评论分类器 386 决策树介绍 387 Hoeffding 树 389 使用在线K-means 进行流聚类 392 K-means 聚类 392 在线数据与在线K-means 算法 393 聚类的衰退问题 394 使用Spark Streaming 运行流式K-means 396 参考文献 399 第五部分 Apache Spark 之外的世界 第29 章 其他分布式实时流处理系统 405 Apache Storm 405 编程模型 406 Storm 拓扑 406 Storm 集群 407 与Spark 相比 407 Apache Flink 408 流处理优先的框架 408 与Spark 相比 409 Kafka Streams 409 Kafka Streams 编程模型 410 与Spark 相比 410 云上的流处理系统 411 AWS 上的Amazon Kinesis 411 微软的Azure Stream Analytics 412 Apache Beam 和Google Cloud Dataflow 413 第30 章 展望 417 紧随Spark 项目 418 在Stack Overflow 上寻求帮助 418 在邮件列表中进行讨论 418 参加会议 419 参加交流会 419 贡献Apache Spark 项目 419 参考文献 421 作者介绍 423 封面介绍 423

Gerard Mass是Lightbend的首席工程师，致力于将Structured Streaming与流处理扩展技术无缝集成到Lightbend平台中。 François Garillot在Facebook从事于分布式计算相关工作。曾在Lightbend从事Spark Streaming反压机制研究，同时拥有巴黎综合理工学院的博士学位。

暂无其它内容！

暂时还没有人为这本书评论！