分布式统一大数据虚拟文件系统——Alluxio原理、技术与实践

本书由alluo开源技术专家与领域知名学者撰写，围绕知名开源alluo系统介绍分布式文件系统的特与实际案例，主要内容包括系统入门与使用、内核组件设计实现，同时详细介绍了大型企业应用案例与实践，并附有alluo的开源社区开发者指南。本书为alluo开源社区用户、高校大数据系统课程师生以及潜在企业用户提供了较为完整的技术指南和实用教程，既可作为大数据存储相关课程的专业实用教材，也可作为alluo开源系统的大数据从业者和研究者的重要技术书籍。 本书分为基础篇、进阶篇、实战篇，共15章内容，主要内容包括 Alluxio 总体介绍与快速入门、 Alluxio 核心功能服务、Alluxio 与底层存储系统的集成、Alluxio 与上层计算框架的集成、 Alluxio 基本使用与运维操作、Alluxio主节点原理与元数据管理、Alluxio工作节点原理与文件数据管理、Alluxio客户端原理与高级接口、Alluxio底层存储管理与拓展、Alluxio Job Service的工作原理、Alluxio的系统配置优化、Alluxio与云原生环境的集成、Alluxio Hub 系统运维管理平台、Alluxio的应用案例与生产实践、Alluxio的开源社区开发者指南。

序 前言 第1章　Alluxio总体介绍与快速入门 1.1　Alluxio的发展背景与系统概览 1.1.1　Alluxio Master组件 1.1.2　Alluxio Worker组件 1.1.3　Alluxio Job Service组件 1.1.4　数据读写流程 1.2　 Alluxio配置部署与程序运行 1.2.1　获取/编译Alluxio系统 1.2.2　单机模式安装部署 1.2.3　集群模式安装部署 1.2.4　Alluxio服务启停操作 第2章　Alluxio的核心功能服务 2.1　文件系统统一命名空间 2.1.1　统一命名空间概览 2.1.2　挂载底层存储系统 2.1.3　与底层存储系统元数据同步 2.1.4　使用示例 2.2　层级存储与数据缓存 2.2.1　存储结构概览 2.2.2　Alluxio层级存储 2.2.3　Alluxio的数据副本管理机制 2.2.4　使用示例 2.3　Alluxio与HDFS/POSIX接口存储系统的集成 2.3.1　HDFS底层存储连接器的基本原理 2.3.2　配置HDFS作为Alluxio的底层存储 2.3.3　配置CephFS作为Alluxio的底层存储 2.3.4　配置NFS作为Alluxio的底层存储 2.4　Alluxio与对象存储系统的集成 2.4.1　对象类型底层存储连接器的基本原理 2.4.2　配置AWS S3作为Alluxio的底层存储 2.4.3　配置阿里云OSS作为Alluxio的底层存储 2.4.4　配置Apache Ozone作为Alluxio的底层存储 2.4.5　配置Swift作为Alluxio的底层存储 2.5　新增底层存储连接模块的集成方法 2.5.1　客户端常见操作与底层存储 连接器的交互 2.5.2　底层存储连接器的加载机制 2.5.3　底层存储连接器的管理方式 2.5.4　新增底层存储连接器的示例 2.6　 Alluxio与大数据计算框架的集成 2.6.1　与Apache Spark并行计算 框架集成45 2.6.2　与Kubernetes中的Spark并 行计算框架集成48 2.6.3　与Apache Flink并行计算 框架集成 2.7　 Alluxio与大数据查询系统的集成 2.7.1　与Hive数据仓库集成 2.7.2　与Presto数据仓库集成 2.8　 Alluxio与深度学习框架的集成 第3章　Alluxio的基本使用与运维操作 3.1　Alluxio的重要操作命令 3.1.1　管理员操作命令 3.1.2　用户操作命令 3.1.3　常用的编程API 3.1.4　Web界面展示与操作 3.2　Alluxio的挂载点运维 3.3　Alluxio的元数据同步和备份运维 3.3.1　元数据同步的配置 3.3.2　自动/手动生成备份和从备份恢复集群 3.4　Journal日志和高可用运维 3.4.1　UFS Journal模式配置方式 3.4.2　Embedded Journal模式配置方式 3.4.3　自动/手动生成Checkpoint 3.4.4　高可用集群的部署与配置更改 3.4.5　Master节点的添加/移除和Primary Master的切换 3.4.6　客户端配置连接高可用Master 3.5　Alluxio的不同配置方式 3.5.1　Alluxio的配置方式和生效优先级 3.5.2　Alluxio客户端配置方式 3.5.3　Alluxio集群配置方式 3.5.4　查看配置项 3.6　Alluxio的Log日志运维 3.6.1　Log日志位置 3.6.2　改变Log日志等级 3.6.3　Alluxio的集群指标 3.7　Job Service使用和查询运维 3.7.1　用命令行查询作业状态 3.7.2　作业执行Log 日志跟踪 3.8　Alluxio的安全认证与权限控制 3.8.1　安全认证模式 3.8.2　 访问权限控制 3.8.3　 用户模拟功能 3.8.4　审计日志功能 第4章　Alluxio元数据管理与主节点原理 4.1　Alluxio Master核心功能概览 4.2　Master组件的元数据管理 4.2.1　Master对元数据的管理 4.2.2　文件/数据块元数据示例 4.2.3　元数据存储在堆上—HEAP模式 4.2.4　元数据存储在堆外—ROCKS模式 4.3　Alluxio的统一命名空间和底层存储管理 4.3.1　Alluxio的数据挂载功能 4.3.2　Alluxio的文件生命周期 4.3.3　Alluxio的一致性模型 4.3.4　Alluxio与底层存储的元数据/数据同步 4.4　Journal日志和高可用 4.4.1　Alluxio的元数据状态和重要性质 4.4.2　Alluxio的Journal日志内容 4.4.3　Journal日志的Checkpoint操作 4.4.4　基于底层存储的UFS Journal

顾荣 南京大学特聘研究员，博导，Fluid开源项目社区主席，Alluxio开源项目PMC成员。主要研究方向为云计算与大数据系统，发表相关论文60余篇，包括一流会议/期刊USENIX ATC、ICDE、WWW、VLDBJ、TPDS等。主持国家自然科学基金面上项目/青年项目、国家重点研发计划子课题、中国博士后科学基金特别资助项目，以及大型企业创新基金项目等10余项，获江苏省科学技术一等奖、IEEE可扩展计算委员会杰出早期职业学者奖、中国信通院OSCAR尖峰开源人物奖、阿里巴巴优秀学术合作项目奖、华为公司火花奖、腾讯云最具价值专家奖、南京大学青年五四奖章等。 刘嘉承 Alluxio资深开发工程师，Alluxio开源社区PMC成员和Maintainer，Alluxio元数据模块技术负责人之一，在Alluxio的大规模场景优化方面做了大量深入扎实的工作。主导推动了Alluxio核心工程团队和中国社区的合作开发，深度参与了Alluxio全球多个旗舰用户/客户场景中的落地，并为其在大规模安全生产过程中部署使用Alluxio保驾护航。 毛宝龙 腾讯Alluxio开源协同团队负责人，同时也是Alluxio开源社区PMC成员和Maintainer及Apache Ozone社区Committer，是Alluxio开源社区JNI-FUSE、Ozone、CephFS、COSN等多个模块的创建者和维护者，也是高低水位异步缓存清理服务、动态配置更新框架、ratis-shell HA工具研发和集成等功能特性的开发者。他多年持续参与Alluxio、Ozone、HDFS、Ratis 等存储领域开源社区的研发工作，同时也将Alluxio 等开源技术广泛应用在多个知名互联网公司。

暂无其它内容！

暂时还没有人为这本书评论！