失效链接处理 |
Alluxio:大数据统一存储原理与实践 PDF 下载
本站整理下载:
版权归出版社和原作者所有,链接已删除,请购买正版
用户下载说明:
电子版仅供预览,下载后24小时内务必删除,支持正版,喜欢的请购买正版书籍:
http://product.dangdang.com/27908740.html
相关截图:
资料简介: Alluxio 这一以内存为中心的分布式虚拟文件系统,*初诞生于加州大学伯克利分校的 AMPLab,其开源社区在目前大数据生态系统中发展很快。本书以广泛使用的 Alluxio 1.8.1 版本为基础进行编写,是一本全面介绍 Alluxio 相关技术原理与实践案例的书籍。本书主要内容包括 Alluxio 系统快速入门、Alluxio 系统架构及读写工作机制、Alluxio 与底层存储系统的集成、Alluxio 与上层计算框架的集成、Alluxio 基本功能和高级功能的介绍与使用。此外,本书还详细介绍了 Alluxio 的应用案例与生产实践,并详细解读了 Alluxio 的核心框架和技术应用,旨在为大数据从业人员和大数据存储技术爱好者提供一个深入学习的平台,也可用作开源社区开发者指南。 资料目录: 第 1 章 Alluxio 系统快速入门 ............................................................................................. 1 1.1 Alluxio 背景概述 ..................................................................................................... 1 1.1.1 Alluxio 系统功能简介 ................................................................................. 4 1.1.2 Alluxio 项目发展历史 ................................................................................. 5 1.2 获取/编译 Alluxio 软件 ........................................................................................... 6 1.2.1 下载预编译的 Alluxio 可执行包 ................................................................ 6 1.2.2 编译 Alluxio 源代码 .................................................................................... 6 1.3 Alluxio 的搭建部署及程序运行 ........................................................................... 10 1.3.1 单机模式 .................................................................................................... 10 1.3.2 集群模式 .................................................................................................... 13 1.3.3 高可用集群模式 ........................................................................................ 16 第 2 章 Alluxio 系统架构及读写工作机制 ....................................................................... 22 2.1 Alluxio 的构架简介与基本特征 ........................................................................... 22 2.1.1 提升远程存储读写性能 ............................................................................ 23 2.1.2 统一持久化数据访问接口 ........................................................................ 24 2.1.3 数据的快速复用和共享 ............................................................................ 26 2.2 Alluxio 的系统功能组件 ....................................................................................... 27 2.2.1 Alluxio Master 组件 ................................................................................... 27 2.2.2 Alluxio Worker 组件 .................................................................................. 29 2.2.3 Alluxio Client 组件 .................................................................................... 30 2.3 Alluxio 读写场景的行为分析 ............................................................................... 31 2.3.1 Alluxio 的读场景数据流 ........................................................................... 31 2.3.2 Alluxio 的写场景数据流 ........................................................................... 37 第 3 章 Alluxio 与底层存储系统的集成 ........................................................................... 40 3.1 配置 HDFS 作为 Alluxio 底层存储 ...................................................................... 40 3.1.1 准备步骤与基本配置流程 ........................................................................ 41 3.1.2 高级参数配置 ............................................................................................ 43 3.1.3 使用 HDFS 在本地运行 Alluxio ............................................................... 44 3.2 配置 Secure HDFS 作为 Alluxio 底层存储 .......................................................... 44 3.2.1 准备步骤与基本配置流程 ........................................................................ 45 3.2.2 使用安全认证模式 HDFS 在本地运行 Alluxio ....................................... 46 3.3 配置 AWS S3 作为 Alluxio 底层存储 .................................................................. 47 3.3.1 准备步骤与基本配置流程 ........................................................................ 47 3.3.2 高级参数配置 ............................................................................................ 49 3.3.3 使用 S3 在本地运行 Alluxio ..................................................................... 51 3.4 配置 Google GCS 作为 Alluxio 底层存储 ........................................................... 52 3.4.1 准备步骤与基本配置流程 ........................................................................ 52 3.4.2 高级参数配置 ............................................................................................ 53 3.4.3 使用 GCS 本地运行 Alluxio ..................................................................... 54 3.5 配置 Azure BLOB Store 作为 Alluxio 底层存储系统 ........................................ 55 3.5.1 准备步骤与基本配置流程 ........................................................................ 55 3.5.2 使用 Azure BLOB Store 本地运行 Alluxio .............................................. 57 第 4 章 Alluxio 与上层计算框架的集成 ........................................................................... 58 4.1 Alluxio 的管理员操作命令 ................................................................................... 58 4.1.1 操作命令列表 ............................................................................................ 59 4.1.2 操作命令示例 ............................................................................................ 59 4.2 Alluxio 的用户操作命令 ....................................................................................... 61 4.2.1 操作命令列表 ............................................................................................ 62 4.2.2 操作命令示例 ............................................................................................ 65 4.3 Alluxio 与 Hadoop 操作命令行的集成 ................................................................ 78 4.3.1 前期准备与配置 ........................................................................................ 78 4.3.2 具体使用示例 ............................................................................................ 79 4.4 Alluxio 与 Hadoop MapReduce 的集成 ................................................................ 79 4.4.1 前期准备与配置 ........................................................................................ 80 4.4.2 具体使用示例 ............................................................................................ 82 4.5 Alluxio 与 Spark 的集成 ....................................................................................... 83 4.5.1 前期准备与配置 ........................................................................................ 83 4.5.2 使用 Alluxio 作为输入/输出源 ................................................................. 85 4.5.3 Alluxio 与 Spark 集成常见问题分析与解决 ............................................ 86 4.6 Alluxio 与 Hive 的集成 ......................................................................................... 89 4.6.1 安装并配置 Hive 环境 .............................................................................. 89 4.6.2 使用 Alluxio 存储部分 Hive 表 ................................................................ 90 4.6.3 使用 Alluxio 作为默认文件系统(存储全部数据) .............................. 93 4.6.4 检查 Hive 和 Alluxio 的集成情况(支持 Hive 2.x) ............................. 95 4.7 Alluxio 与 Presto 的集成 ....................................................................................... 96 4.7.1 前期准备 .................................................................................................... 96 4.7.2 部署分发 Alluxio 客户端 jar 包 ................................................................ 98 4.7.3 Presto 操作命令示例 ................................................................................. 98 4.8 Alluxio 与 TensorFlow 的集成 ........................................................................... 100 4.8.1 深度学习面临的数据挑战 ...................................................................... 100 4.8.2 基于 Alluxio |