Revision as of 16:37, 15 November 2017

Docker使用Alluxio教程

什么是Alluxio？

Alluxio是一个基于内存的分布式文件系统，它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件，主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。

徐葳老师希望所有Docker虚拟机共享内存中的文件，这样就可以快速读取文件信息。搭出来的Alluxio是这样的。

我们的Alluxio

我们的Alluxio的底层存储系统有两个： Ceph与HDFS。利用Alluxio’s unified namespace有两个优势：

1）程序可以使用相同的命名空间和接口，在不同的底层存储系统中通信。程序和新的存储之间无缝结合。

2）仅需把数据在内存中加载一次，你的程序就能以不同类型的存储系统进行访问。

我们的Docker虚拟机默认连接的是Ceph。需要调用Alluxio的API才能把数据加载到内存中。