Docker使用Alluxio教程

= 什么是Alluxio？ =

Alluxio是一个基于内存的分布式文件系统，它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件，主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。

徐葳老师希望所有Docker虚拟机共享内存中的文件，这样就可以快速读取文件信息。搭出来的Alluxio是这样的。

[[Image:dashboard1.png]]

[[Image:dashboard_VM1.png]]

可以在 http://10.1.0.180:19999/home 看到

= 我们的Alluxio =

我们的Alluxio的底层存储系统有两个： Ceph与HDFS。利用Alluxio’s unified namespace有两个优势：

1）程序可以使用相同的命名空间和接口，在不同的底层存储系统中通信。程序和新的存储之间无缝结合。

2）仅需把数据在内存中加载一次，你的程序就能以不同类型的存储系统进行访问。

我们的Docker虚拟机默认连接的是Ceph。需要调用Alluxio的API才能把数据加载到内存中。例子是如何用Java在Ceph中读取/写入数据：

默认路径是/mnt/data，读取/写入数据请从新构造一个文件夹：

== Alluxio的位置 ==

cd /root/mesos/alluxio-1.5.0

== 我想要在Ceph写数据 ==

=== 用Java ===
import alluxio.client.file.*;
import alluxio.AlluxioURI;
// 获取文件系统客户端FileSystem实例
FileSystem fs = FileSystem.Factory.get();

// 构造Alluxio路径AlluxioURI实例
AlluxioURI path = new AlluxioURI("/myFile");

// 设置一些操作选项
// 设置文件块大小为128M
CreateFileOptions options = CreateFileOptions.defaults().setBlockSize(128 * Constants.MB);

// 创建一个文件并获取它的文件输出流FileOutStream实例
FileOutStream out = fs.createFile(path);

// 调用文件输出流FileOutStream实例的write()方法写入数据
out.write(...);

// 关闭文件输出流FileOutStream实例，结束写文件操作
out.close();

然后执行 javac -classpath /root/mesos/alluxio-1.5.0/client/flink/alluxio-1.5.0-flink-client.jar XXX.java 以及 java -cp .:client/flink/alluxio-1.5.0-flink-client.jar XXX

=== 用Python ===

首先需要pip install alluxio

import json
import sys
import alluxio
from alluxio import option
with client.open('/XXX.txt', 'w') as f:
f.write('Alluxio works with Python!\n')
with open(sys.argv[0]) as this_file:
f.write(this_file)

== 我想要在Ceph读数据 ==

=== 用Java ===
import alluxio.client.file.*;
import alluxio.AlluxioURI;
// 获取文件系统客户端FileSystem实例
FileSystem fs = FileSystem.Factory.get();

// 构造Alluxio路径AlluxioURI实例这个'/'默认在'/mnt/data'下
AlluxioURI path = new AlluxioURI("/myFile");

// 打开一个文件，获得文件输入流FileInStream（同时获得一个锁以防止文件被删除）
FileInStream in = fs.openFile(path);

// 调用文件输入流FileInStream实例的read()方法读数据
in.read(...);

// 关闭文件输入流FileInStream实例，结束读文件操作（同时释放锁）
in.close();

然后执行 javac -classpath /root/mesos/alluxio-1.5.0/client/flink/alluxio-1.5.0-flink-client.jar XXX.java 以及 java -cp .:client/flink/alluxio-1.5.0-flink-client.jar XXX

=== 用python ===

import json
import sys
import alluxio
from alluxio import option
with client.open('/XXX.txt', 'r') as f:
print f.read()

更多操作请参考： https://www.alluxio.org/docs/1.6/en/Clients-Python.html

== 我想要同时用Ceph跟HDFS ==
// 需要import
import alluxio.client.file.FileInStream;
import alluxio.client.file.FileOutStream;
import alluxio.client.file.FileSystem;
// 把HDFS mount到Alluxio
FileSystem fileSystem = FileSystem.Factory.get();
fileSystem.mount("/mnt/hdfs", "hdfs://10.10.0.1:9000/hdfs/data1");
// 从HDFS读取数据
AlluxioURI inputUri = new AlluxioURI("/mnt/hdfs/input.data");
FileInStream is = fileSystem.openFile(inputUri);
... // read data
is.close();
... // perform computation
// 写数据到HDFS
AlluxioURI outputUri = new AlluxioURI("/mnt/hdfs/output.data");
FileOutStream os = fileSystem.createFile(outputUri);
... // write data
os.close();

== 关于Alluxio的API reference ==

https://docs.oracle.com/javase/7/docs/api/java/nio/file/FileSystem.html

https://www.alluxio.org/docs/1.5/en/File-System-API.html

https://www.alluxio.com/blog/unified-namespace-allowing-applications-to-access-data-anywhere

== 我想要在Alluxio运行Hadoop ==
Hadoop被安装在10.1.0.1~10.1.0.10并有90T HDFS空间，需要运行Hadoop without Alluxio可以联系我 ctj2015@mail.tsinghua.edu.cn

因为Alluxio还在开发两个底层系统整合，所以如果有同学想要在Alluxio运行Hadoop，我需要在10.1.0.180里面修改alluxio-env.sh跟alluxio-site.properties里面的alluxio.underfs.address=hdfs://node-1:9000/hdfs/data1跟ALLUXIO_UNDERFS_ADDRESS=hdfs://node-1:9000/hdfs/data1并且关掉Ceph的ALLUXIO_UNDERFS_ADDRESS，有需求的同学也请联系我。

= 在Spark中运行Alluxio =
请自行搭建Spark之后的教程请参见： https://www.alluxio.org/docs/1.0/en/Running-Spark-on-Alluxio.html

= 用Tensorflow运行分布式GPU运算 =
首先你要记得在你申请Docker的时候，需要特别注明你的Docker虚拟机所在的物理机的IP，否则虽然建立起了多个Docker虚拟机但是还是在同一台机器的GPU进行计算反而会降低效率。
下面这个Excel表格是所有带GPU的服务器物理地址，以及他们虚拟机的公网IP

如何知道我的公网Ip？你可以ifconfig查询172地址然后找Excel找出对应的。

https://pan.baidu.com/s/1boIeM0B 密码是

[[Image:key.png]]

如果你修改了新的虚拟机的地址，请上传新的Excel表并且修改这里Wiki。

关于怎么用Tensorflow写分布式可以参见

https://learningtensorflow.com/lesson11/

Tensorflow的数据输入输出需要参考前面的Alluxio的输入输出来写，还有记得要写ssh-keygen -t rsa 让虚拟机进行无密码登录

File:Key.png

2017-11-20T12:27:25Z

Chentianjia:

File:Key1.png

2017-11-20T12:21:50Z

Chentianjia:

Instructor of Booting Alluxio

2017-11-20T12:19:34Z

Chentianjia: /* 对新的物理机的操作 */

本指导知道大家以及以后的我怎么在一台新的服务器上部署Alluxio服务

= 对于Docker的虚拟机 =

Docker虚拟机在咱们的网站http://10.1.1.1:81

申请虚拟机的时候在Json文件请填写"image": "10.1.0.180/alluxio/ubuntu_14.04.5:latest"即可。

= 对于一台新的物理机加到集群中 =

== 对新的物理机的操作 ==

首先你需要安装Java7或者8，安装nvidia驱动，

把物理机加入到Docker集群中

ssh root@10.1.1.4
cd /data/offlinesry/ansible
./add_slave 主机名 mesos

然后在网页以管理者身份登录

1) http://10.1.1.1:81/ui/auth/login

2) 点击student

3）添加主机把物理机加入到集群

需要把所有的虚拟机都绑定外网地址，这样他们才能跟Alluxio的Master180互通有无。下面是脚本：

import os
import re
import pexpect
import time
for i in range(1,31):
data=''
ii=i+XX
with open('/etc/sysconfig/network-scripts/ifcfg-enp3s0f0', 'r+') as f:
for line in f.readlines():
if(line.find('DEVICE') == 0):
line = 'DEVICE=%s' % ('ifcfg-enp3s0f0:%s' %i,) + '\n'
if(line.find('IPADDR') == 0):
line = 'DEVICE=%s' % ('10.1.X.%s' %ii,) + '\n'
data += line
file_object = open('/etc/sysconfig/network-scripts/ifcfg-enp3s0f0:%s' %i, 'w')
file_object.writelines(data)
file_object.close( )
其中XX跟X是虚拟机的IP地址，请在这个表格里面看还剩下什么IP地址。https://pan.baidu.com/s/1pLmivLh 。密码是

[[Image:key.png]]

然后记得重启网络，或者你可以用命令行加一个暂时的。然后是添加iptables

import os
import re
import pexpect
import time
for i in range(1,31):
ip=i+XX
ip2=i+1
ll='172.17.0.%s' %ip2
command1='iptables -t nat -A PREROUTING -d 10.1.3.%s -p tcp -m tcp --dport 1:65535 -j DNAT --to-destination %s:1-65535' %(ip,ll)
command2='iptables -t nat -A POSTROUTING -d %s -p tcp -m tcp --dport 1:65535 -j SNAT --to-source 172.17.0.1' %ll
command3='ifconfig enp3s0f0:%s 10.1.X.%s/16' %(i,ip)
os.system(command1)
os.system(command2)
os.system(command3)

跟上面一样XX跟X是虚拟机的IP地址。

需要打开的端口

[[Image:port.jpg]]

需要添加的hosts

https://pan.baidu.com/s/1bOm2wm

密码

[[Image:key1.png]]

如果你添加了新的虚拟机的地址，请上传新的Excel表并且修改这里Wiki与http://wiki.iiis.systems:9988/w/index.php/Alluxio_User_Guide 这两个链接

== 在Master中修改Alluxio配置 ==

我们需要Alluxio的Master (10.1.0.180)中添加Worker让他知道多了哪些节点。所以需要在

vim /root/mesos/alluxio-1.5.0/conf/workers

添加你的新的虚拟机IP地址，全部加上30个没关系，Alluxio会自行寻找哪些能通哪些不能通。

./bin/alluxio-stop.sh all
./bin/alluxio format
./bin/alluxio-start.sh all Mount

Instructor of Booting Alluxio

2017-11-20T12:15:08Z

Chentianjia: /* 对新的物理机的操作 */

本指导知道大家以及以后的我怎么在一台新的服务器上部署Alluxio服务

= 对于Docker的虚拟机 =

Docker虚拟机在咱们的网站http://10.1.1.1:81

申请虚拟机的时候在Json文件请填写"image": "10.1.0.180/alluxio/ubuntu_14.04.5:latest"即可。

= 对于一台新的物理机加到集群中 =

== 对新的物理机的操作 ==

首先你需要安装Java7或者8，安装nvidia驱动，

把物理机加入到Docker集群中

ssh root@10.1.1.4
cd /data/offlinesry/ansible
./add_slave 主机名 mesos

然后在网页以管理者身份登录

1) http://10.1.1.1:81/ui/auth/login

2) 点击student

3）添加主机把物理机加入到集群

需要把所有的虚拟机都绑定外网地址，这样他们才能跟Alluxio的Master180互通有无。下面是脚本：

import os
import re
import pexpect
import time
for i in range(1,31):
data=''
ii=i+XX
with open('/etc/sysconfig/network-scripts/ifcfg-enp3s0f0', 'r+') as f:
for line in f.readlines():
if(line.find('DEVICE') == 0):
line = 'DEVICE=%s' % ('ifcfg-enp3s0f0:%s' %i,) + '\n'
if(line.find('IPADDR') == 0):
line = 'DEVICE=%s' % ('10.1.X.%s' %ii,) + '\n'
data += line
file_object = open('/etc/sysconfig/network-scripts/ifcfg-enp3s0f0:%s' %i, 'w')
file_object.writelines(data)
file_object.close( )
其中XX跟X是虚拟机的IP地址，请在这个表格里面看还剩下什么IP地址。https://pan.baidu.com/s/1pLmivLh 。密码是

[[Image:key.png]]

然后记得重启网络，或者你可以用命令行加一个暂时的。然后是添加iptables

import os
import re
import pexpect
import time
for i in range(1,31):
ip=i+XX
ip2=i+1
ll='172.17.0.%s' %ip2
command1='iptables -t nat -A PREROUTING -d 10.1.3.%s -p tcp -m tcp --dport 1:65535 -j DNAT --to-destination %s:1-65535' %(ip,ll)
command2='iptables -t nat -A POSTROUTING -d %s -p tcp -m tcp --dport 1:65535 -j SNAT --to-source 172.17.0.1' %ll
command3='ifconfig enp3s0f0:%s 10.1.X.%s/16' %(i,ip)
os.system(command1)
os.system(command2)
os.system(command3)

跟上面一样XX跟X是虚拟机的IP地址。

需要打开的端口

[[Image:port.jpg]]

需要添加的hosts

10.1.1.1 srymaster1
10.1.1.2 srymaster2
10.1.1.3 srymaster3
10.1.0.150 sryslave1
10.1.0.156 sryslave2
10.1.0.157 sryslave3
10.1.0.158 sryslave4
10.1.0.159 sryslave5
10.1.0.160 sryslave6
10.1.0.161 sryslave7
10.1.0.162 sryslave8
10.1.0.163 sryslave9
10.1.0.165 sryslave11
10.1.0.168 sryslave12
10.1.0.169 sryslave13
10.1.0.170 sryslave14
10.1.0.171 sryslave15
10.1.0.172 sryslave16
10.1.0.175 sryslave17
10.1.0.176 sryslave18
10.1.0.177 sryslave19
10.1.0.178 sryslave20
10.1.0.179 sryslave21
10.1.0.164 sryslave10
10.1.0.180 sryslave22
10.1.0.173 sryslave23
10.1.0.141 sryslave24
10.1.0.140 sryslave25
10.1.0.139 sryslave26
10.1.0.143 sryslave27
10.1.0.138 sryslave28
10.1.0.136 sryslave29
10.1.0.137 sryslave30
10.1.0.200 sryslave31
10.1.1.4 logserver
10.10.0.1 node-1 node-1.domain.tld
10.10.0.2 node-2 node-2.domain.tld
10.10.0.3 node-3 node-3.domain.tld
10.10.0.4 node-4 node-4.domain.tld
10.10.0.5 node-5 node-5.domain.tld
10.10.0.6 node-6 node-6.domain.tld
10.10.0.7 node-7 node-7.domain.tld
10.10.0.8 node-8 node-8.domain.tld
10.10.0.9 node-9 node-9.domain.tld
10.10.0.10 node-10 node-10.domain.tld

如果你添加了新的虚拟机的地址，请上传新的Excel表并且修改这里Wiki与http://wiki.iiis.systems:9988/w/index.php/Alluxio_User_Guide 这两个链接

== 在Master中修改Alluxio配置 ==

我们需要Alluxio的Master (10.1.0.180)中添加Worker让他知道多了哪些节点。所以需要在

vim /root/mesos/alluxio-1.5.0/conf/workers

添加你的新的虚拟机IP地址，全部加上30个没关系，Alluxio会自行寻找哪些能通哪些不能通。

./bin/alluxio-stop.sh all
./bin/alluxio format
./bin/alluxio-start.sh all Mount

File:Port.jpg

2017-11-20T12:10:59Z

Chentianjia:

Instructor of Booting Alluxio

2017-11-20T12:10:35Z

Chentianjia: /* 对于一台新的物理机加到集群中 */

本指导知道大家以及以后的我怎么在一台新的服务器上部署Alluxio服务

= 对于Docker的虚拟机 =

Docker虚拟机在咱们的网站http://10.1.1.1:81

申请虚拟机的时候在Json文件请填写"image": "10.1.0.180/alluxio/ubuntu_14.04.5:latest"即可。

= 对于一台新的物理机加到集群中 =

== 对新的物理机的操作 ==

首先你需要安装Java7或者8，安装nvidia驱动，

把物理机加入到Docker集群中

ssh root@10.1.1.4
cd /data/offlinesry/ansible
./add_slave 主机名 mesos

然后在网页以管理者身份登录

1) http://10.1.1.1:81/ui/auth/login

2) 点击student

3）添加主机把物理机加入到集群

需要把所有的虚拟机都绑定外网地址，这样他们才能跟Alluxio的Master180互通有无。下面是脚本：

import os
import re
import pexpect
import time
for i in range(1,31):
data=''
ii=i+XX
with open('/etc/sysconfig/network-scripts/ifcfg-enp3s0f0', 'r+') as f:
for line in f.readlines():
if(line.find('DEVICE') == 0):
line = 'DEVICE=%s' % ('ifcfg-enp3s0f0:%s' %i,) + '\n'
if(line.find('IPADDR') == 0):
line = 'DEVICE=%s' % ('10.1.X.%s' %ii,) + '\n'
data += line
file_object = open('/etc/sysconfig/network-scripts/ifcfg-enp3s0f0:%s' %i, 'w')
file_object.writelines(data)
file_object.close( )
其中XX跟X是虚拟机的IP地址，请在这个表格里面看还剩下什么IP地址。https://pan.baidu.com/s/1pLmivLh 。密码是

[[Image:key.png]]

然后记得重启网络，或者你可以用命令行加一个暂时的。然后是添加iptables

import os
import re
import pexpect
import time
for i in range(1,31):
ip=i+XX
ip2=i+1
ll='172.17.0.%s' %ip2
command1='iptables -t nat -A PREROUTING -d 10.1.3.%s -p tcp -m tcp --dport 1:65535 -j DNAT --to-destination %s:1-65535' %(ip,ll)
command2='iptables -t nat -A POSTROUTING -d %s -p tcp -m tcp --dport 1:65535 -j SNAT --to-source 172.17.0.1' %ll
command3='ifconfig enp3s0f0:%s 10.1.X.%s/16' %(i,ip)
os.system(command1)
os.system(command2)
os.system(command3)

跟上面一样XX跟X是虚拟机的IP地址。

需要打开的端口

[[Image:port.jpg]]

如果你添加了新的虚拟机的地址，请上传新的Excel表并且修改这里Wiki与http://wiki.iiis.systems:9988/w/index.php/Alluxio_User_Guide 这两个链接

== 在Master中修改Alluxio配置 ==

我们需要Alluxio的Master (10.1.0.180)中添加Worker让他知道多了哪些节点。所以需要在

vim /root/mesos/alluxio-1.5.0/conf/workers

添加你的新的虚拟机IP地址，全部加上30个没关系，Alluxio会自行寻找哪些能通哪些不能通。

./bin/alluxio-stop.sh all
./bin/alluxio format
./bin/alluxio-start.sh all Mount

Instructor of Booting Alluxio

2017-11-20T12:03:49Z

Instructor of Booting Alluxio

2017-11-20T09:03:37Z

Chentianjia:

本指导知道大家以及以后的我怎么在一台新的服务器上部署Alluxio服务

= 对于Docker的虚拟机 =

Docker虚拟机在咱们的网站http://10.1.1.1:81

申请虚拟机的时候在Json文件请填写"image": "10.1.0.180/alluxio/ubuntu_14.04.5:latest"即可。

= 对于一台新的物理机加到集群中 =

== 对新的物理机的操作 ==

首先需要把所有的虚拟机都绑定外网地址，这样他们才能跟Alluxio的Master180互通有无。下面是脚本：

import os
import re
import pexpect
import time
for i in range(1,31):
data=''
ii=i+XX
with open('/etc/sysconfig/network-scripts/ifcfg-enp3s0f0', 'r+') as f:
for line in f.readlines():
if(line.find('DEVICE') == 0):
line = 'DEVICE=%s' % ('ifcfg-enp3s0f0:%s' %i,) + '\n'
if(line.find('IPADDR') == 0):
line = 'DEVICE=%s' % ('10.1.X.%s' %ii,) + '\n'
data += line
file_object = open('/etc/sysconfig/network-scripts/ifcfg-enp3s0f0:%s' %i, 'w')
file_object.writelines(data)
file_object.close( )
其中XX跟X是虚拟机的IP地址，请在这个表格里面看还剩下什么IP地址。https://pan.baidu.com/s/1pLmivLh 。密码是

[[Image:key.png]]

然后记得重启网络，或者你可以用命令行加一个暂时的。然后是添加iptables

import os
import re
import pexpect
import time
for i in range(1,31):
ip=i+XX
ip2=i+1
ll='172.17.0.%s' %ip2
command1='iptables -t nat -A PREROUTING -d 10.1.3.%s -p tcp -m tcp --dport 1:65535 -j DNAT --to-destination %s:1-65535' %(ip,ll)
command2='iptables -t nat -A POSTROUTING -d %s -p tcp -m tcp --dport 1:65535 -j SNAT --to-source 172.17.0.1' %ll
command3='ifconfig enp3s0f0:%s 10.1.X.%s/16' %(i,ip)
os.system(command1)
os.system(command2)
os.system(command3)

跟上面一样XX跟X是虚拟机的IP地址。

如果你添加了新的虚拟机的地址，请上传新的Excel表并且修改这里Wiki与http://wiki.iiis.systems:9988/w/index.php/Alluxio_User_Guide 这两个链接

== 在Master中修改Alluxio配置 ==

我们需要Alluxio的Master中添加Worker让他知道多了哪些节点。所以需要在

vim /root/mesos/alluxio-1.5.0/conf/workers

添加你的新的虚拟机IP地址，全部加上30个没关系，Alluxio会自行寻找哪些能通哪些不能通。

Alluxio User Guide

2017-11-20T08:50:10Z

Chentianjia:

Docker使用Alluxio教程

= 什么是Alluxio？ =

Alluxio是一个基于内存的分布式文件系统，它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件，主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。

徐葳老师希望所有Docker虚拟机共享内存中的文件，这样就可以快速读取文件信息。搭出来的Alluxio是这样的。

[[Image:dashboard1.png]]

[[Image:dashboard_VM1.png]]

可以在 http://10.1.0.180:19999/home 看到

= 我们的Alluxio =

我们的Alluxio的底层存储系统有两个： Ceph与HDFS。利用Alluxio’s unified namespace有两个优势：

1）程序可以使用相同的命名空间和接口，在不同的底层存储系统中通信。程序和新的存储之间无缝结合。

2）仅需把数据在内存中加载一次，你的程序就能以不同类型的存储系统进行访问。

我们的Docker虚拟机默认连接的是Ceph。需要调用Alluxio的API才能把数据加载到内存中。例子是如何用Java在Ceph中读取/写入数据：

默认路径是/mnt/data，读取/写入数据请从新构造一个文件夹：

== Alluxio的位置 ==

cd /root/mesos/alluxio-1.5.0

== 我想要在Ceph写数据 ==

=== 用Java ===
import alluxio.client.file.*;
import alluxio.AlluxioURI;
// 获取文件系统客户端FileSystem实例
FileSystem fs = FileSystem.Factory.get();

// 构造Alluxio路径AlluxioURI实例
AlluxioURI path = new AlluxioURI("/myFile");

// 设置一些操作选项
// 设置文件块大小为128M
CreateFileOptions options = CreateFileOptions.defaults().setBlockSize(128 * Constants.MB);

// 创建一个文件并获取它的文件输出流FileOutStream实例
FileOutStream out = fs.createFile(path);

// 调用文件输出流FileOutStream实例的write()方法写入数据
out.write(...);

// 关闭文件输出流FileOutStream实例，结束写文件操作
out.close();

然后执行 javac -classpath /root/mesos/alluxio-1.5.0/client/flink/alluxio-1.5.0-flink-client.jar XXX.java 以及 java -cp .:client/flink/alluxio-1.5.0-flink-client.jar XXX

=== 用Python ===

首先需要pip install alluxio

import json
import sys
import alluxio
from alluxio import option
with client.open('/XXX.txt', 'w') as f:
f.write('Alluxio works with Python!\n')
with open(sys.argv[0]) as this_file:
f.write(this_file)

== 我想要在Ceph读数据 ==

=== 用Java ===
import alluxio.client.file.*;
import alluxio.AlluxioURI;
// 获取文件系统客户端FileSystem实例
FileSystem fs = FileSystem.Factory.get();

// 构造Alluxio路径AlluxioURI实例这个'/'默认在'/mnt/data'下
AlluxioURI path = new AlluxioURI("/myFile");

// 打开一个文件，获得文件输入流FileInStream（同时获得一个锁以防止文件被删除）
FileInStream in = fs.openFile(path);

// 调用文件输入流FileInStream实例的read()方法读数据
in.read(...);

// 关闭文件输入流FileInStream实例，结束读文件操作（同时释放锁）
in.close();

然后执行 javac -classpath /root/mesos/alluxio-1.5.0/client/flink/alluxio-1.5.0-flink-client.jar XXX.java 以及 java -cp .:client/flink/alluxio-1.5.0-flink-client.jar XXX

=== 用python ===

import json
import sys
import alluxio
from alluxio import option
with client.open('/XXX.txt', 'r') as f:
print f.read()

更多操作请参考： https://www.alluxio.org/docs/1.6/en/Clients-Python.html

== 我想要同时用Ceph跟HDFS ==
// 需要import
import alluxio.client.file.FileInStream;
import alluxio.client.file.FileOutStream;
import alluxio.client.file.FileSystem;
// 把HDFS mount到Alluxio
FileSystem fileSystem = FileSystem.Factory.get();
fileSystem.mount("/mnt/hdfs", "hdfs://10.10.0.1:9000/hdfs/data1");
// 从HDFS读取数据
AlluxioURI inputUri = new AlluxioURI("/mnt/hdfs/input.data");
FileInStream is = fileSystem.openFile(inputUri);
... // read data
is.close();
... // perform computation
// 写数据到HDFS
AlluxioURI outputUri = new AlluxioURI("/mnt/hdfs/output.data");
FileOutStream os = fileSystem.createFile(outputUri);
... // write data
os.close();

== 关于Alluxio的API reference ==

https://docs.oracle.com/javase/7/docs/api/java/nio/file/FileSystem.html

https://www.alluxio.org/docs/1.5/en/File-System-API.html

https://www.alluxio.com/blog/unified-namespace-allowing-applications-to-access-data-anywhere

== 我想要在Alluxio运行Hadoop ==
Hadoop被安装在10.1.0.1~10.1.0.10并有90T HDFS空间，需要运行Hadoop without Alluxio可以联系我 ctj2015@mail.tsinghua.edu.cn

因为Alluxio还在开发两个底层系统整合，所以如果有同学想要在Alluxio运行Hadoop，我需要在10.1.0.180里面修改alluxio-env.sh跟alluxio-site.properties里面的alluxio.underfs.address=hdfs://node-1:9000/hdfs/data1跟ALLUXIO_UNDERFS_ADDRESS=hdfs://node-1:9000/hdfs/data1并且关掉Ceph的ALLUXIO_UNDERFS_ADDRESS，有需求的同学也请联系我。

= 在Spark中运行Alluxio =
请自行搭建Spark之后的教程请参见： https://www.alluxio.org/docs/1.0/en/Running-Spark-on-Alluxio.html

= 用Tensorflow运行分布式GPU运算 =
首先你要记得在你申请Docker的时候，需要特别注明你的Docker虚拟机所在的物理机的IP，否则虽然建立起了多个Docker虚拟机但是还是在同一台机器的GPU进行计算反而会降低效率。
下面这个Excel表格是所有带GPU的服务器物理地址，以及他们虚拟机的公网IP

如何知道我的公网Ip？你可以ifconfig查询172地址然后找Excel找出对应的。

https://pan.baidu.com/s/1pLmivLh 密码是

[[Image:key.png]]

如果你修改了新的虚拟机的地址，请上传新的Excel表并且修改这里Wiki。

关于怎么用Tensorflow写分布式可以参见

https://learningtensorflow.com/lesson11/

Tensorflow的数据输入输出需要参考前面的Alluxio的输入输出来写，还有记得要写ssh-keygen -t rsa 让虚拟机进行无密码登录

Instructor of Booting Alluxio

2017-11-20T08:45:09Z

Chentianjia:

本指导知道大家以及以后的我怎么在一台新的服务器上部署Alluxio服务

= 对于Docker的虚拟机 =

Docker虚拟机在咱们的网站http://10.1.1.1:81

申请虚拟机的时候在Json文件请填写"image": "10.1.0.180/alluxio/ubuntu_14.04.5:latest"即可。

= 对于一台新的物理机加到集群中 =

首先需要把所有的虚拟机都绑定外网地址，这样他们才能跟Alluxio的Master180互通有无。下面是脚本：

import os
import re
import pexpect
import time
for i in range(1,31):
data=''
ii=i+XX
with open('/etc/sysconfig/network-scripts/ifcfg-enp3s0f0', 'r+') as f:
for line in f.readlines():
if(line.find('DEVICE') == 0):
line = 'DEVICE=%s' % ('ifcfg-enp3s0f0:%s' %i,) + '\n'
if(line.find('IPADDR') == 0):
line = 'DEVICE=%s' % ('10.1.X.%s' %ii,) + '\n'
data += line
file_object = open('/etc/sysconfig/network-scripts/ifcfg-enp3s0f0:%s' %i, 'w')
file_object.writelines(data)
file_object.close( )
其中XX跟X是虚拟机的IP地址，请在这个表格里面看还剩下什么IP地址。https://pan.baidu.com/s/1pLmivLh 。密码是

[[Image:key.png]]

然后记得重启网络，或者你可以用命令行加一个暂时的。然后是添加iptables

import os
import re
import pexpect
import time
for i in range(1,31):
ip=i+XX
ip2=i+1
ll='172.17.0.%s' %ip2
command1='iptables -t nat -A PREROUTING -d 10.1.3.%s -p tcp -m tcp --dport 1:65535 -j DNAT --to-destination %s:1-65535' %(ip,ll)
command2='iptables -t nat -A POSTROUTING -d %s -p tcp -m tcp --dport 1:65535 -j SNAT --to-source 172.17.0.1' %ll
command3='ifconfig enp3s0f0:%s 10.1.X.%s/16' %(i,ip)
os.system(command1)
os.system(command2)
os.system(command3)

跟上面一样XX跟X是虚拟机的IP地址。

Instructor of Booting Alluxio

2017-11-20T07:03:08Z

Chentianjia:

Instructor of Booting Alluxio

2017-11-20T06:58:20Z

Chentianjia:

2017-11-17T08:44:51Z

2017-11-15T11:38:18Z

Chentianjia: /* 我想要在Alluxio运行Hadoop */

Alluxio User Guide

2017-11-15T11:37:12Z

Chentianjia: /* 我想要在Alluxio运行Hadoop */