Difference between revisions of "Instructor of Booting Alluxio"

From IIIS-Systems
Jump to: navigation, search
(对新的物理机的操作)
(对新的物理机的操作)
Line 76: Line 76:
 
需要添加的hosts
 
需要添加的hosts
  
10.1.1.1 srymaster1
+
https://pan.baidu.com/s/1bOm2wm
10.1.1.2 srymaster2
+
 
10.1.1.3 srymaster3
+
密码
10.1.0.150 sryslave1
+
 
10.1.0.156 sryslave2
+
[[Image:key1.png]]
10.1.0.157 sryslave3
+
10.1.0.158 sryslave4
+
10.1.0.159 sryslave5
+
10.1.0.160 sryslave6
+
10.1.0.161 sryslave7
+
10.1.0.162 sryslave8
+
10.1.0.163 sryslave9
+
10.1.0.165 sryslave11
+
10.1.0.168 sryslave12
+
10.1.0.169 sryslave13
+
10.1.0.170 sryslave14
+
10.1.0.171 sryslave15
+
10.1.0.172 sryslave16
+
10.1.0.175 sryslave17
+
10.1.0.176 sryslave18
+
10.1.0.177 sryslave19
+
10.1.0.178 sryslave20
+
10.1.0.179 sryslave21
+
10.1.0.164 sryslave10
+
10.1.0.180 sryslave22
+
10.1.0.173 sryslave23
+
10.1.0.141 sryslave24
+
10.1.0.140 sryslave25
+
10.1.0.139 sryslave26
+
10.1.0.143 sryslave27
+
10.1.0.138 sryslave28
+
10.1.0.136 sryslave29
+
10.1.0.137 sryslave30
+
10.1.0.200 sryslave31
+
10.1.1.4 logserver
+
10.10.0.1  node-1  node-1.domain.tld
+
10.10.0.2  node-2  node-2.domain.tld
+
10.10.0.3  node-3  node-3.domain.tld
+
10.10.0.4  node-4  node-4.domain.tld
+
10.10.0.5  node-5  node-5.domain.tld
+
10.10.0.6  node-6  node-6.domain.tld
+
10.10.0.7  node-7  node-7.domain.tld
+
10.10.0.8  node-8  node-8.domain.tld
+
10.10.0.9  node-9  node-9.domain.tld
+
10.10.0.10  node-10  node-10.domain.tld
+
  
 
如果你添加了新的虚拟机的地址,请上传新的Excel表并且修改这里Wiki与http://wiki.iiis.systems:9988/w/index.php/Alluxio_User_Guide 这两个链接
 
如果你添加了新的虚拟机的地址,请上传新的Excel表并且修改这里Wiki与http://wiki.iiis.systems:9988/w/index.php/Alluxio_User_Guide 这两个链接

Revision as of 20:19, 20 November 2017

本指导知道大家以及以后的我怎么在一台新的服务器上部署Alluxio服务

对于Docker的虚拟机

Docker虚拟机在咱们的网站http://10.1.1.1:81

申请虚拟机的时候在Json文件请填写"image": "10.1.0.180/alluxio/ubuntu_14.04.5:latest"即可。

对于一台新的物理机加到集群中

对新的物理机的操作

首先你需要安装Java7或者8,安装nvidia驱动,


把物理机加入到Docker集群中

   ssh root@10.1.1.4
   cd /data/offlinesry/ansible
   ./add_slave  主机名  mesos

然后在网页以管理者身份登录

1) http://10.1.1.1:81/ui/auth/login

2) 点击student

3)添加主机把物理机加入到集群

需要把所有的虚拟机都绑定外网地址,这样他们才能跟Alluxio的Master180互通有无。下面是脚本:

   import os
   import re
   import pexpect
   import time
   for i in range(1,31):
           data=
           ii=i+XX
           with open('/etc/sysconfig/network-scripts/ifcfg-enp3s0f0', 'r+') as f:
                   for line in f.readlines():
                           if(line.find('DEVICE') == 0):
                                   line = 'DEVICE=%s' % ('ifcfg-enp3s0f0:%s' %i,) + '\n'
                           if(line.find('IPADDR') == 0):
                                   line = 'DEVICE=%s' % ('10.1.X.%s' %ii,) + '\n'
                           data += line
           file_object = open('/etc/sysconfig/network-scripts/ifcfg-enp3s0f0:%s' %i, 'w')
           file_object.writelines(data)
           file_object.close( )

其中XX跟X是虚拟机的IP地址,请在这个表格里面看还剩下什么IP地址。https://pan.baidu.com/s/1pLmivLh 。密码是

Key.png

然后记得重启网络,或者你可以用命令行加一个暂时的。然后是添加iptables

   import os
   import re
   import pexpect
   import time
   for i in range(1,31):
           ip=i+XX
           ip2=i+1
           ll='172.17.0.%s' %ip2
           command1='iptables -t nat -A PREROUTING -d 10.1.3.%s -p tcp -m tcp --dport 1:65535 -j DNAT --to-destination %s:1-65535' %(ip,ll)
           command2='iptables -t nat -A POSTROUTING -d %s -p tcp -m tcp --dport 1:65535 -j SNAT --to-source 172.17.0.1' %ll
           command3='ifconfig enp3s0f0:%s 10.1.X.%s/16' %(i,ip)
           os.system(command1)
           os.system(command2)
           os.system(command3)

跟上面一样XX跟X是虚拟机的IP地址。

需要打开的端口

Port.jpg

需要添加的hosts

https://pan.baidu.com/s/1bOm2wm

密码

Key1.png

如果你添加了新的虚拟机的地址,请上传新的Excel表并且修改这里Wiki与http://wiki.iiis.systems:9988/w/index.php/Alluxio_User_Guide 这两个链接

在Master中修改Alluxio配置

我们需要Alluxio的Master (10.1.0.180)中添加Worker让他知道多了哪些节点。所以需要在

   vim /root/mesos/alluxio-1.5.0/conf/workers

添加你的新的虚拟机IP地址,全部加上30个没关系,Alluxio会自行寻找哪些能通哪些不能通。

   ./bin/alluxio-stop.sh all
   ./bin/alluxio format
   ./bin/alluxio-start.sh all Mount