Difference between revisions of "Instructor of Booting Alluxio"

From IIIS-Systems
Jump to: navigation, search
(→‎对于一台新的物理机加到集群中)
(→‎对新的物理机的操作)
Line 73: Line 73:
  
 
[[Image:port.jpg]]
 
[[Image:port.jpg]]
 +
 +
需要添加的hosts
 +
 +
10.1.1.1 srymaster1
 +
10.1.1.2 srymaster2
 +
10.1.1.3 srymaster3
 +
10.1.0.150 sryslave1
 +
10.1.0.156 sryslave2
 +
10.1.0.157 sryslave3
 +
10.1.0.158 sryslave4
 +
10.1.0.159 sryslave5
 +
10.1.0.160 sryslave6
 +
10.1.0.161 sryslave7
 +
10.1.0.162 sryslave8
 +
10.1.0.163 sryslave9
 +
10.1.0.165 sryslave11
 +
10.1.0.168 sryslave12
 +
10.1.0.169 sryslave13
 +
10.1.0.170 sryslave14
 +
10.1.0.171 sryslave15
 +
10.1.0.172 sryslave16
 +
10.1.0.175 sryslave17
 +
10.1.0.176 sryslave18
 +
10.1.0.177 sryslave19
 +
10.1.0.178 sryslave20
 +
10.1.0.179 sryslave21
 +
10.1.0.164 sryslave10
 +
10.1.0.180 sryslave22
 +
10.1.0.173 sryslave23
 +
10.1.0.141 sryslave24
 +
10.1.0.140 sryslave25
 +
10.1.0.139 sryslave26
 +
10.1.0.143 sryslave27
 +
10.1.0.138 sryslave28
 +
10.1.0.136 sryslave29
 +
10.1.0.137 sryslave30
 +
10.1.0.200 sryslave31
 +
10.1.1.4 logserver
 +
10.10.0.1  node-1  node-1.domain.tld
 +
10.10.0.2  node-2  node-2.domain.tld
 +
10.10.0.3  node-3  node-3.domain.tld
 +
10.10.0.4  node-4  node-4.domain.tld
 +
10.10.0.5  node-5  node-5.domain.tld
 +
10.10.0.6  node-6  node-6.domain.tld
 +
10.10.0.7  node-7  node-7.domain.tld
 +
10.10.0.8  node-8  node-8.domain.tld
 +
10.10.0.9  node-9  node-9.domain.tld
 +
10.10.0.10  node-10  node-10.domain.tld
  
 
如果你添加了新的虚拟机的地址，请上传新的Excel表并且修改这里Wiki与http://wiki.iiis.systems:9988/w/index.php/Alluxio_User_Guide 这两个链接
 
如果你添加了新的虚拟机的地址，请上传新的Excel表并且修改这里Wiki与http://wiki.iiis.systems:9988/w/index.php/Alluxio_User_Guide 这两个链接

Revision as of 20:15, 20 November 2017

本指导知道大家以及以后的我怎么在一台新的服务器上部署Alluxio服务

对于Docker的虚拟机

Docker虚拟机在咱们的网站http://10.1.1.1:81

申请虚拟机的时候在Json文件请填写"image": "10.1.0.180/alluxio/ubuntu_14.04.5:latest"即可。

对于一台新的物理机加到集群中

对新的物理机的操作

首先你需要安装Java7或者8，安装nvidia驱动，


把物理机加入到Docker集群中 

   ssh root@10.1.1.4
   cd /data/offlinesry/ansible
   ./add_slave  主机名  mesos

然后在网页以管理者身份登录

1) http://10.1.1.1:81/ui/auth/login

2) 点击student

3）添加主机把物理机加入到集群

需要把所有的虚拟机都绑定外网地址，这样他们才能跟Alluxio的Master180互通有无。下面是脚本： 

   import os
   import re
   import pexpect
   import time
   for i in range(1,31):
           data=
           ii=i+XX
           with open('/etc/sysconfig/network-scripts/ifcfg-enp3s0f0', 'r+') as f:
                   for line in f.readlines():
                           if(line.find('DEVICE') == 0):
                                   line = 'DEVICE=%s' % ('ifcfg-enp3s0f0:%s' %i,) + '\n'
                           if(line.find('IPADDR') == 0):
                                   line = 'DEVICE=%s' % ('10.1.X.%s' %ii,) + '\n'
                           data += line
           file_object = open('/etc/sysconfig/network-scripts/ifcfg-enp3s0f0:%s' %i, 'w')
           file_object.writelines(data)
           file_object.close( )

其中XX跟X是虚拟机的IP地址，请在这个表格里面看还剩下什么IP地址。https://pan.baidu.com/s/1pLmivLh 。密码是

Key.png

然后记得重启网络，或者你可以用命令行加一个暂时的。然后是添加iptables 

   import os
   import re
   import pexpect
   import time
   for i in range(1,31):
           ip=i+XX
           ip2=i+1
           ll='172.17.0.%s' %ip2
           command1='iptables -t nat -A PREROUTING -d 10.1.3.%s -p tcp -m tcp --dport 1:65535 -j DNAT --to-destination %s:1-65535' %(ip,ll)
           command2='iptables -t nat -A POSTROUTING -d %s -p tcp -m tcp --dport 1:65535 -j SNAT --to-source 172.17.0.1' %ll
           command3='ifconfig enp3s0f0:%s 10.1.X.%s/16' %(i,ip)
           os.system(command1)
           os.system(command2)
           os.system(command3)

跟上面一样XX跟X是虚拟机的IP地址。

需要打开的端口

Port.jpg

需要添加的hosts

10.1.1.1 srymaster1 10.1.1.2 srymaster2 10.1.1.3 srymaster3 10.1.0.150 sryslave1 10.1.0.156 sryslave2 10.1.0.157 sryslave3 10.1.0.158 sryslave4 10.1.0.159 sryslave5 10.1.0.160 sryslave6 10.1.0.161 sryslave7 10.1.0.162 sryslave8 10.1.0.163 sryslave9 10.1.0.165 sryslave11 10.1.0.168 sryslave12 10.1.0.169 sryslave13 10.1.0.170 sryslave14 10.1.0.171 sryslave15 10.1.0.172 sryslave16 10.1.0.175 sryslave17 10.1.0.176 sryslave18 10.1.0.177 sryslave19 10.1.0.178 sryslave20 10.1.0.179 sryslave21 10.1.0.164 sryslave10 10.1.0.180 sryslave22 10.1.0.173 sryslave23 10.1.0.141 sryslave24 10.1.0.140 sryslave25 10.1.0.139 sryslave26 10.1.0.143 sryslave27 10.1.0.138 sryslave28 10.1.0.136 sryslave29 10.1.0.137 sryslave30 10.1.0.200 sryslave31 10.1.1.4 logserver 10.10.0.1 node-1 node-1.domain.tld 10.10.0.2 node-2 node-2.domain.tld 10.10.0.3 node-3 node-3.domain.tld 10.10.0.4 node-4 node-4.domain.tld 10.10.0.5 node-5 node-5.domain.tld 10.10.0.6 node-6 node-6.domain.tld 10.10.0.7 node-7 node-7.domain.tld 10.10.0.8 node-8 node-8.domain.tld 10.10.0.9 node-9 node-9.domain.tld 10.10.0.10 node-10 node-10.domain.tld

如果你添加了新的虚拟机的地址，请上传新的Excel表并且修改这里Wiki与http://wiki.iiis.systems:9988/w/index.php/Alluxio_User_Guide 这两个链接

在Master中修改Alluxio配置

我们需要Alluxio的Master (10.1.0.180)中添加Worker让他知道多了哪些节点。所以需要在 

   vim /root/mesos/alluxio-1.5.0/conf/workers

添加你的新的虚拟机IP地址，全部加上30个没关系，Alluxio会自行寻找哪些能通哪些不能通。 

   ./bin/alluxio-stop.sh all
   ./bin/alluxio format
   ./bin/alluxio-start.sh all Mount
Retrieved from "http://wiki.iiis.systems:9988/w/index.php?title=Instructor_of_Booting_Alluxio&oldid=684"