Difference between revisions of "K8S User Guide"

From IIIS-Systems
Jump to: navigation, search
(下载yaml文件)
(k8s常见问题及反馈)
 
(23 intermediate revisions by the same user not shown)
Line 1: Line 1:
 
= K8S用户指南 =
 
= K8S用户指南 =
 
 
== 下载yaml文件 ==
 
  
为了便于用户通过yaml文件在K8S下申请及使用资源,特提供常见需求对应的yaml文件,用户可以根据自己的需求,下载相应yaml文件,也可以修改yaml文件内容。
+
== 建立vpn连接 ==
  
提示:yaml文件中拉取的镜像,操作系统为ubuntu18.04,包含如下软件:tensorflow1.15.3、horovod0.19.2、cuda10.0、cudnn7、python3.6。
+
使用k8s集群之前,需要先建立vpn连接。关于vpn的配置及应用,请参见:
  
1)建立pod后,没有数据持久存储需求,满足该需求的yaml文件为:ubuntu-tf-example.yaml
+
http://wiki.iiis.systems:9988/w/index.php/VPN_User_Guide
  
2)建立pod后,如果需要共享数据并实现多用户访问共享数据,则使用IP地址挂接nfs,此种方式没有隐私性和可靠性保证。满足该需求的yaml文件为:ubuntu-tf+nfs-no_pvc-direct-example.yaml
+
== 下载配置文件 ==
  
3)建立pod后,如果需要持久存储重要数据,对数据传输及读写性能要求不高(比如存储程序代码),并且不希望其他用户访问该数据,则可以使用基于pvc方式的nfs。满足该需求的yaml文件为:ubuntu-tf+nfs-direct-example.yaml
+
使用harbor.iiis.co:31388下载配置文件,输入的用户名为vpn账号名,但不带@iiis.co后缀。
  
4)建立pod后,如果需要持久存储重要数据,对数据传输及读写性能要求较高(比如存储实验数据),并且不希望其他用户访问该数据,则可以使用基于pvc方式的cephfs。满足该需求的yaml文件为:ubuntu-tf+cephfs-direct-example.yaml
+
== 下载yaml文件 ==
  
5)建立pod后,如果需要持久存储数据,既需要使用基于pvc方式的nfs,又需要使用基于pvc方式的cephfs。满足该需求的yaml文件为:ubuntu-tf+nfs+cephfs-example.yaml
+
为了便于用户通过yaml文件在K8S下申请及使用资源,特提供yaml文件样例。用户可以根据需求,下载相应yaml文件,也可以修改yaml文件内容。
  
6)建立pod后,想临时存放实验数据,对数据传输及读写性能要求较高。满足该需求的yaml文件为:ubuntu-tf+local-disk-example.yaml
+
提示:yaml文件中拉取的镜像,操作系统为ubuntu18.04,包含如下软件:tensorflow1.15.3、horovod0.19.2、cuda10.0、cudnn7、python3.6。
 
+
7)建立pod后,没有数据持久存储需求,满足该需求的yaml文件为:
+
 
+
8)建立pod后,没有数据持久存储需求,满足该需求的yaml文件为:
+
 
+
64位windows系统对应的secoclient,下载地址为:
+
 
+
https://pan.baidu.com/s/1DW0AKU06ZNawASUHr3CusA
+
 
+
提取码为:c42x
+
 
+
3)linux-64版:
+
 
+
64位linux系统对应的secoclient,下载地址为:
+
 
+
https://pan.baidu.com/s/1ygRHJBAnHjNeCtf54M5TXA
+
 
+
提取码为:uhku
+
 
+
4)macosx版:
+
 
+
mac系统对应的secoclient,下载地址为:
+
 
+
https://pan.baidu.com/s/1AJpwU-iXC1xxMSrzxs7Pbg
+
 
+
提取码为:j6xc
+
 
+
 
+
提示:不同系统中,secoclient的安装方法,可以参见如下链接:
+
 
+
https://support.huawei.com/enterprise/zh/doc/EDOC1000141430/3d8be113
+
 
+
== 配置VPN客户端软件 ==
+
 
+
安装VPN客户端软件后,请依次按照如下图示进行配置:
+
 
+
[[Image:Firewall.jpg]]
+
 
+
 
+
选择“新建连接”,然后选择左侧导航栏中的“L2tp/Ipsec”,配置信息如下图:
+
 
+
提示:隧道验证密码,请与尹伟老师联系。
+
 
+
 
+
[[Image:Firewall1.jpg]]
+
  
 +
yaml文件介绍,如下:
  
提示:下图中的身份认证字,请与尹伟老师联系。
+
1)建立pod时,如果不需要持久存储数据,则可以选择的yaml文件为:ubuntu-tf-example.yaml
  
[[Image:Firewall3.jpg]]
+
2)建立pod时,如果需要共享数据并实现多用户访问共享数据,则可以使用IP地址挂接nfs,此种方式没有隐私性和可靠性保证。满足该需求的yaml文件为:ubuntu-tf+nfs-no_pvc-direct-example.yaml
  
 +
3)建立pod时,如果需要持久存储重要数据,对数据传输及读写性能要求不高(比如存储程序代码),并且不希望其他用户访问该数据,则可以使用基于pvc方式的nfs。满足该需求的yaml文件为:ubuntu-tf+nfs-direct-example.yaml
  
[[Image:Firewall4new.jpg]]
+
4)建立pod时,如果需要持久存储重要数据,对数据传输及读写性能要求较高(比如存储实验数据),并且不希望其他用户访问该数据,则可以使用基于pvc方式的cephfs。满足该需求的yaml文件为:ubuntu-tf+cephfs-direct-example.yaml
  
提示:下图中,单击+号,添加通过vpn访问的目的网段。比如:如果访问10.1.0.181,则IP地址填10.1.0.0,掩码填255.255.0.0;如果访问虚拟机,则IP地址填10.2.0.0,掩码填255.255.0.0。
+
5)建立pod时,如果需要持久存储数据,既需要使用基于pvc方式的nfs,又需要使用基于pvc方式的cephfs。则可以选择的yaml文件为:ubuntu-tf+nfs+cephfs-example.yaml
  
[[Image:Firewall5.jpg]]
+
6)建立pod时,想临时存放实验数据,对数据传输及读写性能要求较高。则可以选择的yaml文件为:ubuntu-tf+local-disk-example.yaml
  
 +
7)建立pod时,如果需要使用torch,则可以选择的yaml文件为:ubuntu-runtime-torch.yaml
  
配置完成后,点“保存”。然后连接vpn,用户名为“vpn帐号@iiis.co”,密码为“vpn帐号的密码”,点击“连接”,如果提示:“协商成功”,则说明vpn成功连接了。
+
8) 修改用户quota的yaml文件为:quota.yaml
  
== VPN常见故障及解决办法 ==
+
9)建立挂接nfs所需的pvc,其yaml文件为:nfs-pvc-example.yaml
  
VPN常见故障及解决办法:
+
10)建立挂接cephfs所需的pvc,其yaml文件为:cephfs-pvc-example.yaml
  
1)如果无法连接VPN,一般的排除办法如下:
+
上述各yaml文件,下载地址为:
  
•测试客户机与VPN服务器之间的网络连通性: 校外用户 ping  gw.iiis.co ;校内用户 ping  thu.iiis.co。
+
https://pan.baidu.com/s/18INpkkxoifemg0sPa6UEWQ
  
•查看客户机的防火墙及安全策略。
+
提取码为:cdm6
  
2)如果提示“隧道保持超时或协商超时”,请确认vpn客户端软件配置界面的隧道名,以及隧道验证密码是否正确。
+
== k8s常见问题及反馈 ==
  
3)如果提示“与对方建立连接超时,配置错误或网络故障”,请确认vpn客户端软件配置界面的身份认证字、ESP协议验证算法、ESP协议加密算法、IKE验证算法、IKE加密算法、DH组标志等信息是否正确。
+
用户使用k8s集群时,如果遇到问题,可以把问题提交到github上,同时把问题反馈到微信群。
  
重要提示:如果用户无法解决VPN连接故障,可以联系集群管理员尹伟老师,邮箱是:yw@mail.tsinghua.edu.cn
+
github地址为:github.com/iiisthu/gpupool

Latest revision as of 09:40, 25 November 2021

K8S用户指南

建立vpn连接

使用k8s集群之前,需要先建立vpn连接。关于vpn的配置及应用,请参见:

http://wiki.iiis.systems:9988/w/index.php/VPN_User_Guide

下载配置文件

使用harbor.iiis.co:31388下载配置文件,输入的用户名为vpn账号名,但不带@iiis.co后缀。

下载yaml文件

为了便于用户通过yaml文件在K8S下申请及使用资源,特提供yaml文件样例。用户可以根据需求,下载相应yaml文件,也可以修改yaml文件内容。

提示:yaml文件中拉取的镜像,操作系统为ubuntu18.04,包含如下软件:tensorflow1.15.3、horovod0.19.2、cuda10.0、cudnn7、python3.6。

yaml文件介绍,如下:

1)建立pod时,如果不需要持久存储数据,则可以选择的yaml文件为:ubuntu-tf-example.yaml

2)建立pod时,如果需要共享数据并实现多用户访问共享数据,则可以使用IP地址挂接nfs,此种方式没有隐私性和可靠性保证。满足该需求的yaml文件为:ubuntu-tf+nfs-no_pvc-direct-example.yaml

3)建立pod时,如果需要持久存储重要数据,对数据传输及读写性能要求不高(比如存储程序代码),并且不希望其他用户访问该数据,则可以使用基于pvc方式的nfs。满足该需求的yaml文件为:ubuntu-tf+nfs-direct-example.yaml

4)建立pod时,如果需要持久存储重要数据,对数据传输及读写性能要求较高(比如存储实验数据),并且不希望其他用户访问该数据,则可以使用基于pvc方式的cephfs。满足该需求的yaml文件为:ubuntu-tf+cephfs-direct-example.yaml

5)建立pod时,如果需要持久存储数据,既需要使用基于pvc方式的nfs,又需要使用基于pvc方式的cephfs。则可以选择的yaml文件为:ubuntu-tf+nfs+cephfs-example.yaml

6)建立pod时,想临时存放实验数据,对数据传输及读写性能要求较高。则可以选择的yaml文件为:ubuntu-tf+local-disk-example.yaml

7)建立pod时,如果需要使用torch,则可以选择的yaml文件为:ubuntu-runtime-torch.yaml

8) 修改用户quota的yaml文件为:quota.yaml

9)建立挂接nfs所需的pvc,其yaml文件为:nfs-pvc-example.yaml

10)建立挂接cephfs所需的pvc,其yaml文件为:cephfs-pvc-example.yaml

上述各yaml文件,下载地址为:

https://pan.baidu.com/s/18INpkkxoifemg0sPa6UEWQ

提取码为:cdm6

k8s常见问题及反馈

用户使用k8s集群时,如果遇到问题,可以把问题提交到github上,同时把问题反馈到微信群。

github地址为:github.com/iiisthu/gpupool