大模型系统教学实践平台操作指南
清华大学交叉信息研究院大模型系统教学实践平台操作指南
Contents
申请平台资源
为了更好地培养学生使用、训练、研发大模型应用与系统框架实践能力,探索新的研究方向和趋势,清华大学交叉信息研究院特建设大模型系统教学实践平台,提供强大的算力支持。
需要使用平台资源的用户,请向平台管理员尹伟老师提交资源使用申请。提交申请的邮箱为:yw@mail.tsinghua.edu.cn,同时抄送给导师,请导师回复“同意”。
提交的信息包括:
1)账号名(系统会随机生成密码,用户登录系统后,可以自行修改密码)
2)姓名
3)email
4)手机号
5)申请资源的理由
6)资源使用期限
7)导师姓名
8)备注:使用大模型平台
使用平台资源
用户需要先通过VPN连接集群网络,然后使用集群资源。详细配置及操作,如下:
VPN配置及使用
为了便于用户访问集群,并提高其安全性,我们提供了VPN服务。如果用户在集群中建立了虚拟机,希望在客户端机器上访问虚拟机(比如ping、ssh等),则需要先建立VPN连接。
关于VPN配置及应用,请参见如下链接:
http://wiki.iiis.systems:9988/w/index.php/VPN_User_Guide
平台基本操作
平台访问方式
1)平台访问方式
通过URL访问平台,URL为: http://10.1.0.207,登录后界面如图。
选择身份及用户的命名空间后,即可进入主页面。
配置镜像仓库登陆密钥
单击左侧导航栏中的“配置中心”下的“密文”,点击“创建Secret”,输入信息如下:
创建pod(以Deployment类型pod为例)
1>点击左侧导航栏中“应用程序”下的“工作负载”,然后点击“创建部署”。其“基本信息选项卡”配置如下图:
2>“容器信息”选项卡配置如下图:
提示:镜像为 10.1.0.207/share/pytorch/pytorch:2.1.1-cuda12.1-cudnn8-runtime
3>“存储挂载”选项卡配置(挂载nfs实现用户代码、用户程序等数据持久性存储)中,点击“添加数据卷”,配置如下图:
4>上述配置完成后,点击“保存”,按提示点击“确定”,即可创建pod,创建后,单击bash,便可进入pod。如下图:
通过console进行访问
勾选云主机,单击云主机的名称。在属性界面中,单击console选项卡。
在Console控制台上,出现虚拟机的OS信息。可以通过该界面登录OS。
通过SSH进行访问
通过SSH连接虚拟机的公网 IP。该访问方式,需要用户先通过VPN的帐号和密码,建立VPN连接,然后在客户机上通过SSH访问虚拟机。
如果创建虚拟机时,在“密码与密钥对”界面,用户输入了管理员的密码,则可以使用“ssh 用户名@虚拟机的公网IP”命令访问虚拟机。
如果创建虚拟机时,在“密码与密钥对”界面,用户建立或导入或使用现有的密钥对,则可以使用“ssh -i id_rsa 用户名@虚拟机的公网IP”命令访问虚拟机。
通过公有IP地址直接访问
为虚拟机申请一个互联网上可以直接访问的公有IP地址。该种访问方式,需要另行收取公有IP地址的费用。
如需申请公有IP地址,请联系管理员尹伟老师,邮箱为: yw@mail.tsinghua.edu.cn
故障或问题联系人
用户在使用平台过程中,如遇到故障或操作方面的问题,请联系尹伟老师,邮箱为: yw@mail.tsinghua.edu.cn