大模型系统教学实践平台操作指南
清华大学交叉信息研究院大模型系统教学实践平台操作指南
Contents
申请平台资源
为了更好地培养学生使用、训练、研发大模型应用与系统框架实践能力，探索新的研究方向和趋势，清华大学交叉信息研究院特建设大模型系统教学实践平台，提供强大的算力支持。
需要使用平台资源的用户，请向平台管理员尹伟老师提交资源使用申请。提交申请的邮箱为：yw@mail.tsinghua.edu.cn，同时抄送给导师，请导师回复“同意”。
提交的信息包括：
1）账号名（系统会随机生成密码，用户登录系统后，可以自行修改密码）
2）姓名
3）email
4）手机号
5）申请资源的理由
6）资源使用期限
7）导师姓名
8）备注：使用大模型平台
使用平台资源
用户需要先通过VPN连接集群网络，然后使用集群资源。详细配置及操作，如下：
VPN配置及使用
为了便于用户访问集群，并提高其安全性，我们提供了VPN服务。如果用户在集群中建立了虚拟机，希望在客户端机器上访问虚拟机（比如ping、ssh等），则需要先建立VPN连接。
关于VPN配置及应用，请参见如下链接：
http://wiki.iiis.systems:9988/w/index.php/VPN_User_Guide
平台基本操作
平台访问方式
1）平台访问方式
通过URL访问平台，URL为： http://10.1.0.207，登录后界面如图。
选择身份及用户的命名空间后，即可进入主页面。
配置镜像仓库登陆密钥
单击左侧导航栏中的“配置中心”下的“密文”，点击“创建Secret”，输入信息如下：
创建pod（以Deployment类型pod为例）
1>点击左侧导航栏中“应用程序”下的“工作负载”，然后点击“创建部署”。其“基本信息选项卡”配置如下图：
2>“容器信息”选项卡配置如下图：
提示：镜像为 10.1.0.207/share/pytorch/pytorch:2.1.1-cuda12.1-cudnn8-runtime
3>“存储挂载”选项卡配置（挂载nfs实现用户代码、用户程序等数据持久性存储）中，点击“添加数据卷”，配置如下图：
5>安全组：默认的安全组为default。
单击default左侧的符号 > ，便可以查看default安全组中的安全策略。如果无法执行ping操作或ssh操作，则确认default安全组中是否存在对应的安全策略。
6>密码与密钥对：创建登录操作系统所需的密码或密钥。
如果用户希望以用户名和密码的方式登录OS，则在该界面直接设置管理员的密码，建立虚拟机之后，用户可以用管理员（比如root）和该密码登录OS。
如果用户希望以密钥的方式登录OS，以前没有密钥，则单击“创建密钥对”按钮，创建密钥对。创建密钥对界面如下图。请把私钥的内容复制--粘帖到客户机的文件中，把文件命名为id_rsa，把文件权限设置为400，命令是chmod 400 id_rsa 。注意：只有在生成密钥对时，才允许用上述方法保存私钥内容，系统不提供私钥下载按钮。
请把
如以前有密钥，则单击“导入密钥对”按钮，导入密钥。
如果当前存在可用密钥，则需要单击密钥右侧的+号，加载该密钥。
7>虚拟机的状态如图。
8>如果用户希望通过外网访问虚拟机（比如在客户端机器上，通过ssh访问虚拟机），则要为虚拟机捆绑公网IP（Floating IP）。先单击左侧导航栏中的“公网IP”，再单击“为项目申请IP”，在资源池中选择“public_net”然后单击“分配IP”，即可获得公网IP地址。
获得公网IP地址后，把该公网IP地址捆绑在虚拟机上。具体操作为：单击左侧导航栏中的“云主机”，勾选需要捆绑公网IP的虚拟机，单击“更多”下拉菜单，选中“捆绑公网IP”。
虚拟机访问方式
虚拟机的访问方式有三种：
通过Console进行访问。
通过SSH进行访问。
通过公有IP地址直接访问。
通过console进行访问
勾选云主机，单击云主机的名称。在属性界面中，单击console选项卡。
在Console控制台上，出现虚拟机的OS信息。可以通过该界面登录OS。
通过SSH进行访问
通过SSH连接虚拟机的公网 IP。该访问方式，需要用户先通过VPN的帐号和密码，建立VPN连接，然后在客户机上通过SSH访问虚拟机。
如果创建虚拟机时，在“密码与密钥对”界面，用户输入了管理员的密码，则可以使用“ssh 用户名@虚拟机的公网IP”命令访问虚拟机。
如果创建虚拟机时，在“密码与密钥对”界面，用户建立或导入或使用现有的密钥对，则可以使用“ssh -i id_rsa 用户名@虚拟机的公网IP”命令访问虚拟机。
通过公有IP地址直接访问
为虚拟机申请一个互联网上可以直接访问的公有IP地址。该种访问方式，需要另行收取公有IP地址的费用。
如需申请公有IP地址，请联系管理员尹伟老师，邮箱为： yw@mail.tsinghua.edu.cn
故障或问题联系人
用户在使用平台过程中，如遇到故障或操作方面的问题，请联系尹伟老师，邮箱为： yw@mail.tsinghua.edu.cn
