大模型系统教学实践平台操作指南

清华大学交叉院大模型系统教学实践平台操作指南

申请平台资源

为了更好地培养学生使用、训练、研发大模型应用与系统框架实践能力，探索新的研究方向和趋势，清华大学交叉院特建设大模型系统教学实践平台，提供强大的算力支持。

需要使用平台资源的用户，请将申请邮件发送至yw@mail.tsinghua.edu.cn，同时抄送给导师，请导师回复“同意”。

提交的信息包括：

1）账号名

2）姓名

3）email

4）手机号

5）申请资源的理由

6）资源使用期限

7）导师姓名

8）备注：使用大模型平台

使用平台资源

用户需要先通过VPN连接平台网络，然后访问平台资源。

VPN配置及使用

为了便于用户访问集群，并提高其安全性，我们提供了VPN服务。如果用户在集群中建立了虚拟机，希望在客户端机器上访问虚拟机（比如ping、ssh等），则需要先建立VPN连接。

关于VPN配置及应用，请参见如下链接：

http://wiki.iiis.systems:9988/w/index.php/VPN_User_Guide

平台基本操作

平台访问方式

1）平台访问方式

通过URL访问平台，URL为： http://10.1.0.207，登录后界面如图。

选择身份及用户的命名空间后，即可进入主页面，如下图。

配置镜像仓库登陆密钥

单击左侧导航栏中的“配置中心”下的“密文”，点击“创建Secret”，输入信息如下：

创建pod（以Deployment类型pod为例）

1>点击左侧导航栏中“应用程序”下的“工作负载”，然后点击“创建部署”。其“基本信息选项卡”配置如下图：

2>“容器信息”选项卡配置如下图：

提示：镜像为 harbor.ai.iiis.co/share/pytorch/pytorch:2.1.1-cuda12.1-cudnn8-runtime-ssh

3>“存储挂载”选项卡配置（挂载nfs实现用户代码、用户程序等数据持久性存储）中，点击“添加数据卷”，配置如下图：

4>上述配置完成后，点击“保存”，按提示点击“确定”，即可创建pod，创建后，单击bash，便可进入pod。

镜像仓库操作

通过URL访问平台，URL为： https://10.1.0.207，登录后可以新建项目，操作如下图。

故障或问题反馈

用户在使用平台过程中，如遇到故障或操作方面的问题，请及时在微信群中进行反馈。