大模型实训平台
- 算力设施
高性能异构计算集群：
· 本地化交付部署
· 适配信创国产化设备
· SSD高性能存储
· 存储→计算节点网速＞1GB/s
- 算力管理
支持多种算力调度模式：
· 单机单卡
· 单机多卡
· 多机多卡
· 多人单卡
- 环境支撑
课程支撑层包括：
· 大模型仓库+数据集
· 在线开发环境+本地开发环境
· 训练环境+推理环境
· 应用中心+API服务
- 课程体系
· 大模型编程入门类实验课程
· 大模型应用开发类实验课程
· 大模型训练推理类实验课程
· 大模型参数微调类实验课程
· 大模型量化优化类实验课程
算力设施
- 硬件配置
-
· 存储：SSD存储阵列，单台服务器100T/200T。
· 交换机：万兆光口交换机
· 服务器：8卡GPU服务器，支持信创国产化设备。
- 高性能
-
SSD存储阵列+万兆光口交换机，实现：
· 从存储系统到计算节点的聚合带宽 ≥ 12GB/s
· 7B尺寸大模型（12GB左右）加载时长 ≤ 10s
· 在每路传输带宽 ≥ 1.2GB/s前提下，最高支持10路大模型文件并发加载。
大模型、应用中心、API服务
- 大模型
-
提供数百个开源的大语言模型：
· 通义千问系列、智谱·AI、百川、昆仑天工、元象、Yi系列、Moss...
· Llama3系列、Llama2系列、Mistral系列、RWKV系列、BLOOMZ...
· 提供线上大模型社区，支持自动与线上大模型仓库同步。
· 所有大模型皆提供快速开发案例。
- 大模型服务
-
所有大模型皆支持一键模型部署，部署后进入服务状态：
· 每类大模型提供至少一个WebUI Demo，可通过对话方式使用。
· 进入服务状态的大模型，提供对外调用的API接口及配套开发手册。
· 网站URL（自动爬取）
· 既支持通过WebUI Demo和大模型对话交流，也支持在本地开发调用大模型服务API的大模型应用。
- 多模态大模型
-
提供数百个开源的多模态大模型：
· 文本生成图像、文本生成视频、文本生成3D模型...
· 文本生成音频、图像生成视频、图像生成3D模型...
· 图像生成音频、文本生成音乐、图像生成音乐...
· 图像问答、视频问答、图像理解、视频理解...
· 语音对话、人声模仿、语音克隆、数字人...
· 文本生成代码、图像生成代码、语音生成代码...
· 文本编辑图像、文本编辑视频、文本编辑3D模型...
· 文本生成动漫、图像生成动漫、视频生成动漫...
- 多模态大模型服务
-
所有多模态大模型皆支持一键模型部署，部署后进入服务状态：
· 每个多模态大模型皆提供对应的WebUI Demo，可通过Web页面交互式使用该模型。
· 进入服务状态的多模态大模型，提供对外调用的API接口及配套开发手册。
· 既支持通过WebUI Demo和大模型对话交流，也支持在本地开发调用多模态大模型API的大模型应用。
演示视频中给出一个基于多模态大模型的图像问答示例，用户在上传图片后，分别提问了3个问题：
-
1、图中有多少条船？2、为什么每条船都亮着灯？3、图中有多少人？
从上述视频中可以看出，多模态大模型准确回答了用户提出的所有问题。
开发环境+训练环境+推理环境
- 线上实验环境
· Jupyter
· 云桌面
· VSCode
· Web终端
- 本地实验环境
· ssh直连
· VSCode + ssh
· GitLab
· PyCharm
- 大模型训练环境
· Megatron-LM
· Colossal-AI
· DeepSpeed
· TorchACC
- 大模型推理环境
· llama.cpp
· Triton
· Xinference
· TensorRT-LLM
· vLLM
· Ollama
课程实验体系
