AI GPU 及工作站配置方案
你面對的痛點
- 全球 GPU 短缺:H100 / A100 交期 12 至 40 星期。
- 型號難揀:H100、A100、L40S 同 RTX 6000 Ada 好難配對正確工作負載。
- 電力同製冷設計:8 卡 H100 機櫃隨時 10kW,製冷規劃困難。
- CUDA / 驅動版本相容:軟件堆疊同驅動唔匹配,浪費時間喺除錯。
- 預算模糊:單機由 HKD 500,000 到 3,000,000,需要 TCO 計算支持決策。
- 雲端定自建:雲端算力月費隨時超過 HKD 200,000,長遠唔划算。
C2 的方案
按工作負載配置:
- LLM 訓練(7B 參數以上): H100 80GB SXM / PCIe 叢集,NVLink 900GB/s。
- LLM 推論: L40S / A100 40GB,單機多卡。
- 微調(LoRA / QLoRA): RTX 6000 Ada / A100 80GB。
- 電腦視覺 / 渲染: RTX 4090 / RTX 6000 Ada。
- HPC / 模擬: H100 NVL、L40S、HPC GPU。
預裝軟件堆疊:
- Ubuntu 22.04 LTS / 24.04 LTS
- NVIDIA Driver + CUDA + cuDNN + NCCL
- Docker + NVIDIA Container Toolkit
- PyTorch / TensorFlow(可選預載)
配套設計:
- 電力同機櫃設計: 同數據中心合作設定電力預算,規劃行內製冷同後門熱交換器。
- 雲端 vs 自建 TCO 分析: 1 / 3 / 5 年 TCO 比較 + 損益平衡點計算。
適合對象
| 企業類型 | 工作負載 | 建議配置 |
|---|---|---|
| AI 初創 | LLM 訓練 / 微調 | 4–8 x H100 PCIe + NVLink 橋接器 |
| 大學 / 研究實驗室 | 研究、NLP、CV | 2–4 x H100 / A100 |
| 渲染 / VFX 工作室 | 渲染、模擬 | 8 x RTX 6000 Ada |
| 金融機構 | 量化建模 | 4 x L40S / A100 |
| 醫學影像公司 | 醫療 AI 推論 | 2 x RTX 6000 Ada |
| 自動駕駛 / 機械人 | 感知訓練 | 8 x H100 + 100GbE 叢集 |
服務流程
- 工作負載訪談(模型規模、batch size、訓練時長)
- GPU 選型 + 叢集拓樸設計
- 電力 / 製冷 / 機櫃規劃
- 5 年 TCO + 雲端 vs 自建比較
- 報價 + 交期確認
- 預裝(OS + Driver + CUDA)
- 數據中心安裝 + 叢集網絡測試
- 工作負載測試 + 交付
- 季度驅動 / 韌體更新
支援品牌及型號
| 品牌 | 主要型號 / GPU | 定位 |
|---|---|---|
| NVIDIA GPU | H100 SXM5 80GB、H100 PCIe、A100 40/80GB、L40S、L4、RTX 6000 Ada、RTX 4090 | AI 算力核心 |
| Supermicro | SYS-420GP-TNR、AS-4124GS-TNR | 主流 GPU 伺服器 |
| Dell | PowerEdge XE9680、XE8640 | 8 卡企業級 |
| HPE | ProLiant DL380a Gen11、Cray EX | HPC / AI |
| Lenovo | ThinkStation PX、SR675 V3 | 工作站 / 雙卡伺服器 |
| HP | Z8 G5、Z4 G5 | 工作站 |
| ASUS | ESC8000 / ESC4000 | 多卡伺服器 |
| GIGABYTE | G593 / G494 系列 | 高性價比 GPU 伺服器 |
保養及售後
- 3 年 24x7x4 上門: GPU 伺服器標準配置,4 小時內上門。
- 5 年 Proactive Care: HPE / Dell 韌體健康自動監控。
- NVLink 橋接器保養: 3 年,同伺服器一致。
- 季度驅動 / 韌體更新: 可選訂閱服務。
- GPU 備件預備: 每張由 HKD 50,000 起;H100 / A100 / L40S 香港本地備貨(視供應而定)。
常見問題
GPU 交期幾長?
H100 SXM 一般 12–20 星期;A100 / L40S 較快(6–10 星期)。
多卡點互連?
4 / 8 卡全互連 NVLink / NVSwitch,節點內 100–200GB/s。
電力需求幾多?
每張 H100 SXM 耗電 700W;8 卡共約 5.6kW(未計 CPU 同儲存),全機櫃 8–12kW。
雲端定自建?
項目少於 6 個月用雲端;超過 12 個月而使用率 60% 以上就自建。
軟件堆疊包括咩?
Ubuntu + NVIDIA Driver + CUDA 12.x + Docker + PyTorch(可選預裝)。
水冷點揀?
4 卡以下風冷足夠;8 卡或 SXM 建議水冷(冷板 / 後門式)。
InfiniBand 定 Ethernet?
訓練叢集建議 InfiniBand NDR 400Gbps;推論用 100GbE RoCE。
成功案例
案例 A — 本地 AI 公司 8 卡 H100 訓練叢集
一間本地大語言模型初創需要訓練 70B 模型。C2 供應 1 部 Supermicro AS-8126GS-TNMR + 8 張 H100 SXM5 80GB + 4 個 NVLink Switch + InfiniBand NDR,配合行內製冷、30kW UPS 同 5 年 Proactive Care。交付:12 星期交期 + 2 星期現場設置。成效:訓練吞吐比 A100 叢集快 3.2 倍,3 個月內完成預訓練。
案例 B — 大學 LLM 實驗室工作站
一間本地大學嘅 NLP 研究組需要 4 部工作站供博士生使用。C2 供應 4 部 Lenovo ThinkStation PX + 2 張 RTX 6000 Ada + 128GB RAM + 4TB NVMe,交期 4 星期並預載 Ubuntu、PyTorch 同 CUDA。成效:學生即日開始研究,論文投稿率提升 40%。
索取報價
想攞 AI GPU 報價?提供工作負載詳情(模型規模 / batch size / 訓練目標),48 小時內回覆,附 GPU 選型建議同 TCO 比較。支援 PoC 同雲端 vs 自建損益平衡分析,零成本體驗。