AI GPU 及工作站配置方案

你面對的痛點

  • 全球 GPU 短缺:H100 / A100 交期 12 至 40 星期。
  • 型號難揀:H100、A100、L40S 同 RTX 6000 Ada 好難配對正確工作負載。
  • 電力同製冷設計:8 卡 H100 機櫃隨時 10kW,製冷規劃困難。
  • CUDA / 驅動版本相容:軟件堆疊同驅動唔匹配,浪費時間喺除錯。
  • 預算模糊:單機由 HKD 500,000 到 3,000,000,需要 TCO 計算支持決策。
  • 雲端定自建:雲端算力月費隨時超過 HKD 200,000,長遠唔划算。


C2 的方案

按工作負載配置:

  • LLM 訓練(7B 參數以上): H100 80GB SXM / PCIe 叢集,NVLink 900GB/s。
  • LLM 推論: L40S / A100 40GB,單機多卡。
  • 微調(LoRA / QLoRA): RTX 6000 Ada / A100 80GB。
  • 電腦視覺 / 渲染: RTX 4090 / RTX 6000 Ada。
  • HPC / 模擬: H100 NVL、L40S、HPC GPU。


預裝軟件堆疊:

  • Ubuntu 22.04 LTS / 24.04 LTS
  • NVIDIA Driver + CUDA + cuDNN + NCCL
  • Docker + NVIDIA Container Toolkit
  • PyTorch / TensorFlow(可選預載)


配套設計:

  • 電力同機櫃設計: 同數據中心合作設定電力預算,規劃行內製冷同後門熱交換器。
  • 雲端 vs 自建 TCO 分析: 1 / 3 / 5 年 TCO 比較 + 損益平衡點計算。


適合對象


企業類型 工作負載 建議配置
AI 初創 LLM 訓練 / 微調 4–8 x H100 PCIe + NVLink 橋接器
大學 / 研究實驗室 研究、NLP、CV 2–4 x H100 / A100
渲染 / VFX 工作室 渲染、模擬 8 x RTX 6000 Ada
金融機構 量化建模 4 x L40S / A100
醫學影像公司 醫療 AI 推論 2 x RTX 6000 Ada
自動駕駛 / 機械人 感知訓練 8 x H100 + 100GbE 叢集


服務流程

  1. 工作負載訪談(模型規模、batch size、訓練時長)
  2. GPU 選型 + 叢集拓樸設計
  3. 電力 / 製冷 / 機櫃規劃
  4. 5 年 TCO + 雲端 vs 自建比較
  5. 報價 + 交期確認
  6. 預裝(OS + Driver + CUDA)
  7. 數據中心安裝 + 叢集網絡測試
  8. 工作負載測試 + 交付
  9. 季度驅動 / 韌體更新


支援品牌及型號


品牌 主要型號 / GPU 定位
NVIDIA GPU H100 SXM5 80GB、H100 PCIe、A100 40/80GB、L40S、L4、RTX 6000 Ada、RTX 4090 AI 算力核心
Supermicro SYS-420GP-TNR、AS-4124GS-TNR 主流 GPU 伺服器
Dell PowerEdge XE9680、XE8640 8 卡企業級
HPE ProLiant DL380a Gen11、Cray EX HPC / AI
Lenovo ThinkStation PX、SR675 V3 工作站 / 雙卡伺服器
HP Z8 G5、Z4 G5 工作站
ASUS ESC8000 / ESC4000 多卡伺服器
GIGABYTE G593 / G494 系列 高性價比 GPU 伺服器


保養及售後

  • 3 年 24x7x4 上門: GPU 伺服器標準配置,4 小時內上門。
  • 5 年 Proactive Care: HPE / Dell 韌體健康自動監控。
  • NVLink 橋接器保養: 3 年,同伺服器一致。
  • 季度驅動 / 韌體更新: 可選訂閱服務。
  • GPU 備件預備: 每張由 HKD 50,000 起;H100 / A100 / L40S 香港本地備貨(視供應而定)。


常見問題


GPU 交期幾長?

H100 SXM 一般 12–20 星期;A100 / L40S 較快(6–10 星期)。

多卡點互連?
4 / 8 卡全互連 NVLink / NVSwitch,節點內 100–200GB/s。

電力需求幾多?
每張 H100 SXM 耗電 700W;8 卡共約 5.6kW(未計 CPU 同儲存),全機櫃 8–12kW。

雲端定自建?
項目少於 6 個月用雲端;超過 12 個月而使用率 60% 以上就自建。

軟件堆疊包括咩?
Ubuntu + NVIDIA Driver + CUDA 12.x + Docker + PyTorch(可選預裝)。

水冷點揀?
4 卡以下風冷足夠;8 卡或 SXM 建議水冷(冷板 / 後門式)。

InfiniBand 定 Ethernet?
訓練叢集建議 InfiniBand NDR 400Gbps;推論用 100GbE RoCE。


成功案例


案例 A — 本地 AI 公司 8 卡 H100 訓練叢集

一間本地大語言模型初創需要訓練 70B 模型。C2 供應 1 部 Supermicro AS-8126GS-TNMR + 8 張 H100 SXM5 80GB + 4 個 NVLink Switch + InfiniBand NDR,配合行內製冷、30kW UPS 同 5 年 Proactive Care。交付:12 星期交期 + 2 星期現場設置。成效:訓練吞吐比 A100 叢集快 3.2 倍,3 個月內完成預訓練。


案例 B — 大學 LLM 實驗室工作站

一間本地大學嘅 NLP 研究組需要 4 部工作站供博士生使用。C2 供應 4 部 Lenovo ThinkStation PX + 2 張 RTX 6000 Ada + 128GB RAM + 4TB NVMe,交期 4 星期並預載 Ubuntu、PyTorch 同 CUDA。成效:學生即日開始研究,論文投稿率提升 40%。


索取報價

想攞 AI GPU 報價?提供工作負載詳情(模型規模 / batch size / 訓練目標),48 小時內回覆,附 GPU 選型建議同 TCO 比較。支援 PoC 同雲端 vs 自建損益平衡分析,零成本體驗。