|
版本
|
AI大模型
|
硬件配置
|
應用環(huán)境
|
|
旗艦版
|
DeepSeek- 671B 滿血版
/Qwen、Llama等
|
CPU：4x 32核X86/C86處理器
GPU：顯存64G*16
內(nèi)存：64GB*32 DDR4
硬盤：480G SSD *4+3.84T NVMe*4
網(wǎng)絡：配置RDMA網(wǎng)卡或IB網(wǎng)卡
|
•支持滿血版671B模型及蒸餾模型
•大并發(fā)、性能強
•可靈活擴展，支持大型企業(yè)規(guī)�；瘧�
|
|
高配版
|
DeepSeek- 70B
/Qwen、Llama等
|
CPU：2x 32核X86/C86處理器
GPU：顯存32G*8
內(nèi)存：64GB*16 DDR4
硬盤：480G SSD *2+3.84T NVMe*2
網(wǎng)絡：以太網(wǎng)/RDMA網(wǎng)卡
|
•支持精度FP16的70B模型及蒸餾模型
•低成本、私有化部署
•滿足客戶體驗、小規(guī)模使用需求
|
|
標準版
|
DeepSeek- 32B
/Qwen、Llama等
|
CPU：2x 32核X86/C86處理器
GPU：顯存32G*4
內(nèi)存：32GB*16 DDR4
硬盤：480G SSD*2+3.84T NVMe*2
網(wǎng)絡：以太網(wǎng)
|
•支持精度FP16的32B模型及蒸餾模型
•高性價比
•支持中小企業(yè)各類AI應用需求
|
|
邊緣版
|
DeepSeek-14B
/Qwen、Llama等
|
CPU：X86處理器
GPU：顯存32G*2
內(nèi)存：32GB*4 DDR4
硬盤：按需
網(wǎng)絡：以太網(wǎng)
|
• 支持中小參數(shù)蒸餾模型
• 低門檻上車，輕量化應用
• 低噪音、可在政務、教育等辦公環(huán)境部署
|
|
軟件環(huán)境
|
推理框架：VLLm
操作系統(tǒng)：Ubuntu、國產(chǎn)系統(tǒng)
|
