Tư vấn cấu hình máy chủ, VPS và GPU
Chọn việc cần chạy, quy mô và mức ngân sách để xem cấu hình gợi ý, lý do và cách tiết kiệm. Bên dưới giải thích GPU, CPU, ổ đĩa và VPS dùng vào việc gì.
Máy chủ GPU
Vì sao chọn vậy, cách tiết kiệm
- Loại máy
- Máy chủ GPU
- GPU
- 1 × RTX PRO 6000 (96 GB mỗi card), suy luận, 16 bit
- CPU
- CPU máy chủ nhiều nhân, đủ làn PCIe cho 1 GPU
- RAM
- 128 GB ECC
- Ổ đĩa
- NVMe 2 TB trở lên
- Mạng
- Cổng 1 Gb/s ra Internet
- Mô hình 32 tỷ tham số ở 16 bit cần khoảng 64 GB cho trọng số: vừa một card 96 GB, không phải chia card.
- ECC trên bộ nhớ GPU giảm rủi ro lỗi bit khi chạy liên tục nhiều ngày.
- RAM hệ thống từ bằng tổng VRAM trở lên (kinh nghiệm phổ biến) để nạp mô hình và dữ liệu không nghẽn.
Muốn tiết kiệm hơn
- Đổi
- Đổi sang 1 RTX 5090, chạy 4 bit.
- Đánh đổi
- Chất lượng có thể giảm nhẹ, phục vụ ít người cùng lúc hơn.
Gợi ý để bắt đầu trao đổi, không phải cam kết hiệu năng. Số lượng card và bản lắp xác nhận khi trao đổi.
GPU nào dùng vào việc gì
Hạ tầng GPU của ALODEVBa câu hỏi khi chọn card: mô hình có vừa bộ nhớ một card không, có cần gộp nhiều card không, có cần dựng hình hay mã hoá video không.
H100
Card tăng tốc cho trung tâm dữ liệu của NVIDIA, thế hệ Hopper, dành cho huấn luyện và suy luận mô hình AI lớn.
- Bộ nhớ
- 80 GB HBM2e
- Băng thông bộ nhớ
- khoảng 2 TB/s
- Công suất
- 350 W
- Giao tiếp
- PCIe Gen5 x16
ECCNVLink (cầu nối hai card)MIG tới 7 phầnFP8
- Huấn luyện mô hình lớn
- Tinh chỉnh mô hình lớn
- Suy luận LLM cho nhiều người dùng cùng lúc
- Dựng hình 3D, CAD, máy trạm (không có lõi RT, không có cổng xuất hình)
- Mã hoá video hàng loạt (không có bộ mã hoá NVENC)
Có trong bốn dòng GPU của ALODEV. Bản PCIe: 80 GB HBM2e, khoảng 2 TB/s, 350 W, PCIe Gen5.Dữ liệu mẫuSố lượng và vị trí.
A100
Card trung tâm dữ liệu thế hệ Ampere, ra trước H100, vẫn rất phổ biến cho huấn luyện vừa và suy luận.
- Bộ nhớ
- 80 GB HBM2e
- Băng thông bộ nhớ
- khoảng 1,9 TB/s
- Công suất
- 300 W
- Giao tiếp
- PCIe Gen4 x16
ECCNVLink (cầu nối hai card)MIG tới 7 phần
- Huấn luyện mô hình vừa
- Tinh chỉnh
- Suy luận chạy dài hạn
- Chia một card cho nhiều việc nhỏ (MIG)
- Dựng hình 3D, CAD, máy trạm (không có lõi RT, không có cổng xuất hình)
- Mã hoá video hàng loạt (không có bộ mã hoá NVENC)
Có trong bốn dòng GPU của ALODEV. Bản PCIe: 80 GB HBM2e, khoảng 1,9 TB/s, 300 W, PCIe Gen4.Dữ liệu mẫuSố lượng và vị trí.
RTX 5090
Card đồ hoạ GeForce thế hệ Blackwell, 32 GB GDDR7. Thiết kế cho máy cá nhân và máy trạm nhưng chạy tốt mô hình AI nhỏ đến vừa.
- Bộ nhớ
- 32 GB GDDR7
- Băng thông bộ nhớ
- khoảng 1,8 TB/s
- Công suất
- 575 W
- Giao tiếp
- PCIe Gen5 x16
Lõi RTNVENCFP4
- Suy luận mô hình nhỏ đến vừa
- Tinh chỉnh LoRA mô hình nhỏ
- Tạo ảnh
- Dựng hình 3D
- Xử lý và mã hoá video
- Mô hình cần hơn 32 GB trên một card
- Gộp bộ nhớ nhiều card bằng NVLink
Có trong bốn dòng GPU của ALODEV: 32 GB GDDR7, khoảng 1,8 TB/s, 575 W, PCIe Gen5.Dữ liệu mẫuSố lượng và vị trí.
RTX PRO 6000
Card chuyên nghiệp thế hệ Blackwell cho máy trạm và máy chủ, 96 GB GDDR7 có ECC: bộ nhớ gấp ba RTX 5090.
- Bộ nhớ
- 96 GB GDDR7 có ECC
- Băng thông bộ nhớ
- khoảng 1,8 TB/s
- Công suất
- 600 W (bản máy trạm), 300 W (Max-Q)
- Giao tiếp
- PCIe Gen5 x16
ECCLõi RTNVENCMIG tới 4 phầnFP4
- Suy luận mô hình vừa và lớn trên một card
- Tinh chỉnh mô hình vừa
- Dựng hình cảnh nặng
- CAD và máy trạm
- Xử lý và mã hoá video
- Gộp bộ nhớ nhiều card bằng NVLink
Có trong bốn dòng GPU của ALODEV: 96 GB GDDR7 có ECC, khoảng 1,8 TB/s, PCIe Gen5.Dữ liệu mẫuSố lượng, bản (máy trạm, Max-Q hay Server) và vị trí.
Thuật ngữ
VRAM
Bộ nhớ riêng trên card GPU; mô hình phải vừa VRAM thì mới chạy trọn trên một card.
Băng thông bộ nhớ
Lượng dữ liệu card đọc được từ bộ nhớ mỗi giây. Khi suy luận LLM, mỗi từ sinh ra phải đọc lại gần hết trọng số, nên băng thông thường giới hạn tốc độ trả lời trước cả số lõi.
HBM
Bộ nhớ băng thông cao, xếp chồng ngay cạnh chip GPU, nhanh hơn nhiều so với GDDR.
ECC
Bộ nhớ tự phát hiện và sửa lỗi bit, quan trọng khi chạy việc dài nhiều ngày.
NVLink
Đường nối tốc độ cao giữa các GPU, nhanh hơn nhiều so với đi qua khe PCIe. Cần khi chia một mô hình lớn trên nhiều card; card không có NVLink vẫn chạy nhiều card được, chỉ trao đổi dữ liệu chậm hơn.
MIG
Chia một card thành tối đa 7 phần độc lập, mỗi phần có bộ nhớ và lõi riêng, để nhiều việc nhỏ dùng chung một card.
Lượng tử hoá
Lưu trọng số mô hình bằng ít bit hơn (8 hoặc 4 bit) để vừa bộ nhớ nhỏ, đổi lại độ chính xác giảm nhẹ.
CPU nào dùng vào việc gì
Tủ máy chủ, giải thích từng phầnNhiều nhân cho nhiều việc chạy song song, xung cao cho từng việc cần xong nhanh. Dòng máy chủ có thêm nhiều kênh bộ nhớ, nhiều làn PCIe và RAM ECC.
CPU máy chủ nhiều nhân
Dòng AMD EPYC, Intel Xeon: hàng chục đến hơn một trăm nhân mỗi CPU, một máy có thể gắn hai CPU.
- Kênh bộ nhớ
- 8 đến 12 kênh DDR5 (đời mới)
- Bộ nhớ
- ECC, dung lượng lớn
- Làn PCIe
- Nhiều, đủ cho nhiều GPU và ổ NVMe
- Ảo hoá, chạy nhiều VPS và máy ảo
- Build mã nguồn, CI/CD
- Xử lý dữ liệu song song
- Máy chủ gắn nhiều GPU
- Việc chỉ chạy một luồng, cần xung cao nhất
CPU xung cao, ít nhân hơn
Dòng máy chủ tần số cao hoặc CPU máy trạm: ít nhân hơn nhưng mỗi nhân chạy nhanh hơn.
- Cơ sở dữ liệu cần trả lời từng truy vấn nhanh
- Máy chủ game (vòng lặp chính thường chạy một luồng)
- Phần mềm cũ chỉ dùng vài luồng
- Ảo hoá nhiều máy ảo cùng lúc
CPU máy trạm
Dòng Threadripper PRO, Xeon W: nằm giữa máy để bàn và máy chủ, cho một người dùng làm việc nặng.
- Kênh bộ nhớ
- 8 kênh
- Làn PCIe
- Hơn 100 làn
- Máy dựng hình, CAD cho một người
- Máy trạm gắn nhiều GPU
- Chạy 24/7 trong tủ rack với quản trị từ xa (máy chủ phù hợp hơn)
CPU máy để bàn
Dòng Core, Ryzen: xung cao, giá mềm, nhưng giới hạn mở rộng.
- Kênh bộ nhớ
- 2 kênh
- Làn PCIe
- Khoảng 20 đến 28 làn
- ECC
- Tuỳ dòng chip và bo mạch
- Máy dev, máy thử
- Máy chủ nhỏ một GPU
- Cơ sở dữ liệu lớn cần nhiều RAM
- Máy gắn nhiều GPU hay nhiều ổ NVMe
Thuật ngữ
vCPU
Một luồng xử lý ảo cấp cho máy chủ ảo; càng nhiều vCPU thì càng xử lý được nhiều việc cùng lúc.
Kênh bộ nhớ
Số đường nối song song giữa CPU và RAM. Băng thông RAM tăng theo số kênh: một kênh DDR5-4800 khoảng 38,4 GB/s, 12 kênh khoảng 460 GB/s. Phải cắm RAM đủ mọi kênh mới dùng hết băng thông.
Làn PCIe
Đường nối CPU với GPU, ổ NVMe, card mạng. Một GPU thường dùng 16 làn, một ổ NVMe 4 làn; thiếu làn thì thiết bị chạy chậm lại hoặc không gắn thêm được.
Xung nhịp
Số chu kỳ mỗi giây của một nhân (GHz). Cùng thế hệ, xung cao hơn thì việc một luồng xong nhanh hơn; khác thế hệ thì không so được chỉ bằng GHz.
RAM và ổ đĩa
Sao lưu và vận hànhRAM giữ dữ liệu đang dùng, ổ đĩa giữ mọi thứ còn lại. Cơ sở dữ liệu nhạy với độ trễ ổ đĩa; sao lưu cần dung lượng lớn với giá thấp.
Ổ NVMe
Các khe cắm ổ lưu dữ liệu ở mặt trước máy chủ. NVMe là loại SSD cắm thẳng vào đường PCIe nên nhanh hơn SSD SATA nhiều lần; HDD là ổ đĩa quay, chậm hơn nhưng rẻ cho dữ liệu lớn.
- Đọc tuần tự
- Tới khoảng 7 GB/s (PCIe Gen4)
- Cơ sở dữ liệu
- Hệ điều hành và ứng dụng
- Nạp mô hình AI
- Máy ảo
Mọi gói máy chủ dùng ổ NVMe, từ 20 GB đến 480 GB.
SSD SATA
SSD cắm qua cổng SATA: không có phần quay như HDD nhưng bị chuẩn giao tiếp giới hạn tốc độ.
- Đọc tuần tự
- Khoảng 550 MB/s
- Ứng dụng nhẹ
- Ổ khởi động
- Kho dữ liệu chủ yếu đọc
- Cơ sở dữ liệu ghi nhiều, tải cao
Ổ HDD
Ổ đĩa quay: giá mỗi TB thấp nhất, đọc ghi tuần tự ổn, truy cập ngẫu nhiên chậm.
- Truy cập ngẫu nhiên
- Khoảng 100 đến 200 thao tác/giây (ổ 7.200 vòng/phút)
- Sao lưu
- Lưu trữ lâu dài
- Video gốc, tệp lớn
- Cơ sở dữ liệu
- Ổ chạy máy ảo
RAM ECC
RAM máy chủ tự phát hiện và sửa lỗi bit. Cơ sở dữ liệu chạy nhanh nhất khi phần dữ liệu hay dùng nằm gọn trong RAM.
- Mọi máy chủ chạy liên tục
- Cơ sở dữ liệu: đủ chỗ cho phần dữ liệu hay dùng
- Máy chủ GPU: kinh nghiệm phổ biến là RAM hệ thống từ bằng tổng VRAM trở lên
Thuật ngữ
RAID
Ghép nhiều ổ thành một khối để một ổ hỏng không làm mất dữ liệu; RAID không thay được sao lưu.
RAID 1 và RAID 10
RAID 1 chép y hệt sang ổ thứ hai; RAID 10 ghép nhiều cặp như vậy để vừa an toàn vừa nhanh. Hợp cơ sở dữ liệu, đổi lại mất một nửa dung lượng.
RAID 5 và RAID 6
Dùng dữ liệu chẵn lẻ để chịu được một ổ (RAID 5) hoặc hai ổ (RAID 6) hỏng, tốn ít dung lượng hơn RAID 10. Hợp kho lưu trữ HDD; ổ lớn dựng lại lâu nên RAID 6 an toàn hơn.
IOPS
Số thao tác đọc ghi nhỏ mỗi giây. Cơ sở dữ liệu cần IOPS cao: NVMe hơn HDD hàng trăm lần trở lên.
Quy tắc 3-2-1
Ba bản dữ liệu, trên hai loại lưu trữ, một bản đặt ở nơi khác.
VPS cấu hình nào cho việc gì
Các gói máy chủĐiểm xuất phát theo từng loại việc. Mọi gói dùng ổ NVMe, không giới hạn băng thông; nâng gói khi số đo thực tế cho thấy thiếu.
Website giới thiệu, landing page
- Gói gợi ý
- VPS 30 GB NVMe: 2 vCPU, 2 GB RAM
- Trang tĩnh hoặc CMS ít người sửa
- Đặt chung cơ sở dữ liệu lớn
Web bán hàng nhỏ và vừa
- Gói gợi ý
- VPS 50 GB NVMe: 4 vCPU, 4 GB RAM
- Ứng dụng và cơ sở dữ liệu chung một máy khi đơn còn ít
- Tách cơ sở dữ liệu sang máy riêng khi đông khách
API, ứng dụng nội bộ
- Gói gợi ý
- VPS 50 GB NVMe: 4 vCPU, 4 GB RAM, hoặc VPS 80 GB NVMe: 6 vCPU, 6 GB RAM
- Phần mềm quản lý, chấm công, CRM
- Máy chủ nhận dữ liệu từ app di động
Cơ sở dữ liệu riêng
- Gói gợi ý
- VPS 80 GB NVMe: 6 vCPU, 6 GB RAM trở lên
- Ưu tiên RAM để giữ dữ liệu hay dùng
- Ổ NVMe cho nhật ký giao dịch
- Dữ liệu vài trăm GB trở lên ghi liên tục (nên dùng máy chủ riêng)
CI/CD, build mã nguồn
- Gói gợi ý
- VPS 160 GB NVMe: 8 vCPU, 8 GB RAM trở lên
- Nhiều vCPU để build song song
- Ổ đủ chỗ cho bộ nhớ đệm build và ảnh container
Môi trường dev và thử nghiệm
- Gói gợi ý
- VPS 30 GB NVMe: 2 vCPU, 2 GB RAM
- Tách khỏi máy thật để thử bản mới
- Chép cấu hình máy thật ở cỡ nhỏ hơn
Máy ảo Windows
- Gói gợi ý
- VPS 50 GB NVMe: 4 vCPU, 4 GB RAM trở lên
- Phần mềm chỉ chạy trên Windows
- Làm việc từ xa qua Remote Desktop
- Gói 1 GB RAM: Windows dùng nhiều RAM hơn Linux
Máy ảo gắn GPU
Máy ảo được gắn trọn một card GPU. Cấu hình theo yêu cầu, liên hệ để chốt loại card.
- Suy luận mô hình nhỏ
- Tạo ảnh, dựng hình theo đợt
- Huấn luyện trên nhiều card (dùng máy chủ GPU)
Thuật ngữ
VPS
Máy chủ ảo: một máy vật lý chia thành nhiều máy ảo, mỗi máy có vCPU, RAM, ổ và quyền quản trị riêng. Rẻ hơn máy riêng, nâng cấp nhanh.
Máy chủ riêng
Thuê trọn một máy vật lý: toàn bộ CPU, RAM, ổ thuộc về một khách. Dùng khi tải lớn và ổn định, cần ổ dung lượng lớn hoặc gắn GPU.
Máy ảo Windows
Cần giấy phép Windows hợp lệ. Nên từ 2 vCPU, 4 GB RAM để dùng giao diện đồ hoạ qua Remote Desktop cho thoải mái.
Câu hỏi thường gặp
GPU nào để chạy LLM?
Chọn theo dung lượng mô hình trước: mô hình phải vừa bộ nhớ GPU. Mô hình tới 8 tỷ tham số: 1 × RTX 5090 (32 GB mỗi card), suy luận, 16 bit. Mô hình tới 32 tỷ tham số: 1 × RTX PRO 6000 (96 GB mỗi card), suy luận, 16 bit; tiết kiệm hơn thì 1 × RTX 5090 (32 GB mỗi card), suy luận, 4 bit. Mô hình tới 70 tỷ tham số: 2 × A100 (80 GB mỗi card), suy luận, 8 bit, nối NVLink; tiết kiệm hơn thì 1 × RTX PRO 6000 (96 GB mỗi card), suy luận, 4 bit. Khi suy luận, băng thông bộ nhớ quyết định tốc độ sinh chữ nhiều hơn số lõi.
VPS nào để chạy web bán hàng?
Web bán hàng nhỏ và vừa bắt đầu từ VPS 50 GB NVMe (4 vCPU, 4 GB RAM, ổ NVMe). Ứng dụng và cơ sở dữ liệu chung một máy khi đơn còn ít. Tách cơ sở dữ liệu sang máy riêng khi đông khách. Trên 500 người dùng cùng lúc thì chuyển sang máy chủ riêng.
NVMe hay HDD cho cơ sở dữ liệu?
NVMe. IOPS: Số thao tác đọc ghi nhỏ mỗi giây. Cơ sở dữ liệu cần IOPS cao: NVMe hơn HDD hàng trăm lần trở lên. Ổ đĩa quay: giá mỗi TB thấp nhất, đọc ghi tuần tự ổn, truy cập ngẫu nhiên chậm. HDD hợp sao lưu, lưu trữ lâu dài, video gốc, tệp lớn; không hợp cơ sở dữ liệu. NVMe đọc tuần tự tới khoảng 7 GB/s (PCIe Gen4).
Chọn CPU máy chủ thế nào?
Nhiều nhân cho nhiều việc chạy song song, xung cao cho từng việc cần xong nhanh. Dòng máy chủ có thêm nhiều kênh bộ nhớ, nhiều làn PCIe và RAM ECC. CPU máy chủ nhiều nhân hợp ảo hoá, chạy nhiều VPS và máy ảo, build mã nguồn, CI/CD, xử lý dữ liệu song song, máy chủ gắn nhiều GPU. CPU xung cao, ít nhân hơn hợp cơ sở dữ liệu cần trả lời từng truy vấn nhanh, máy chủ game (vòng lặp chính thường chạy một luồng), phần mềm cũ chỉ dùng vài luồng.
