Thuê cloud server và máy chủ, hạ tầng GPU

Máy chủ rack đo chiều cao bằng U (1U = 44,45 mm); loại 1U, 2U chứa CPU, RAM, ổ đĩa và thường có từ hai cổng mạng trở lên. Một máy vật lý được chia thành nhiều máy chủ ảo (VPS) bằng phần mềm ảo hoá, mỗi máy ảo có vCPU, RAM và ổ riêng.

Cơ sở dữ liệu nhạy với độ trễ ổ đĩa hơn là băng thông: ổ NVMe rút ngắn thời gian ghi nhật ký giao dịch (WAL). Máy cơ sở dữ liệu nên nằm cùng mạng nội bộ với máy ứng dụng và không mở cổng ra Internet.

Switch tầng 2 chuyển gói theo địa chỉ MAC; switch tầng 3 định tuyến được giữa các VLAN. Hai switch chạy song song, mỗi máy chủ nối vào cả hai, thì một switch hỏng mạng vẫn chạy.

Patch panel là thiết bị thụ động, không cấp điện. Mỗi cổng gắn nhãn khớp với sơ đồ đi dây; loại phổ biến 24 hoặc 48 cổng, cho cáp đồng hoặc cáp quang.

Mỗi đoạn cáp đồng xoắn đôi tối đa 100 m. Cáp quang đa mode dùng trong phòng máy, đơn mode cho khoảng cách xa. Đi cáp theo màu cho từng loại mạng và qua thanh quản lý cáp ngang để mặt trước tủ thông thoáng.

Cách phổ biến là hai PDU A và B, mỗi PDU đủ gánh cả tủ khi nhánh kia mất. Vì vậy lúc bình thường mỗi nhánh chỉ nên tải dưới một nửa định mức. PDU đo theo ổ cho biết máy nào tiêu thụ điện bất thường.

ASHRAE khuyến nghị khí cấp vào máy chủ trong khoảng 18 đến 27 °C. Ô trống trong tủ phải che bằng tấm mù (blanking panel), nếu không khí nóng phía sau quẩn ngược ra mặt trước.

Số liệu thu theo chu kỳ vài chục giây, có ngưỡng cảnh báo và gộp cảnh báo trùng để người trực không bị nhờn. Thêm phép kiểm từ bên ngoài (gọi thử trang như một khách) để bắt lỗi mà số liệu bên trong máy không thấy.

Quạt máy chủ đổi tốc độ theo cảm biến nhiệt và thường được lắp dư để một quạt hỏng vẫn đủ gió (N+1). Gió đi một chiều từ trước ra sau, nên không được chắn mặt sau tủ.

SSD SATA bị giới hạn khoảng 550 MB/s bởi chuẩn giao tiếp; NVMe PCIe Gen4 đọc tuần tự tới khoảng 7 GB/s. RAID 1 hoặc RAID 10 chịu được ổ hỏng, nhưng xoá nhầm hay mã độc mã hoá cũng được chép sang ổ còn lại. Khay thay nóng cho phép rút ổ hỏng khi máy vẫn chạy.

Dung lượng VRAM thường là giới hạn đầu tiên: mô hình 7 tỷ tham số lưu ở 16 bit cần khoảng 14 GB chỉ cho trọng số, chưa tính bộ nhớ đệm khi suy luận.

Có Transformer Engine với định dạng FP8 để tăng tốc mô hình transformer. Bản SXM (tới 700 W, HBM3 3,35 TB/s) nối nhiều card bằng NVLink; bản PCIe nối được theo cặp bằng cầu NVLink.

Không có FP8 như H100; mạnh ở TF32 và BF16. Bản PCIe nối được theo cặp bằng cầu NVLink.

Không có NVLink nên khó gộp bộ nhớ nhiều card như dòng trung tâm dữ liệu. Lõi Tensor thế hệ 5 hỗ trợ FP4. Công suất 575 W cần khay đủ chỗ và đủ gió.

Băng thông khoảng 1,8 TB/s, PCIe Gen5 x16. Có ba bản: máy trạm 600 W, Max-Q 300 W và bản Server tản nhiệt thụ động cho khay máy chủ.

Hai con số cần chốt: RPO (chấp nhận mất tối đa bao nhiêu phút dữ liệu) và RTO (bao lâu phải chạy lại). Cơ sở dữ liệu nên sao lưu kèm nhật ký giao dịch để khôi phục về đúng một thời điểm.

Sự cố chia mức (nghiêm trọng, cao, thường), mỗi mức một thời hạn phản hồi. Sau mỗi lần dừng ghi nhật ký và nguyên nhân gốc để không lặp lại.