NVHBM là gì? Công nghệ bộ nhớ mới của NVIDIA tăng 30% băng thông cho AI

Khi các mô hình AI ngày càng lớn, nhu cầu về tốc độ truyền tải dữ liệu cũng tăng theo, khiến memory bandwidth trở thành yếu tố quan trọng bên cạnh sức mạnh xử lý. NVIDIA đang giải quyết bài toán này với NVHBM, công nghệ HBM tùy chỉnh được thiết kế cho thế hệ AI accelerator mới. Vậy NVHBM là gì, có gì khác biệt và công nghệ này mang lại ý nghĩa gì cho tương lai của bộ nhớ? Cùng MemoryZone tìm hiểu chi tiết trong bài viết dưới đây. 

1. NVHBM là gì? 

HBM (High Bandwidth Memory) là loại bộ nhớ có băng thông cao, được đặt gần accelerator để cung cấp dữ liệu nhanh cho các bộ xử lý. Với AI training, inference và agentic AI, accelerator phải liên tục truy cập model weights, KV cache và activation data, nên khả năng truyền dữ liệu của memory subsystem rất quan trọng.

NVHBM là công nghệ custom HBM base-die do NVIDIA thiết kế và xác thực cùng các nhà sản xuất bộ nhớ. Mục tiêu của NVHBM không chỉ là tăng tốc độ bộ nhớ mà còn tối ưu memory interface, diện tích silicon và mức tiêu thụ điện cho các XPU tùy chỉnh.

NVIDIA NVHBM hướng đến thế hệ AI accelerator

2. NVIDIA NVHBM mang lại những cải tiến gì? 

NVIDIA tập trung vào ba lợi ích chính của NVHBM tăng memory bandwidth, giảm điện năng và tối ưu diện tích dành cho compute. 

2.1 Tăng 30% memory bandwidth 

Theo NVIDIA, NVHBM có memory bandwidth cao hơn tới 30% so với HBM4e tiêu chuẩn. Băng thông cao hơn giúp dữ liệu được truyền giữa HBM và compute cores nhanh hơn, đặc biệt hữu ích với các workload AI có nhu cầu truy cập liên tục vào model weights, KV cache và activation data. Với các workload inference lớn, memory bandwidth cao hơn cũng có thể hỗ trợ tăng token throughput khi accelerator phải xử lý lượng dữ liệu lớn.

Memory bandwidth của NVHBM cao hơn tới 30% 

2.2 Giảm 15% điện năng tiêu thụ của HBM 

NVHBM được NVIDIA công bố có thể giảm tối đa 15% HBM power so với HBM4e tiêu chuẩn. Đây là cải tiến đáng chú ý với AI data center, nơi hàng nghìn accelerator cùng hoạt động khiến điện năng và khả năng tản nhiệt trở thành những bài toán quan trọng. Mức tiết kiệm trên từng XPU có thể tạo thêm power headroom khi triển khai hệ thống ở quy mô lớn.

 

2.3 Giảm diện tích PHY và tăng không gian cho compute 

Theo NVIDIA, thiết kế NVHBM giúp giảm tối đa 67% diện tích PHY và support area so với HBM4e theo chuẩn JEDEC. Các kết nối bộ nhớ hiệu quả hơn cũng có thể tạo thêm tối đa 25% diện tích die dành cho compute, trong khi tổng diện tích silicon khả dụng trên main die có thể tăng tới 30%. Phần không gian được giải phóng có thể dành cho compute hoặc các tính năng khác trên XPU. 

NVHBM sử dụng giao diện vật lý hẹp hơn 

3. NVLink Fusion đóng vai trò gì trong hệ thống AI?

Nếu NVHBM tập trung vào bộ nhớ bên trong accelerator, thì NVLink Fusion giải quyết bài toán kết nối ở cấp độ hệ thống. NVIDIA mô tả NVLink Fusion là công nghệ kết nối và IP cho phép các hyperscaler và công ty AI xây dựng custom XPU và CPU, sau đó tích hợp vào hạ tầng AI của NVIDIA, bao gồm các công nghệ scale-up, scale-out và kiến trúc rack-scale MGX.

Có thể hiểu là NVHBM tối ưu khả năng truyền dữ liệu giữa memory và compute trong XPU, còn NVLink Fusion giúp kết nối các XPU với nhau và mở rộng hệ thống AI ở quy mô lớn. NVLink Fusion sử dụng NVLink Fusion chiplet để kết nối custom XPU với NVLink fabric, liên kết các XPU trong rack thành một scale-up domain. XPU cũng có thể kết nối với CPU thông qua NVLink-C2C.

Như vậy, NVHBM và NVLink Fusion bổ trợ cho nhau: một công nghệ tối ưu memory subsystem ở cấp XPU, trong khi công nghệ còn lại tập trung vào khả năng kết nối và mở rộng hệ thống AI.

NVHBM kết hợp NVLink Fusion trong kiến trúc AI accelerator 

Tìm hiểu thêm: HBM4 là gì? Tìm hiểu công nghệ bộ nhớ băng thông cao thế hệ mới nhất

4. NVHBM có thay thế RAM và VRAM thông thường không? 

NVHBM hiện được NVIDIA định vị cho custom XPU và hạ tầng AI quy mô lớn, thay vì hướng đến máy tính cá nhân hay GPU gaming phổ thông.

Điểm khác biệt quan trọng nằm ở cách HBM được tích hợp và mục đích sử dụng. HBM được đặt gần accelerator để cung cấp băng thông bộ nhớ rất cao, phù hợp với những workload phải liên tục truyền lượng dữ liệu lớn giữa memory và compute.

Trong khi đó, NVHBM là một bước tối ưu hóa sâu hơn cho những hệ thống custom AI accelerator. NVIDIA tập trung vào việc tăng bandwidth, giảm diện tích giao tiếp và tiết kiệm điện thay vì biến NVHBM thành bộ nhớ phổ thông cho PC.

Vì vậy, người dùng PC gaming hay laptop không cần hiểu NVHBM như một lựa chọn nâng cấp RAM hoặc VRAM. Công nghệ này chủ yếu hướng đến lớp hạ tầng phía sau các hệ thống AI quy mô lớn.

 

5. Câu hỏi thường gặp về NVHBM

5.1 NVHBM có phải HBM4e không?

Không hoàn toàn. NVHBM là giải pháp HBM tùy chỉnh sử dụng custom HBM base die được NVIDIA thiết kế và xác thực cùng các nhà sản xuất bộ nhớ. Nó được tối ưu cho custom XPU và hạ tầng AI.

5.2 NVHBM có nhanh hơn HBM4e không?

Có, xét về memory bandwidth. Theo NVIDIA, NVHBM có tối đa 30% memory bandwidth cao hơn HBM4e tiêu chuẩn. Lưu ý đây là mức tăng về bandwidth, không đồng nghĩa NVHBM nhanh hơn 30% ở mọi tác vụ.

5.3 NVHBM có được sử dụng trên PC gaming không?

Hiện NVIDIA giới thiệu NVHBM trong bối cảnh custom XPU và AI infrastructure, không phải RAM hay VRAM dành cho PC gaming phổ thông.

5.4 NVLink Fusion và NVHBM có giống nhau không?

Không. NVHBM tập trung vào memory subsystem, trong khi NVLink Fusion tập trung vào kết nối custom XPU với các thành phần khác trong hệ thống AI.

6. Kết luận

NVHBM cho thấy bộ nhớ đang ngày càng đóng vai trò quan trọng trong hiệu năng của hệ thống AI. Với khả năng tăng băng thông, giảm điện năng và tối ưu diện tích silicon, công nghệ này mở ra hướng phát triển mới cho các AI accelerator thế hệ tiếp theo. Cùng MemoryZone cập nhật thêm những công nghệ phần cứng mới nhất trong lĩnh vực AI và bộ nhớ.