NVIDIA vừa phát hành mô hình ngôn ngữ thị giác Nemotron 3.5 Super VL trên nền tảng Amazon SageMaker JumpStart. Mô hình này cung cấp hai phiên bản để triển khai trên các cấu hình máy chủ phần cứng khác nhau.

Bối cảnh và chi tiết công nghệ

Mô hình Nemotron 3.5 Super VL kết hợp khung ngôn ngữ Hỗn hợp chuyên gia gồm 120 tỷ tham số với bộ mã hóa thị giác C-RADIO.

SageMaker JumpStart cung cấp phiên bản NVFP4 tối ưu hóa cho suy luận trên máy chủ G7 và phiên bản BF16 độ chính xác đầy đủ trên máy chủ P5en.

Mô hình hỗ trợ xử lý hình ảnh, video và văn bản với ngữ cảnh lên tới 1 triệu token cùng tính năng suy luận có thể định cấu hình.

Đánh giá tác động và góc nhìn chuyên môn

Việc tích hợp mô hình thị giác dung lượng lớn này vào một nền tảng quản lý đám mây giúp các nhà phát triển dễ dàng triển khai các tác vụ thông tài liệu và tự động hóa tác nhân AI.

Sự phân chia thành hai phiên bản trọng số NVFP4 và BF16 cho phép người dùng cân bằng giữa hiệu suất suy luận tối ưu phần cứng và nhu cầu tinh chỉnh mô hình tùy chỉnh.

Xu hướng tiếp theo và điều cần theo dõi

Hiệu năng thực tế của mô hình khi triển khai ở quy mô lớn trong môi trường sản xuất doanh nghiệp ngoài các benchmark công bố.

Chi phí vận hành dài hạn khi chạy các yêu cầu video và tài liệu đa trang có độ dài ngữ cảnh lớn trên các cấu hình máy chủ AWS cụ thể.