Unigen ra mắt module AI cắm khe M.2, chạy mô hình 20 tỷ tham số chỉ với 10W điện

Unigen vừa ra mắt Amaretti E1.S, một module AI cắm vào khe M.2 trông như ổ SSD thông thường nhưng có thể chạy các mô hình ngôn ngữ lớn tới 20 tỷ tham số, tiêu thụ chỉ 10W điện.

Phần cứng bên trong module là chip tăng tốc SAKURA-II do công ty EdgeCortix phát triển, vốn được thiết kế ban đầu cho các thiết bị nhúng tiết kiệm điện như Raspberry Pi 5 và các bo mạch dùng chip ARM. Chip tích hợp bộ xử lý thần kinh (NPU) hiệu suất cao cùng 20MB bộ nhớ đệm trong chip, toàn bộ đóng gói trong kích thước 19x19mm, nhỏ đến mức có thể nhầm với một thanh RAM hay ổ SSD mini.

Điểm nổi bật nhất của Amaretti E1.S là dung lượng bộ nhớ lớn so với kích thước nhỏ bé. Module có hai phiên bản: 16 GB và 32 GB, dùng chuẩn LPDDR4x tốc độ cao với băng thông tới 68 GB/s. Với bộ nhớ 32 GB, Amaretti E1.S đủ sức chạy các mô hình ngôn ngữ lớn có tới 20 tỷ tham số, đủ để phục vụ các tác vụ AI thực tế như trợ lý ảo, phân tích văn bản và các quy trình AI tự động mà không cần kết nối lên máy chủ đám mây.

Về hiệu quả điện năng, Amaretti E1.S đạt mức 6 đơn vị hiệu suất AI trên mỗi watt, phù hợp triển khai trong các máy tính để bàn hoặc máy chủ nhỏ không có hệ thống làm mát mạnh. Nếu cần sức mạnh cao hơn, người dùng có thể cắm nhiều module cùng lúc vào các khe M.2 còn trống trên bo mạch chủ để tăng tổng khả năng xử lý, mở rộng linh hoạt theo nhu cầu. EdgeCortix cũng có phiên bản gắn khe PCIe cao cấp hơn, tích hợp hai chip SAKURA-II, nhưng giải pháp M.2 phù hợp hơn với các hệ thống có khe cắm còn nhàn rỗi.

Amaretti E1.S tương thích với các bộ công cụ AI phổ biến hiện nay gồm TensorFlow, PyTorch, ONNX và Hugging Face, giúp nhà phát triển tích hợp dễ dàng mà không cần thay đổi nhiều trong quy trình làm việc hiện có. Unigen cũng khẳng định module hỗ trợ cả các luồng xử lý AI tạo sinh lẫn AI tác nhân tự động, hai xu hướng đang được nhiều doanh nghiệp triển khai trong năm nay.

Unigen bán Amaretti E1.S kèm tản nhiệt lắp sẵn, không cần mua thêm phụ kiện làm mát. Hãng chưa công bố giá, nhưng với dung lượng bộ nhớ lên tới 32 GB, mức giá dự kiến sẽ đáng kể. Thời gian giao hàng theo Unigen là khoảng 14 tuần, ngắn hơn nhiều so với việc chờ mua máy chủ GPU thông thường vốn thường phải chờ lâu hơn

Theo: Thanh Niên Việt

Sửa Camera, Laptop tại: http://Vitinhcatan.com