Công nghệ siêu nút của Alibaba Cloud tương thích với Kimi K3

Công nghệ siêu nút của Alibaba Cloud tương thích với Kimi K3 Ngày 28 tháng 7, Alibaba Cloud cho biết, phiên bản siêu nút M890 của Alibaba Cloud đã tương thích với Kimi K3 từ Day0, đây là siêu nút đầu tiên trong nước chạy mô hình với gần 30 nghìn tỷ tham số. Hai bên sẽ tiếp tục mở rộng hợp tác về sức mạnh tính toán trong nước, nền tảng AI Qianwen và Alibaba Cloud Bailing cũng sẽ cung cấp API mô hình cho Kimi K3. Để nâng cao hiệu suất hoạt động của Kimi K3, Alibaba Cloud, Ping Tou Ge và đội ngũ Kimi đã thực hiện sự tương thích sâu sắc từ các khía cạnh như ngăn xếp phần mềm và toán tử. Ví dụ, M890 đã tối ưu hóa các toán tử cốt lõi trong kiến trúc mô hình Kimi K3, nâng cao đáng kể sức mạnh tính toán và tỷ lệ sử dụng băng thông trong suy diễn, có thể ổn định hỗ trợ ngữ cảnh dài nhất 1M, ứng phó thoải mái với việc hiểu tài liệu dài, suy diễn phức tạp và các tình huống khác. Các thử nghiệm cho thấy, sau khi tương thích, độ trễ của token đầu tiên của mô hình giảm khoảng 35%, và thông lượng giải mã trên một thẻ tăng 1.8 lần.