Chi tiết kỹ thuật tối ưu hóa toàn bộ chuỗi hệ thống suy diễn MiMo lần đầu tiên được công bố

Chi tiết kỹ thuật tối ưu hóa toàn bộ chuỗi hệ thống suy diễn MiMo lần đầu tiên được công bố Ngày 30 tháng 5, Xiaomi chính thức công bố kế hoạch tối ưu hóa toàn bộ chuỗi hệ thống suy diễn của mô hình MiMo-V2.5. Theo thông tin từ Xiaomi, đội ngũ đã tái cấu trúc hệ thống một cách có hệ thống từ quản lý KVCache, bộ nhớ đệm phân cấp, bộ nhớ đệm tiền tố đến chiến lược lập lịch và chuỗi Prefill/Decode, dựa trên kiến trúc kết hợp Hybrid SWA+MoE+đa phương thức. KVCache đã được nén lưu trữ xuống khoảng 1/7 so với các giải pháp cùng cấp, và chi phí suy diễn đã giảm đáng kể trong các tình huống chuỗi dài - đây là cơ sở công nghệ cốt lõi cho đợt giảm giá lần này. Vào ngày 27 tháng 5, API của dòng sản phẩm MiMo-V2.5 đã hoàn thành việc giảm giá vĩnh viễn, với mức giảm tối đa lên đến 99%, không phân biệt độ dài đầu vào.