Meituan LongCat-2.0 chính thức ra mắt

Meituan LongCat-2.0 chính thức ra mắt Ngày 30 tháng 6, hôm nay, Meituan chính thức phát hành thế hệ mới của mô hình lớn với hàng nghìn tỷ tham số LongCat-2.0 và sẽ mở mã nguồn ra bên ngoài. Dữ liệu huấn luyện trước của LongCat-2.0 có quy mô vượt quá 30T tokens, bao gồm tiếng Trung, tiếng Anh, đa ngôn ngữ và nhiều loại dữ liệu mã khác nhau; Đối mặt với các sự cố phần cứng, bất thường trong giao tiếp, áp lực bộ nhớ và dao động số trong quá trình huấn luyện với hàng triệu tham số, đội ngũ LongCat đã giải quyết vấn đề huấn luyện bằng sức mạnh tính toán trong nước từ ba khía cạnh: tính ổn định, tính chính xác và hiệu quả. Về tính ổn định, thông qua xử lý bất thường HCCL, mở rộng và thu hẹp linh hoạt, cùng với phục hồi lỗi tự động, tỷ lệ lỗi trung bình hàng tháng đã giảm hơn 70%; Về tính chính xác, thông qua việc tự phát triển các toán tử xác định, xác minh tính nhất quán Bitwise và kiểm tra tham số, đảm bảo kết quả huấn luyện đáng tin cậy, đồng thời nâng cao độ chính xác tính toán của các mô-đun quan trọng và tối ưu hóa logic Reduce;