Модель с 1,6 трлн параметров и контекстом 1 млн токенов завершила полный цикл обучения и инференса на кластере из 50 тыс отечественных ASIC
Искусственный интеллект045 минут назад
Китайская корпорация Meituan анонсировала запуск LongCat-2.0 — крупной языковой модели нового поколения с 1,6 трлн параметров и крайне длинным контекстом до 1 млн токенов. Основное преимущество данного релиза заключается в том, что полный процесс — от предобучения до инференса — осуществлён на вычислительном кластере из 50 тыс. отечественных ASIC-ускорителей, что делает эту систему одним из крупнейших публичных примеров полного обучения LLM на национальном оборудовании.
Под ASIC (application-specific integrated circuit) в данном контексте подразумеваются специализированные вычислительные чипы, оптимизированные для задач машинного обучения, а не универсальные GPU. По косвенным признакам, включая использование коммуникационной библиотеки HCCL (Huawei Collective Communication Library), инфраструктура может быть связана с аппаратной экосистемой Huawei, хотя поставщик ускорителей официально не раскрывается.
Архитектура LongCat-2.0 предназначена для работы с агентными сценариями — задачами, где модель генерирует и редактирует код, использует инструменты, взаимодействует с API и выполняет многошаговые цепочки рассуждений. Объем внутреннего корпуса обучения превышает 30 трлн токенов и включает мультиязычные данные и программный код.
Одним из основных технических компонентов стала LongCat Sparse Attention (LSA) — механизм разреженного внимания, который вместо полного попарного сравнения токенов выбирает только наиболее важные элементы контекста. Это позволяет масштабировать обработку до 1 млн токенов, снижая вычислительную сложность с квадратичной до почти линейной в практическом применении.
Дополнительно модель применяет динамическую активацию параметров в диапазоне примерно 33–56 млрд активных весов на токен (архитектура Mixture of Experts). Простые токены обрабатываются с минимальными вычислительными затратами, в то время как сложные автоматически задействуют больше вычислительных ресурсов. Такой подход снижает стоимость инференса, сохраняя качество в сложных задачах.
Отдельно представлена схема MOPD (Multi-Teacher On-Policy Distill) — метод дистилляции, при котором несколько специализированных «экспертных» подмоделей обучают единый чекпоинт. В LongCat-2.0 выделяются три группы: агентные эксперты (работа с инструментами и API), reasoning-эксперты (многошаговая логика и STEM-задачи) и интерактивные эксперты (следование инструкциям и снижение галлюцинаций).
Согласно заявленным бенчмаркам LongCat-2.0 демонстрирует конкурентоспособные результаты в задачах генерации кода и агентного взаимодействия. В SWE-bench Pro модель получает 59,5 балла, опережая Gemini 3.1 Pro и находясь на уровне рядом с GPT-5.5 и Claude Opus последних версий, оставаясь при этом ниже лидеров общего назначения. Сильные результаты также фиксируются в Terminal-Bench 2.1 и задачах поиска и веб-агентов.
Практические демонстрации включают автоматическое создание SQL-агентов, рефакторинг больших кодовых баз под новые API, генерацию полноценных веб-приложений по одному описанию, создание интерактивных 3D-сцен на Three.js и многоагентные системы генерации текстов с контролем согласованности на длинных горизонтах контекста.
В целом LongCat-2.0 демонстрирует два значительных сдвига: переход к триллионным моделям, обученным на полностью локальной аппаратной базе, и смещение фокуса в сторону агентных сценариев, где важной метрикой становится не только качество текста, но и способность модели выполнять сложные цепочки действий в длинном контексте. Это усиливает конкуренцию между китайской и западной экосистемами LLM и указывает на то, что масштабное обучение на национальных вычислительных кластерах становится практической реальностью, а не экспериментом.
Darth SaharaИсточники:LongCat AIhuggingfaceИскусственный интеллект0Искусственный интеллектASICLLMКитайские моделиMeituanLongCat-2.0УскорителиOpenRouter45 минут назад
Источник