Модель китайской компании Moonshot с 2,8 трлн параметров получила открытые веса и продемонстрировала конкурентную эффективность, вызвав резкую реакцию со стороны OpenAI
Искусственный интеллект338 минут назад
Китайская компания Moonshot анонсировала открытую модель искусственного интеллекта Kimi K3, которая стремительно заняла высокие позиции в рейтингах Arena. Появление данной модели усилило соперничество между закрытыми коммерческими системами OpenAI и Anthropic и открытыми ИИ-моделями.
Kimi K3 относится к большим моделям: она имеет 2,8 трлн параметров, позволяет работать с текстами и изображениями и предназначена для обработки контекстного окна примерно в 1 млн токенов. Разработчики утверждают о высокой скорости работы и конкурентоспособной производительности по сравнению с другими моделями подобного уровня.
Одной из отличительных черт Kimi K3 является архитектура Kimi Delta Attention (KDA), созданная для более эффективной обработки длинных запросов. В современных крупных языковых моделях применяется механизм внимания (attention), позволяющий системе учитывать взаимосвязи между различными частями текста, однако с увеличением длины контекста возрастает объем промежуточных данных, необходимых для функционирования модели.
KDA применяет гибридный подход: вместо постоянного увеличения памяти для всего контекста модель сочетает 3 состояния сжатого представления данных и одно состояние полного доступа к информации. Это позволяет сохранять краткие «конспекты» о ключевых фрагментах диалога, одновременно периодически обращаясь к полному представлению контекста. Такой метод уменьшает нагрузку на механизм KV cache — специализированную область памяти, где модель хранит уже обработанную информацию, чтобы избежать её повторного вычисления при каждом новом шаге.
Однако оптимизация памяти не подразумевает автоматического снижения всех аппаратных затрат модели. В Kimi K3 также внедрена технология WideEP, связанная с распределением вычислительных процессов между ускорителями, поэтому общий объем используемой высокоскоростной памяти HBM может оставаться значительным.
Увеличение числа открытых моделей вызвало реакцию со стороны конкурентов. Дин Болл (Dean W. Ball), руководитель стратегического развития OpenAI, заявил в социальной сети X, что распространение открытых ИИ-моделей может привести к сценарию, который он охарактеризовал как «полный ИИ-коммунизм», где искусственный интеллект будет восприниматься как общественное благо, а не как коммерческий продукт. Он также раскритиковал китайские открытые модели, назвав их подход «замедляющим фактором для крупных инвестиций в вычислительную инфраструктуру».
Darth SaharaИсточники:wccftechИскусственный интеллект3Искусственный интеллектOpenAIБольшие языковые моделиОткрытые моделиKimi K3Moonshot38 минут назад
Источник