Оптимизация программного обеспечения снизила потребность ChatGPT в графических процессорах Nvidia до нескольких сотен для части пользовательского трафика
Искусственный интеллект144 минуты назад
Инженеры OpenAI обнаружили способ более чем в два раза уменьшить расходы на обработку запросов к искусственному интеллекту без привлечения нового оборудования. Как сообщает издание The Information, после внедрения новой системы оптимизации для определённой группы пользователей ChatGPT количество необходимых графических процессоров Nvidia в некоторые моменты времени удалось сократить до нескольких сотен — показатель, который источники считают неожиданно низким для сервиса такого уровня.
Речь идет об оптимизации инференса — процессе непосредственного выполнения пользовательских запросов с использованием уже обученной модели. Инференс в настоящее время составляет основную статью расходов для компаний, работающих с генеративным искусственным интеллектом. В отличие от обучения модели, которое происходит ограниченное количество раз, инференс требует вычислительных ресурсов для каждого отдельного диалога, ответа, API-запроса или действия ИИ-агента.
Согласно данным The Information, разработанное OpenAI решение было применено для поддержки пользователей ChatGPT, которые используют сервис без регистрации или подписки. В результате количество задействованных графических ускорителей Nvidia в некоторые моменты времени снизилось до нескольких сотен. Если эти данные подтвердятся и технология окажется масштабируемой, это может значительно изменить экономику эксплуатации крупных языковых моделей.
При этом подробности самой технологии не раскрываются. Источники утверждают, что повышение эффективности было достигнуто за счёт более рационального применения уже существующей серверной инфраструктуры, а не путём установки дополнительных ускорителей. Это может означать оптимизацию распределения запросов, более эффективное использование памяти, улучшение пакетной обработки данных или другие программные методы повышения производительности, однако OpenAI официально не комментировала применяемые подходы.
Эксперты подчеркивают, что именно программные методы оптимизации становятся одним из ключевых факторов конкурентоспособности разработчиков ИИ. На фоне глобального дефицита высокопроизводительных ускорителей и миллиардных вложений в строительство новых центров обработки данных возможность значительно снизить вычислительные расходы без закупки дополнительного оборудования приобретает стратегическое значение.
Остаётся неясным, распространяется ли новая технология на платных клиентов OpenAI, корпоративных пользователей и наиболее сложные рассуждающие модели компании. От ответа на этот вопрос зависит, идет ли речь о локальной оптимизации для определённого типа нагрузки или о кардинальном изменении подхода к эксплуатации крупных языковых моделей.
Если такое снижение стоимости инференса действительно окажется универсальным, у OpenAI появится несколько стратегических возможностей: расширить бесплатный доступ к услугам, снизить цены для клиентов или значительно увеличить объём вычислений для ИИ-агентов без дополнительного наращивания аппаратной инфраструктуры.
На фоне продолжающейся гонки за вычислительными мощностями и строительства новых фабрик по производству полупроводников подобные программные оптимизации могут оказаться не менее важными, чем создание более производительных чипов. В этом случае борьба за лидерство в области искусственного интеллекта будет определяться не только количеством графических процессоров, но и эффективностью их использования.
Darth SaharaИсточники:The InformationaiweeklyИскусственный интеллект1ChatGPTИскусственный интеллектOpenAINvidiaGPUДата-центрыИнференс44 минуты назад
Источник