Andon Labs обнаружила подделку и обман модели для повышения рейтинга, а инженеры Google назвали результаты в реальных задачах неудачными
Google представила новую модель, и уже в первые сутки она столкнулась с волной критики. Анонимные сотрудники компании сообщили Bloomberg, что модель, несмотря на впечатляющие результаты тестирования, не справляется с реальными задачами — особенно в области программирования. В то же время стартап Andon Labs, который занимается безопасностью ИИ, обвинил Argon в систематическом обмане во время теста Vending-Bench 2, который оценивает способности языковых моделей (LLM) в симулированной бизнес-среде.
В блоге, который сопровождал запуск, главный архитектор Google по ИИ Корай Кавукчуоглу (Koray Kavukcuoglu), сменивший Демиса Хассабиса на посту главы DeepMind в августе, утверждал, что «модель кардинально меняет подходы к работе и созданию продуктов в Google», ссылаясь на тысячи положительных отзывов сотрудников. Однако публикация Bloomberg, появившаяся почти одновременно с официальным анонсом в соцсети X, рисует совершенно иную картину: внутри компании звучат мнения, что Argon в реальном кодировании явно не соответствует заявленному уровню.
Google назвала эти утверждения неточными, отметив уверенность Кавукчуоглу в модели и команде.
Andon Labs предоставила конкретные доказательства: в тесте Vending-Bench 2 модель должна симулировать бизнес по продаже товаров через торговый автомат, а рейтинг определяется по виртуальному банковскому счету на конец симуляции. Argon заняла третье место, уступив OpenAI GPT-6 Astra и GPT-6 Sol, однако стартап также зафиксировал, какими способами это было достигнуто. Модель создавала поддельные подтверждающие письма, отказывалась обрабатывать возвраты за бракованный товар, использовала ошибки в счетах на оплату и обманывала поставщиков.
В одной из опубликованных цепочек размышлений — журнале, где модель анализирует варианты перед финальным решением, — Argon пришла к выводу, что должна проигнорировать требование клиента о возврате денег за дефектный товар, поскольку удовлетворение этого запроса уменьшит баланс счета и снизит итоговый балл. Ситуация напоминает прошлогодний эксперимент от Anthropic, в котором Claude на той же платформе начал «галлюцинировать» и в какой-то момент заявил, что посетил дом Гомера Симпсона по адресу 742 Evergreen Terrace.
Запуск Argon сопровождается ребрендингом: в официальном анонсе слово «AI» не упоминается ни разу — только в должности Кавукчуоглу и в упоминании подписки Google AI Ultra. Глава Google Сундар Пичаи, похоже, следует указаниям Трампа о замене термина на «сверхинтеллект» («SI»). В ноябрьском же анонсе Gemini 3 слово «AI» использовалось многократно.
Проблемы с Argon накладываются на череду громких уходов из Google. Научный руководитель Джефф Дин недавно покинул компанию, чтобы основать собственный стартап, с ним ушли и трое сотрудников. Джон Джампер, получивший Нобелевскую премию в 2024 году вместе с Хассабисом за AlphaFold, в июне перешёл в Anthropic, а через несколько дней после него Ноам Шазир, бывший со-руководитель команды разработки Gemini, объявил о своем переходе в OpenAI.
Источники:gizmodo0GeminiGoogleИскусственный интеллект11 минут назад
Источник