Veracode протестировала свыше 100 моделей: синтаксические ошибки наблюдались в 0% случаев, однако защита от уязвимостей осталась примерно на уровне 2025 года
15 августа 2026, 23:10Искусственный интеллектDarth Sahara0
Компания Veracode выпустила отчет GenAI Code Security Report 2026, в котором акцентировала внимание на разрыве между способностями ИИ создавать рабочий код и его безопасностью.
В 4 тестовых срезах более 100 моделей продемонстрировали в среднем 56% успешных результатов по безопасности — почти столько же, сколько и год назад. При этом синтаксические тесты модели проходили почти в 100% случаев. Другими словами, код может корректно функционировать, но при этом содержать уязвимую реализацию.
Veracode проверяла исходные модели на стандартизированных заданиях по генерации кода на различных языках и для разных категорий уязвимостей. Запросы не содержали специфических указаний по безопасности. В таких условиях примерно в 44% случаев сгенерированный код не проходил проверку безопасности. Компания отдельно отмечает, что этот показатель не следует трактовать как долю уязвимого кода в реальных проектах: тесты отражают только выбранные задания и условия и не учитывают дополнительные меры защиты, такие как статический анализ, политики, защитные ограничения и проверка человеком.
Специализированные модели для программирования не продемонстрировали значительного преимущества: их средний результат составил 51% против 52% у универсальных моделей. Размер также почти не оказал влияния на безопасность: крупные модели набрали в среднем 53%, тогда как средние и малые — 51%. Лучше всего проявили себя модели с режимом рассуждений — 56% против 51% у остальных. В рейтинге Veracode GPT-5.5 показала 68%, в то время как 6 из 11 представленных моделей получили от 50% до 53%.
Результаты различались сильнее в зависимости от языков программирования. Python продемонстрировал лучший средний результат — 63%, тогда как Java оказался на последнем месте с 30%, хотя его показатель улучшался. В отчете подчеркивается, что корректность синтаксиса сама по себе не является надежным признаком безопасности: сгенерированный код может успешно компилироваться и выполнять задачу, одновременно применяя небезопасный способ реализации.
Veracode рекомендует рассматривать ИИ-сгенерированный код как непроверенный и поддавать его проверкам безопасности прежде, чем объединять с основной кодовой базой, включая анализ зависимостей и самого сгенерированного кода. Главный практический вывод тестов — скорость генерации рабочего кода не заменяет контроль, способный выявить уязвимости, которые функциональные проверки не могут обнаружить.
Источники:letsdatascienceИскусственный интеллект0Искусственный интеллектКибербезопасностьPython51 минуту назад
Источник