Математическая модель продемонстрировала, что требования, налагаемые только на создателей конечных сервисов, вынуждают разработчиков базовых ИИ-моделей отказываться от собственных проверок и аудита
Искусственный интеллект059 минут назад
Исследователи из Корнеллского университета (Cornell University) и Университета Карнеги — Меллона (Carnegie Mellon University) подтвердили, что слабые нормы безопасности в сфере ИИ, ответственность за которые возложена исключительно на создателей конечных приложений, приводят к созданию продуктов с более высоким уровнем риска, чем полное отсутствие регулирования.
Авторы исследования смоделировали цепочку поставок инструментов ИИ, разделив её на два уровня: компании, разрабатывающие универсальные базовые модели, и сторонние организации, которые адаптируют эти нейросети под специфические задачи, такие как медицинская диагностика или клиентский сервис. Модель оценивает общую безопасность и эффективность продуктов в условиях введения регуляторами минимальных требований на различных этапах разработки.
Опасный эффект возникает в сценарии, когда заниженная планка безопасности устанавливается только для создателей конечных сервисов. В этом случае у поставщиков базовых нейросетей исчезают стимулы для инвестирования в собственные системы защиты и независимый аудит.
Главный автор исследования Бенджамин Лоуфер (Benjamin Laufer) из подразделения Корнелл Тек (Cornell Tech) отметил, что «законы становятся инструментом, позволяющим крупным компаниям перекладывать финансовое и техническое бремя безопасности на узкоспециализированных разработчиков приложений, создавая эффект "бесплатного проезда"».
В своём исследовании Бенджамин Лоуфер и его коллеги определили безопасность в широком смысле, включая риски, связанные с возможным вредом пользователям, в том числе генерацию токсичного контента чат-ботами. Учёные подчеркнули, что в условиях текущей неопределённости, когда большинство законопроектов по регулированию ИИ находятся в стадии обсуждения, крайне важно математически анализировать искажения экономических стимулов у коммерческих организаций.
Модель наглядно демонстрирует системную проблему управления в многоуровневых сервисах на основе ИИ. Ответственность в таких комплексах распределена между обучением основной модели, её точной настройкой, проектированием интерфейса и операционным мониторингом. Законодательные нормы, которые накладывают юридические обязательства только на один уровень цепи, создают разрыв между организациями, способными эффективно минимизировать риск, и фирмами, обязаными документировать соответствие стандартам.
Работа предоставляет формальную математическую основу для распределения ответственности за безопасность нейросетей между разработчиками и внедряющими компаниями. Хотя выводы исследования представляют собой теоретическую модель, а не измерение практики конкретных корпораций в сфере ИИ, полученные результаты дают регуляторам и специалистам по управлению рисками ориентиры для формирования стандартов аудита и предотвращения уклонения крупных поставщиков от проверок.
Darth SaharaИсточники:letsdatascienceИскусственный интеллект0Искусственный интеллектКибербезопасностьТеория игр59 минут назад
Источник