Бюро исследует возможность приобретения систем для обучения и развертывания крупных языковых моделей, анализа данных и компьютерного зрения в государственных вычислительных центрах
Искусственный интеллект012:53
Федеральное бюро расследований США (FBI) рассматривает вариант покупки специализированного оборудования для вычислений в области искусственного интеллекта. В выпущенном запросе агентство ищет системы, которые могут поддерживать обучение и развертывание больших языковых моделей (LLM), обработку данных, компьютерное зрение и прочие задачи ИИ в защищённой государственной вычислительной среде.
Запрос информации (RFI) является предварительным этапом перед возможным приобретением и не указывает на то, что ФБР уже приняло решение о покупке оборудования. В документах указано, что ведомство может приобрести несколько систем различных конфигураций и объёмов поставки.
ФБР разделило требования к предполагаемой инфраструктуре на четыре категории.
Первая категория включает серверы на базе процессоров Intel Xeon 6767P или аналогичных решений, с минимум 2 ТБ оперативной памяти, которая может быть расширена до 4 ТБ, а также с 8-графическим ускорителем Nvidia HGX B300 или сопоставимой системой. Оборудование должно включать SSD-накопители для операционной системы и данных, а также сетевые интерфейсы с высокой пропускной способностью.
Вторая категория относится к интегрированным стоечным системам для дата-центров. ФБР рассматривает решения уровня Nvidia GB300 NVL72 — готовые вычислительные стойки для обучения и работы крупных ИИ-моделей. Такие системы должны включать высокоскоростную сеть передачи данных между ускорителями, Ethernet-инфраструктуру уровня Nvidia Spectrum-X, встроенное охлаждение и возможность подключения к водяным системам охлаждения государственных объектов.
Третья категория касается архитектур ИИ-кластеров для корпоративных задач. В документах упоминаются системы уровня Google TPU v8, TPU v7L или выше — специализированные процессоры для задач ИИ. Необходимая производительность должна быть сопоставима как минимум с 5 стойками Nvidia GB300 NVL72. Оборудование должно поддерживать развертывание больших языковых моделей и работу с различными фреймворками ИИ.
Упоминание TPU стало необычным пунктом запроса, так как эти ускорители традиционно предоставлялись через облачную инфраструктуру Google, а не как локальные решения для установки в собственных дата-центрах. При этом Google постепенно расширяет доступность TPU за пределами своего облака, включая партнёрские вычислительные площадки.
Четвёртая категория относится к ускорителям для запуска готовых ИИ-моделей. ФБР рассматривает решения уровня Nvidia L40S с минимум 48 ГБ видеопамяти для задач генеративного ИИ, работы с эмбеддингами (числовыми представлениями данных для анализа взаимосвязей) и компьютерного зрения. Ускорители должны поддерживать распространённые форматы вычислений FP32, FP16, BF16 и INT8, а также инструменты CUDA, TensorRT, PyTorch и TensorFlow.
Большая часть возможных поставок, согласно документам, предназначена для подразделения ФБР Criminal Justice Information Services (CJIS) в Кларксберге, Западная Вирджиния. Там ведомство планирует размещать оборудование для защищённых вычислительных задач.
Darth SaharaИсточники:datacenterdynamicsИскусственный интеллект0Искусственный интеллектNvidiaGoogleСуперкомпьютерыTPUДата-центрыВычислительная инфраструктура12:53
Источник