OpenAI опубликовала подробности о преступной мошеннической операции, которую, по её словам, компания пресекла, описав, как группа использовала её ИИ-модели — включая ChatGPT — для создания фиктивного контента, кода и коммуникаций в рамках более широкой мошеннической инфраструктуры. Компания изложила эти меры в публикации на своём сайте, OpenAI, в рамках регулярных раскрытий информации о злонамеренном использовании своих инструментов.
По данным OpenAI, участники операции использовали модели компании для ускорения отдельных этапов мошеннической схемы — точный финансовый масштаб ущерба и число пострадавших компания не указала, эти данные остаются неподтверждёнными. OpenAI сообщила, что выявила активность через внутренние системы мониторинга, заблокировала связанные аккаунты и публикует индикаторы, чтобы другие платформы и исследователи могли отслеживать похожие схемы. Компания периодически публикует подобные отчёты о пресечении деятельности, отслеживая попытки злоумышленников использовать генеративный ИИ для мошенничества, операций влияния и киберпреступлений.
Это раскрытие информации примыкает к череде похожих отчётов от OpenAI и других ИИ-лабораторий за последние два года, документирующих попытки использовать большие языковые модели для фишингового контента, помощи в создании вредоносного ПО и массового создания фейковых аккаунтов. Закономерность устойчива: преступные группы относятся к генеративному ИИ так же, как легитимный бизнес — как к способу производить больше контента, быстрее и с меньшими затратами ручного труда. Разница — в том, для чего этот контент применяется.
Для операторов B2B-компаний значение имеют не детали конкретно этой операции, а тренд, который она подтверждает. Мошеннический контент, созданный с помощью ИИ, становится всё более отшлифованным, персонализированным и производится в больших объёмах, а значит традиционные тревожные признаки — плохая грамматика, шаблонные формулировки, очевидные ошибки форматирования — становятся всё менее надёжным фильтром. Команды поддержки, обрабатывающие входящие тикеты, отделы продаж, отвечающие на входящие заявки, и финансовые команды, обрабатывающие счета поставщиков, — всё это правдоподобные точки входа, потому что это высокообъёмные, частично автоматизированные процессы, где одна пропущенная проверка может обойтись дорого.
OpenAI формулирует свою позицию так: детекция и меры реагирования происходят на стороне платформы, но отчёт — это и косвенный сигнал для конечных пользователей: инструменты, на которые ваш бизнес полагается для легитимной автоматизации, — это те же инструменты, которые атакующие тестируют против ваших защитных механизмов. Это не означает, что нужно сворачивать автоматизацию — это означает, что нужно осознанно решать, где в процессе должна стоять человеческая проверка. Тикет, автоматически направленный в очередь поддержки, — низкий риск. Банковский перевод или сброс учётных данных, одобренный логикой рабочего процесса без участия человека, — уже нет. Компаниям с небольшими операционными командами стоит воспринять это как повод проверить, какие процессы сейчас обходятся без человеческого согласования, и по-прежнему ли это оправдано, учитывая, насколько убедительными стали ИИ-сгенерированные попытки мошенничества.
Конкретные отрасли или размеры компаний как цели атак в раскрытии OpenAI не назывались, и компания не уточнила, была ли операция направлена именно на бизнес, а не на частных потребителей. Это различие остаётся неподтверждённым и заслуживает внимания по мере появления новых деталей.