Бурный рост популярности генеративных моделей и алгоритмов искусственного интеллекта не мог не привлечь внимания кибрепреступников. Специалисты по кибербезопасности не раз говорили, что появление вредоносных аналогов чат-бота ChatGPT – лишь вопрос времени. И судя по всему, это время уже пришло. Исследователи компании SlashNext сообщают о распространении инструмента WormGPT, который служит для совершенствования BEC-атак.

Этим термином обозначаются атаки, связанные с компрометацией деловой переписки (от английского Business Email Compromise). Организаторы таких атак рассылают компаниям письма якобы от лица их клиентов, партнеров или подрядчиков с просьбой оплатить некие выполненные работы и фиктивными счетами. В кратком описании схема может звучать не слишком убедительно, но счет убытков от таких атак идет на миллиарды долларов ежегодно. Теперь же ситуация может стать еще хуже: WormGPT, по свидетельству специалистов SlashNext, способен составлять максимально убедительные письма. От хакеров требуется лишь конкретизировать цель, которую преследует письмо, все остальное сделает искусственный интеллект. При этом письмо будет составлено безупречно грамотно, даже если организаторы атаки вообще не владеют языком, на котором оно пишется. Более того, WormGPT способен еще и просчитывать стратегию сложных атак, что делает его исключительно ценным для злоумышленников и исключительно опасным для жертв инструментом.

Другой киберпреступный тренд, отмеченный экспертами SlashNext, состоит во «взломе» легитимных генеративных моделей. На хакерских форумах появляется все больше публикаций с описаниями заданий (prompts) для GPT, которые играют роль «джейлбрейков». Это особым образом сформулированные команды, выполнение которых позволяет искусственному интеллекту выйти за рамки этических ограничений, наложенных разработчиками. В результате легитимный чат-бот становится способен находить и раскрывать конфиденциальную информацию, создавать противоправный контент и коды вредоносных программ.