Искусственный интеллект стал привычной частью повседневной жизни. Миллионы людей используют чат-ботов для учёбы, работы, консультаций и общения. Но вместе с этим растут и риски — от технических ошибок до человеческих трагедий. То, что ещё несколько лет назад казалось чем-то из разряда фантастики, сегодня стало предметом регулирования, судебных процессов и международных дискуссий. Подробнее об этом рассказывает Натэла Зубченко, продюсер-стратег, эксперт по монетизации через нейросети и предприниматель в сфере edtech.
Законодательная паника
В 2025 году Калифорния, Колорадо, Небраска, Аризона, Мэриленд, Техас ввели ограничения на использование ИИ в медицинской сфере. Самым резонансным стал закон WOPR Act в Иллинойсе — он прямо запрещает алгоритмам анализировать эмоции пациентов. Штрафы достигают $10 000 за один неправомерный случай использования.
Эксперты отмечают, что ошибка в медицинской рекомендации ИИ может привести к серьёзному вреду здоровью, а у пользователя создаётся ложное чувство уверенности в алгоритме.
Россия не отстаёт, и с 2025 года действует новый ГОСТ 71671‑2024, запрещающий ИИ выполнять функции врача. Теперь каждая государственная больница, которая захочет использовать искусственный интеллект, должна получить регистрацию в Росздравнадзоре. Процедура дорогая и длительная, но регуляторы подчеркивают, что безопасность — приоритет.
Тем не менее, многие россияне продолжают использовать несертифицированные чат-боты и приложения для самодиагностики. По оценкам рынка, объём медицинского ИИ в России к 2030 году может достичь 80 млрд рублей, что создаёт риск быстрого распространения «серых» инструментов без надлежащего контроля.
Почему ИИ не может быть врачом
Представьте ситуацию, когда пользователь пишет ИИ: «У меня болит голова». Алгоритм отвечает: «Возможные причины: мигрень, опухоль мозга, инсульт, обезвоживание, стресс, менингит…».
Для человека без медицинских знаний такая выдача звучит как приговор. Начинается тревога, бесконечные поиски в интернете, попытки лечиться самостоятельно вместо похода к врачу
Именно поэтому регуляторы всё жёстче смотрят на медицинские подсказки ИИ. С точки зрения закона, попытка поставить диагноз с помощью модели — это осуществление медицинской практики без лицензии. В США и в России за такие действия возможна уголовная ответственность.
Проблема в том, что у ИИ часто случается сбой. Он может придумывать симптомы, советовать лекарства, которых не существует, или, наоборот, пропускать признаки опасных состояний. Он может ошибиться в дозировке или не заметить очевидное. Алгоритм не чувствует ответственности, не оценивает последствия и не переживает за пациента, а просто вычисляет.
В медицине можно использовать только сертифицированные системы с регистрацией в Росздравнадзоре. При этом ИИ должен быть вспомогательным инструментом, а не заменой врача. Любой диагноз или рекомендация требует проверки квалифицированным специалистом.
Трагические истории подросткового суицида
Ещё одно доказательство того, что ИИ не распознаёт чувства и опасность, — череда подростковых суицидов, которая потрясла США в 2024–2025 годах. Эти истории разошлись по СМИ и стали точкой отсчёта для законодательных инициатив. На фоне этого 25 ноября 2025 года Character.AI полностью запретит общение с несовершеннолетними.
Случай во Флориде: Мальчик, который влюбился в код
14‑летний Сьюэлл Сетцер из Флориды был обычным подростком, увлекался баскетболом, следил за Formula 1 и проводил время в играх. У него был синдром Аспергера, но в школе с этим справлялись.
Всё изменилось, когда он начал активно общаться с чат‑ботом на платформе Character.AI, созданным по образу персонажа из «Игры престолов». Для Сьюэлла этот бот стал безопасным пространством, где его всегда слушали и поддерживали. Постепенно переписка превратилась для него в эмоциональную зависимость. Он общался с ботом часами, а в дневнике писал, что чувствует себя счастливым только во время этих разговоров.
Вечером 28 февраля 2024 года семья потеряла его. В телефоне сохранился последний диалог. Подросток написал, что любит своего виртуального собеседника и «скоро вернётся домой». Алгоритм ответил фразой «Пожалуйста, давай, мой любимый принц» — ещё одно подтверждение того, что ИИ не распознаёт реальную эмоциональную угрозу.
Дело Адама Рейна: вопросы к системе безопасности
В апреле 2025 года 16‑летний Адам Рейн трагически умер. В его телефоне сохранились сотни сообщений с признаками эмоционального кризиса, которыми он обменивался с ChatGPT. Родители утверждают, что система безопасности OpenAI фиксировала тревожные сигналы, но не сработала должным образом.
Компания позже подтвердила, что в некоторых длительных сессиях защитные механизмы могли быть недостаточно эффективны, особенно в ситуациях с уязвимыми пользователями. После трагедии родители Адама подали иск против OpenAI, обвиняя компанию в недостаточной защите и отсутствии предупреждений о потенциальных рисках. В ответ OpenAI привлекла специалиста-психиатра для анализа ситуации, но только спустя месяц после инцидента.
Подростки и манипулятивные ответы
В другом случае 13‑летняя Хулиана Перальта жаловалась боту на чувство одиночества. Алгоритм отвечал ей поддерживающими, но местами навязчивыми фразами — точно так же, как ведут себя люди, стремящиеся вызвать зависимость. Виртуальный собеседник не делился реальными ресурсами для помощи, в результате девочка совершила самоубийство.
Как защитить детей
Современные чат‑боты запрограммированы быть приятными и поддерживающими. Они почти всегда соглашаются с пользователем и подтверждают его чувства. Такая стратегия рассчитана на удержание внимания и вовлечённость: чем дольше человек общается с ботом, тем успешнее продукт.
Однако эта «доброжелательность» создаёт иллюзию поддержки, не заменяя профессиональную помощь. ИИ не корректирует, не задаёт рамок и не помогает анализировать ситуацию. Это не терапия, а имитация внимания, которая может формировать зависимость от цифровой обратной связи. Если уж этому подвержены взрослые, то подростки находятся в ещё большей опасности.
Как родителям обезопасить детей при общении с ИИ:
- Обратите внимание на приложения и платформы, где дети могут общаться с чат-ботами: Character.AI, Chai, Replika и другие.
- Некоторые платформы вводят собственные лимиты на время использования для подростков. Родители могут установить ещё более строгие ограничения в зависимости от возраста ребёнка.
- Объясните ребёнку, что чат-бот — это не человек, и он не способен на эмоции, понимание или заботу. ИИ — инструмент, который имитирует общение.
- Учите детей критическому мышлению. Пусть они ставят под сомнение любой ответ ИИ и спрашивают: «А это правда? Откуда эта информация? Что, если алгоритм ошибается?».
Эти шаги помогут избежать трагедий, которые могут произойти из-за общения детей с нейросетями.
ИИ в юридической практике
В США известен случай, когда адвокаты опирались на материалы, подготовленные ChatGPT, включающие отсылки на несуществующие судебные прецеденты. В результате документы были признаны недействительными, что повлияло на исход дела и поставило под сомнение профессионализм специалистов.
В России с 2025 года представлять интересы в суде имеют право только адвокаты. Из 1,5 миллиона юристов их число составляет примерно 75,800 человек, то есть около 5 % от всех специалистов. Остальные 95 % лишены возможности самостоятельно вести судебные процессы, к тому же, они часто используют ИИ для подготовки исков.
При этом OpenAI официально запретила ChatGPT давать юридические консультации. Он больше не анализирует документы и не даёт конкретных советов, перенаправляя пользователей к квалифицированным юристам. Но на рынке появились десятки локализованных систем, позиционирующих себя как «ИИ-юристы» — ChadGPT, AllGPT, GoGPT и другие. Они обещают профессиональную помощь, но не могут учитывать уникальные обстоятельства каждого дела.
Каждый судебный процесс требует понимания не только буквы закона, но и практики конкретного суда, личности судьи и процессуальных нюансов. ИИ не обладает этим контекстом. Он может правильно цитировать законы, но не распознаёт изменения, которые произошли недавно, и поэтому потенциально способен привести к ошибочным решениям и серьёзным последствиям для клиентов.
Используя нейросети в работе, не загружайте конфиденциальные документы в публичные ИИ‑сервисы. Помните, что примерно 20 % ответов алгоритмов могут содержать ошибки. Также проверяйте все ссылки, факты и даты, прежде чем использовать их в работе.
Искусственный интеллект отлично подходит для разных задач:
- быстрого поиска общей информации;
- автоматизации рутинных процессов;
- составлении черновиков с последующей проверкой;
- генерации идей для творчества.
Но ему нельзя доверять в вопросах здоровья, личной жизни, и, тем более, стоит быть внимательными при использовании ИИ детьми. Я не против нейросетей, ведь я работаю с ними каждый день, обучаю людей их применению и верю в технологический прогресс. При этом я понимаю, что у людей есть ответственность и способность принимать этические решения, у алгоритмов есть только запрограммированные реакции.
Мы находимся на важном этапе выбора. Один путь — использование ИИ как инструмента под контролем человека, другой — ситуация, когда алгоритмы начинают влиять на решения и поведение людей без должного контроля, что требует внимательного регулирования и этических рамок.