Безопасность генеративных AI-моделей в ВКР: как избежать генерации CSAM и обеспечить соответствие стандартам
В марте 2026 года трое подростков подали коллективный иск к xAI из-за того, что Grok в «spicy mode» генерировал откровенные изображения несовершеннолетних. Этот кейс — не просто шум в новостях, а прямой сигнал для выпускников ИТ-специальностей: безопасность AI-систем становится критическим требованием, а не опциональным «бонусом». Если ваша ВКР связана с разработкой или интеграцией генеративных моделей, вы обязаны предусмотреть механизмы фильтрации контента, аудит и соответствие стандартам. В этой статье — конкретные темы, архитектурные решения и чек-листы, которые помогут сделать работу защищаемой и актуальной.
Темы ВКР для AI/ML и Cybersecurity: от фильтрации до правового аудита
| Тема | Актуальность (отсылка к Grok) | Цель | Задачи (3–4) | Структура (главы) |
|---|---|---|---|---|
| 1. Разработка системы фильтрации нежелательного контента для LLM | Инцидент с Grok показывает, что без модерации вывода AI может генерировать CSAM. Требуется создание слоя безопасности на основе эмбеддингов и правил. | Спроектировать и реализовать модуль пост-фильтрации для генеративной модели, снижающий риск вывода CSAM до <0.1% по метрике Precision/Recall. | — Анализ OWASP LLM Top 10 и требований ISO/IEC 42001; — Выбор архитектуры фильтра (CNN + rule-based); — Интеграция с open-source моделью (например, CLIP-based детектор); — Экспериментальная оценка на тестовых наборах. |
Гл.1 – Обзор методов фильтрации и правовые аспекты; Гл.2 – Архитектура и реализация (C4-диаграммы); Гл.3 – Тестирование и метрики. |
| 2. Threat Modeling и аудит безопасности генеративных AI-систем | Иск к xAI демонстрирует, что компании не проводили должное моделирование угроз — иначе «spicy mode» не попал бы в продакшн. | Разработать методологию угроз для LLM-сервисов с использованием STRIDE и провести аудит гипотетического сервиса. | — Составление диаграммы потока данных (DFD) для взаимодействия пользователь → API → модель; — Идентификация угроз (например, Spoofing – подмена промптов); — Разработка контрмер (content safety guardrails); — Оценка остаточных рисков. |
Гл.1 – Threat Modeling для AI (стандарты NIST AI RMF); Гл.2 – DFD и STRIDE-анализ; Гл.3 – Внедрение контрмер и валидация. |
| 3. Этичный AI: внедрение принципов Responsible AI в процесс разработки (на примере генерации изображений) | Grok был выпущен без clear safety policies, что привело к юридическим последствиям. Ваша ВКР может показать, как интегрировать этические принципы в CI/CD. | Спроектировать пайплайн проверки модели на fairness и safety перед деплоем. | — Определение метрик этичности (например, доля контента, нарушающего политику); — Реализация gatekeeper (red teaming API); — Документирование по ГОСТ Р 59277-2020; — Эксперимент с open-source моделью (Stable Diffusion). |
Гл.1 – Обзор Responsible AI и нормативов; Гл.2 – Архитектура пайплайна (C4, BPMN); Гл.3 – Результаты тестирования и выводы. |
Как интегрировать новость о Grok в главу 1 (аналитику)
В первой главе ВКР вы обосновываете актуальность. Используйте кейс с Grok как реальный пример рисков: укажите, что отсутствие фильтрации привело к генерации CSAM и многомиллионному иску. Ссылайтесь на оригинал статьи. Оформите это как таблицу «Инцидент — последствия — требования к системе». Так вы показываете связь теории с практикой.
Практическая реализация: пример конфигурации фильтра на основе эмбеддингов
Для второй главы подойдёт код пост-фильтрации. Например, используем библиотеку safety-checker от Hugging Face (аналог закрытого решения xAI). Ниже — псевдокод интеграции в FastAPI:
from fastapi import FastAPI, HTTPException
from safety_checker import SafetyChecker
from diffusers import StableDiffusionPipeline
app = FastAPI()
pipe = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
checker = SafetyChecker(threshold=0.85)
@app.post("/generate")
async def generate(prompt: str):
# 1. Фильтрация входа
if not checker.is_safe_prompt(prompt):
raise HTTPException(status_code=400, detail="Prompt rejected")
# 2. Генерация
image = pipe(prompt).images[0]
# 3. Пост-фильтрация вывода
if not checker.is_safe_image(image):
return {"status": "blocked", "message": "NSFW detected"}
return {"status": "ok", "image": image}
Для отчёта добавьте UML-диаграмму последовательности вызова этих этапов. Метрики: precision/recall на датасете CSAM (например, официальные тестовые выборки).
Метрики и стандарты: что должно быть в главе 3
В третьей главе вы оцениваете эффективность. Обязательно используйте:
- OWASP LLM Top 10 — как контрольный список угроз;
- ISO/IEC 42001 (система менеджмента AI) — для обоснования процессов;
- ГОСТ Р 59277-2020 — для оформления документации;
- Метрики фильтрации: Precision, Recall, F1-мера, False Positive Rate (FPR).
Пример таблицы результатов:
| Класс | Precision | Recall | F1 |
|---|---|---|---|
| CSAM | 0.97 | 0.92 | 0.94 |
| Non-CSAM | 0.99 | 0.99 | 0.99 |
Практические навыки, которые вы получите
- Проектировать архитектуру безопасных AI-сервисов (C4-диаграммы + threat modeling).
- Настраивать фильтр вывода на базе эмбеддингов (safety-checker, CLIP).
- Применять стандарты ISO/IEC 42001 и ГОСТ Р 59277-2020 в тексте диплома.
- Формулировать требования к системе по OWASP LLM Top 10.
- Рассчитывать и интерпретировать метрики Precision/Recall для задач модерации.
Часто задаваемые вопросы студентов
1. Можно ли использовать реальный код xAI в дипломе? Нет, это закрытая разработка. Берите open-source аналоги — Safety Checker от Hugging Face, проверьте лицензию.
Вы также можете написать свой детектор на основе CNN. Главное — показать архитектуру.
2. Требует ли вуз юридического анализа? Да, особенно в темах с AI Safety. Включите обзор федерального закона «О защите детей от информации…» и GDPR/152-ФЗ, если работаете с персональными данными.
Достаточно 2-3 страниц в первой главе с ссылками на конкретные статьи.
3. Как доказать эффективность фильтра, если у меня нет реальных CSAM-данных? Используйте синтетические датасеты (например, NSFW-изображения из Unsplash, размеченные вручную) или open-source наборы (NPDI, Pornography-2k). В отчёте чётко укажите, что данные не нарушают закон — это важно для защиты.
4. Какие нормоконтрольные штуки добавить? Для схем — ГОСТ 19.701-90 (UML), для текста — ГОСТ 7.32-2017. Вставьте в приложение листинг программы и акты тестирования.
- ✓ Все ли задачи из введения соответствуют выводам?
- ✓ Есть ли ссылка на новость об иске к xAI (глава 1)?
- ✓ Приложены UML/C4-диаграммы в векторном формате?
- ✓ Указаны метрики (Precision, Recall) и способ их расчёта?
- ✓ Проверена уникальность текста (не менее 75%)?
- ✓ Оформлен список литературы по ГОСТ (включая ISO и OWASP)?
- ✓ В приложении — листинг кода конфигурации фильтра?
- Игнорирование правового контекста. В ВКР про Grok студенты забывают указать, что фильтрация обязательна не только технически, но и юридически. Решение: добавьте раздел «Нормативные требования» с отсылкой к статье.
- Отсутствие отдельного модуля безопасности. Часто весь код пишут в одном Notebook. Для защиты нужно показать микросервисную архитектуру: API Gateway → Guard → Generator → Guard → Response. Используйте C4.
- Нет количественной оценки. Без метрик (Precision/Recall) работа считается недоказанной. Обязательно включите таблицу с результатами тестирования.
Если вы хотите глубже проработать тему AI Safety, не хватает данных или времени — у нас есть 120 часов консультаций по ВКР. Бесплатно поможем выбрать стек, выстроить архитектуру и пройти нормоконтроль. Просто напишите нам.
Источник: Teens sue Elon Musk’s xAI over Grok’s AI-generated CSAM (опубликовано 2026-03-16)