Разработка системы интеллектуального анализа отзывов клиентов с использованием методов NLP для извлечения сущностей

1.1. Технико-экономическая характеристика предметной области и предприятия

В этом разделе описывается АО «Извлечение данных»: сфера деятельности, организационная структура, ключевые бизнес-процессы, объём обрабатываемых данных. Особое внимание уделяется текущему подходу к анализу отзывов — вручную или с использованием простых инструментов.

Пример содержания: На предприятии ежемесячно обрабатывается более 15 000 отзывов. Анализ проводится вручную, что занимает 120 человеко-часов. Основная цель — выявление ключевых сущностей: бренды, продукты, жалобы, предложения. Текущая система не позволяет проводить масштабный анализ в реальном времени.

Сложности:

• Нехватка реальных данных о предприятии.
• Требование соответствия структуре Синергии.

Время выполнения: 8–10 ч.

1.2. Характеристика комплекса задач и обоснование необходимости автоматизации

Описывается комплекс задач, связанных с анализом отзывов: сбор, классификация, извлечение сущностей, визуализация. Обосновывается необходимость автоматизации процесса разработка — снижение трудозатрат, повышение точности, оперативность.

Пример содержания: Автоматизация позволит сократить время анализа с 120 до 15 часов в месяц, повысить точность извлечения сущностей до 92% за счёт применения NLP-моделей (например, spaCy или BERT).

Сложности:

• Грамотное обоснование необходимости автоматизации.
• Связь с экономической выгодой.

Время выполнения: 6–8 ч.

1.3. Анализ существующих разработок и выбор стратегии автоматизации

Проводится анализ аналогов: Google Cloud Natural Language, Yandex Text Analysis, open-source решения (Stanford NLP, Flair). Оцениваются их плюсы и минусы. На основе анализа выбирается стратегия — разработка собственной системы на Python с использованием библиотек NLP.

Пример содержания: Для АО «Извлечение данных» выбрана стратегия кастомной разработки с использованием spaCy и Hugging Face Transformers, что обеспечивает гибкость и контроль над моделью.

Сложности:

• Необходимость глубокого понимания NLP-инструментов.
• Объективная оценка аналогов.

Время выполнения: 8–10 ч.

1.4. Обоснование проектных решений

Обосновываются выбор архитектуры (микросервисная или монолит), языка программирования (Python), базы данных (PostgreSQL), фреймворков (FastAPI). Также рассматриваются вопросы безопасности и масштабируемости.

Пример содержания: Python выбран за счёт широкой экосистемы NLP-библиотек. FastAPI — для создания REST-интерфейса. PostgreSQL — для хранения структурированных сущностей (например, «клиент — жалоба — продукт»).

Сложности:

• Техническая обоснованность выбора.
• Связь решений с бизнес-целями.

Время выполнения: 8–10 ч.

Выводы по главе 1

В аналитической части обоснована необходимость разработки системы интеллектуального анализа отзывов. Выбрана стратегия кастомной разработки на основе современных NLP-методов. Предложены технические решения, соответствующие задачам АО «Извлечение данных».

Время выполнения: 4–6 ч.

2.1. Разработка проекта автоматизации

Описывается архитектура системы: модули сбора данных, предобработки, NLP-анализа, извлечения сущностей, визуализации. Приводятся диаграммы (DFD, UML).

Пример содержания: Система включает модуль парсинга отзывов (с сайтов и соцсетей), NLP-движок на spaCy, модуль хранения сущностей в PostgreSQL и веб-интерфейс на React.

Сложности:

• Построение корректных диаграмм.
• Связь модулей между собой.

Время выполнения: 10–12 ч.

2.2. Информационное обеспечение задачи

Описывается структура базы данных: таблицы (отзывы, сущности, категории, пользователи), связи, примеры записей. Приводится ER-диаграмма.

Пример содержания: Таблица «Сущности» содержит поля: id, отзыв_id, тип (продукт, бренд, жалоба), значение, точность. Связь с таблицей «Отзывы» по внешнему ключу.

Сложности:

• Нормализация данных.
• Соответствие логике системы.

Время выполнения: 8–10 ч.

2.3. Программное обеспечение задачи

Описывается стек технологий: Python, spaCy, Flask/FastAPI, PostgreSQL, Docker. Приводятся фрагменты кода (например, извлечение сущностей).

Пример содержания:

import spacy
nlp = spacy.load("ru_core_news_sm")
doc = nlp("Клиент недоволен качеством доставки от СДЭК.")
for ent in doc.ents:
    print(ent.text, ent.label_)

Сложности:

• Работа с кодом на Python.
• Оформление фрагментов по ГОСТ.

Время выполнения: 10–12 ч.

2.4. Контрольный пример реализации проекта и его описание

Приводится пример обработки 10 отзывов, результаты извлечения сущностей, скриншоты интерфейса, анализ точности.

Пример содержания: На выборке из 100 отзывов система извлекла 342 сущности, точность — 91,5%. Ошибки связаны с нестандартной лексикой.

Сложности:

• Подготовка данных.
• Оформление результатов.

Время выполнения: 8–10 ч.

Выводы по главе 2

Спроектирована и реализована система интеллектуального анализа отзывов с использованием методов NLP. Разработано программное и информационное обеспечение. Проведён контрольный пример, подтверждающий работоспособность решения.

Время выполнения: 4–6 ч.

3.1. Выбор и обоснование методики расчёта экономической эффективности

Обосновывается выбор методики — сравнительный анализ затрат «до» и «после» внедрения. Учитываются трудозатраты, стоимость лицензий, амортизация.

Пример содержания: Используется методика расчёта годового экономического эффекта по формуле: Э = (З₁ – З₂) × К, где З₁ и З₂ — затраты до и после автоматизации.

Сложности:

• Правильный выбор методики.
• Обоснование коэффициентов.

Время выполнения: 6–8 ч.

3.2. Расчёт показателей экономической эффективности проекта

Приводятся расчёты: сокращение трудозатрат с 120 до 15 ч/мес, экономия 1 890 000 руб./год. Срок окупаемости — 4,2 месяца.

Пример таблицы:

Сложности:

• Корректность расчётов.
• Соответствие методике Синергии.

Время выполнения: 8–10 ч.

Выводы по главе 3

Проект является экономически эффективным. Годовой экономический эффект составляет 1,575 млн рублей. Срок окупаемости — менее 5 месяцев.

Время выполнения: 4–6 ч.