Разработка рекомендательной системы для научных публикаций с фокусом на оценку эффективности

1.1. Технико-экономическая характеристика предметной области и предприятия

В подглаве описывается деятельность ООО «Оценка научных рекомендаций»: сфера деятельности, организационная структура, ключевые бизнес-процессы, связанные с анализом научных публикаций и их рекомендацией. Акцент делается на текущие методы оценки эффективности систем рекомендации научных статей, используемые в компании.

Пример содержимого: ООО «Оценка научных рекомендаций» занимается анализом научных публикаций в области ИТ, используя ручные и полуавтоматические методы подбора статей для исследователей. Основная проблема — низкая точность рекомендаций из-за отсутствия комплексной системы оценки эффективности. Средний срок подбора релевантной публикации — 45 минут, что снижает производительность на 30%.

Сложности:

• Нехватка открытых данных о внутренних процессах предприятия.
• Требуется логичная имитация структуры и KPI компании.

Время выполнения: 8–10 часов.

1.2. Характеристика комплекса задач и обоснование необходимости автоматизации

Раскрываются ручные процессы, подлежащие автоматизации: анализ текста публикаций, формирование рекомендаций, оценка их эффективности. Обосновывается, почему текущие методы неэффективны и как автоматизация процесса разработка может повысить точность и скорость подбора.

Пример содержимого: В настоящее время специалисты вручную оценивают 50–60 статей в день. При этом 40% рекомендаций оказываются нерелевантными. Автоматизация позволит сократить время обработки до 15 минут на публикацию и повысить точность рекомендаций на 35%.

Сложности:

• Необходимость чётко выделить задачи, подлежащие автоматизации.
• Связь между задачами и бизнес-целями предприятия.

Время выполнения: 6–8 часов.

1.3. Анализ существующих разработок и выбор стратегии автоматизации

Проводится сравнительный анализ известных рекомендательных систем (например, Google Scholar, ResearchGate, Mendeley). Оцениваются их методы оценки эффективности, алгоритмы, достоинства и недостатки. На основе анализа выбирается стратегия автоматизации — например, гибридный подход (содержательный + коллаборативный фильтр).

Пример содержимого: Анализ показал, что Google Scholar использует алгоритм на основе цитирования, но не учитывает тематическую близость. ResearchGate применяет поведенческие данные, но не оценивает качество публикаций. Для ООО «Оценка научных рекомендаций» предложена гибридная стратегия с использованием NLP и метрик цитирования.

Сложности:

• Требуется глубокое понимание принципов работы существующих систем.
• Необходимо обосновать выбор именно своей стратегии.

Время выполнения: 10–12 часов.

1.4. Обоснование проектных решений

Формулируются ключевые проектные решения: выбор архитектуры системы (клиент-сервер, микросервисы), технологии хранения данных, методы оценки эффективности (precision, recall, F1-score, NDCG).

Пример содержимого: Для оценки эффективности рекомендаций предложено использовать метрику NDCG@10, так как она учитывает порядок выдачи и релевантность. Архитектура — клиент-серверная, с использованием PostgreSQL для хранения метаданных и Elasticsearch для поиска.

Сложности:

• Необходимость технической грамотности при выборе технологий.
• Связь решений с требованиями предметной области.

Время выполнения: 8–10 часов.

Выводы по главе 1 — анализ текущего состояния ООО «Оценка научных рекомендаций», выявление недостатков в ручной обработке данных и обоснование необходимости разработки автоматизированной системы позволили сформулировать технические и экономические предпосылки проекта. Выбрана стратегия гибридной рекомендательной системы с акцентом на оценку эффективности.

Время выполнения: 4–6 ч.

2.1. Разработка проекта автоматизации

Описывается архитектура системы: модули (анализ текста, генерация рекомендаций, оценка эффективности), взаимодействие между ними, потоки данных. Приводятся диаграммы (DFD, UML).

Пример содержимого: Система включает три основных модуля: 1) NLP-анализатор на базе BERT, 2) движок рекомендаций (гибридный), 3) модуль оценки эффективности с расчётом NDCG и Precision@K. Входные данные — база научных публикаций, выходные — персонализированные рекомендации.

Сложности:

• Необходимость корректного построения диаграмм по ГОСТ.
• Сложность описания алгоритмов без излишней технической детализации.

Время выполнения: 12–15 часов.

2.2. Информационное обеспечение задачи

Определяется структура базы данных: сущности (публикации, авторы, темы, рекомендации), связи, примеры таблиц. Описываются источники данных (Scopus, Web of Science, arXiv).

Пример содержимого: Таблица "Publications" содержит поля: ID, title, abstract, authors, keywords, citations, source. Связь с таблицей "Recommendations" — через ID пользователя и ID публикации. Данные импортируются из arXiv через API.

Сложности:

• Создание логичной и нормализованной структуры БД.
• Необходимость соответствия реальным источникам данных.

Время выполнения: 8–10 часов.

2.3. Программное обеспечение задачи

Указываются используемые технологии: Python (PyTorch, Scikit-learn), Flask, PostgreSQL, Elasticsearch. Приводятся фрагменты кода (например, функция оценки NDCG).

Пример содержимого: Реализация метрики NDCG:

def ndcg_at_k(relevances, k):
    dcg = sum([rel / np.log2(i + 2) for i, rel in enumerate(relevances[:k])])
    idcg = sum([rel / np.log2(i + 2) for i, rel in enumerate(sorted(relevances, reverse=True)[:k])])
    return dcg / idcg if idcg > 0 else 0

Сложности:

• Оформление кода по ГОСТ.
• Необходимость адаптации примеров под учебный формат.

Время выполнения: 10–12 часов.

2.4. Контрольный пример реализации проекта и его описание

Приводится сценарий использования: ввод запроса, генерация рекомендаций, расчёт метрик. Демонстрируется работа системы на тестовом наборе данных.

Пример содержимого: Пользователь вводит запрос "машинное обучение в медицине". Система возвращает 10 публикаций. Рассчитано: Precision@5 = 0.8, NDCG@10 = 0.75. Результаты соответствуют ожиданиям.

Сложности:

• Необходимость логичного и последовательного описания сценария.
• Связь примера с метриками эффективности.

Время выполнения: 8–10 часов.

Выводы по главе 2 — спроектирована и описана рекомендательная система для научных публикаций, включающая модули анализа, рекомендаций и оценки эффективности. Разработано информационное и программное обеспечение, подтверждено работоспособность на контрольном примере.

Время выполнения: 4–6 ч.

3.1. Выбор и обоснование методики расчёта экономической эффективности

Обосновывается выбор методики — например, расчёт годового экономического эффекта по методике Минэкономразвития. Учитываются затраты на разработку, внедрение, эксплуатацию.

Пример содержимого: В качестве методики выбран расчёт годового экономического эффекта с учётом снижения трудозатрат сотрудников и повышения качества рекомендаций. Базовый период — 1 год.

Сложности:

• Необходимость понимания экономических формул.
• Адаптация методики под условное предприятие.

Время выполнения: 6–8 часов.

3.2. Расчёт показателей экономической эффективности проекта

Приводятся расчёты: снижение затрат на ручной подбор, увеличение производительности, срок окупаемости, чистый дисконтированный доход (ЧДД), индекс рентабельности (ИР).

Пример содержимого: Годовая экономия за счёт автоматизации — 1 200 000 руб. Затраты на разработку — 800 000 руб. Срок окупаемости — 8 месяцев. ЧДД при ставке дисконтирования 10% — 950 000 руб.

Сложности:

• Точность расчётов и соответствие формул.
• Необходимость обоснования исходных данных.

Время выполнения: 10–12 часов.

Выводы по главе 3 — расчёты показали высокую экономическую эффективность проекта. Срок окупаемости составляет менее года, что делает разработку целесообразной для внедрения в ООО «Оценка научных рекомендаций».

Время выполнения: 4–6 ч.