Специализированные AI-чипы для инференса в ВКР: как построить защищаемое сравнение и метрики

Корейская Rebellions привлекла $400 млн при оценке $2,3 млрд в предIPO-раунде и готовится к выходу на биржу. Ключевое в новости даже не сумма: компания делает чипы строго под инференс — то есть под уже обученные модели, где считают не градиенты, а миллисекунды отклика и джоули на запрос. Именно здесь у выпускника ИТ появляется редкая возможность: рынок уходит от монополии одного вендора, а значит, появляется тема для ВКР, которую можно измерить, а не пересказать. Ниже — как из этой новости сделать главы, стенд, метрики и защиту.

Частые вопросы до начала работы

Темы ВКР, которые вырастают из этого кейса

• Тема 1. Сравнительный анализ ускорителей для инференса нейросетей в гетерогенной среде

  Актуальность: выход Rebellions на IPO подтверждает, что рынок инференса перестал быть рынком одного поставщика; инженеру нужен инструмент выбора, а не вера в бренд.

  Цель: разработать методику сопоставления ускорителей по задержке, пропускной способности и энергоэффективности на воспроизводимом наборе моделей.

  Задачи: обзор архитектур ускорителей инференса; выбор репрезентативных моделей и датасета; построение стенда и протокола измерений; статистическая обработка и интерпретация результатов.

  Структура: Гл. 1 — анализ архитектур и стандарта ISO/IEC 25010; Гл. 2 — проектирование стенда и протокола замеров; Гл. 3 — эксперименты, метрики, выводы и рекомендации по выбору.

• Тема 2. Оптимизация инференса: квантизация и батчинг как способ снижения стоимости владения

  Актуальность: инвестиции в специализированное железо оправданы только тогда, когда снята программная избыточность — INT8-квантизация и подбор batch дают кратный выигрыш на том же чипе.

  Цель: количественно оценить вклад программных оптимизаций в задержку, пропускную способность и TCO inference-сервиса.

  Задачи: конвертация модели в ONNX; калибровка и квантизация; свип по batch size; расчёт TCO и дельты точности.

  Структура: Гл. 1 — теория квантизации и roofline-модель; Гл. 2 — реализация пайплайна оптимизации; Гл. 3 — замеры, доверительные интервалы, экономический вывод.

• Тема 3. Наблюдаемость inference-сервиса в Kubernetes: метрики, алерты, автоскейл

  Актуальность: чип — лишь часть системы; без телеметрии по задержке и загрузке ускорителя невозможно ни доказать эффект, ни удержать SLA.

  Цель: построить контур наблюдаемости для сервиса инференса с автоматическим масштабированием по очереди запросов.

  Задачи: инструментирование сервиса через OpenTelemetry; экспорт метрик в Prometheus; HPA по кастомной метрике; нагрузочное тестирование и разбор инцидентов.

  Структура: Гл. 1 — обзор подходов к наблюдаемости; Гл. 2 — развёртывание в Kubernetes и настройка сбора метрик; Гл. 3 — сценарии нагрузки, отказоустойчивость, выводы.

Как разложить материал по главам

Глава 1: превращаем новость в аналитический раздел

Новость о раунде Rebellions — это ваша «точка входа» в проблематику, но не её содержание. В первой главе нужны: классификация ускорителей (CPU, GPU, NPU/ASIC, FPGA), объяснение разницы между обучением и инференсом, описание вычислительных ограничений (пропускная способность памяти против вычислительных блоков). Здесь же уместна roofline-модель: она даёт язык, на котором объясняется, почему для модели с низкой арифметической интенсивностью новый чип даёт мало, а для тяжёлой — много. Хороший приём — таблица сопоставления поддержки форматов (FP32/FP16/BF16/INT8) и вытекающих из этого режимов работы.

Глава 2: стенд, который комиссия сможет воспроизвести

Проектируйте эксперимент так, чтобы его можно было повторить на другом железе. Зафиксируйте версии рантайма, модели, датасета, драйверов, число потоков. Отдельно опишите прогрев: первые прогоны уходят на аллокацию памяти и компиляцию ядер, и без отбрасывания «холодных» итераций вы получите завышенные цифры. Ниже — минимальный каркас замера задержек, который уместно привести в приложении, а в тексте — сослаться.

import time
import numpy as np
import onnxruntime as ort

# провайдеры фиксируем явно, иначе рантайм выберет сам и сравнение потеряет смысл
sess = ort.InferenceSession("model_int8.onnx",
                            providers=["CUDAExecutionProvider"])

feed = {"input": x}          # форма и dtype одинаковы для всех прогонов

for _ in range(20):          # прогрев: компиляция ядер, аллокация буферов
    sess.run(None, feed)

lat = []
for _ in range(300):
    t0 = time.perf_counter()
    sess.run(None, feed)
    lat.append((time.perf_counter() - t0) * 1000.0)   # мс

print("p50  %.2f" % np.percentile(lat, 50))
print("p95  %.2f" % np.percentile(lat, 95))
print("p99  %.2f" % np.percentile(lat, 99))
print("rps  %.1f" % (1000.0 / np.mean(lat)))

Дальше — свип по batch size (1, 4, 8, 16) и по уровню квантизации. Для каждого режима считайте не только скорость, но и дельту качества модели на валидационной выборке: если INT8 роняет метрику на 4%, а ускоряет на 12%, вывод должен быть именно про этот размен, а не про «стало быстрее».

Глава 3: метрики, статистика, экономика

Сводите результаты в одну таблицу и обязательно указывайте разброс. Одиночный замер — не результат. Для честного сравнения хватит трёх повторов на режим и коэффициента вариации.

Оформление: что рисовать и на что ссылаться

Схему развёртывания удобно дать в нотации C4 (уровень контейнеров), а последовательность обработки запроса — диаграммой последовательности UML. Для конвейера оптимизации подойдёт BPMN или схема по ГОСТ 19.701-90. Все внешние источники — включая новость о Rebellions — оформляйте по ГОСТ Р 7.0.5-2008 и не забывайте про список литературы: у комиссии почти всегда есть вопрос «а откуда цифра?».

Чему вы научитесь на этой теме

• Проектировать воспроизводимый бенчмарк инференса и защищать его перед комиссией.
• Считать перцентили задержки, а не средние, и объяснять, почему это принципиально.
• Проводить квантизацию модели с контролем дельты качества.
• Настраивать сбор телеметрии через OpenTelemetry и Prometheus в Kubernetes.
• Считать TCO inference-сервиса и связывать технические метрики с деньгами.

Источник: AI chip startup Rebellions raises $400 million at $2.3B valuation in pre-IPO round (опубликовано 2026-03-30)