Компании наперегонки встраивают AI-агентов в продукты и рабочие процессы - но за фасадом технологического энтузиазма растёт тревожный пробел: большинство команд до сих пор не понимают, как измерить, хорошо ли агент справляется со своей работой. И это уже не академический вопрос - это прямой риск для бизнеса.

Чёрный ящик на проде

Оценить качество обычной ML-модели несложно: сравниваешь предсказание с эталоном и получаешь цифру. С агентами так не работает. Агент - это динамическая система из множества шагов: он интерпретирует запрос, строит стратегию, вызывает внешние инструменты, обрабатывает их ответы, удерживает контекст диалога. И только потом выдаёт результат.

Один и тот же запрос может привести к разным траекториям. Ответ выглядит одинаково - но один раз агент потратил три шага, а второй раз десять. На проде такая вариативность быстро превращается в источник неожиданных отказов и раздутых расходов.

Хуже того: финальный ответ может выглядеть убедительно, пока внутри цепочки уже произошла поломка. Retrieval вытащил устаревший документ. API вернул неполные данные. Парсер тихо сглотнул ошибку. Агент не заметил - и продолжил рассуждать, будто всё в порядке. Пользователь получает уверенный, хорошо сформулированный, но неверный ответ.

Три метрики, без которых разговор об агентах бессмысленен

Прежде чем обсуждать, умный ли агент, стоит убедиться, что он вообще пригоден к эксплуатации. Базовый слой оценки держится на трёх показателях.

• Latency - сколько времени уходит от запроса до ответа. Среднее значение обманчиво: агент может отвечать за пять секунд, но в десяти процентах случаев уходить в сорок. Именно хвосты распределения - p95 и p99 - рушат пользовательский опыт.
• Cost - реальная стоимость одного запроса или решённой задачи. Агент редко ограничивается одним LLM-вызовом: планирование, RAG, самопроверка, повторные обращения к инструментам - всё это складывается в итоговый счёт, который легко недооценить на этапе проектирования.
• Error Rate - как часто агент не доводит задачу до результата или доводит, но неправильно. Метрика простая, но именно она первой сигнализирует о системных проблемах.

Между тремя показателями всегда существует напряжение. Добавишь самопроверку - вырастет latency и стоимость. Срежешь шаги ради скорости - пострадает точность. Задача инженера не «сделать умного агента», а найти баланс: достаточное качество при приемлемой цене и времени отклика.

Почему это важно прямо сейчас

Рынок AI-агентов, по различным оценкам, к 2028 году перевалит за 50 миллиардов долларов. Инвестиции растут, пресс-релизы о «внедрении агентов» выходят ежедневно. Но большинство компаний пока воспроизводят игрушечные сценарии, не готовые к реальной нагрузке и реальным ошибкам.

Без чёткой системы метрик агент остаётся чёрным ящиком - вроде работает, но насколько стабильно и за какие деньги, никто толком не знает. Те команды, которые научатся измерять качество всей цепочки, а не только финального текста, окажутся на шаг впереди. Остальные будут чинить проблемы, которые давно стоило предвидеть.