Метрики ИИ-сотрудника: что измерять, кроме точности ответов

Когда команды только начинают работать с ИИ-сотрудниками, основной вопрос — «насколько он точно отвечает». Это важно, но это лишь одна метрика. Хороший ИИ-сотрудник оценивается одновременно по бизнесу, по UX и по технике.

Метрики для бизнеса

Эти метрики мы согласовываем с владельцем продукта до запуска. Они определяют, окупился пилот или нет.

• Конверсия в целевое действие: запись, заказ, оплата.
• Доля автоматически закрытых обращений.
• Экономия времени команды (часы в неделю).
• Стоимость одного успешного диалога.

Метрики UX

Здесь мы смотрим, насколько ИИ-сотрудник удобен и понятен клиенту. Если в чате клиенты раздражаются — никакая точность не поможет.

1. Скорость ответа: медиана и 95-й перцентиль.
2. Доля диалогов с эскалацией к человеку.
3. Доля диалогов, где клиент явно говорит «дайте человека».
4. CSAT по короткому опросу после диалога.

Метрики качества модели

Эти метрики нужны команде разработки, чтобы понимать, где улучшать сценарий, prompt или RAG.

• Точность намерения: правильно ли распознан запрос.
• Точность вызова инструментов: были ли вызваны нужные функции.
• Доля «галлюцинаций» — ответов вне базы знаний.
• Доля корректных эскалаций.

Метрики надёжности

Без них ИИ-сотрудник кажется красивым, но непредсказуемым. Мы их считаем с первого дня, чтобы не получить сюрпризов на масштабе.

1. Uptime интеграций (CRM, мессенджеры, календарь).
2. Latency tool-вызовов и ретраи.
3. Ошибки парсинга ответов модели.
4. Сбои на стороне провайдера моделей.

Хороший дашборд ИИ-сотрудника помещается на один экран и отвечает на три вопроса: «работает ли», «полезен ли», «можно ли масштабировать».

Что мы показываем владельцу продукта

Раз в неделю команда Gribzer присылает короткий отчёт: 3 ключевые бизнес-метрики, 2 UX-метрики, заметные инциденты, гипотезы на следующий спринт. Так владелец видит, во что превращаются инвестиции, а команда — куда копать дальше.