AI Evaluations

Evaluations позволяют тестировать AI workflows на наборе примеров и измерять качество ответов.

Light evaluations — быстрая проверка workflow на нескольких примерах с визуальным сравнением результатов.

• На этапе разработки
• Для небольшого набора тестов (5-20 примеров)
• Когда достаточно визуальной проверки

1. Создайте датасет с примерами

2. Подключите датасет к workflow

3. Запишите результаты обратно в датасет

4. Запустите оценку

5. Просмотрите и сравните результаты

Создайте Google Sheet или Data Table с колонками:

Пример датасета для классификации тикетов:

Добавьте Evaluation Trigger в начало workflow:

┌──────────────────┐    ┌────────────┐    ┌────────────┐
│ Evaluation       │───→│  AI Agent  │───→│ Set Outputs│
│ Trigger          │    │            │    │ (запись)   │
│ (датасет)        │    │            │    │            │
└──────────────────┘    └────────────┘    └────────────┘

При каждом запуске триггер выдаёт одну строку из датасета.

Добавьте Evaluation ноду с операцией Set Outputs:

1. Подключите после AI Agent
2. Укажите маппинг: output workflow → колонка датасета

Нажмите Evaluate all у Evaluation Trigger — workflow выполнится для каждой строки датасета.

Откройте датасет и сравните expected_output с actual_output.

Metric-based evaluations вычисляют численные метрики качества для автоматического сравнения версий workflow.

• Большой датасет (50+ примеров)
• Продакшн AI workflows
• A/B тестирование промптов
• Отслеживание регрессий

Вы можете создать свои метрики:

// Пример: проверка длины ответа
const responseLength = $json.response.length;
const score = responseLength > 100 && responseLength < 500 ? 1 : 0;
return { json: { length_score: score } };

1. Настройте Light evaluation (шаги 1-3)

2. Добавьте Evaluation ноду с Set Metrics

3. Выберите метрики или создайте кастомные

4. Запустите оценку из вкладки Evaluations

┌──────────────────┐    ┌────────────┐    ┌────────────┐    ┌────────────┐
│ Evaluation       │───→│  AI Agent  │───→│ Set Outputs│───→│ Set Metrics│
│ Trigger          │    │            │    │            │    │            │
└──────────────────┘    └────────────┘    └────────────┘    └────────────┘

1. Перейдите на вкладку Evaluations
2. Нажмите Run evaluation
3. После завершения — сводные метрики по каждому измерению

Датасет:

Метрики:

• Categorization для category
• Categorization для priority

Результат: Accuracy = 0.95 (95% правильных классификаций)

Датасет:

Метрики:

• Correctness — правильность ответа
• Helpfulness — полезность
• Кастомная метрика: Document relevance

Датасет:

Метрики:

• Helpfulness (1-5)
• String Similarity (для точных ответов)

Метрики добавляют latency и стоимость (AI-based). Выполняйте их только при оценке:

┌────────────────────┐
│ Check if evaluating│
│ (Evaluation node)  │
└─────────┬──────────┘
          │
     ┌────┴────┐
     ↓         ↓
   Yes        No
     │         │
     ↓         ↓
┌─────────┐ ┌─────────┐
│ Metrics │ │  Skip   │
└─────────┘ └─────────┘

Development → Light eval (5-10 примеров)
Staging → Light eval (20-50 примеров)
Production → Metric-based (100+ примеров)

• Включайте edge cases
• Добавляйте примеры из продакшн ошибок
• Балансируйте категории

Перед изменением промпта:

1. Запустите baseline evaluation
2. Сохраните метрики
3. Внесите изменения
4. Сравните новые метрики

Запускайте evaluations:

• При изменении промптов
• Еженедельно для мониторинга
• Перед деплоем в продакшн