TalkITАкадемияОглавление

Статья 5.6.3

Разбор результатов испытаний

Как прочитать результат и проверить его полноту — В отчёте одного прогона найти контрольную реплику, вызовы функций и результаты обязательных проверок. Разобрать, почему несколько пройденных проверок ещё не дают положительного итога, если по остальным не хватает сведений.
Как отличить ошибку поведения от сбоя проверки — Сопоставить выдуманную дату, ожидаемую ошибку учебной функции и испорченный тестовый ответ. По каждому случаю объяснить, нужно ли изменить инструкцию агента, проверить его реакцию на отказ или исправить исходные данные испытания.
Как сравнить варианты и повторить проверку — Зафиксировать одну версию сценария и испытать на ней две конфигурации агента. По обязательным критериям сравнить ответы и вызовы, отметить разброс между повторами и сохранить пример, на котором поведение изменилось.