Статья 5.6.4
Как спланировать серию испытаний и проверить расход
Сколько испытаний потребуется — Сравнить две конфигурации на трёх сценариях с двумя независимыми повторами — всего 12 прогонов. Объяснить, что реплики одного прогона связаны общей историей, а новый повтор начинает со своего исходного состояния.
Что влияет на расход — Учесть число реплик, работу проверяемой модели и дополнительные вызовы модели для имитации клиента или оценки ответа, если они выбраны. Сведения о расходе показывать сотруднику с соответствующим доступом.
Что делать с незаконченной серией — Разобрать остановку или нехватку средств после части прогонов. Сохранить полученные результаты, указать непроверенные случаи и отдельно сверить подтверждённый расход серии. Оставшиеся случаи при необходимости включить в следующую проверку.
Связанные статьи — 5.4.3 Границы действий и проверка результата · 5.5.3 Как проверить, что агент услышал поправку собеседника · 5.8.4 Как проверить расходы на работу агентов