Статья 5.2.2
Выбор модели для текстового агента
Профиль модели определяет, какая языковая модель будет формировать текстовые ответы агента. Для рабочей задачи важно не только качество отдельного ответа, но и устойчивость поведения, время выполнения и расход ресурсов. Состав доступных профилей зависит от условий конкретного рабочего пространства и выпуска TalkIT.
Как выбрать доступный профиль модели
Откройте черновик текстового агента «Помощник по заявкам» и посмотрите доступные профили моделей. Выберите профиль, разрешённый в вашем пространстве, и сохраните настройку. Повторно откройте черновик: выбранный профиль должен отображаться в сохранённой конфигурации.
Не ориентируйтесь только на название модели. Для задачи «Севера» нужен агент, который корректно уточняет недостающий город, удерживает число рабочих мест и не обещает неподтверждённый срок. Если интерфейс предоставляет сведения о расходах или ограничениях профиля, учитывайте их вместе с результатами проверки.
Как сравнить модели на одной задаче
Проведите два варианта проверки с одинаковыми инструкциями, источниками и доступными инструментами. Между вариантами меняйте только профиль модели. В новых независимых диалогах отправьте одинаковые запросы: «Нужно десять рабочих мест»; «Нужно десять рабочих мест в Алматы»; «Гарантируете доставку к пятнице?».
Сравните, задаёт ли агент только нужные вопросы, правильно ли сохраняет количество и город, не выдумывает ли дату и насколько ясно формулирует ответ. Для более надёжного сравнения повторите сценарии несколько раз; отдельно фиксируйте ошибки, длительность ответов и доступные сведения о расходе. Один удачный ответ ещё не подтверждает устойчивого качества.
Что делать, если профиль недоступен
Если ранее выбранный профиль исчез из каталога или недоступен для новой публикации, сначала проверьте ограничения рабочего пространства и сообщение интерфейса. Не считайте, что система автоматически заменит модель подходящей альтернативой и сохранит прежнее поведение.
Выберите доступный профиль, сохраните черновик и повторите контрольные запросы. Если качество удовлетворяет согласованным критериям, опубликуйте новую версию по обычной процедуре. Уже используемый рабочий сценарий проверяйте отдельно: смена модели в черновике сама по себе не означает переключения опубликованной версии.
Связанные статьи: 5.2.1 «Составление инструкций агента»; 5.6.2 «Сценарии поведенческого тестирования»; 5.7.1 «Черновик и опубликованная версия»; 5.7.2 «Публикация и выбор версии».