Симуляции

Симуляции - это способ протестировать поведение агента в различных ситуациях. Как это работает? Каждая симуляция состоит из двух частей 1) Тестирование агента с помощью агента-симуляции, который имитирует поведение пользователя. 2) Оценка результата тестирования с помощью агента-арбитора

После сохранения симуляции происходит следующее:

1. Каждая из симуляций общается с агентом, пытаясь достичь поставленной цели. Их общение происходит посредством текстового диалога.
2. После заврешения их общения, транскрибибация их диалога отправляется агенту-арбитору.
3. Агент-арбитор оценивает диалог между агентом и агентом-симуляцией и выдает оценку.

Таким образом, вы можете протестировать поведение агента в различных ситуациях и оценить, насколько хорошо он справляется с поставленной задачей.

Создание симуляции

Для создания симуляции перейдите в раздел "Симуляции" и нажмите на кнопку "Добавить". После нажатия на кнопку "Добавить" на основе вашего агента(его аргументов, инструкции и инструментов) будет создана симуляция. Симуляция имеет следующие поля к заполнению:

• Цель - цель, которую будет пытаться достичь Агент-симуляция-пользователя
• Кол-во повторов - количество повторов диалога между агентом и симуляцией-пользователя
• Описание успеха - описание успеха для агента-арбитора, который оценивает, удалось ли симуляции достичь поставленной цели
• Описание провала - описание провала для агента-арбитора, который оценивает, удалось ли симуляции достичь поставленной цели

Цель симуляции должна быть достижимой и атомарной.

Пример хорошей цели:

• Симуляция 1: "Попытаться отменить заказ"
• Симуляция 2: "Попытаться перенести заказ"
• Симуляция 3: "Попытаться отменить заказ"

Каждая симулция имеет свою четкую и понятную цель.

Пример плохой цели:

• Симуляция 1: "Узнать статус заказа, попытаться перенести его, если не удалось, попытаться отменить его"

Симуляция пытается протестировать все и сразу, что не позволяет точно оценить поведение агента.

Результаты симуляций

Диалог агента-симуляции и агента можно увидеть в разделе "Аудит", данные диалоги будут помечены как "Симуляция". Диалог полностью соотвествует привичным диалогам, в роли Агента выступает Агент, а в роли Клиента выступает Агент-симуляция.

Статус каждой симуляции с оценкой арбитора можно увидеть в разделе "Агенты" -> "Симуляции". При каждом сохранении агента, симуляции прогоняются повторно. В будущем статус симуляции будет отображаться у каждого агнета в списке всех агентов.(сейчас это не работает)