[{"data":1,"prerenderedAt":460},["ShallowReactive",2],{"navigation":3,"/ru/cases/quality-monitoring":268,"/ru/cases/quality-monitoring-surround":455},[4,150],{"title":5,"path":6,"stem":7,"children":8,"page":61},"EN","/en","en",[9,16,62,70,95,110],{"title":10,"path":11,"stem":12,"children":13,"icon":15},"API","/en/api","en/api/index",[14],{"title":10,"path":11,"stem":12,"icon":15},"i-lucide-code",{"title":17,"path":18,"stem":19,"children":20,"page":61},"Use cases","/en/cases","en/cases",[21,26,31,36,41,46,51,56],{"title":22,"path":23,"stem":24,"icon":25},"Call from your site using the SDK","/en/cases/call-from-site-sdk","en/cases/call-from-site-sdk","i-lucide-phone-call",{"title":27,"path":28,"stem":29,"icon":30},"Connect Voximplant","/en/cases/connect-voximplant","en/cases/connect-voximplant","i-lucide-plug",{"title":32,"path":33,"stem":34,"icon":35},"Embed the widget","/en/cases/embed-widget","en/cases/embed-widget","i-lucide-layout-template",{"title":37,"path":38,"stem":39,"icon":40},"Inbound Call Handling with Telegram Notifications","/en/cases/inbound-telegram","en/cases/inbound-telegram","i-lucide-phone-incoming",{"title":42,"path":43,"stem":44,"icon":45},"Prompting","/en/cases/prompting","en/cases/prompting","i-lucide-pencil-line",{"title":47,"path":48,"stem":49,"icon":50},"Monitor agent quality","/en/cases/quality-monitoring","en/cases/quality-monitoring","i-lucide-activity",{"title":52,"path":53,"stem":54,"icon":55},"Build a sales agent","/en/cases/sales-agent","en/cases/sales-agent","i-lucide-shopping-bag",{"title":57,"path":58,"stem":59,"icon":60},"State, context, secrets","/en/cases/state-context-secrets","en/cases/state-context-secrets","i-lucide-key-round",false,{"title":63,"path":64,"stem":65,"children":66,"icon":69},"Getting Started","/en/getting-started","en/getting-started/index",[67],{"title":68,"path":64,"stem":65,"icon":69},"Getting started","i-lucide-rocket",{"title":71,"path":72,"stem":73,"children":74,"page":61},"Legal","/en/legal","en/legal",[75,80,85,90],{"title":76,"path":77,"stem":78,"icon":79},"Contacts","/en/legal/contacts","en/legal/contacts","i-lucide-mail",{"title":81,"path":82,"stem":83,"icon":84},"Offer","/en/legal/offer","en/legal/offer","i-lucide-file-text",{"title":86,"path":87,"stem":88,"icon":89},"Privacy policy","/en/legal/privacy","en/legal/privacy","i-lucide-lock",{"title":91,"path":92,"stem":93,"icon":94},"Terms of service","/en/legal/terms","en/legal/terms","i-lucide-scale",{"title":96,"path":97,"stem":98,"children":99,"page":61},"Pricing","/en/pricing","en/pricing",[100,105],{"title":101,"path":102,"stem":103,"icon":104},"Model pricing","/en/pricing/model-prices","en/pricing/model-prices","i-lucide-dollar-sign",{"title":106,"path":107,"stem":108,"icon":109},"Plans","/en/pricing/plans","en/pricing/plans","i-lucide-badge-dollar-sign",{"title":111,"path":112,"stem":113,"children":114,"page":61},"Product","/en/product","en/product",[115,120,125,130,135,140,145],{"title":116,"path":117,"stem":118,"icon":119},"Agent","/en/product/agent","en/product/agent","i-lucide-bot",{"title":121,"path":122,"stem":123,"icon":124},"Charts","/en/product/analytics","en/product/analytics","i-lucide-line-chart",{"title":126,"path":127,"stem":128,"icon":129},"Companies","/en/product/companies","en/product/companies","i-lucide-building-2",{"title":131,"path":132,"stem":133,"icon":134},"Procedures","/en/product/procedures","en/product/procedures","i-lucide-list-checks",{"title":136,"path":137,"stem":138,"icon":139},"RBAC","/en/product/rbac","en/product/rbac","i-lucide-shield",{"title":141,"path":142,"stem":143,"icon":144},"Simulations","/en/product/simulations","en/product/simulations","i-lucide-flask-conical",{"title":146,"path":147,"stem":148,"icon":149},"Tools","/en/product/tools","en/product/tools","i-lucide-wrench",{"title":151,"path":152,"stem":153,"children":154,"page":61},"RU","/ru","ru",[155,160,196,202,223,236],{"title":10,"path":156,"stem":157,"children":158,"icon":15},"/ru/api","ru/api/index",[159],{"title":10,"path":156,"stem":157,"icon":15},{"title":161,"path":162,"stem":163,"children":164,"page":61},"Кейсы","/ru/cases","ru/cases",[165,169,173,177,181,185,189,193],{"title":166,"path":167,"stem":168,"icon":25},"Звоним с сайта с помощью SDK","/ru/cases/call-from-site-sdk","ru/cases/call-from-site-sdk",{"title":170,"path":171,"stem":172,"icon":30},"Подключаем Voximplant","/ru/cases/connect-voximplant","ru/cases/connect-voximplant",{"title":174,"path":175,"stem":176,"icon":35},"Встраиваем виджет","/ru/cases/embed-widget","ru/cases/embed-widget",{"title":178,"path":179,"stem":180,"icon":40},"Входящие звонки с уведомлениями в Telegram","/ru/cases/inbound-telegram","ru/cases/inbound-telegram",{"title":182,"path":183,"stem":184,"icon":45},"Пишем успешные промты","/ru/cases/prompting","ru/cases/prompting",{"title":186,"path":187,"stem":188,"icon":50},"Контролируем качество агентов","/ru/cases/quality-monitoring","ru/cases/quality-monitoring",{"title":190,"path":191,"stem":192,"icon":55},"Делаем агента по продажам","/ru/cases/sales-agent","ru/cases/sales-agent",{"title":57,"path":194,"stem":195,"icon":60},"/ru/cases/state-context-secrets","ru/cases/state-context-secrets",{"title":197,"path":198,"stem":199,"children":200,"icon":69},"Начало работы","/ru/getting-started","ru/getting-started/index",[201],{"title":197,"path":198,"stem":199,"icon":69},{"title":203,"path":204,"stem":205,"children":206,"page":61},"Юридические документы","/ru/legal","ru/legal",[207,211,215,219],{"title":208,"path":209,"stem":210,"icon":79},"Контакты","/ru/legal/contacts","ru/legal/contacts",{"title":212,"path":213,"stem":214,"icon":84},"Оферта","/ru/legal/offer","ru/legal/offer",{"title":216,"path":217,"stem":218,"icon":89},"Политика конфиденциальности","/ru/legal/privacy","ru/legal/privacy",{"title":220,"path":221,"stem":222,"icon":94},"Пользовательское соглашение","/ru/legal/terms","ru/legal/terms",{"title":224,"path":225,"stem":226,"children":227,"page":61},"Цены","/ru/pricing","ru/pricing",[228,232],{"title":229,"path":230,"stem":231,"icon":104},"Цены на модели","/ru/pricing/model-prices","ru/pricing/model-prices",{"title":233,"path":234,"stem":235,"icon":109},"Тарифные планы","/ru/pricing/plans","ru/pricing/plans",{"title":237,"path":238,"stem":239,"children":240,"page":61},"Продукт","/ru/product","ru/product",[241,245,249,253,257,260,264],{"title":242,"path":243,"stem":244,"icon":119},"Агент","/ru/product/agent","ru/product/agent",{"title":246,"path":247,"stem":248,"icon":124},"Графики","/ru/product/analytics","ru/product/analytics",{"title":250,"path":251,"stem":252,"icon":129},"Компании","/ru/product/companies","ru/product/companies",{"title":254,"path":255,"stem":256,"icon":134},"Процедуры","/ru/product/procedures","ru/product/procedures",{"title":136,"path":258,"stem":259,"icon":139},"/ru/product/rbac","ru/product/rbac",{"title":261,"path":262,"stem":263,"icon":144},"Симуляции","/ru/product/simulations","ru/product/simulations",{"title":265,"path":266,"stem":267,"icon":149},"Инструменты","/ru/product/tools","ru/product/tools",{"id":269,"title":186,"body":270,"description":448,"extension":449,"links":450,"meta":451,"navigation":452,"path":187,"seo":453,"stem":188,"__hash__":454},"docs/ru/cases/quality-monitoring.md",{"type":271,"value":272,"toc":443},"minimark",[273,277,287,306,309,315,318,322,328,334,337,341,344,350,353,358,361,365,371,374,377,382,388,391,395,398,403,409,412,419,422,425],[274,275,276],"p",{},"В этом туториале мы рассмотрим основные идеи процесса контроля качества и автоматического улучшения агентов в console.",[278,279,280,284],"ol",{},[281,282,283],"li",{},"Создайте агента Откройте раздел \"Агенты\" и нажмите кнопку \"Добавить агента\", или попросите суперагента создать нового агента. Давайте введем для агента инструкцию: \"Отвечай в виде рифмованного четверостишия\". Оставьте все остальные параметры по умолчанию. Сохраните агента.",[281,285,286],{},"Создайте симуляцию",[288,289,290],"blockquote",{},[274,291,292,293,297,298,301,302,305],{},"Симуляция - это тест-кейс агента. В симуляции мы описываем ",[294,295,296],"em",{},"задачу клиента"," и ",[294,299,300],{},"критерии оценивания",". В ходе ",[294,303,304],{},"выполнения симуляции",", временный агент симулирует поведение клиента в соответствии с задачей. После завершения симуляции, судья оценивает состоявшийся диалог.",[274,307,308],{},"Перейдите в раздел \"Симуляции\". Нажмите кнопку \"Добавить\". Дождитесь генерации симуляции. Просмотрите результат:",[274,310,311],{},[312,313,314],"span",{},"img",[274,316,317],{},"Сгенерированную симуляцию можно редактировать - вы можете написать любые свои цели и критерии! Давайте напишем, что ответ агента должен всегда соблюдать рифму АБАБ:",[274,319,320],{},[312,321,314],{},[274,323,324,325],{},"Теперь мы можем сохранить агента. ",[294,326,327],{},"При сохранении агента симуляции запускаются автоматически",[278,329,331],{"start":330},3,[281,332,333],{},"Просмотрите результат симуляции",[274,335,336],{},"Подождите минуту. Обновите страницу. Перейдите в раздел \"Симуляции\". Вы увидите такую картинку:",[274,338,339],{},[312,340,314],{},[274,342,343],{},"Это означает, симуляция была проведена и оценена. Справа мы видим оценку и мнение судьи. Нажмите на кнопку стрелочки в разделе оценки - это переведет вас в раздел \"Аудит\" к логу симуляции.",[278,345,347],{"start":346},4,[281,348,349],{},"Просмотрите лог симуляции.",[274,351,352],{},"В разделе \"Аудит\" вы увидите только один диалог - лог исполненной симуляции. Выберите его слева. Для каждой симуляции может быть несколько таких диалогов, равное числу повторений.",[288,354,355],{},[274,356,357],{},"Каждая симуляция уникальна для конкретной версии агента. Каждая новая версия агента - поскольку она по определению отлична от предыдущей версии - приведет к повторному запуску симуляций. Таким образом, каждая новая версия создаст новый набор симуляций в Аудите.",[274,359,360],{},"Просмотрите содержание диалога.",[274,362,363],{},[312,364,314],{},[278,366,368],{"start":367},5,[281,369,370],{},"Создайте аннотацию",[274,372,373],{},"Нажмите на любую реплику агента. Внизу появится строчка ввода. Придумайте какую-то критику - например, введите \"Рифма должна быть идеальна. Нужно чтобы все рифмы были идеальные\". Судья знает, что такое идеальная рифма. Нажмите на кнопку \"+\".",[274,375,376],{},"Слева, вы можете оценить диалог в целом. Поставьте палец вверх или палец вниз и сохраните. Вы создали аннотацию.",[288,378,379],{},[274,380,381],{},"Аннотация - это комментарий к диалогу. Аннотация состоит из оценки диалога и критики. Оценка диалога может быть \"приемлемо\" или \"неприемлемо\". Даже если диалог приемлем, к аннотации может быть приложена критика. Критика привязывается к конкретным действиям агента - вызовам инструментов, их ответам, ответам агентов. На основе каждой критики генерируются симуляции.",[278,383,385],{"start":384},6,[281,386,387],{},"Сохраните кандидатскую симуляцию.",[274,389,390],{},"После создания аннотации, перейдите к редактированию агента. Откройте раздел Симуляций. Найдите симуляцию с плашкой \"Кандидат\". Если такой нет, подождите 15 секунд и обновите страницу. Симуляция будет выглядеть так:",[274,392,393],{},[312,394,314],{},[274,396,397],{},"Если вам не нравится формулировка кандидатской симуляции, вы можете ее отредактировать. Сохраните агента и кандидатская симуляция превратится в обычную симуляцию с привязанной критикой.",[288,399,400],{},[274,401,402],{},"Кандидатская симуляция - это симуляция, сгенерированная при создании аннотации. Для каждой критики генерируется соответствующая кандидатская аннотация на основе содержания диалога и текста критики. В аудите отражается статус симуляции, связанной с критикой. С каждой критикой будет связана симуляция, кроме случаев когда вы удалите кандидатскую симуляцию.",[278,404,406],{"start":405},7,[281,407,408],{},"Попросите суперагента исправить ошибки.",[274,410,411],{},"Итак, теперь у вашего агента две симуляции. Одна создана \"вхолодную\" (на основе нашего абстрактного представления о том как агент должен вести себя), другая \"по горячим следам\" (по реальной ошибке, найденной в диалоге).",[274,413,414,415,418],{},"Наш следующий и последний шаг - это исправить ошибки симуляций. Перейдите на главную страницу и введите \"исправь ошибки агента ",[294,416,417],{},"название агента",". Отправьте запрос.",[274,420,421],{},"Суперагент посмотрит список ваших агентов. Найдет ошибки агента и запустит субагента, который исследует источник каждой проблемы и внесет соответствующие изменения. Суперагент может запустить несколько субагентов последовательно, пока не исправит все ошибки симуляций.",[274,423,424],{},"После внесения всех изменений, агент дождется завершения симуляций и посмотрит на оставшиеся проблемы. Судья, симулятор клиента и суперагент полностью независимы.",[288,426,427],{},[274,428,429,430,437,438,442],{},"Если вам потребуется помощь в контроле качества, присоединяйтесь к нашему ",[431,432,436],"a",{"href":433,"rel":434},"https://t.me/+n20MsKSZzzMwNDgy",[435],"nofollow","чату",". Если бы вы хотели, чтобы агента создали, протестировали и внедрили за вас, обратитесь на ",[431,439,441],{"href":440},"mailto:sales@aiva.chat","sales@aiva.chat",".",{"title":444,"searchDepth":445,"depth":446,"links":447},"",1,2,[],"Мониторинг, оценка и улучшение агентов","md",null,{},{"icon":50},{"title":186,"description":448},"YgMhbAMP9Ku25thp5wCeVMu2JCCtZDe3_SCgs_uMx6s",[456,458],{"title":182,"path":183,"stem":184,"description":457,"icon":45,"children":-1},"Основы промпт-инжиниринга",{"title":190,"path":191,"stem":192,"description":459,"icon":55,"children":-1},"Пример агента для холодных звонков и продаж",1778099775168]