Как протестировать ИИ-чат-бота: поиск и исправление неверных ответов с помощью Bot Check

Нажмите Bot Check в левом меню. Если у вас несколько чат-ботов, выберите нужного в верхней части экрана. Если бот один, он уже активен.

Перед первой проверкой на странице описаны три этапа: ИИ задает вопросы боту, вы видите ошибки, вы вносите верный ответ. Под кнопкой указан максимальный расход сообщений на запуск. В данном примере это до 22 сообщений.

Нажмите кнопку Check now. Индикатор отображает четыре этапа: подбор вопросов, генерация ответов чат-ботом, проверка ответов с помощью ИИ и подготовка вариантов решений. Боту дается до 90 секунд на все ответы суммарно. Вопросы, на которые он не успел ответить, перемещаются в список Not checked yet и задаются при следующем запуске.

Каждый тестовый вопрос расходует месячный лимит сообщений наравне с обычным чатом: одно сообщение на вопрос, одно на ответ. Премиум-модели списывают сообщения с повышенным коэффициентом. Тестовые диалоги не отображаются в истории переписок, в аналитике (Analytics) и на вкладке Questions.

Вверху отображается итог, в данном примере верно отвечено на 4 из 8 вопросов. Ниже, в блоке What you should improve, перечислены все вопросы, на которые бот ответил неверно или не полностью. Вопросы от реальных посетителей выводятся первыми, поскольку живые клиенты не смогли получить по ним ответ.

Каждый пункт снабжен меткой источника: Typical customer question (типичный вопрос клиента), Asked by a visitor (вопрос посетителя) или Your question (ваш вопрос). Для вопроса “Can I pay by invoice?” указан статус Asked by 3 visitors. Под вопросом одной строкой указана причина, например: Your knowledge says nothing about this (в базе знаний нет информации по этому вопросу).

Ниже, в секции Answered correctly, находятся успешные ответы. Нажмите на любой вопрос, чтобы просмотреть реплику бота. Доступны три варианта причин и соответствующие действия:

Нажмите Enter answer рядом с нужным вопросом. В диалоговом окне появится прежний ответ чат-бота. Бот компании Northstar сообщил, что не располагает подтвержденной информацией о возможности оплаты по счету.

В поле What should your bot answer? напишите правильный ответ. Достаточно одного-двух предложений. В примере: “Yes, you can pay by invoice. Payment is due within 14 days.”. ИИ намеренно не додумывает факт, так как правильный ответ знаете только вы.

Нажмите Save and recheck. Ваш ответ сохранится в базе знаний чат-бота как отдельная текстовая запись с заголовком в виде вопроса. Затем ИИ сразу задаст боту этот же вопрос повторно. Процесс занимает несколько секунд.

Если теперь бот отвечает правильно, в окне появится подтверждение и новый ответ. Вопрос перейдет в категорию Answered correctly, а общий счетчик вверху увеличится, в нашем примере с 4 до 5 из 8.

Если ответ по-прежнему неверен, переформулируйте текст точнее и сохраните заново. Это обновит существующую запись без создания дубликата. Также в окне появится ссылка Open the saved entry in your knowledge, через которую запись можно отредактировать или удалить из базы знаний.

Не всякий вопрос применим к вашей компании. Northstar не проводит обучение сотрудников, поэтому вопрос “Do you offer training for employees?” не является реальным пробелом в знаниях. Нажмите Not important. Вопрос перестанет учитываться и больше не будет задаваться. Результат изменится на 5 из 7.

Исключенные пункты находятся внизу в списке Hidden. Кнопка Add back возвращает вопрос обратно в проверку.

В поле Add your own question введите вопрос, который часто поступает по телефону или электронной почте, и нажмите кнопку Add. Компания Northstar добавляет: “How much is one hour of project work?”. Вопрос сразу отправляется чат-боту, и через несколько секунд результат отображается в соответствующем списке.

Пользовательские вопросы сохраняются в списке и проверяются при каждом тесте. Можно добавить до четырех своих вопросов. Если добавить вопрос до первого полного запуска, он встанет в очередь и будет проверен вместе со всеми.

После изменения контента (например, добавления новой страницы сайта или загрузки документа) нажмите Check again. Все вопросы из списка будут заданы повторно. Освободившиеся места заполнятся новыми типичными вопросами и вопросами посетителей, на которые ранее не было ответа.

Рядом с новым результатом отображается прошлый, например 7 из 8 с пометкой Previous check: 6 из 8. Это позволяет сразу оценить пользу внесенных правок.

Список вмещает не более 15 вопросов: 6 типовых вопросов клиентов, до 5 вопросов от посетителей и до 4 пользовательских.

Ниже списка вопросов, в блоке More tools, находятся два инструмента для нестандартных ситуаций. Каждый открывается в отдельном окне, а кнопка Back to Bot Check возвращает вас к основному списку.

Improve the role: роль задает системные инструкции для ответов чат-бота. ИИ анализирует, на каких вопросах бот ошибся в ходе Bot Check, и предлагает скорректированные инструкции. Сравнение на тех же вопросах покажет, стал ли бот отвечать лучше. Только после этого вы подтверждаете изменения.

Compare models: две или три языковые модели отвечают на один и тот же пул вопросов. Вы можете наглядно сравнить качество ответов и скорость работы каждой из них. Оба инструмента расходуют сообщения из квоты, точный объем указывается перед стартом.