Как находить и устранять пробелы в знаниях чат-бота
Превратите реальные вопросы со статусом No Information в контролируемый, понятный и повторяемый процесс улучшения базы знаний.
Пробелы в знаниях бота проще всего устранять, отталкиваясь от точного неотвеченного вопроса: изучите его контекст и проверьте обновленный источник на разных формулировках.
Качественный чат-бот сообщает, когда в его источниках нет данных для ответа. WebChatAgent сохраняет такой вопрос, ответ ассистента и краткую сводку контекста в разделе Questions. Записи с классификацией “No Information” образуют удобный список входящих запросов с вероятными пробелами в знаниях.
Не каждая строка требует создания нового контента. Вопрос может выходить за рамки задач бота, содержать персональные данные, запрашивать неопубликованные регламенты или дублировать уже существующий ответ другими словами. Прежде чем менять базу знаний, проверьте исходный контекст и согласуйте данные с ответственным лицом.
В проверенном примере задан вопрос: “What is the 2028 warranty policy for Northstar Services?”. В тестовом источнике таких правил нет, поэтому ассистент корректно отвечает, что не располагает информацией. Раздел Questions сохраняет точный запрос, ответ и контекст с пометкой No Information. Это подтверждает факт обнаружения пробела, но не дает повода придумывать гарантийные условия на 2028 год.
Видеоплеер с защитой конфиденциальности (запуск в два клика)
Как найти пробелы в знаниях чат-бота (пошагово)
Находите пробелы в базе знаний чат-бота по неотвеченным вопросам, добавляйте источники и безопасно тестируйте новые формулировки.
Плеер YouTube заблокирован до нажатия кнопки воспроизведения. Его загрузка подключает браузер к YouTube и может передавать технические данные в Google.
Открыть напрямую на YouTubeЧто вы узнаете по итогам руководства
- Повторяемый фильтр No Information для выбранного чат-бота и диапазона дат
- Правило сортировки на основе частоты, влияния на бизнес, рисков и зоны ответственности
- Совместный анализ исходного вопроса, ответа и контекста
- Зафиксированное решение: обновить первоисточник, добавить утвержденные данные или сохранить корректный отказ от ответа
- Фиксированный контрольный вопрос до и после изменений с назначенным ответственным за контент
Перед началом работы
- Включенный сбор вопросов (Questions) для чат-бота
- Доступ к разделу Questions и соответствующим исходным материалам
- Достаточный объем реального трафика для выявления повторяющихся формулировок; для знакомства с интерфейсом достаточно одного тестового вопроса
- Ответственный за контент, готовый согласовать ожидаемый ответ
- Права на обновление и повторную индексацию источников при подтверждении пробела
Обнаружение, приоритизация, проверка и внесение изменений
Классификация — это сигнал, а не автоматическая команда к публикации. Частота показывает охват, влияние на бизнес определяет ценность, а контекст диалога раскрывает истинное намерение посетителя. Из соображений безопасности и границ компетенции бота обоснованный отказ от ответа может быть единственно верным решением.
При обнаружении реального пробела обновляйте минимальный официальный первоисточник, который уже поддерживается организацией. Не создавайте скрытых дубликатов внутри чат-бота, если эталоном служат сайт, регламент или база документов. Пробел считается закрытым только после индексации и повторного тестирования.
01–05
Пошаговая настройка
Фильтрация списка Questions по статусу “No Information”
Начните с одного чат-бота и четко заданных рамок выборки.
Откройте Dashboard → Questions. Выберите нужного чат-бота и установите фильтр Classification в значение No Information. Фильтры по языку, диапазону дат или поисковому запросу используйте только при необходимости сузить большой список. Зафиксируйте исходное общее количество в заметках, чтобы последующие отчеты оставались сопоставимыми.
В показанном примере есть один вопрос из тестовой среды Tutorial Lab. В нем запрашиваются условия гарантии на 2028 год и отображается безопасный ответ ассистента об отсутствии данных рядом с меткой No Information. Эта строка указывает на потенциальный пробел, но не доказывает, что такой регламент должен существовать.
- Сохраняйте данные чат-бота, примененные фильтры и дату проверки вместе.
- Не считайте статус Answerable гарантией корректности: он лишь означает, что в базе найдены подтверждающие данные.
- Удаляйте персональные данные перед экспортом или передачей списка коллегам.
Приоритизация по частоте, влиянию, рискам и охвату
Повторяющиеся вопросы важны, но единичный критический инцидент может иметь более высокий приоритет.
Оценивайте вопрос, ответ ассистента, классификацию и количество обращений в совокупности. Перед расчетом частоты сгруппируйте естественные варианты формулировок с одинаковым смыслом. Иначе запросы “refund”, “money back” и “cancel my annual plan” разобьются на три редкие строки вместо одной важной проблемы.
Используйте простое правило сортировки: охват, влияние на бизнес, юридические риски или риски безопасности, а также соответствие теме бота. Частый вопрос, мешающий покупке, обычно важнее редкого уточнения. Единичный пробел в сфере безопасности или комплаенса требует немедленной эскалации. Вопросы вне зоны компетенции бота могут обоснованно оставаться без ответа.
- Назначайте ответственного и срок выполнения для каждого принятого в работу пробела.
- Не ориентируйтесь только на количество запросов, если уровень их критичности различается.
- Объединяйте варианты формулировок перед добавлением нового контента.
Открытие Question Details и проверка намерения посетителя
Анализируйте точный вопрос, ответ, контекст и сессию вместе.
Откройте строку или перейдите к подробностям записи. В Question Details отображаются чат-бот, session ID, язык, классификация, время создания, точный вопрос, сохраненный ответ и краткий контекст. Изучите эти поля, прежде чем нажимать Add data source. Короткий изолированный вопрос может иметь иной смысл с учетом предыдущих сообщений диалога.
В проверенной записи точный вопрос звучит как “What is the 2028 warranty policy for Northstar Services?”. Сохраненный ответ сообщает об отсутствии информации, а контекст подтверждает, что регламент на указанный год отсутствует. Корректный результат проверки — “needs policy-owner confirmation”, а не “generate a warranty answer”.
- Используйте ссылку на сессию (session ID), если ответственному за контент нужен полный диалог.
- Удаляйте персональные данные из копируемых примеров.
- Зафиксируйте согласованный ожидаемый ответ до редактирования источников.
Выбор минимального изменения в первоисточнике
Добавляйте проверенную информацию, а не правдоподобные догадки ИИ.
Нажимайте Add data source только после того, как ответственный подтвердит корректный ответ. Используйте текстовое поле для одного неизменного точечного факта. Загружайте поддерживаемый файл в формате TXT, PDF, DOC, DOCX, MD или XLSX, если ответ относится к объемному регламенту или руководству. Укажите для источника понятное имя, категорию, ответственного и дату вступления в силу.
Если факт должен присутствовать на официальном сайте или в руководстве, сначала обновите эту систему и выполните повторную индексацию, избегая скрытых дубликатов. Построчно проверяйте предложения функции Optimize with AI: она помогает улучшить структуру, но не утверждает бизнес-факты. Англоязычный скриншот в светлой теме подтверждает состояние диалогового окна и поддерживаемые форматы файлов, а не завершенное обновление данных.
- Никогда не публикуйте регламенты и правила без согласования с ответственным лицом.
- Избегайте дублирования текста, если официальный первоисточник уже существует.
- Учитывайте квоты на индексацию и дождитесь статуса Completed перед повторным тестированием.
Фиксация исходного состояния и повторный тест после индексации
Для подтверждения закрытия пробела нужны доказательства «до и после» на одном и том же вопросе.
Перед изменением контента сохраните точный вопрос посетителя и полученный ответ. В реальном англоязычном чате (светлая тема), показанном здесь, запрашиваются условия гарантии на 2028 год. Ассистент отвечает, что информация недоступна. Это подтвержденное исходное состояние (baseline) и правильный результат при отсутствии утвержденного регламента.
После того как обновленный источник перейдет в статус Completed, сбросьте чат и задайте исходный вопрос, а также две естественные вариации. Убедитесь, что ответ соответствует источнику, ссылается на корректные данные или четко опирается на них, не нарушая логику соседних ответов. Затем вернитесь в раздел Questions и проверьте, получил ли запрос статус Answerable, как описано в документации. В текущем наборе материалов это состояние после исправления не зафиксировано, поэтому в руководстве нельзя утверждать, что данный учебный пробел уже закрыт.
- Сохраняйте исходный вопрос без изменений для основного регрессионного теста.
- Используйте вариации для проверки устойчивости бота, а не для замены базового вопроса.
- Отслеживайте в течение следующего отчетного периода, не появляется ли этот же запрос снова со статусом No Information.
Пример и результаты тестирования
Практический тест и верификация интерфейса
Каждое руководство содержит фиксированные входные параметры, ожидаемый результат и прозрачный отчет о локально проверенных шагах.
Практический пример: как находить неотвеченные вопросы и пробелы в знаниях чат-бота
Этот тестовый сценарий был полностью выполнен на временном демонстрационном аккаунте.
Тестовые входные данные
Ask: “What is the 2028 warranty policy for Northstar Services?”
Ожидаемый результат
Бот корректно воздерживается от ответа, и вопрос фиксируется как пробел в знаниях.
Фактически проверенные результаты
В реальном диалоге чат-бот сообщил, что не располагает информацией. Затем раздел Questions сохранил точный вопрос, ответ и контекст с классификацией “No Information”.
Полезные советы
Обеспечение надежности настройки
Тестируйте ассистента на реалистичных примерах, фиксируйте базовые результаты и меняйте строго по одной настройке за раз. Это позволит наглядно видеть реальные улучшения.
Исправляйте официальный первоисточник
Сначала обновите актуальный сайт, регламент или документацию и повторно проиндексируйте их. Копия, созданная только внутри чат-бота, быстро устареет и войдет в противоречие с официальной версией.
Назначайте ответственного за реестр пробелов
Для каждого принятого пробела требуются ответственный, ожидаемый ответ, срок и контрольный вопрос для проверки, а не просто строка в панели управления.
Меняйте модель только при проблемах самой модели
Более продвинутая модель не сможет извлечь факт, которого нет в источниках. Сравнивайте модели только тогда, когда нужный фрагмент стабильно находится поиском, но некорректно обрабатывается при генерации.
Проводите регулярный аудит
Для активных ботов поддержки подходит еженедельный пересмотр. Фиксируйте открытые, принятые в работу и закрытые пробелы, чтобы команда видела динамику покрытия базы знаний.
Что делать при возникновении проблем
Устранение неполадок
Систематически проверяйте статус сервиса, права доступа и тестовые данные перед тем, как менять модель или системный промпт.
Раздел Questions пуст, хотя пользователи сообщают об ошибках
Убедитесь, что сбор вопросов включен для нужного бота, сбросьте строгие фильтры и проверьте диапазон дат. Отправьте один безопасный тестовый вопрос, затем проверьте конкретного бота и сессию.
Известный ответ классифицируется как No Information
Выполните поиск по проиндексированному контенту по точному факту. Проверьте статус источника, качество извлечения текста, привязку к категории, наличие дубликатов и недавние обновления, прежде чем добавлять новые материалы.
Несколько строк описывают одну и ту же потребность
Объедините их под единым намерением (intent), сохраните типовые формулировки и добавьте один поддерживаемый источник. Не создавайте отдельный источник под каждый вариант фразы.
Новый источник сохранен, но ответ бота не изменился
Дождитесь статуса индексации Completed, убедитесь, что факт находится через Content Search, сбросьте диалог и повторите базовый тест. При необходимости удалите устаревшие противоречивые источники.
Бот додумывает детали вокруг добавленного факта
Перепишите источник с явным указанием рамок, условий и даты вступления в силу. Добавьте четкое правило опоры на факты и протестируйте неподдерживаемые формулировки, на которые бот по-прежнему должен отвечать отказом.
Готовы к практическому тестированию
Регулярно проверяйте запросы со статусом No Information. Для каждого принятого пробела фиксируйте намерение, частоту, влияние, ответственного, первоисточник, утвержденный ответ и контрольный вопрос. Закрывайте задачу только после индексации, получения правильного ответа в чате и проверки соответствующего статуса в Questions.
Полезные материалы
Источники данных Data Sources и статусы индексации
Выбор подходящего типа источника, проверка статусов и безопасное обновление проиндексированных материалов.
Тестирование исправленного ответа в Knowledge Optimizer
Использование контрольных вопросов, проверка найденных фрагментов и регрессионное тестирование после обновления источников.
Справочник по разделу Questions
Обзор текущих фильтров, классификаций и работы функции Add data source.