База знаний RAG для чат-бота: подготовка документов компании

Создайте простой реестр с полями: Источник, Тема, Аудитория, Владелец, Статус утверждения, Дата вступления в силу, Дата пересмотра и назначение в WebChatAgent. Включите сайты, PDF-документы, страницы рабочих пространств и текстовые фрагменты. “Shared drive” — это не владелец; укажите конкретного человека или команду, способную утвердить правку.

Для каждой темы выделите один актуальный источник истины. Если справочный центр и PDF расходятся во времени работы поддержки, остановитесь и согласуйте регламент с владельцем. Не заставляйте чат-бота выбирать между двумя одинаково авторитетными версиями.

Сгруппируйте похожие дубликаты по темам. Типичные дубликаты — это актуальная статья рядом с версией для печати, старый PDF рядом с новым, URL сайтов с параметрами, экспортированные копии страниц и переводы, повторяющие те же факты. Сравните даты вступления в силу и статус утверждения, затем оставьте в источниках бота только утвержденную версию.

Переместите устаревшие материалы в архив за пределы подключенной папки или области сканирования. Search Priority может влиять на ранжирование, но это ненадежный способ решения конфликтов в регламентах. Устаревший документ все равно может быть извлечен при поиске, даже если его вес ниже.

Замените общие заголовки вроде “General” или “More information” на конкретные вопросы, на которые отвечает раздел: “Support hours for Northstar customers” или “Annual-plan cancellation eligibility”. Оставляйте одну главную тему на раздел и используйте короткие абзацы с четкой иерархией заголовков.

Формулируйте мысли прямо и недвусмысленно. Вместо “It is available for 30 days” пишите: “The Northstar onboarding review is available for 30 calendar days after the kickoff date.” Добавляйте исключения и дату вступления в силу в тот же раздел. Избегайте фраз вроде “see above”, так как в извлеченный фрагмент контекст выше может не попасть.

Пишите термин полностью при первом использовании, например “Service-level agreement (SLA)”. Следите за единообразием названий продуктов и тарифов во всех источниках. Если посетители пишут “refund”, а в регламенте используется “reimbursement”, органично укажите оба варианта в тексте раздела.

Используйте однозначные даты, такие как “1 August 2026”, или формат ISO в структурированных полях. Всегда указывайте валюту и единицы измерения рядом с числами. Для графиков работы и дедлайнов указывайте часовой пояс. Одиночное число “50” не несет смысла, если оно может означать евро, проценты, штуки или минуты.

Простые таблицы с одной строкой заголовка и одной логической структурой фактов на строку извлекаются точнее. Разделяйте объединенные ячейки, при необходимости дублируйте тему строки и добавляйте краткий абзац с выводом, о котором может спросить пользователь. В сравнительных таблицах указывайте продукт, условие, цену и дату в каждой соответствующей строке.

Добавляйте текстовые описания для схем и скриншотов. Скриншот часов работы не станет источником знаний, пока это расписание не появится в виде обычного текста. По возможности исключайте декоративные изображения, подписи и элементы навигации из содержательного контента.

Попробуйте выделить и скопировать предложение со страниц каждого типа. Если страница отсканирована, выполните оптическое распознавание символов (OCR) перед загрузкой. Проверьте вручную коды, даты, десятичные разделители, имена с диакритикой и колонтитулы — здесь OCR ошибается чаще всего.

Вставьте скопированный текст в простой текстовый редактор и прочитайте его без исходной верстки страницы. Проверьте порядок колонок, строки таблиц, переносы слов со знаками дефиса и повторяющиеся заголовки. Переэкспортируйте чистый PDF со структурой доступности, если при извлечении смешиваются колонки или пропадают подписи. Контрольный тестовый факт должен остаться в точности `NORDSTERN-42`.

Откройте изолированного ассистента, перейдите в Data Sources и выберите Add Data Source → Documents. Загрузите утвержденный демо-PDF Northstar. Укажите имя документа “Northstar Knowledge Base” и категорию “Support”, чтобы проверяющий мог понять его назначение, не открывая сам файл.

Оставьте AI-оптимизацию выключенной для чистого документа с выделяемым текстом, если у вас нет конкретных проблем с извлечением и вы планируете проверить преобразованный результат. Дождитесь статуса Completed в строке. Зафиксируйте количество проиндексированных символов или фрагментов (chunks) как базовое значение, а не как оценку качества.

Нажмите Edit для базы знаний Northstar. Прочитайте сохраненный извлеченный текст вокруг первого заголовка, одной таблицы или списка, финального раздела и факта NORDSTERN-42. Убедитесь, что в редакторе по-прежнему отображаются нужные Document Name и Category.

Оставьте Search Priority со значением 0, если только повторяемые тесты поиска не выявят обоснованный конфликт. Более высокое значение повышает приоритет источника относительно других, но не исправляет ошибки OCR, отсутствие контекста или устаревшие правила. Сохраняйте только проверенные правки и держите утвержденный файл в качестве основного оригинала.

Перейдите в Content Search и выполните поиск по запросу `NORDSTERN-42`. В результатах должна появиться база знаний Northstar с сохраненным фрагментом, содержащим этот факт. Повторите проверку с обычной фразой, например “support hours”, чтобы убедиться, что поиск находит не только редкие коды.

Если уникальный факт не найден, остановитесь и не меняйте модель или системный промпт. Проверьте статус источника, извлеченный текст и выбранного ассистента. Если Content Search находит фрагмент, но чат-бот отвечает с ошибкой, проверьте формулировку вопроса, конкурирующие источники, ролевые инструкции и поведение модели.

Начните новый диалог в Test chatbot и спросите: “What is the support verification code in the Northstar Knowledge Base? Answer in one sentence and name the source.” Ожидаемый ответ должен содержать в точности NORDSTERN-42 и указывать на этот PDF. Зафиксируйте точную формулировку ответа, версию источника, модель и дату.

Начните еще один новый диалог и спросите об условиях гарантии Northstar на 2028 год. В демонстрационном источнике этой информации намеренно нет. Тест пройден, если ассистент сообщает, что информация отсутствует, вместо того чтобы придумывать сроки или условия. Запускайте оба этих вопроса при каждом изменении источников, промпта или модели.

Когда владелец утверждает изменение, одновременно обновите рабочий источник, дату вступления в силу и запись в реестре. Переиндексируйте или замените источник в WebChatAgent, дождитесь статуса Completed, проверьте измененный фрагмент в Content Search и повторно запустите фиксированный набор тестовых вопросов.

Удаляйте устаревший источник из активного ассистента только после того, как новая версия успешно пройдет тесты. Просматривайте разделы Questions, Feedback и Conversations, чтобы находить реальные формулировки, которых не было в тестах. Добавляйте новый вопрос, если он отражает регулярную потребность пользователей, и пересматривайте ключевые темы по установленному графику.