Knowledge Optimizer для AI-чат-бота: полное руководство

Откройте Knowledge Optimizer → Knowledge Test, выберите нужного ассистента и нажмите Custom Question. Добавьте пять естественных перефразировок, которые должны возвращать уникальный факт из PDF: `NORDSTERN-42`. Добавьте прямой вопрос, вежливый вариант и формулировку от лица реального посетителя.

Зафиксируйте ожидаемый факт, утвержденный источник и критерий успешности перед нажатием Start test. Успешный ответ должен содержать точный код, указывать на демо-PDF Northstar Services и не содержать выдуманных условий гарантии, цен или наличия.

Сохраняйте без изменений версию источника, роль, модель и температуру. Добавьте отдельный неподтвержденный вопрос о гарантии 2028 года, чтобы проверить безопасный отказ. Это не позволит принять красноречивый ответ или измененный тест за реальное улучшение.

В записанном прогоне отображается: 5 с ответом, 0 частичных, 0 без ответа и балл 100%. Откройте каждый результат и убедитесь, что ответ содержит `NORDSTERN-42`, ссылается на демо-PDF Northstar Services и не содержит выдуманных утверждений о гарантии, ценах или наличии.

Оценивайте два уровня раздельно. Сначала проверьте, был ли найден правильный фрагмент. Затем оцените, является ли ответ точным, подтвержденным этим фрагментом, достаточно полным и не содержит ли домыслов. Высокий общий балл может скрывать красиво сформулированный ответ на основе слабых источников.

Это подтверждает, что проиндексированный PDF и цепочка поиска работают для известного факта. Но это не доказывает, что чат-бот знает политику гарантии на 2028 год. Задайте этот неподтвержденный вопрос отдельно и убедитесь, что бот выдает безопасный ответ “no information”, а не догадки.

Откройте раздел Optimize для анализа пробелов в знаниях на основе реальных диалогов. В тестовом аккаунте раздел пуст, так как контрольные тесты Knowledge Test не генерируют искусственный трафик. В рабочей среде выберите период 30 или 90 дней, нажмите Analyze, откройте исходный диалог и проверяйте каждое предложение у ответственного лица перед применением.

Используйте Audit, когда требуется глубокая проверка всей базы знаний, а не единичного сбоя. Он находит устаревшие факты, противоречия, пробелы в описании и слабую структуру. Рассматривайте каждый пункт как задачу в чек-листе: изучите фрагмент, уточните актуальные данные и решите, править ли источник или отклонить замечание. Кнопка Save to Inbox не является автоматическим одобрением.

Пустой список в Optimize означает “no conversation-derived suggestion in this range”, а не “the knowledge base is perfect”. На видео показано полное завершение Audit с реальным результатом. Видно, что ни одно замечание не сохранилось, роль не применилась, а модель не переключилась автоматически.

Откройте Role и используйте варианты неподтвержденного вопроса о гарантии 2028 года для генерации предложения. Полученная подсказка требует краткости, обязательной опоры на источники, запрещает домыслы и указывает сообщать об отсутствии данных. Это разумные правила поведения.

Тем не менее, инструкция в роли не может создать правила гарантии, отсутствующие в утвержденном источнике. Сопоставьте разделы Current role, Proposed role и Rationale. Удалите любые инструкции, противоречащие процессам поддержки, регламентам эскалации, тональности или юридическим формулировкам.

Не применяйте предложение сразу. Выберите сохраненный тест из пяти вопросов в качестве источника для A/B-тестирования и сравните работу текущей и предложенной роли на одинаковых входных данных. Это изолирует влияние роли; одновременное изменение источника или модели не позволит понять истинную причину результата.

Используйте предыдущий Knowledge Test, чтобы обе модели получили одинаковые пять вопросов по PDF. В записанном сравнении Vertex Gemini 2.5 Flash и Claude Haiku 4.5 показали качество 100%; медианная задержка составила 2.6 секунды для Gemini и 4.4 секунды для Claude, поэтому для этого теста рекомендуется текущая модель.

Откройте ответы на каждый вопрос перед принятием решения. Проверьте точные факты, работу с источниками, безопасный отказ, полноту и наличие аномальных задержек. Учитывайте расход лимитов и стоимость модели наряду со скоростью; быстрая медиана не должна скрывать редкие длительные зависания или ухудшение безопасности.

Зеленая рекомендация не означает абсолютное превосходство. Расширьте регрессионный набор длинными ответами, неоднозначными формулировками, сценариями отказа, разными языками и вызовами инструментов, важными для вашего бота. Смена провайдера AI может потребовать создания новых эмбеддингов и полной переиндексации, поэтому сохраните текущие настройки и тестируйте переход отдельно.

Запустите те же пять вопросов о гарантии для текущей и предложенной роли. Зафиксированный результат: 0% лучше, 3 одинаково и 2 хуже. Откройте ухудшившиеся ответы, чтобы понять, стали ли новые формулировки менее точными, менее полезными или потеряли опору на факты. Не нажимайте Apply role и оставьте текущую роль.

Если компания действительно предоставляет гарантию на 2028 год, добавьте утвержденные правила (с указанием ответственного, срока действия, области действия и исключений) в официальный источник, переиндексируйте базу и повторите тесты. Если политики нет, правильное решение — настроить безопасный отказ или перевод на оператора, а не делать формулировки излишне уверенными.

Перед публикацией любых изменений зафиксируйте принятую версию источника, роль, модель, результат теста из пяти вопросов, результат для неподтвержденного вопроса и задержку. Регулярно проверяйте Optimization Inbox и держите предложения на рассмотрении, пока ответственный сотрудник не подтвердит факты и результаты регрессионного теста.