AI-проблемы

AI-чатбот отвечает неправильно: что проверить до замены модели

Если AI-чатбот ошибается, отвечает общими фразами или пользователи перестали ему доверять, не стоит сразу менять модель. Часто проблема находится в данных, базе знаний, сценарии, правах доступа, RAG-поиске, метриках качества или отсутствии владельца процесса.

Разобрать, почему AI-чатбот отвечает неправильно Посмотреть методологию

Ситуация

Что обычно происходит

На демонстрации чатбот мог выглядеть убедительно: быстро отвечал, формулировал аккуратно, поддерживал диалог. Но в реальной работе сотрудники или клиенты задают конкретные вопросы, получают неточные ответы, не видят источников и возвращаются к ручной проверке.

Подрядчик может предложить “поменять модель” или усилить промпт. Иногда это помогает, но часто причина глубже: устаревшие документы, слабая база знаний, широкий сценарий, неописанные права доступа, плохой RAG-поиск, отсутствие тестовых вопросов и метрик качества.

Задача диагностики - понять, где именно ломается ценность: в источниках, сценарии, данных, правах, интерфейсе, качестве поиска, контроле ответов или эксплуатации после запуска.

Признаки проблемы

чатбот уверенно отвечает неправильно или придумывает детали
ответы звучат общо и не помогают сотруднику или клиенту сделать следующий шаг
чатбот не показывает документы, фрагменты или источники ответа
пользователи не доверяют ответам и всё равно перепроверяют вручную
ответы устаревают вместе с регламентами, инструкциями или базой знаний
разные роли видят одинаковую информацию, хотя доступ должен отличаться
чатбот пытается отвечать на любые вопросы, даже вне своего рабочего сценария
нет понятных метрик качества: команда спорит мнениями, а не фактами

Чек-лист

Материал для самостоятельной проверки

Проблемный проект

Чек-лист проблемного web-проекта

Диагностический чек-лист: подрядчик затягивает разработку, проект трудно передать, портал ломается после релизов и нет документации.

Открыть чек-лист

AI-ready

AI-ready чек-лист для web-системы

Проверка готовности портала, личного кабинета или базы знаний к AI-сценариям без завышенных ожиданий и лишнего риска.

Открыть чек-лист

Причины

Почему это может происходить

база знаний устарела, разрознена, противоречива или не имеет владельца

источники не разделены по актуальности, темам, ролям и уровню доверия

RAG-поиск не находит релевантные фрагменты или отдаёт слишком широкий контекст

сценарий слишком общий: чатбот должен отвечать “на всё”, вместо одной рабочей задачи

не настроены права доступа, ограничения и отказ от ответа при недостатке данных

нет тестовых вопросов, эталонных ответов, метрик качества и процесса разбора ошибок

AI встроен как отдельный чат, а не как часть поддержки, портала, базы знаний или рабочего процесса

Диагностика

Симптом, проверка и рабочий артефакт

Симптом	Что проверить	Что получить
Чатбот отвечает уверенно, но неверно	Источники ответа, актуальность документов, эталонные вопросы, правила отказа и логи спорных ответов	Карта ошибок и источников риска
Ответы звучат общо	Сценарий, база знаний, RAG-поиск, релевантность фрагментов и наличие ссылок на источники	Карта источников и требований к RAG
Сотрудники или клиенты не доверяют чатботу	Критерии качества, тестовые вопросы, пользовательская обратная связь, процесс разбора ошибок	Метрики качества AI-ассистента
Чатбот показывает лишнюю или одинаковую информацию всем	Роли, права доступа, клиентские сегменты, внутренние документы, ограничения по данным	Матрица доступа для AI
Чатбот отвечает на всё подряд	Границы сценария, правила отказа, передача человеку, UX и список вопросов вне зоны ответственности	Границы пилота и сценарии эскалации
Качество ухудшается после запуска	Владельцы документов, обновление базы знаний, контроль версий, логирование ошибок и регулярная переоценка тестов	Процесс эксплуатации и улучшения

Схема RAG

Как RAG-ассистент отвечает по документам

RAG нужен там, где ответ должен опираться на конкретные документы, а не на общую уверенность модели.

Вопрос

Пользователь или сотрудник задаёт вопрос в рамках разрешённого сценария.

Поиск

Система ищет релевантные фрагменты в базе знаний, регламентах или документации.

Контекст

Модель получает найденные источники и ограничения по роли пользователя.

Ответ

Ассистент формирует ответ с опорой на источники и может показать, откуда взята информация.

Контроль

Ошибки фиксируются, база знаний обновляется, качество ответа проверяется.

Итог Результат: ассистент работает с проверяемыми источниками и не подменяет управление базой знаний.

Первые шаги

Порядок действий без хаоса

AI-аудит нужен, если чатбот уже есть, но пользователи ему не доверяют, подрядчик предлагает менять модель без разбора причин, или бизнес хочет понять, можно ли восстановить текущий AI-сценарий через данные, RAG, метрики и процесс качества.

Провести AI-аудит

Разобрать, где именно проблема: сценарий, источники, база знаний, RAG, права доступа, UX, метрики или эксплуатация после запуска.

Навести порядок в базе знаний

Выбрать актуальные источники, убрать противоречия, назначить владельцев документов, описать правила обновления и доступы по ролям.

Сузить сценарий первого пилота

Не заставлять чатбота отвечать на всё. Выбрать одну задачу, одну аудиторию, понятные источники и список вопросов, на которых можно проверить качество.

Настроить RAG и проверку источников

Добавить поиск по релевантным фрагментам, ссылки на документы, правила отказа от ответа и ограничения по ролям, если сценарий требует работы с знаниями.

Ввести метрики качества

Фиксировать точность источников, полезность ответа, долю отказов, спорные ответы, ошибки доступа и изменения в базе знаний после обратной связи.

Переходить к промышленному запуску постепенно

Расширять аудиторию и сценарии только после проверки пилота на реальных вопросах, понятного владельца процесса и регулярного контроля качества.

Что не делать

Решения, которые лучше не принимать вслепую

не менять модель, пока не проверены данные, источники, сценарий и RAG-поиск
не усиливать промпт, если база знаний устарела или противоречит сама себе
не обещать пользователям ответы на любые вопросы без правил отказа и эскалации
не подключать документы без проверки актуальности, структуры и владельцев
не показывать одинаковые ответы всем ролям без ограничений доступа
не считать успешное демо доказательством готовности к промышленной эксплуатации
не запускать AI поверх нестабильного портала, плохих данных и неописанных процессов

Следующий шаг

Что сделать с этой ситуацией

Выберите ближайший маршрут: собрать факты, проверить подрядчика, подготовить AI-ready основу или спроектировать систему заново.

AI-ready

Понять, готов ли проект к AI

Если хочется AI-ассистента, RAG или автоматизацию, сначала стоит проверить данные, роли, документы и критерии качества.

источники данных
права доступа
метрики качества

Проверить AI-готовность AI-ready чек-лист

Проект застрял

Начать с диагностики проблемного проекта

Если сроки, бюджет или стабильность перестали быть предсказуемыми, сначала нужно собрать факты и карту рисков.

технический тупик
срывы сроков
нестабильные релизы

Описать проблему Открыть чек-лист

Подрядчик

Проверить подрядчика без конфликта

Если ответы по срокам, рискам и релизам стали размытыми, нужен контроль по артефактам, а не микроменеджмент.

статус и блокеры
архитектура и релизы
документация и передача

Запросить контроль Взять вопросы к подрядчику

Связанные материалы

Куда перейти дальше

AI-аудит

Диагностика сценария, данных, источников, RAG, прав доступа, метрик и причин низкой полезности.

RAG-ассистент

Проектирование ассистента, который отвечает по документам, показывает источники и работает в заданном сценарии.

AI-ready архитектура

Подготовка данных, ролей, API и качества к будущим AI-функциям.

AI-ready чек-лист

Самостоятельная проверка данных, базы знаний, ролей, сценариев и качества перед AI-пилотом.

AI-чатбот отвечает неправильно

Подробный проверочный список: сценарий, база знаний, промпт, RAG, права доступа, метрики и UX.

Качество базы знаний для RAG

Что проверить в документах и базе знаний до настройки ассистента.

Метрики качества AI-ассистента

Как оценивать точность, полезность, риски и готовность к промышленному запуску.

RAG-ассистент vs AI-чатбот

Когда нужен RAG, а когда проблема не решается обычным чатботом.

Почему AI не спасёт плохой web-проект

Почему AI усиливает проблемы в данных, процессах и архитектуре, если их не проверить заранее.

Кейс AI-чатбота

Обезличенный сценарий, где чатбот не помогал сотрудникам из-за данных и сценариев.

Кейс AI-ready подготовки

Сценарий, где перед AI-пилотом сначала готовили данные, документы и права доступа.

FAQ

Частые вопросы

Что проверить, если AI-чатбот отвечает неправильно?

Сценарий, источники знаний, актуальность документов, RAG-поиск, права доступа, тестовые вопросы, метрики качества, правила отказа от ответа и процесс обновления базы знаний.

Нужно ли сразу менять модель?

Не стоит начинать с модели. Если источники плохие, сценарий слишком широкий, RAG настроен слабо или нет метрик качества, новая модель может давать такие же бесполезные ответы.

RAG решит проблему полностью?

RAG помогает отвечать по документам, но не исправляет устаревшую базу знаний, плохие права доступа, широкий сценарий и отсутствие контроля качества.

Можно ли восстановить уже запущенного чатбота?

Да, если отдельно разобрать причины: источники, сценарий, права, качество поиска, UX, метрики и эксплуатацию. Иногда достаточно сузить сценарий и подготовить базу знаний, а не переписывать всё.

Когда чатбот лучше остановить?

Если он даёт рискованные ответы клиентам или сотрудникам, показывает лишние данные, не умеет отказываться и нет процесса проверки качества, лучше временно ограничить сценарий до диагностики.

Заявка

Разобрать, почему AI-чатбот отвечает неправильно

Опишите, где используется чатбот, какие ответы не устраивают, есть ли база знаний, RAG, ссылки на источники, роли доступа и кто сейчас проверяет качество ответов.

Дмитрий Зугаев web/AI-архитектор, CTO