Почему AI выдумывает ответы
Модель оптимизирует продолжение текста и может уверенно заполнить пробел. Риск растёт при противоречивых источниках, слишком широком запросе и отсутствии сценария отказа.
Слой 1. Ограничьте знания
Подключайте только нужные источники и разделяйте публичные, внутренние и ролевые базы. Чем яснее контекст, тем легче проверить ответ.
Слой 2. Настройте инструкцию
Прямо запретите придумывать цены, сроки, интеграции и гарантии. Опишите, как уточнить вопрос и когда передать его специалисту.
Слой 3. Тестируйте отрицательные примеры
Проверяйте не только известные ответы, но и вопросы с ложной предпосылкой, устаревшими данными и отсутствующим фактом.
Слой 4. Улучшайте по ошибкам
Разделяйте причины: не было знания, поиск выбрал не тот фрагмент, инструкция противоречива или формулировка ответа неудобна. Исправление зависит от причины.