Галлюцинации нейросетей: как проверять факты, цифры и ссылки

Какие ошибки может допустить нейросеть

Нейросеть может написать несуществующую цитату, неверную дату или ссылку на материал, которого нет. Такие ошибки называют галлюцинациями. По уверенной формулировке нельзя определить, верно ли утверждение.

Дайте модели исходные материалы и попросите отделить факты от предположений. Затем сверьте её ответ с оригиналом.

Проверка фактов и поиск признаков ИИ-текста решают разные задачи. Здесь проверяем достоверность содержания, независимо от того, кто написал текст.

Найдите ошибки в коротком ответе

Учебный пример: нужно подвести итоги работы мастерской. В исходной заметке есть числа и период, а сравнения с предыдущим месяцем нет.

Заметка мастерской за сентябрь.
Всего принято 18 заявок.
Выполнено 12 заявок, перенесено 4, отменено 2.
Из 12 выполненных заявок 8 завершены в срок.
Данных за предыдущий месяц нет.

Ошибочный процент здесь не отдельная опечатка: сначала изменилось число выполненных заявок. Поэтому проверять нужно и исходные числа, и действие над ними.

Как проверить отдельные утверждения

Выпишите утверждения, которые можно проверить: сумму, дату, имя, цитату или сравнение. Рядом укажите место в исходном материале, которое их подтверждает. Если подтверждения нет, уточните сведения или уберите утверждение из готового текста.

Это помогает организовать проверку, но затем вы сами сверяете цитаты и расчёты. Если ответ нужен по файлу, сначала убедитесь, что модель прочитала нужные страницы. Такой порядок разобран в работе с цитатами из документов.

Как проверить ссылки и цитаты

1. Откройте источник. Страница с подходящим заголовком ещё не подтверждает нужную фразу.
2. Найдите в тексте утверждение или данные, на которые ссылается ответ. Сверьте цитату без пропущенных оговорок.
3. Проверьте автора, дату и область применения: другой период, страна или версия продукта могут изменить смысл.
4. Для цены, правила или функции найдите первоисточник: документ компании, действующий регламент или исходное исследование.
5. Если ссылка не открывается или материал не подтверждает вывод, не используйте его как доказательство.

Откройте источник, на который ссылается ответ. Проверьте, существует ли страница и есть ли в ней нужная информация. Затем сверьте автора, дату и контекст цитаты. Правдоподобного адреса и заголовка для проверки недостаточно.

Проверьте проценты и выводы из чисел

Сначала определите, что считается целым. В примере доля выполненных заявок равна 12 / 18, а доля работ в срок среди выполненных: 8 / 12. Если считать работы в срок среди всех принятых, получится уже 8 / 18, около 44,4%. Каждое значение отвечает на свой вопрос.

Для роста нужен сопоставимый предыдущий период, для среднего: понятный набор значений. Если этих данных нет, корректный ответ должен обозначить пробел, а не подставить удобную цифру.

Для повторяющихся расчётов полезнее получить формулу и проверить её на известных строках. Показываем это в руководстве по формулам Excel с нейросетью.

Что сделать перед публикацией

• Сохраните исходник и отметьте сведения, которые реально подтвердили.
• Уберите выдуманные источники и выводы без данных.
• Повторите ключевые расчёты в таблице или калькуляторе.
• Важные решения по здоровью, праву и другим ответственным вопросам дополнительно проверяйте у профильного специалиста.

Чтобы уменьшить число исправлений с самого начала, задайте модели исходные факты, формат ответа и ограничения. В руководстве по промптам есть примеры такой постановки задачи.