Проверка ответа ИИ

Ответ ИИ, разобранный на утверждения: что подтверждено источником, что нет и что выкинуть. Плюс проверенная версия, на которую можно опереться в отчёте, письме или решении

около 25 мин · с нуля · без VPN · задача «Проверить ответ ИИ, прежде чем на него опереться»

Черновик на согласовании: текст может уточняться.

Чем делать

Алиса AI, GigaChat, любой чат-ИИ

Что подготовить

Ответ ИИ, на который вы собираетесь опереться: с цифрами, фактами, ссылками или советом
Доступ к двум разным чат-ИИ, например Алиса AI и GigaChat

Шаги

1. Выберите, что проверять

Проверять каждый ответ незачем. Проверяйте тот, который пойдёт дальше: в отчёт, в письмо клиенту, в решение о деньгах. Скопируйте его целиком вместе с вопросом, на который он отвечал.

2. Разберите ответ на утверждения

Откройте новый чат, чтобы модель не защищала свой прошлый ответ. Вставьте вопрос и ответ.

Ниже вопрос и ответ другого ИИ. Разбери ответ на отдельные проверяемые утверждения и выведи таблицей или списком:
- утверждение;
- тип: факт, цифра, дата, ссылка, вывод или совет;
- что будет, если оно неверно: ничего, неловко, дорого;
- где это проверить: тип источника (закон, сайт ведомства, отчёт компании), без ссылок.
Не оценивай, верно ли утверждение. Только разбери и подскажи, где проверять.

Ответ пойдёт в: [отчёт, письмо клиенту, решение о деньгах].
Вопрос: [вставьте]
Ответ: [вставьте]

3. Дайте ответ второй модели

Откройте чат-ИИ, который не давал исходный ответ, и попросите искать ошибки. Разные модели ошибаются по-разному, поэтому вторая замечает то, что пропустила первая. Если вторая модель ошибок не нашла, это ещё не доказательство: следующий шаг всё равно нужен.

Проверь ответ ниже как строгий рецензент. Не соглашайся по умолчанию.
Для каждого спорного места: цитата, что с ней не так, насколько ты уверен. Если всё верно, так и скажи, не выдумывай ошибок.
Отдельно отметь ссылки и цифры, которые могут быть придуманы.

Вопрос: [вставьте]
Ответ: [вставьте]

4. Проверьте главное сами

Возьмите утверждения с пометкой «дорого» и те, к которым придралась вторая модель, и найдите каждое в первоисточнике: официальный сайт, отчёт компании, текст закона на pravo.gov.ru, сам документ. Ссылки из ответа открывайте: модели придумывают адреса и названия статей, которые выглядят настоящими. Рядом с каждым утверждением отметьте: подтверждено, неверно или не нашёл. Если «дорогих» больше пяти, начните с цифр и дат.

5. Соберите проверенную версию

Вернитесь в чат с разбором и вставьте свои отметки.

Вот мои отметки по каждому утверждению: [вставьте].
Собери короткую версию ответа: только подтверждённое. То, что не нашлось, вынеси в конец с пометкой «не проверено». Неверное убери или замени тем, что я нашёл(ла) в источнике. Вывод не должен быть сильнее, чем позволяют подтверждённые факты.

6. Решите, можно ли опираться

Пройдитесь по списку, прежде чем нести ответ дальше.

Каждая цифра и дата подтверждена источником, который вы сами открыли
Ссылки открываются и говорят то же, что написано в ответе
Всё непроверенное помечено
Вывод не сильнее данных: «в одном исследовании» не превратилось в «доказано»

Если получилось почти

Модель «подтверждает» сама себя. Проверку делайте в новом чате или в другой модели, а главное сверяйте с первоисточником
Ссылка ведёт на несуществующую страницу или на другое. Считайте утверждение непроверенным, пока не найдёте источник сами
Вторая модель нашла ошибки там, где их нет. Не спорьте с ней в чате: проверьте это место в первоисточнике, как в шаге 4

Опирается на методы

Проверка ответа ИИ, Перекрёстная проверка моделями, Режим жёсткого рецензента

Пройти с отметками шагов и записью в тетрадь →