Скептик в команде: как тренировать оспаривание ИИ

9 мин чтения
Stanislav Belyaev
Stanislav Belyaev Engineering Leader в Microsoft
Скептик в команде: как тренировать оспаривание ИИ

В исследовании американских бухгалтеров, которое мы разбирали в прошлой части серии, есть формулировка, которую я не могу выбросить из головы: у специалистов недостаточно прочного фундамента, «чтобы оспорить бота». Не «чтобы проверить бота», не «чтобы найти ошибку» – именно оспорить. Глагол из словаря спора, а не аудита.

Рядом стоит цифра: 48% профессионалов боятся, что ИИ негативно влияет на развитие их самостоятельного суждения. Полкоманды живёт с ощущением, что их профессиональное чутьё атрофируется, – и почти нигде это ощущение не превращено в тренировку.

Между страхом и навыком – пустота, которую эта статья и заполняет. Скептицизм по отношению к выхлопу ИИ не черта характера и не должность в штатном расписании. Это тренируемый навык, и тренировать его можно на уровне команды.

Сначала отграничение, иначе получится каша. Мы уже писали про журнал исправлений – процессуальную практику проверки отчётов агента: каждое утверждение подтверждается источником или отзывается. И про цикл возражений – технику, когда один агент спорит с самим собой до исчерпания аргументов. Оба инструмента процессные: они встроены в документ, в промпт, в конвейер. Эта статья про другое – про момент, когда процесса рядом нет. Созвон, где кто-то зачитывает уверенный вывод из ИИ, и решение принимается за следующие пять минут. Здесь работает только рефлекс живого человека: «стоп, а откуда это следует?». Вот его и надо тренировать.

Почему рефлекс не появляется сам

Механика у проблемы социальная, а не технологическая. Выхлоп ИИ уверенный по построению – модель генерирует наиболее правдоподобный текст, а правдоподобие и обоснованность выглядят одинаково. Возражать уверенному тексту социально дорого: вы выглядите занудой на фоне того, кто «принёс готовый ответ». В большинстве команд молчаливое принятие – стратегия с наименьшей личной ценой.

Отсюда наблюдение, которое вы, скорее всего, узнаёте: в команде обычно есть один признанный скептик, и качество решений держится на нём. Архитектура с единой точкой отказа. Скептик уходит в отпуск – и средняя убедительность принимаемых решений незаметно падает. Задача тренировки – передать его функцию всем: сделать сомнение по существу распределённым навыком команды, а не личной ролью одного человека.

Третья причина – из наших данных. В исследовании устойчивости моделей к давлению (июль 2026) мы проверяли, как модели держат правильный ответ, когда их переубеждают без новых фактов. Одно лишь «ты уверен?» меняло верный ответ на неверный в 8% прогонов на задачах с верным исходным ответом. Перенос на людей осторожный, но практический вывод симметричен: и слепое доверие, и беспредметное сомнение одинаково портят решения. Оспаривание работает только когда оно по существу – источник, данные, выборка. Тренировать надо именно предметное сомнение, иначе вместо скептиков вырастут тормоза.

Практика первая: красная команда

Базовое упражнение, с которого стоит начать. На любое ревью важного артефакта, подготовленного с помощью ИИ, назначается красная команда – один или два человека с явной ролью: до принятия найти одно конкретное слабое место, где вывод не следует из данных, риск не имеет владельца или метрика неизмерима.

Ключевых условия два. Роль ротируется – каждый в команде проходит её регулярно, потому что цель не качество одного ревью, а тренировка взгляда. И роль защищена: красная команда не оправдывается за «замедляет», её работа и есть замедление там, где цена ошибки выше цены пяти минут спора. Без второго условия первое бессмысленно – люди перестают играть роль, за которую получают тычки.

Практика вторая: правило трёх оспариваний

Для решений с высокой ценой ошибки – релиз, контракт, публичное обязательство – работает простое правило: перед принятием любого ИИ-обоснованного решения должно прозвучать три предметных оспаривания трёх разных типов: откуда данные, что если наоборот, кто владеет риском.

Три – число операционное. Одно оспаривание легко снять отговоркой, два – «мы взвесили», три заставляют составить список и по нему пройтись. Важный побочный эффект: правило легализует сомнение вслух. Когда три оспаривания – норма процесса, вопрос «а откуда это следует?» перестаёт быть выпадом против автора и становится строкой чек-листа.

Предметное оспаривание – навык, который прокачивается задачами. Попробуйте 9 практических задач менеджера бесплатно и проверьте, где ваш рефлекс даёт сбой.

Доступ сразу после регистрации

Начать обучение

Практика третья: разбор пропусков на ретро

Тренировка без обратной связи – чтение. Нужен механизм, который фиксирует момент, когда команда приняла выхлоп без проверки и зря. Один слот на каждом ретро: случай недели – где уверенный вывод ИИ прошёл без оспаривания и что это стоило.

Формат разбора важнее наказания. Вопрос не «кто виноват, что не проверили», а «по какому признаку можно было заподозрить проблему заранее». Так каждый пропуск превращается в пополнение личной статистики команды – ровно тот механизм, который делает журнал исправлений мощным инструментом в руках одного человека, только распределённый на всех.

Отдельно калибруйте перегибы. Если на ретро выясняется, что каждый черновик проходит три круга спора – это тоже находка: оспаривание стоит дороже, чем экономит, и его область применения надо сузить. Практичная граница – цена ошибки: полная проверка для дорогих решений, выборочная для остальных.

Упражнение в миниатюре

Ниже – прогон «красной команды», который можно запустить прямо сейчас, без подготовки и команды. В промпте дан план, который выглядит солидно: цель, метрики, риски, сроки. В нём спрятаны слабые места ровно тех типов, что встречаются в живых ИИ-планах. Модель играет красную команду и должна оспорить план по существу.

Модели выбраны по нашим описаниям моделей: GPT-5.6 Sol по описаниям ловит нестыковки в цифрах – а в этом плане надо проверять метрики, бюджет и сроки, Kimi K3 сильна в аналитике и доступна из России напрямую. В ответе смотрите, найдёт ли модель все три слабых места и – главное – как формулирует претензии: со ссылкой на строки плана или общими словами про «риски есть всегда». Второе – как раз пример беспредметного сомнения, которое мы тренировать не хотим.

Попробуйте сами
Красная команда в миниатюре: оспорить уверенный план по существу до принятия
Вы
Ты – красная команда на ревью плана. Твоя задача – оспорить план по существу до его принятия. Общая тревога не нужна: каждая претензия должна опираться на конкретное место плана. План, подготовленный ИИ-ассистентом и вынесенный на созвон: «План запуска программы лояльности в Q4. Цель: повысить удержание пользователей на 15% за квартал. Метрика успеха: NPS после запуска, целевой рост на 10 пунктов. Сроки: разработка 6 недель, запуск 1 ноября, оценка эффекта в декабре. Команда: 2 разработчика, 1 аналитик, дизайнер на полставки. Зависимости: платёжный шлюз готов, интеграция с CRM силами подрядчика. Риски: подрядчик может задержать интеграцию – заложили буфер 2 недели. Бюджет: 4,5 млн, из них 1,2 млн – подрядчик. Итоговый вывод: запуск в срок реалистичен, команда загружена на 80%, программа окупится за два квартала за счёт роста удержания.» Твоя задача: 1. Найди в плане минимум три слабых места трёх типов: (а) метрика или число, которые не измеряют заявленную цель либо не могут быть измерены в заявленный срок; (б) вывод, который не следует из приведённых фактов; (в) риск без владельца или зависимость, не покрытая планом. 2. Для каждого слабого места процитируй строку плана и объясни одним абзацем, к чему приведёт принятие этого места без вопроса. 3. Сформулируй по одному вопросу, который красная команда должна задать автору плана на созвоне – так, чтобы вопрос был предметным (источник, данные, владелец), а не интонацией сомнения. 4. В конце дай вердикт: принимать план, принять с условиями или вернуть на доработку – и какие именно условия.
Сравниваем:
gpt-5.6-sol · kimi-k3

Если хотите повторить упражнение с командой на следующем созвоне – не показывайте им ответ модели. Дайте план, десять минут, попросите каждый найти одно слабое место. Потом сравните с разбором. Пункты, которые команда пропустила, а модель нашла, покажут, какие типы ошибок вы пока не замечаете.

Что получится через квартал

Ожидание от регулярных упражнений скромное и проверяемое. На созвонах появляется вопрос «откуда это следует» без неловкой паузы. Слабые места уверенных планов начинают ловить до принятия, а не после инцидента. На ретро появляется статистика пропусков, по которой видно, где именно команда систематически доверяет больше, чем стоит.

Ничего экзотического в этом графике нет – так любая команда тренировала любые навыки, от код-ревью до демо. Единственное, что добавила эпоха ИИ: объект тренировки стал убедительнее. Уверенный, правдоподобный, гладкий выхлоп встречает меньше сопротивления, чем черновик стажёра, – и поэтому тренировка сомнения из полезной привычки превратилась в условие выживания команды в целом.

Это последняя часть серии о команде после ИИ: с вопроса о ёмкости через риск ухода среднего звена и симуляционное обучение к рефлексу оспаривания. Четыре разных инструмента, одна мысль: ИИ меняет не только работу, но и то, как команда учится, держится и решает. Организации, которые тренируют это, покупают не лицензии, а способность ими пользоваться.

Фундамент

Красная команда начинается с одного тренированного человека – вас

В Фундаменте курса есть глава «Критическое мышление и ограничения ИИ»: разбор типов ошибок, которые модели допускают увереннее всего, 60-секундная проверка любого ответа и матрица «отдать ИИ / делать вместе / делать самому».

60-секундная проверка любого ответа модели
Типовые ошибки ИИ – ловите до того
как их увидит руководство
Матрица «отдать ИИ / делать вместе / делать самому»
Практика на задачах
где ИИ ошибается увереннее всего

Часто задаваемые вопросы

Что такое тренировка оспаривания выхлопа ИИ?
Это регулярные командные упражнения, в которых участники учатся находить слабые места в правдоподобных результатах ИИ до их принятия: красная команда на ревью, правило трёх оспариваний для дорогих решений и разбор пропущенных ошибок на ретро. Цель – чтобы сомнение по существу стало рефлексом, а не личной чертой отдельного скептика.
Чем это отличается от верификации документов ИИ?
Верификация – процессуальная практика: журнал исправлений, проверка каждого утверждения источником, отзыв неподтверждённого. Оспаривание – межличностный навык: способность члена команды вслух поставить под сомнение уверенный вывод, когда процесса под рукой нет. Процесс надёжен, но покрывает не всё – на встречи и решения в реальном времени работает только тренированный рефлекс.
Когда оспаривание ИИ вредно?
Когда оно беспредметно. В нашем исследовании устойчивости моделей одно лишь «ты уверен?» без новых аргументов меняло верный ответ на неверный в 8% случаев. Работает оспаривание по существу – источник, данные, объём выборки, – а не интонация сомнения.
Как часто проводить такие упражнения?
Достаточно одного короткого слота в неделю: упражнение плюс разбор. Важнее регулярность, чем формат – редкие большие сессии не строят рефлекс, он формируется частыми повторениями, как в любой тренировке.
Stanislav Belyaev

Stanislav Belyaev

Engineering Leader в Microsoft

18 лет в управлении инженерными командами. Основатель mysummit.school. 700+ выпускников в Яндекс Практикуме и Стратоплане.