ИИ-агент в оргсхеме: эффект горячей картошки
Представьте: ИИ подготовил бюджетный документ, вы просмотрели его и попросили коллегу проверить ещё раз. В корпоративной системе осталось аккуратное подтверждение, что документ видели двое. Только первый проверяющий нашёл меньше ошибок, а работу второго исследователи вообще не наблюдали.
Именно такой результат получили Эмма Уайлс, Меган Сюй, Джули Бедард и Мэттью Кропп в рабочей статье о месте ИИ в оргсхеме. Среди менеджеров из компаний, где агенты уже значатся в организационных схемах, участники на 22 процентных пункта чаще запрашивали платную для них дополнительную проверку при описании автора как «ИИ-сотрудника» вместо безымянного ИИ-инструмента. При базовой доле 50% это рост на 44%.
Одновременно эти менеджеры приписывали себе на 9 процентных пунктов меньше ответственности, а «системе ИИ» – на 8 процентных пунктов больше. Авторы называют сочетание слабой личной проверки, передачи работы дальше и смещения ответственности эффектом горячей картошки.
Звучит знакомо: формально контроль добавился. Кто в итоге держит документ целиком и готов его подписать?
Пять документов и одно изменённое слово
В эксперименте участвовали менеджеры, директора и руководители по персоналу и финансам, которых набрали через профессиональную экспертную сеть. Сначала регистрационный опрос прошёл 1 261 человек. Через неделю до эксперимента дошли 857 участников, а после проверки внимательности в итоговой выборке осталось 813.
В регистрационном опросе 23% респондентов сообщили, что агенты уже значатся в организационной схеме или схеме процессов их компании. Ещё 31% сказали, что руководство подаёт ИИ как сотрудника или члена команды; это две разные характеристики, хотя в публичных пересказах их легко склеить.
Поэтому формулировка «эксперимент на 1 261 менеджере» завышает выборку. Более того, это образованные и довольно старшие специалисты из двух функций, добровольно пришедшие через экспертную сеть. Для аудитории менеджеров попадание точное, для всех работников или всех компаний – уже нет.
Задача была конкретной. Участники получали пять документов с заранее внесёнными ошибками и 20 минут, чтобы проверить столько, сколько успеют: специалисты по персоналу разбирали описания вакансий, финансисты – бюджетные документы. В окне проверки можно было выделять текст, ставить пометки и писать комментарии.
Менялось только описание автора:
- В условии «ИИ-инструмент» менеджеру говорили, что он воспользовался генеративным ИИ без имени.
- В условии «ИИ-сотрудник» документы подготовил ALEX-3, полгода назад назначенный прямым подчинённым и внесённый в оргсхему отдела.
- В условии «сотрудник-человек» автором был Alex – тоже прямой подчинённый, назначенный полгода назад и тоже внесённый в оргсхему отдела. Про него добавляли, что он пришёл с похожей должности в другой компании.
Сами документы совпадали. Различие в поведении нельзя объяснить более удачным текстом одной из систем: все видели одни ошибки и располагали одним временем.
Где возникла горячая картошка
Главная оговорка появляется раньше главного результата. В полной выборке средние эффекты на обнаружение ошибок были маленькими; статистически значимого среднего изменения качества проверки и надзора авторы не нашли. Заметный разрыв возник в подгруппе менеджеров, чьи компании уже внесли агентов в организационные или рабочие схемы, – о таком положении дел сообщили 23% участников.
В этой подгруппе описание «ИИ-сотрудник» снизило F1 проверки на 5,3 процентного пункта относительно описания «ИИ-инструмент». F1 сводит в одну оценку полноту обнаружения настоящих ошибок и точность пометок; при базовом уровне 0,41 такое снижение соответствует примерно 13%.
Отдельно полнота найденных ошибок упала на 5,8 процентного пункта. Относительно базового уровня это снижение на 17%. Популярной цифры «18% меньше ошибок» в тексте работы нет.
Затем участник решал, звать ли ещё одного проверяющего. Просьба имела цену: за оправданную просьбу при низкой полноте давали дополнительные билеты в розыгрыше, за лишнюю проверку при высокой полноте билеты снимали. Без такой цены второго проверяющего просили почти все, и сравнивать условия было не на чем.
С ценой поведение разошлось. Условия «ИИ-сотрудника» дали одновременно более слабую непосредственную проверку и рост платных просьб передать документ следующему человеку на 22 процентных пункта. Можно ли считать вторую проверку разумной компенсацией? Возможно. Данных о ней у исследователей нет.
Разница возникает в момент приёмки: менеджер должен сам найти ошибку, понять предел своей уверенности и решить, готов ли подписать документ. Именно этот навык стоит проверить на собственных рабочих задачах, пока должность агента ещё не стала заменой критерию качества.
Научитесь проверять работу ИИ и решать, что готовы подписать: 9 задач менеджера, бесплатный доступ и разбор результата.
Доступ сразу после регистрации
Alex против ALEX-3
Возражение очевидное. Работу подчинённого менеджер проверяет иначе, чем ответ собственного инструмента, и тогда причина была бы в обычном делегировании.
Условие с человеком проверяет именно эту версию. В той же подгруппе F1 при работе с ALEX-3 оказался на 6,8 процентного пункта ниже, чем при работе с Alex. Запросы на дополнительную проверку выросли на 25 процентных пунктов, а доля ответственности, которую менеджер оставлял себе, снизилась на 9 процентных пунктов.
Самый внимательный непосредственный контроль среди трёх условий наблюдался у документов сотрудника-человека. По формулировке авторов, человеческое и машинное описание автора «задают поведение руководителя в противоположных направлениях». Машине дали должность, имя и линию подчинения, однако привычный режим управления сотрудником вместе с ними не появился.
Почему человек вызывает больше внимания: из-за ожидания обратной связи, оценки его усилий или будущей совместной работы? Эксперимент разделить эти объяснения не позволяет. Я сначала прочитал результат как «имя ALEX-3 портит контроль». Данные говорят о более узком: различие заметно только там, где статус ИИ-сотрудника компания уже закрепила.
Личная привычка проверять ответы всё равно нужна. В статье о задачах, которые нельзя отдавать ИИ целиком граница проходит через решение самого менеджера; здесь исследование показывает, как оргсхема может незаметно ослабить эту привычку. Одного призыва «будьте внимательнее» здесь мало: менеджеру нужен воспроизводимый способ приёмки.
Имя ничего не купило
Очеловечивание агента можно было бы оправдать, если бы оно делало менеджеров заметно открытее к технологии. Исследователи проверили намерение внедрять ИИ, готовность тратить время на обучение, интерес к росту производительности и тревогу за своё рабочее место. Различий между условиями не обнаружили.
Ноль здесь информативен. Имя, должность и место в оргсхеме изменили надзор в чувствительной подгруппе, при этом не дали измеримого выигрыша в тех установках, ради которых компании обычно выбирают язык «цифровых сотрудников» и «членов команды».
У нулевого результата есть предел. Выборка изначально была крайне лояльна к ИИ: в группе сравнения, где ИИ описывали как безымянный инструмент и агенты в оргсхеме не значились, около 90% участников сообщали об интересе, желании учиться и намерении внедрять инструменты, тогда как за рабочее место беспокоились лишь 20%. Из-за высоких исходных оценок рост было трудно обнаружить.
Отдельно 57% участников говорили, что готовы руководить ИИ-сотрудником. Появление агента в оргсхеме спокойно воспринимали 33%, а среди тех, у кого такие агенты уже внесены в схемы, доля была выше на 9 процентных пунктов. Готовность работать с агентом высокая, а на тщательность проверки она не влияет.
Описание автора меняет поведение, тогда как на словах отношение к ИИ остаётся прежним. С похожей стороны устроена и работа с несколькими агентами: делегирование требует заранее заданных ролей и критериев приёмки, иначе менеджер получает цепочку выполненных операций без ясного владельца итогового решения.
Открытый модуль позволяет перенести этот вывод на собственные задачи: выбрать роль для ИИ, задать критерий сдачи и встроить проверку в рабочий день, пока ответственность ещё видна.
Пройдите открытый модуль и соберите рабочую схему с ИИ: роль, критерий сдачи и проверка результата на ваших задачах.
Доступ сразу после регистрации
Пять ограничений исследования
Эту работу легко пересказать громче, чем позволяют данные.
- Для всей выборки исследователи не нашли заметного ухудшения проверки. Все значимые цифры – снижение F1, полноты, личной ответственности и рост запросов – относятся к подгруппе компаний, где агенты уже были в оргсхеме.
- Сравнение компаний по наличию агента в оргсхеме авторы заранее не планировали. В плане анализа стоял другой признак: воспринимает ли менеджер руководство компании как подающее ИИ в роли сотрудника. Оценки по нему получились в ту же сторону, но неточными. Подмену авторы раскрывают в тексте и приложении, и всё же ключевую подгруппу выбрали уже после того, как план был написан.
- Эксперимент завершили 813 человек, а нужная подгруппа – это 23% из них. Исходные 1 261 участник относятся к регистрационному опросу. Вывод касается руководителей по персоналу и финансам, пришедших через экспертную сеть.
- Исследователи видели просьбу о дополнительной проверке, затем наблюдение заканчивалось. Они не знают, состоялась ли проверка, сколько ошибок нашёл коллега и каким вышел итоговый документ. Сказать, стало ли в готовом документе больше ошибок, нельзя.
- Трое из четырёх авторов работают в BCG, которая продаёт консультации по операционным моделям ИИ. В пользу исследователей говорят предрегистрация в AEA RCT Registry, рассмотрение этическим комитетом Бостонского университета по протоколу 8254X, открытый препринт и опубликованные нулевые результаты. Ни одно из этих обстоятельств не отменяет того, что вывод о незаметном ослаблении контроля коммерчески удобен компании.
Есть ещё вопрос без ответа: повторится ли эффект в реальной компании, где менеджер знает историю конкретного агента, видит прошлые ошибки и рискует настоящим бюджетом? Здесь перед ним были условия эксперимента и 20 минут.
Ответственность нужно записать
Практическая часть работы начинается с отдельного июньского опроса. Его прошли 1 500 руководителей в США, а ответы взвесили по отраслям, поэтому он ближе к оценке распространённости практик на рынке, чем основная выборка. Агентов внедрили в системы или процессы 53%, и треть опрошенных совместила внедрение хотя бы с одной формой организационного признания.
Дальше важен порядок. Имя агенту давали чаще, чем назначали человека, который отвечает за его результат: 17% против 13%.
Исследование не тестировало способы исправления напрямую, однако авторы выводят из результатов три рекомендации для организаций, которые формализуют агентов.
Закрепите одного ответственного человека за каждым агентом. В карточке процесса должно быть имя того, кто принимает результат, может остановить выпуск и отвечает за ошибку после всех автоматических шагов. Формулировка «владелец – команда» оставляет ровно ту возможность распределить ответственность, которую зафиксировал эксперимент.
Здесь нужна фамилия. «Владелец финансового агента» звучит солидно, однако при сбое сотруднику всё равно придётся открыть исходные данные, принять решение о выпуске и объяснить его руководителю. Поэтому владелец должен быть виден рядом с конкретным результатом: у отчёта, заявки, прогноза или письма клиенту, а доступный только администраторам реестр агентов задачу не решает.
Задайте обязательный минимум проверки для дорогих ошибок. Для бюджетного документа это может быть сверка сумм с первичными данными, проверка формул и выборочная перепроверка предположений, на которых построен расчёт; для описания вакансии – требования закона, диапазон оплаты и фактические обязанности. Минимум действует одинаково для текста человека, безымянного инструмента и агента с должностью.
Такой минимум лучше описывать конкретными действиями. «Проверить внимательно» нельзя подтвердить после выпуска, тогда как ссылки на исходные таблицы, отмеченные расхождения и имя подписавшего остаются в документе. Если цена ошибки различается, различается и процедура: внутренний черновик можно просмотреть выборочно, документ для платежа проходит полный установленный маршрут независимо от уверенности автора.
Здесь полезен журнал исправлений для правдоподобного отчёта ИИ: менеджер записывает источник ошибки, исправление и правило следующей проверки, поэтому контроль оставляет проверяемый след и постепенно становится короче. Память о том, что «ALEX-3 обычно справляется», такого следа не оставляет.
Заранее укажите, у кого остаётся ответственность после передачи. Просьба коллеге посмотреть документ может улучшить решение. В процедуре всё равно нужна строка: кто собирает замечания, кто разрешает разногласия и чья подпись означает выпуск. Дополнительный рецензент добавляет информацию, статус владельца к нему автоматически не переезжает.
Полезно различать запрос совета и передачу решения. В первом случае коллега отмечает риск, затем исходный владелец принимает или отклоняет замечание и фиксирует причину; во втором новый владелец прямо принимает результат и получает полномочия остановить процесс. Серая формулировка «посмотри ещё ты» удобна ровно до первой ошибки, после которой каждый участник помнит свою роль немного иначе.
Для регулярного процесса достаточно короткой карточки: какой результат выпускает агент, кто его принимает, какие проверки нельзя пропускать, когда нужен дополнительный эксперт и кто подписывает готовую версию. Её смысл проявляется в исключениях. Если ответственный в отпуске, модель обновилась или источник данных недоступен, команда заранее видит, кто может принять решение и при каких условиях работа должна остановиться.
Это рекомендации авторов, выведенные из наблюдаемого поведения. Эксперимент не сравнивал команды с такими правилами и без них, поэтому обещать, что три меры устранят эффект, рано. Какой минимум проверки окажется достаточным для разных классов решений? Пока неизвестно.
Соседнее исследование показало, как структура вокруг модели делает ответ надёжнее. Здесь направление неожиданно меняется: структура вокруг людей может сделать проверку слабее, если должность агента появилась раньше явного владельца, стандарта приёмки и подписи.
Оргсхема ничего не проверяет. Это делает конкретный человек по конкретной процедуре, понимающий, что следующая передача документа не уменьшает его долю ответственности.
Встройте ИИ в рабочий день с понятной ответственностью
В «Фундаменте» вы учитесь ставить задачи ИИ, проверять результат и собирать повторяемый процесс, где заранее ясно, что можно делегировать и что остаётся за менеджером.
Часто задаваемые вопросы
Правда ли, что менеджеры делают на 18% больше ошибок с ИИ-сотрудником?
Ухудшает ли ИИ-агент качество готового документа?
Кто отвечает за документ, который подготовил ИИ-агент?
Stanislav Belyaev
Engineering Leader в Microsoft18 лет в управлении инженерными командами. Основатель mysummit.school. 700+ выпускников в Яндекс Практикуме и Стратоплане.