Открыть учебник Записаться

Постановка Задач

Почему ИИ-агент делает то, что просили, и не приносит пользы

13 мин чтения

Совет директоров буровой компании ждёт, что в этом году каждое направление реализует успешный проект с генеративным ИИ. За бурение отвечает вице-президент. К ноябрьскому заседанию он хочет запустить два сервиса, которые легко показать: ежедневную рассылку сводки по скважинам и чат-помощника «Спроси свою скважину», которому можно задать вопрос о буровых отчётах обычными словами. Разметку причин простоев он исключает из проекта: по его словам, она уже автоматизирована. Он считает эту задачу решённой и не видит смысла заниматься ею в рамках ИИ-проекта.

Компания теряет деньги как раз из-за ошибок в этой разметке. Каждый месяц она требует от бурового подрядчика компенсацию за простои. Претензию составляет старый скрипт: он ищет в суточных отчётах упоминания ремонта или отказа и считает, что простой произошёл по вине подрядчика, даже если сломалось оборудование сервисной компании или работы были плановыми. Подрядчик оспаривает такие строки, а одной спорной строки хватает, чтобы приостановить выплату компенсации за месяц. Её и приостанавливают каждый месяц.

Если выполнить запрос в точности, решение можно сдать в срок, и оно пройдёт все функциональные проверки. Но компенсацию компания так и не получит. Чтобы помочь, исполнителю придётся разобраться именно с той системой, которую вице-президент исключил из проекта, найти нужный пункт договора, уточнить его толкование у инженера по затратам и согласовать изменение с человеком, которого на этой неделе нет на месте.

Это один из сценариев исследования FDE-Gym. В нём 13 моделей от семи поставщиков выполняли работу инженеров по внедрению: решали 95 задач, составленных по реальным проектам в 18 отраслях. Результат оценивали так, как его оценил бы заказчик: насколько изменилась его бизнес-метрика. Даже лучшая модель, Claude Opus 5.5, в среднем достигла чуть больше половины результата экспертов.

Я разберу пять проблем, с которыми агенты столкнулись в исследовании, и расскажу, что менеджер может сделать с каждой из них при постановке задачи, при приёмке и при выборе модели. Агенты в исследовании внедряли системы у заказчика, но, мне кажется, те же проблемы возникнут, когда агенту поручат отчёт, договор или анализ внутри вашей команды.

Читать полностью
Почему ИИ-агент делает то, что просили, и не приносит пользы
Как ставить задачи разработчикам с помощью ИИ
33 мин

Как ставить задачи разработчикам с помощью ИИ

Мы спросили сорок руководителей, какую рабочую задачу они хотели бы ускорить с помощью ИИ. Без вариантов ответа, без подсказок. Самый частый запрос – с большим отрывом – оказался не про красивые презентации и не про автоматизацию переписки. Снова и снова звучало одно и то же: помочь поставить задачу разработчикам.

Формулировки разные, боль одна. «Улучшить качество требований в постановках от аналитиков». «Ускорить составление ТЗ разработчикам». «Написать user stories по отрисованным аналитиком схемам». «Проверять описания задач перед передачей в разработку». «Составить тест-план по требованиям». «Стандартизировать постановки бизнес-аналитика». Менеджеры проектов, продакты, аналитики – все упёрлись в один и тот же барьер между «я понимаю, что нужно» и «команда поняла то же самое».

Любопытно, что это ровно та задача, на которой языковые модели работают надёжнее всего. Постановка задачи – это работа с текстом в чистом виде: взять неоформленную мысль и привести её к структуре, которую можно передать дальше. Совпадение спроса и сильной стороны инструмента здесь почти идеальное. Но между «ИИ хорошо структурирует текст» и «ИИ напишет вам ТЗ» лежит пропасть, в которую легко свалиться.

Чего менеджеры хотят от ИИ: данные 40 реальных ответов
15 мин

Чего менеджеры хотят от ИИ: данные 40 реальных ответов

Мы редко знаем, чего люди на самом деле хотят от ИИ. Обычно за нас это решают вендоры в презентациях и блогеры в ленте. Поэтому, когда у нас накопились реальные ответы студентов на простой вопрос, мы решили на них посмотреть.

В одном из уроков модуля для руководителей есть короткое задание: написать одну-две фразы о том, какую рабочую задачу вы хотели бы ускорить с помощью ИИ. Без подсказок, без вариантов ответа. Сорок человек – менеджеры проектов и продуктов, аналитики, специалисты по персоналу – написали, чего они хотят. Это не опрос про намерения «в принципе». Это первичный спрос, снятый с людей, которые завтра пойдут применять инструмент к своей работе.

Картина оказалась интереснее, чем ожидалось. Больше половины запросов сошлись в три понятные группы. И эти три группы почти точно легли на то, что языковые модели реально делают хорошо. А выбросы – запросы, улетевшие куда-то не туда – оказались самым полезным, что было в этих данных.