Блог mysummit.school

Различие статистически значимое: z = -5,6, p < 10⁻⁸. По квантильной регрессии, которая лучше справлялась с особенностью этих данных, размер эффекта находился в диапазоне от 0,73 до 1,3 стандартного отклонения. Заголовок почти пишет себя сам: ИИ обошёл занятие в Гарварде. Работа Кестина и коллег вышла в Scientific Reports, а данные и код анализа авторы выложили целиком – проверить расчёты можно самостоятельно.

Только полезный для менеджера вывод начинается на один уровень глубже. Студенты работали со специально собранной системой, где GPT-4 отвечал внутри жёсткой последовательности, видел заранее написанные решения и следовал педагогическим правилам. Системный промпт был лишь одним компонентом. Причём один важный компонент пришлось из него вынести.

Инженерная практика давно нашла, что делать с такими моментами: повторившийся промпт превращают в скилл – именованную инструкцию, которая живёт в рабочем пространстве и запускается по заданному условию. В разборе агентного рабочего пространства – мы разбирали его в первой и второй частях серии – есть пример, где эта механика доведена до предела, и самая поучительная строчка там не про сам скилл. Про строчку я расскажу, но по порядку.

В исследовании американских бухгалтеров, которое мы разбирали в прошлой части серии, есть формулировка, которую я не могу выбросить из головы: у специалистов недостаточно прочного фундамента, «чтобы оспорить бота». Не «чтобы проверить бота», не «чтобы найти ошибку» – именно оспорить. Глагол из словаря спора, а не аудита.

Рядом стоит цифра: 48% профессионалов боятся, что ИИ негативно влияет на развитие их самостоятельного суждения. Полкоманды живёт с ощущением, что их профессиональное чутьё атрофируется, – и почти нигде это ощущение не превращено в тренировку.

Между страхом и навыком – пустота, которую эта статья и заполняет. Скептицизм по отношению к выхлопу ИИ не черта характера и не должность в штатном расписании. Это тренируемый навык, и тренировать его можно на уровне команды.