Открыть учебник Записаться

Организация Работы

Промпта оказалось недостаточно: что Гарвард добавил к GPT-4, чтобы он начал учить

10 мин чтения

В 2023 году студенты вводного курса физики в Гарварде прошли одно из двух занятий с ИИ-репетитором на базе GPT-4. Медиана их результата в тесте после занятия составила 4,5 балла. После аудиторного занятия с активным обучением медиана была 3,5 балла, при общей исходной медиане 2,75 балла.

Различие статистически значимое: z = -5,6, p < 10⁻⁸. По квантильной регрессии, которая лучше справлялась с особенностью этих данных, размер эффекта находился в диапазоне от 0,73 до 1,3 стандартного отклонения. Заголовок почти пишет себя сам: ИИ обошёл занятие в Гарварде. Работа Кестина и коллег вышла в Scientific Reports, а данные и код анализа авторы выложили целиком – проверить расчёты можно самостоятельно.

Только полезный для менеджера вывод начинается на один уровень глубже. Студенты работали со специально собранной системой, где GPT-4 отвечал внутри жёсткой последовательности, видел заранее написанные решения и следовал педагогическим правилам. Системный промпт был лишь одним компонентом. Причём один важный компонент пришлось из него вынести.

Читать полностью
Промпта оказалось недостаточно: что Гарвард добавил к GPT-4, чтобы он начал учить
От промптов к системе: скиллы, субагенты и память ИИ
8 мин

От промптов к системе: скиллы, субагенты и память ИИ

Есть надежный признак того, что вы переросли переписку с ассистентом: вы в третий раз пишете один и тот же промпт. Не похожий – тот же самый, с теми же уточнениями и теми же извинениями за то, что в прошлый раз модель поняла не так.

Инженерная практика давно нашла, что делать с такими моментами: повторившийся промпт превращают в скилл – именованную инструкцию, которая живёт в рабочем пространстве и запускается по заданному условию. В разборе агентного рабочего пространства – мы разбирали его в первой и второй частях серии – есть пример, где эта механика доведена до предела, и самая поучительная строчка там не про сам скилл. Про строчку я расскажу, но по порядку.

Рабочее пространство для ИИ-агента: гид для менеджера
8 мин

Рабочее пространство для ИИ-агента: гид для менеджера

Каждая новая сессия с ИИ-агентом начинается с одного и того же. Вот контекст проекта, вот где лежат статусы, вот кто заказчик, вот что мы уже выяснили в прошлый раз. Минут двадцать-тридцать чистого времени – на то, чтобы привести ассистента в рабочее состояние. И так при каждом входе.

Инженеры, которые работают с агентами ежедневно, давно решили эту проблему структурой папок. Я недавно читал разбор одного такого рабочего пространства: около восьмидесяти папок и файлов, и агент осваивается в нём за одно чтение файла. Секрет ровно один, и он не про инструменты.