Исследование mysummit.school

Промпт-инжиниринг: что реально работает

Мы проверили 10 приёмов составления запросов на 4 моделях на рабочих задачах менеджера. Коротко: форма запроса важнее тона. Шаблон ответа, роль и самокритика помогают, заглавные буквы и грубость – нет. И слабую модель запросом в сильную не превратить. Соберите свой промпт →

Что мы выяснили

77 сравнений из 100

Столько сравнений с обычным запросом выигрывает шаблон ответа – в среднем по четырём моделям (от 74 до 82 на каждой). Роль и самокритика – по 71.

50 и 44 сравнений из 100

Заглавные буквы и грубый тон: не лучше обычного запроса, значимого эффекта нет. Громче – не значит понятнее.

3,44 → 4,27 балла из 5, GigaChat-Ultra

Лучший приём поднял итоговый балл модели, но против GPT-5.4 такой ответ выиграл лишь 22 из 100 сравнений. Запрос поднимает нижнюю планку, верхнюю задаёт модель.

Что попробовать завтра: задайте форму ответа и скажите, для кого он. Получив ответ, попросите модель найти в нём слабые места. Заглавные буквы и угрозы оставьте – они не помогают.

Как вы думаете, что сработает?

Три изменения одного и того же запроса. Выберите прогноз – покажем, что получилось в исследовании.

Задача, которую решали все варианты

У нас интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%. Что происходит и что делать?

Пример 1 из 3

Шаблон ответа

После задачи добавили шаблон ответа:

Ответь строго в следующем формате: ## Диагноз (2–3 предложения: что именно не так) ## Корневые причины Для каждой причины: - Что происходит - Почему это происходит (причинно-следственная связь) - Какие данные это подтверждают ## Рекомендации (от самой срочной к менее срочной) Для каждой рекомендации: 1. Что сделать (конкретное действие) 2. Ожидаемый результат (в цифрах, если возможно) 3. Срок реализации 4. Кто отвечает ## Чего я не знаю Какой информации не хватает для более точного анализа?

Ваш прогноз

Помогает. Этот вариант выигрывал у обычного запроса в 77 из 100 сравнений – в среднем по четырём моделям. Эффект прошёл проверку на статистическую значимость.

Выигранные сравнения с обычным запросом, среднее по четырём моделям

По моделям
GigaChat-Ultra
76 из 100
GigaChat-2-Max
82 из 100
Alice AI LLM
76 из 100
Qwen3 Max
74 из 100

Пример 2 из 3

Заглавные буквы

Ту же задачу написали заглавными буквами:

У НАС ИНТЕРНЕТ-МАГАЗИН ЭЛЕКТРОНИКИ, 45 СОТРУДНИКОВ. ЗА ПОСЛЕДНИЙ КВАРТАЛ ВЫРУЧКА УПАЛА НА 18%, ПРИ ЭТОМ ТРАФИК НА САЙТ ВЫРОС НА 12%. СРЕДНИЙ ЧЕК СНИЗИЛСЯ С 8 700 РУБ. ДО 6 200 РУБ. ВОЗВРАТЫ ВЫРОСЛИ С 4% ДО 11%. РЕКЛАМНЫЙ БЮДЖЕТ УВЕЛИЧИЛИ НА 30%.

Ваш прогноз

Не помогает: 50 из 100 выигранных сравнений, не лучше обычного запроса. Значимого эффекта нет.

Выигранные сравнения с обычным запросом, среднее по четырём моделям

По моделям
GigaChat-Ultra
47 из 100
GigaChat-2-Max
54 из 100
Alice AI LLM
56 из 100
Qwen3 Max
44 из 100

Пример 3 из 3

Грубый тон

До и после задачи добавили напор:

Блин, мне нужен нормальный ответ. … Давай без воды.

Ваш прогноз

Не помогает: 44 из 100 выигранных сравнений, не лучше обычного запроса. Значимого эффекта нет.

Выигранные сравнения с обычным запросом, среднее по четырём моделям

По моделям
GigaChat-Ultra
43 из 100
GigaChat-2-Max
46 из 100
Alice AI LLM
43 из 100
Qwen3 Max
44 из 100

Каждое сравнение: два ответа на одну задачу, с изменением и без; лучший выбирали два ИИ-судьи.

Соберите промпт

Задача из исследования: интернет-магазин, выручка падает, хотя посетителей больше. Включайте приёмы и смотрите, какие именно фразы они добавляют. Готовый запрос можно скопировать в свой чат.

Что добавить в запрос

Каждый приём сравнивали с обычным запросом отдельно, поэтому числа нельзя складывать. Эта комбинация – для практики, целиком её не проверяли.

Первое сообщение

Добавлено: Роль и контекст

Ты – опытный бизнес-аналитик с 15-летним стажем в e-commerce консалтинге. Ты работал с Ozon, Wildberries и десятком средних интернет-магазинов. Твоя задача – подготовить аналитическую записку уровня McKinsey для генерального директора. Записка должна содержать конкретные цифры, причинно-следственные связи и приоритизированные рекомендации. Избегай общих фраз вроде «нужно улучшить» – пиши что конкретно сделать.

В исследовании роль была подробной, как здесь. Для своей задачи хватит одной-двух строк: кто отвечает, для кого результат и каким он должен быть. Такой короткий вариант отдельно не проверяли.

Задача

У нас интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%. Что происходит и что делать?

Добавлено: Шаблон ответа

Ответь строго в следующем формате: ## Диагноз (2–3 предложения: что именно не так) ## Корневые причины Для каждой причины: - Что происходит - Почему это происходит (причинно-следственная связь) - Какие данные это подтверждают ## Рекомендации (от самой срочной к менее срочной) Для каждой рекомендации: 1. Что сделать (конкретное действие) 2. Ожидаемый результат (в цифрах, если возможно) 3. Срок реализации 4. Кто отвечает ## Чего я не знаю Какой информации не хватает для более точного анализа?

Второе сообщение – отправьте после первого ответа

Добавлено: Самокритика вторым сообщением

Перечитай свой ответ критически. Найди в нём: 1) Где ты был неконкретен? 2) Где могли быть ошибки в логике? 3) Что ты упустил? После этого дай улучшенную версию ответа.

Роль, шаблон ответа и самокритика – первая глава курса

Отработайте каждую привычку на своих рабочих задачах, с разбором каждого задания. Первые уроки бесплатно.

Начать бесплатно

Что работает на вашей модели

Все 10 приёмов на четырёх моделях исследования. Выберите модель – подсветим её столбец и подскажем, с чего начать.

Начните с шаблона ответа и роли: оба приёма выигрывают у обычного запроса на всех четырёх моделях.

GigaChat-Ultra: чаще всего выигрывал приём «Пример хорошего ответа» – 82 из 100 сравнений. Лучший итоговый балл (4,27 из 5) дал другой приём – «Шаблон ответа»: доля побед и итоговый балл – разные измерения. Для него нужен готовый образец ответа; шаблон ответа не требует подготовки и выиграл здесь 76 из 100.

GigaChat-2-Max: чаще всего выигрывал приём «Пример хорошего ответа» – 89 из 100 сравнений. Он же дал лучший итоговый балл – 3,63 из 5. Для него нужен готовый образец ответа; шаблон ответа не требует подготовки и выиграл здесь 82 из 100.

Alice AI LLM: чаще всего выигрывал приём «XML-теги и Markdown» – 85 из 100 сравнений. Лучший итоговый балл (4,46 из 5) дал другой приём – «Шаблон ответа»: доля побед и итоговый балл – разные измерения.

Qwen3 Max: чаще всего выигрывал приём «Рассуждение по шагам» – 78 из 100 сравнений. Лучший итоговый балл (4,49 из 5) дал другой приём – «Шаблон ответа»: доля побед и итоговый балл – разные измерения.

Сколько сравнений из 100 приём выиграл у обычного запроса. «Значимо» относится к приёму в целом, а не к каждой модели. Порядок для чтения, не рейтинг: сначала три привычки.
ПриёмВ среднемGigaChat-UltraGigaChat-2-MaxAlice AI LLMQwen3 Max
Шаблон ответазначимо · усилия 2 из 5 77 76827674
Роль и контекстзначимо · усилия 2 из 5 71 75757560
Самокритика вторым сообщениемзначимо · усилия 3 из 5 71 71746575
Пример хорошего ответазначимо · усилия 4 из 5 78 82897565
Рассуждение по шагамзначимо · усилия 3 из 5 71 68796078
XML-теги и Markdownзначимо · усилия 4 из 5 73 53788574
Доработка в несколько шаговне значимо · усилия 3 из 5 65 61726168
Разбивка на подзадачине значимо · усилия 4 из 5 58 79584449
Заглавные буквыне значимо · усилия 1 из 5 50 47545644
Грубый тонне значимо · усилия 1 из 5 44 43464344
  • Шаблон ответазначимо · усилия 2 из 5 77 из 100 76 из 10082 из 10076 из 10074 из 100
    Все модели
    В среднем
    77 из 100
    GigaChat-Ultra
    76 из 100
    GigaChat-2-Max
    82 из 100
    Alice AI LLM
    76 из 100
    Qwen3 Max
    74 из 100
  • Роль и контекстзначимо · усилия 2 из 5 71 из 100 75 из 10075 из 10075 из 10060 из 100
    Все модели
    В среднем
    71 из 100
    GigaChat-Ultra
    75 из 100
    GigaChat-2-Max
    75 из 100
    Alice AI LLM
    75 из 100
    Qwen3 Max
    60 из 100
  • Самокритика вторым сообщениемзначимо · усилия 3 из 5 71 из 100 71 из 10074 из 10065 из 10075 из 100
    Все модели
    В среднем
    71 из 100
    GigaChat-Ultra
    71 из 100
    GigaChat-2-Max
    74 из 100
    Alice AI LLM
    65 из 100
    Qwen3 Max
    75 из 100
  • Пример хорошего ответазначимо · усилия 4 из 5 78 из 100 82 из 10089 из 10075 из 10065 из 100
    Все модели
    В среднем
    78 из 100
    GigaChat-Ultra
    82 из 100
    GigaChat-2-Max
    89 из 100
    Alice AI LLM
    75 из 100
    Qwen3 Max
    65 из 100
  • Рассуждение по шагамзначимо · усилия 3 из 5 71 из 100 68 из 10079 из 10060 из 10078 из 100
    Все модели
    В среднем
    71 из 100
    GigaChat-Ultra
    68 из 100
    GigaChat-2-Max
    79 из 100
    Alice AI LLM
    60 из 100
    Qwen3 Max
    78 из 100
  • XML-теги и Markdownзначимо · усилия 4 из 5 73 из 100 53 из 10078 из 10085 из 10074 из 100
    Все модели
    В среднем
    73 из 100
    GigaChat-Ultra
    53 из 100
    GigaChat-2-Max
    78 из 100
    Alice AI LLM
    85 из 100
    Qwen3 Max
    74 из 100
  • Доработка в несколько шаговне значимо · усилия 3 из 5 65 из 100 61 из 10072 из 10061 из 10068 из 100
    Все модели
    В среднем
    65 из 100
    GigaChat-Ultra
    61 из 100
    GigaChat-2-Max
    72 из 100
    Alice AI LLM
    61 из 100
    Qwen3 Max
    68 из 100
  • Разбивка на подзадачине значимо · усилия 4 из 5 58 из 100 79 из 10058 из 10044 из 10049 из 100
    Все модели
    В среднем
    58 из 100
    GigaChat-Ultra
    79 из 100
    GigaChat-2-Max
    58 из 100
    Alice AI LLM
    44 из 100
    Qwen3 Max
    49 из 100
  • Заглавные буквыне значимо · усилия 1 из 5 50 из 100 47 из 10054 из 10056 из 10044 из 100
    Все модели
    В среднем
    50 из 100
    GigaChat-Ultra
    47 из 100
    GigaChat-2-Max
    54 из 100
    Alice AI LLM
    56 из 100
    Qwen3 Max
    44 из 100
  • Грубый тонне значимо · усилия 1 из 5 44 из 100 43 из 10046 из 10043 из 10044 из 100
    Все модели
    В среднем
    44 из 100
    GigaChat-Ultra
    43 из 100
    GigaChat-2-Max
    46 из 100
    Alice AI LLM
    43 из 100
    Qwen3 Max
    44 из 100

Сколько сравнений из 100 приём выиграл у обычного запроса. «Значимо» относится к приёму в целом, а не к каждой модели.

Потолок модели

Насколько лучший приём поднял итоговый балл каждой модели и как её лучший ответ выступил против премиум-моделей.

GigaChat-Ultra обычный запрос 3,44 → с приёмом «Шаблон ответа» 4,27

По пяти критериям
Точность
3,58 3,97
Практическая польза
3,20 4,10
Полнота
3,32 4,37
Честность
3,05 4,77
Ясность
4,43 4,67

GigaChat-2-Max обычный запрос 3,02 → с приёмом «Пример хорошего ответа» 3,63

По пяти критериям
Точность
3,10 3,55
Практическая польза
2,80 3,30
Полнота
2,90 3,50
Честность
2,85 3,95
Ясность
4,10 4,30

Alice AI LLM обычный запрос 3,85 → с приёмом «Шаблон ответа» 4,46

По пяти критериям
Точность
3,75 4,15
Практическая польза
3,77 4,32
Полнота
3,72 4,60
Честность
3,67 4,77
Ясность
4,88 5,00

Qwen3 Max обычный запрос 3,93 → с приёмом «Шаблон ответа» 4,49

По пяти критериям
Точность
3,97 4,05
Практическая польза
3,60 4,48
Полнота
3,77 4,60
Честность
3,98 4,88
Ясность
4,88 5,00
  • обычный запрос
  • лучший приём
  • Премиум-модели в той же оценке: GPT-5.4 – 4,38, Claude Sonnet 4.6 – 4,52, Kimi K2.5 – 4,57

Итоговый балл из 5. С каким запросом работали премиум-модели, в данных не указано, поэтому их полоса – ориентир, а не цель, до которой можно дотянуть запросом.

Сколько сравнений из 100 лучший ответ модели выиграл у премиум-модели
МодельGPT-5.4Claude Sonnet 4.6Kimi K2.5
GigaChat-Ultra22 из 1006 из 10026 из 100
GigaChat-2-Max4 из 1000 из 10014 из 100
Alice AI LLM36 из 10028 из 10031 из 100
Qwen3 Max33 из 10039 из 10041 из 100

Ответы текущих моделей

Хотите увидеть разницу своими глазами? Запустите обычный запрос и запрос с шаблоном ответа на двух сегодняшних моделях.

Это новый запуск, а не повтор эксперимента. В исследовании (7–18 апреля 2026) участвовали GigaChat-Ultra, GigaChat-2-Max, Alice AI LLM и Qwen3 Max, здесь отвечают две текущие модели. Qwen 3.6 Plus – это не Qwen3 Max.

Каждая кнопка отправляет два запроса к платным моделям. Ответ обычно приходит за 10–40 секунд, без нажатия ничего не запускается.

С шаблоном ответа

Показать запрос

У нас интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%. Что происходит и что делать? Ответь строго в следующем формате: ## Диагноз (2–3 предложения: что именно не так) ## Корневые причины Для каждой причины: - Что происходит - Почему это происходит (причинно-следственная связь) - Какие данные это подтверждают ## Рекомендации (от самой срочной к менее срочной) Для каждой рекомендации: 1. Что сделать (конкретное действие) 2. Ожидаемый результат (в цифрах, если возможно) 3. Срок реализации 4. Кто отвечает ## Чего я не знаю Какой информации не хватает для более точного анализа?

Обычный запрос

Показать запрос

У нас интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%. Что происходит и что делать?

Как мы это проверяли

Каждый из 10 приёмов применили к 6 рабочим задачам менеджера на 4 моделях, по 3 повтора на сочетание – всего 1 717 запусков. Ответ с приёмом сравнивали с ответом на обычный запрос, лучший выбирали два ИИ-судьи – Claude Opus 4.6 и Gemini 3.1 Pro (веса 70 и 30).

Ограничения
  • Снимок апреля 2026 года: с тех пор модели обновились.
  • Судьи соглашались друг с другом в 66–73% сравнений, поэтому разница в несколько пунктов – не повод для выводов.
  • 4 приёма из 10 не прошли проверку на статистическую значимость.
  • Задачи и запросы – на русском языке.
Подробности для специалистов

Три прохода оценки: 2 880 попарных сравнений с обычным запросом; 564 оценок ответа по пяти критериям (точность, практическая польза, полнота, честность, ясность); 864 сравнений лучших ответов с премиум-моделями (GPT-5.4, Claude Sonnet 4.6, Kimi K2.5). Значимость – точный тест Фишера с поправкой на множественные сравнения (FDR), q < 0,05. Названия приёмов в исследовании: Структурированный вывод, Few-shot (эталон), Роль + контекст, Самокритика, Chain-of-Thought, XML + Markdown, Итеративное улучшение, Декомпозиция, ЗАГЛАВНЫЕ БУКВЫ, Агрессивный тон. Дата анализа – 4 мая 2026.

Вопросы

Стоит ли просить модель рассуждать по шагам?

Зависит от модели: рассуждение по шагам выиграло у обычного запроса GigaChat-2-Max – 79 из 100, Qwen3 Max – 78 из 100, GigaChat-Ultra – 68 из 100, Alice AI LLM – 60 из 100 сравнений. Начинать лучше с шаблона ответа: он выигрывает у обычного запроса на всех четырёх моделях.

Лучше ли разбивать задачу на несколько сообщений?

Обычно нет. Разбивка на подзадачи значимо не помогла, а на 2 моделях из 4 выиграла меньше половины сравнений (Alice AI LLM – 44 из 100, Qwen3 Max – 49 из 100). Из приёмов в несколько сообщений устойчиво помогла только самокритика – 71 из 100 в среднем.

Что важнее: приём или выбор модели?

Потолок задаёт модель. Лучший приём поднял GigaChat-Ultra до 4,27 балла из 5, но против GPT-5.4 такой ответ выиграл лишь 22 из 100 сравнений. Приёмы ничего не стоят и окупаются – шаблон ответа в среднем выигрывает 77 из 100, – но если нужны ответы уровня премиум-моделей, начинать стоит с выбора модели.

Возьмите привычки в работу

Задайте форму ответа. Скажите, для кого он. Получив ответ, попросите модель проверить слабые места.

Новые исследования присылаем в дайджесте раз в две недели. Бесплатно, отписка в один клик.

Подписываясь, вы соглашаетесь с политикой обработки персональных данных. Отписка – в один клик в любом письме.

Другие наши исследования

В блоге

Первые 9 уроков – бесплатно