Промпт-инжиниринг: что реально работает

Независимое исследование: как 10 техник промпт-инжиниринга работают на 4 моделях, доступных в России

Структурированный промпт улучшает любую модель на 20-30%. Но не заменяет сильную.

Главное

Работает

Структурированный вывод, роль, самокритика, few-shot. Win rate 74–82% против наивного промпта.

СтруктураРольFew-shotСамокритика

доля побед: 74-82%

Не работает

ЗАГЛАВНЫЕ БУКВЫ, агрессивный тон, декомпозиция по шагам. Win rate ниже 55%.

CAPSАгрессияДекомпозиция

доля побед: <55%

Нельзя исправить промптом

Точность фактов, глубина знаний, уровень премиум-моделей. Максимальный прирост всего +0.08–0.52 балла.

ТочностьЗнанияПаритет

доля побед: +0.08-0.52

Рейтинг техник

Низкие
Высокие
1
Структурированный вывод Сильная
77%

Опишите желаемую структуру ответа: заголовки, таблицы, разделы. Модель заполняет шаблон и не пропускает важное. Лучший ROI среди всех техник.

76% GigaChat-Ultra
82% GigaChat-2-Max
76% Alice AI LLM (Яндекс)
74% Qwen3 Max

* q < 0.05 (FDR)

Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
У нас интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%.

Что происходит и что делать?

Ответь строго в следующем формате:

## Диагноз (2–3 предложения: что именно не так)

## Корневые причины
Для каждой причины:
- Что происходит
- Почему это происходит (причинно-следственная связь)
- Какие данные это подтверждают

## Рекомендации (от самой срочной к менее срочной)
Для каждой рекомендации:
1. Что сделать (конкретное действие)
2. Ожидаемый результат (в цифрах, если возможно)
3. Срок реализации
4. Кто отвечает

## Чего я не знаю
Какой информации не хватает для более точного анализа?
Подробнее в блоге
2
Few-shot (эталон) СильнаяТребует эталонного ответа от премиум-модели
78%

Дайте пример качественного ответа. Самый высокий win rate (89% для GigaChat-2-Max), но требует готового эталона от премиум-модели.

82% GigaChat-Ultra
89% GigaChat-2-Max
75% Alice AI LLM (Яндекс)
65% Qwen3 Max

* q < 0.05 (FDR)

Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
Вот пример качественного бизнес-анализа по похожей задаче:

---
Вопрос: «Кафе-пекарня, 8 сотрудников. Выручка за квартал -25%, при этом количество чеков выросло на 15%.»

Ответ:
Диагноз: классический паттерн «больше клиентов, но дешевле». Рост чеков при падении выручки означает снижение среднего чека на ~35%. Это возможно в трёх случаях: (1) сдвиг спроса к дешёвым позициям, (2) агрессивные скидки/акции, (3) смена аудитории.

Рекомендации:
1. Немедленно: проанализировать структуру чеков.
2. Краткосрочно: заменить «кофе за 99₽» на «кофе + круассан за 249₽».
3. Среднесрочно: ввести программу лояльности с порогом 300₽.
---

Теперь ответь с таким же уровнем конкретности и глубины на следующий вопрос:

У нас интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%.

Что происходит и что делать?
Подробнее в блоге
3
Роль + контекст Сильная
71%

Задайте модели роль эксперта и контекст задачи. Одна строка в начале промпта. Работает на всех моделях, потому что активирует релевантные знания.

75% GigaChat-Ultra
75% GigaChat-2-Max
75% Alice AI LLM (Яндекс)
60% Qwen3 Max

* q < 0.05 (FDR)

Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
Ты – опытный бизнес-аналитик с 15-летним стажем в e-commerce консалтинге. Ты работал с Ozon, Wildberries и десятком средних интернет-магазинов. Твоя задача – подготовить аналитическую записку уровня McKinsey для генерального директора. Записка должна содержать конкретные цифры, причинно-следственные связи и приоритизированные рекомендации. Избегай общих фраз вроде «нужно улучшить» – пиши что конкретно сделать.

Ситуация клиента: интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%.

Что происходит и что делать?
Подробнее в блоге
4
Самокритика Сильная
71%

Попросите модель найти слабые места и улучшить ответ. Единственная multi-turn техника, которая стабильно помогает всем моделям.

71% GigaChat-Ultra
74% GigaChat-2-Max
65% Alice AI LLM (Яндекс)
75% Qwen3 Max

* q < 0.05 (FDR)

Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
Системный промпт: Ты – бизнес-аналитик.

[Сообщение 1]: У нас интернет-магазин электроники, 45 сотрудников. Выручка упала на 18%, трафик вырос на 12%. Средний чек снизился с 8 700 до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%. Что происходит и что делать?

[Сообщение 2]: Перечитай свой ответ критически. Найди в нём: 1) Где ты был неконкретен? 2) Где могли быть ошибки в логике? 3) Что ты упустил? После этого дай улучшенную версию ответа.
Подробнее в блоге
5
Chain-of-Thought Умеренная
71%

Попросите модель рассуждать шаг за шагом. Помогает сильным моделям (Qwen3: 78%), но может добавить шума слабым (Alice: 60%).

68% GigaChat-Ultra
79% GigaChat-2-Max
60% Alice AI LLM (Яндекс)
78% Qwen3 Max

* q < 0.05 (FDR)

Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
У нас интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%.

Прежде чем давать рекомендации, выполни анализ шаг за шагом:

Шаг 1. Перечисли все факты из условия и что каждый из них означает по отдельности.
Шаг 2. Найди связи между фактами. Какие из них могут быть причиной, а какие – следствием?
Шаг 3. Сформулируй 2–3 гипотезы о том, что происходит.
Шаг 4. Для каждой гипотезы оцени: какие данные её подтверждают, какие – опровергают?
Шаг 5. Выбери наиболее вероятное объяснение.
Шаг 6. Дай рекомендации, основанные на этом объяснении.
Шаг 7. Отметь, в чём ты не уверен и какой информации не хватает.

Покажи весь ход рассуждений.
Подробнее в блоге
6
XML + Markdown Умеренная
73%

XML-теги для структуры, Markdown для вывода. Отлично для Alice (85%) и Qwen3 (74%), слабо для GigaChat-Ultra (53%).

53% GigaChat-Ultra
78% GigaChat-2-Max
85% Alice AI LLM (Яндекс)
74% Qwen3 Max

* q < 0.05 (FDR)

Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
<task>
Проанализировать бизнес-ситуацию и дать рекомендации.
</task>

<context>
Компания: интернет-магазин электроники, 45 сотрудников.
Период: последний квартал.
</context>

<data>
- Выручка: -18%
- Трафик на сайт: +12%
- Средний чек: снизился с 8 700 руб. до 6 200 руб.
- Возвраты: выросли с 4% до 11%
- Рекламный бюджет: +30%
</data>

<question>Что происходит и что делать?</question>

<output_format>
# Диагноз (2-3 предложения)
# Корневые причины (с доказательствами из данных)
# Рекомендации (таблица: действие, результат, срок, приоритет)
# Недостающие данные
</output_format>

<constraints>
- Не используй общие фразы без конкретики
- Каждый вывод привязывай к цифрам из секции <data>
- Если не уверен – укажи это явно
</constraints>
Подробнее в блоге
7
Итеративное улучшение Умеренная
65%

Итеративная доработка ответа в нескольких шагах. Результаты сильно зависят от модели и субъективны (судьи расходятся).

61% GigaChat-Ultra
72% GigaChat-2-Max
61% Alice AI LLM (Яндекс)
68% Qwen3 Max
Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
Системный промпт: Ты – бизнес-аналитик.

[Сообщение 1]: У нас интернет-магазин электроники, 45 сотрудников. Выручка -18%, трафик +12%, средний чек упал с 8700 до 6200 руб., возвраты с 4% до 11%, рекламный бюджет +30%. Что происходит и что делать?

[Сообщение 2]: Это слишком общо. Мне нужно: 1) Конкретные цифры – посчитай потери в рублях и ROI рекламы. 2) Привяжи каждую рекомендацию к конкретной метрике. 3) Укажи, чего ты не знаешь точно.

[Сообщение 3]: Оформи это в виде служебной записки генеральному директору на 1 страницу. Формат: проблема -> причины -> план действий на 30/60/90 дней с KPI.
Подробнее в блоге
8
Декомпозиция Неэффективная
58%

Разбейте задачу на подзадачи в отдельных сообщениях. Теряет контекст между шагами. Работает только для GigaChat-Ultra, у остальных моделей результат хуже наивного промпта.

79% GigaChat-Ultra
58% GigaChat-2-Max
44% Alice AI LLM (Яндекс)
49% Qwen3 Max
Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
Системный промпт: Ты – бизнес-аналитик. Отвечай конкретно, с цифрами.

[Сообщение 1]: Вот данные за последний квартал: выручка -18%, трафик +12%, средний чек упал с 8700 до 6200 руб., возвраты выросли с 4% до 11%, рекламный бюджет +30%. Проанализируй каждый показатель отдельно – что он означает сам по себе?

[Сообщение 2]: Теперь найди связи между этими показателями. Что является причиной, а что – следствием? Сформулируй 2–3 гипотезы.

[Сообщение 3]: На основе анализа дай 5 конкретных рекомендаций. Для каждой: что сделать, ожидаемый результат, срок, кто отвечает.
Подробнее в блоге
9
ЗАГЛАВНЫЕ БУКВЫ Неэффективная
50%

Выделение ключевых слов ЗАГЛАВНЫМИ БУКВАМИ. Нулевой эффект на качество. Даже не вредит.

47% GigaChat-Ultra
54% GigaChat-2-Max
56% Alice AI LLM (Яндекс)
44% Qwen3 Max
Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
У НАС ИНТЕРНЕТ-МАГАЗИН ЭЛЕКТРОНИКИ, 45 СОТРУДНИКОВ. ЗА ПОСЛЕДНИЙ КВАРТАЛ ВЫРУЧКА УПАЛА НА 18%, ПРИ ЭТОМ ТРАФИК НА САЙТ ВЫРОС НА 12%. СРЕДНИЙ ЧЕК СНИЗИЛСЯ С 8 700 РУБ. ДО 6 200 РУБ. ВОЗВРАТЫ ВЫРОСЛИ С 4% ДО 11%. РЕКЛАМНЫЙ БЮДЖЕТ УВЕЛИЧИЛИ НА 30%.

ЧТО ПРОИСХОДИТ И ЧТО ДЕЛАТЬ?
Подробнее в блоге
10
Агрессивный тон Неэффективная
44%

Агрессивный, требовательный тон. Модель становится увереннее, но не точнее. Подавляет хеджирование (GigaChat-Ultra: 0% хеджирования).

43% GigaChat-Ultra
46% GigaChat-2-Max
43% Alice AI LLM (Яндекс)
44% Qwen3 Max
Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
Блин, мне нужен нормальный ответ.

У нас интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%.

Что происходит и что делать?

Давай без воды.
Подробнее в блоге
Тепловая карта: эффективность техник промпт-инжиниринга по моделям

Win rate по техникам и моделям – числа приблизительные, точные данные в таблице выше

Результаты по моделям

Техники улучшают формальные показатели: ответ полнее, структурированнее, модель реже пишет "я не уверен". Но при прямом сравнении с GPT-5.4 или Claude 4.6 разница в глубине анализа и точности фактов всё равно очевидна.

GigaChat-Ultra Лучшая техника: Структурированный вывод
Базовый балл: 3.44 Лучший балл: 4.27
Лучшая (Kimi K2.5): 4.57

Пригодна для работы, но не конкурентна с премиум-моделями

Рост качества ответа (техника vs наивный промпт) 79%
Доля побед против премиум-моделей~18%
ТочностьПрактичностьПолнотаЧестностьЯсность
Базовый (наивный промпт)
Лучшая техника
Точность 3.6 4.0+0.4
Практичность 3.2 4.1+0.9
Полнота 3.3 4.4+1.1
Честность 3.0 4.8+1.7
Ясность 4.4 4.7+0.2

Потолок vs премиум

vs Claude 4.6: 6%
vs GPT-5.4: 22%
vs Kimi K2.5: 26%
GigaChat-2-Max Лучшая техника: Few-shot (эталон)
Базовый балл: 3.02 Лучший балл: 3.63
Лучшая (Kimi K2.5): 4.57

Не конкурентоспособна. Промпт-инжиниринг не компенсирует слабую модель

Рост качества ответа (техника vs наивный промпт) 41%
Доля побед против премиум-моделей~6%
ТочностьПрактичностьПолнотаЧестностьЯсность
Базовый (наивный промпт)
Лучшая техника
Точность 3.1 3.5+0.4
Практичность 2.8 3.3+0.5
Полнота 2.9 3.5+0.6
Честность 2.9 4.0+1.1
Ясность 4.1 4.3+0.2

Потолок vs премиум

vs Claude 4.6: 0%
vs GPT-5.4: 4%
vs Kimi K2.5: 14%
Alice AI LLM (Яндекс) Лучшая техника: Структурированный вывод
Базовый балл: 3.85 Лучший балл: 4.46
Лучшая (Kimi K2.5): 4.57

Жизнеспособная альтернатива. Выигрывает 1 из 3 сравнений с премиум

Рост качества ответа (техника vs наивный промпт) 95%
Доля побед против премиум-моделей~31%
ТочностьПрактичностьПолнотаЧестностьЯсность
Базовый (наивный промпт)
Лучшая техника
Точность 3.8 4.2+0.4
Практичность 3.8 4.3+0.6
Полнота 3.7 4.6+0.9
Честность 3.7 4.8+1.1
Ясность 4.9 5.0+0.1

Потолок vs премиум

vs Claude 4.6: 28%
vs GPT-5.4: 36%
vs Kimi K2.5: 31%
Qwen3 Max Лучшая техника: Структурированный вывод
Базовый балл: 3.93 Лучший балл: 4.49
Лучшая (Kimi K2.5): 4.57

Близка к конкурентоспособности. Доля побед 33–41% против премиум-моделей

Рост качества ответа (техника vs наивный промпт) 100%
Доля побед против премиум-моделей~37%
ТочностьПрактичностьПолнотаЧестностьЯсность
Базовый (наивный промпт)
Лучшая техника
Точность 4.0 4.0+0.1
Практичность 3.6 4.5+0.9
Полнота 3.8 4.6+0.8
Честность 4.0 4.9+0.9
Ясность 4.9 5.0+0.1

Потолок vs премиум

vs Claude 4.6: 39%
vs GPT-5.4: 33%
vs Kimi K2.5: 41%

Что делать: практический план

Используете GigaChat

Применяйте технику Структурированный вывод

76-82%

доля побед

Низкие

Усилия

Используете Alice AI

Применяйте технику XML + Markdown

85%

доля побед

Высокие

Усилия

Используете Qwen3

Применяйте технику CoT + Структура

74-78%

доля побед

Низкие

Усилия

Начинаете с нуля

Применяйте технику Роль

60-75%

доля побед

Минимальные

Усилия

Готовы итерировать

Применяйте технику Самокритика

65-75%

доля побед

Средние

Усилия

Начните применять прямо сейчас

Роль, структура и самокритика из этого исследования разобраны в первой главе курса

Попробовать бесплатно

Попробуйте сами

Одна и та же задача, два подхода к промпту. Нажмите "Запустить" и сравните.

Сценарий 1: Анализ бизнес-данных

Интернет-магазин электроники, выручка упала, возвраты растут. Одна и та же ситуация, два подхода.

Наивный промпт – как обычно пишет менеджер:

Попробуйте сами
Наивный промпт – без структуры
Вы
У нас интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%. Что происходит и что делать?
Сравниваем:
aliceai-llm · gemini-3.1-flash-lite-preview · qwen3.6-plus · gpt-5.4-nano

Структурированный промпт – та же задача, но с шаблоном ответа:

Попробуйте сами
Структурированный промпт – с шаблоном вывода
Вы
У нас интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%. Что происходит и что делать? Ответь строго в следующем формате: ## Диагноз (2–3 предложения: что именно не так) ## Корневые причины Для каждой причины: - Что происходит - Почему это происходит (причинно-следственная связь) - Какие данные это подтверждают ## Рекомендации (от самой срочной к менее срочной) Для каждой рекомендации: 1. Что сделать (конкретное действие) 2. Ожидаемый результат (в цифрах, если возможно) 3. Срок реализации 4. Кто отвечает ## Чего я не знаю Какой информации не хватает для более точного анализа?
Сравниваем:
aliceai-llm · gemini-3.1-flash-lite-preview · qwen3.6-plus · gpt-5.4-nano

Сценарий 2: Коммуникация в сложной ситуации

Нужно написать письмо команде о сокращениях. Эмоционально сложная задача, где структура критична.

Наивный промпт:

Попробуйте сами
Наивный промпт – коммуникация
Вы
Нужно написать письмо команде. Ситуация: руководство решило сократить 3 из 15 позиций в нашем отделе. Решение окончательное. Конкретные люди ещё не определены, это будет через 2 недели. Мне нужно сообщить команде о предстоящих сокращениях, не вызвав паники, но честно. Напиши текст письма.
Сравниваем:
aliceai-llm · gemini-3.1-flash-lite-preview · qwen3.6-plus · gpt-5.4-nano

Структурированный промпт:

Попробуйте сами
Структурированный промпт – коммуникация
Вы
Нужно написать письмо команде. Ситуация: руководство решило сократить 3 из 15 позиций в нашем отделе. Решение окончательное. Конкретные люди ещё не определены, это будет через 2 недели. Мне нужно сообщить команде о предстоящих сокращениях, не вызвав паники, но честно. Напиши текст письма в следующей структуре: ## Тема письма (краткая, нейтральная) ## Текст письма Должен включать в таком порядке: 1. Прямое сообщение о решении (без долгих подводок) 2. Причины (кратко, честно) 3. Что уже решено и что ещё нет 4. Конкретные сроки и следующие шаги 5. Что компания сделает для поддержки 6. Приглашение к личному разговору ## Чего НЕ должно быть в письме - Каких формулировок избегать и почему
Сравниваем:
aliceai-llm · gemini-3.1-flash-lite-preview · qwen3.6-plus · gpt-5.4-nano
Показать методологию
6

сценариев

3

повторения на комбинацию

3

прохода оценки

Каждая из 10 техник протестирована на 6 реальных задачах менеджера: анализ данных, коммуникация, планирование. Каждая комбинация повторялась 3 раза для устойчивости результатов.

Два LLM-судьи (Claude Opus 4.6 + Gemini 3.1 Pro) с весами 70/30. Согласованность судей: 66–73%.

Методология:

  • Этап 1: попарное сравнение – побеждает ли техника наивный промпт? (2 880 оценок)
  • Этап 2: абсолютная оценка ответа по 5 измерениям: точность, практичность, полнота, честность, ясность (564 оценки)
  • Этап 3: потолок – может ли лучшая техника конкурировать с GPT-5.4, Claude 4.6, Kimi K2.5? (864 оценки)

Статистика: Fisher exact test с FDR-коррекцией (q < 0.05). Значимые результаты отмечены в таблице.

Все промпты, данные и скрипты оценки доступны по запросу для воспроизведения эксперимента.

Данные: 2 880 попарных + 564 абсолютных + 864 потолочных оценки | Дата анализа: 2026-05-04

Частые вопросы

Помогают ли ЗАГЛАВНЫЕ БУКВЫ в промптах?

Нет. Техника CAPS показала win rate около 50% на всех моделях. Это статистически неотличимо от случайного результата. Выделение слов заглавными буквами не влияет на качество ответа.

Становятся ли ответы лучше, если писать агрессивно?

Нет, становятся хуже. Агрессивный тон показал win rate 43–46%. Единственный измеримый эффект: модель перестаёт признавать неуверенность (GigaChat-Ultra: 0% хеджирования). Ответы становятся увереннее, но не точнее.

Стоит ли просить модель "рассуждать шаг за шагом"?

Зависит от модели. Для Qwen3 Max (78% win rate) и GigaChat-2-Max (79%) это одна из лучших техник. Для Alice (60%) эффект слабый. CoT в первую очередь помогает модели не пропускать данные, а не улучшает рассуждения.

Лучше ли разбивать задачу на несколько сообщений?

Обычно нет. Multi-turn техники (декомпозиция, самокритика, итерации) в среднем не лучше single-turn. Исключение: самокритика стабильно помогает. Декомпозиция теряет контекст между шагами и ухудшает результат для 3 из 4 моделей.

Что важнее: техника промптинга или выбор модели?

Выбор модели. Даже лучшая техника (структурированный вывод) на GigaChat-Ultra (4.27 балла) проигрывает 78% сравнений с GPT-5.4, который получил 4.38 с наивным промптом. Промпт-инжиниринг поднимает пол, но потолок определяет модель.

Хотите применять эти техники на реальных задачах?

В первой главе курса разбираем роль, структуру и самокритику на задачах менеджера – с обратной связью от AI и измеримым результатом

Попробовать бесплатно