Промпт-инжиниринг: что реально работает
Независимое исследование: как 10 техник промпт-инжиниринга работают на 4 моделях, доступных в России
Структурированный промпт улучшает любую модель на 20-30%. Но не заменяет сильную.
Главное
Работает
Структурированный вывод, роль, самокритика, few-shot. Win rate 74–82% против наивного промпта.
доля побед: 74-82%
Не работает
ЗАГЛАВНЫЕ БУКВЫ, агрессивный тон, декомпозиция по шагам. Win rate ниже 55%.
доля побед: <55%
Нельзя исправить промптом
Точность фактов, глубина знаний, уровень премиум-моделей. Максимальный прирост всего +0.08–0.52 балла.
доля побед: +0.08-0.52
Рейтинг техник
1Структурированный вывод
Сильная77%
Опишите желаемую структуру ответа: заголовки, таблицы, разделы. Модель заполняет шаблон и не пропускает важное. Лучший ROI среди всех техник.
* q < 0.05 (FDR)
Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
У нас интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%. Что происходит и что делать? Ответь строго в следующем формате: ## Диагноз (2–3 предложения: что именно не так) ## Корневые причины Для каждой причины: - Что происходит - Почему это происходит (причинно-следственная связь) - Какие данные это подтверждают ## Рекомендации (от самой срочной к менее срочной) Для каждой рекомендации: 1. Что сделать (конкретное действие) 2. Ожидаемый результат (в цифрах, если возможно) 3. Срок реализации 4. Кто отвечает ## Чего я не знаю Какой информации не хватает для более точного анализа?
2Few-shot (эталон)
СильнаяТребует эталонного ответа от премиум-модели78%
Дайте пример качественного ответа. Самый высокий win rate (89% для GigaChat-2-Max), но требует готового эталона от премиум-модели.
* q < 0.05 (FDR)
Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
Вот пример качественного бизнес-анализа по похожей задаче: --- Вопрос: «Кафе-пекарня, 8 сотрудников. Выручка за квартал -25%, при этом количество чеков выросло на 15%.» Ответ: Диагноз: классический паттерн «больше клиентов, но дешевле». Рост чеков при падении выручки означает снижение среднего чека на ~35%. Это возможно в трёх случаях: (1) сдвиг спроса к дешёвым позициям, (2) агрессивные скидки/акции, (3) смена аудитории. Рекомендации: 1. Немедленно: проанализировать структуру чеков. 2. Краткосрочно: заменить «кофе за 99₽» на «кофе + круассан за 249₽». 3. Среднесрочно: ввести программу лояльности с порогом 300₽. --- Теперь ответь с таким же уровнем конкретности и глубины на следующий вопрос: У нас интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%. Что происходит и что делать?
3Роль + контекст
Сильная71%
Задайте модели роль эксперта и контекст задачи. Одна строка в начале промпта. Работает на всех моделях, потому что активирует релевантные знания.
* q < 0.05 (FDR)
Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
Ты – опытный бизнес-аналитик с 15-летним стажем в e-commerce консалтинге. Ты работал с Ozon, Wildberries и десятком средних интернет-магазинов. Твоя задача – подготовить аналитическую записку уровня McKinsey для генерального директора. Записка должна содержать конкретные цифры, причинно-следственные связи и приоритизированные рекомендации. Избегай общих фраз вроде «нужно улучшить» – пиши что конкретно сделать. Ситуация клиента: интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%. Что происходит и что делать?
4Самокритика
Сильная71%
Попросите модель найти слабые места и улучшить ответ. Единственная multi-turn техника, которая стабильно помогает всем моделям.
* q < 0.05 (FDR)
Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
Системный промпт: Ты – бизнес-аналитик. [Сообщение 1]: У нас интернет-магазин электроники, 45 сотрудников. Выручка упала на 18%, трафик вырос на 12%. Средний чек снизился с 8 700 до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%. Что происходит и что делать? [Сообщение 2]: Перечитай свой ответ критически. Найди в нём: 1) Где ты был неконкретен? 2) Где могли быть ошибки в логике? 3) Что ты упустил? После этого дай улучшенную версию ответа.
5Chain-of-Thought
Умеренная71%
Попросите модель рассуждать шаг за шагом. Помогает сильным моделям (Qwen3: 78%), но может добавить шума слабым (Alice: 60%).
* q < 0.05 (FDR)
Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
У нас интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%. Прежде чем давать рекомендации, выполни анализ шаг за шагом: Шаг 1. Перечисли все факты из условия и что каждый из них означает по отдельности. Шаг 2. Найди связи между фактами. Какие из них могут быть причиной, а какие – следствием? Шаг 3. Сформулируй 2–3 гипотезы о том, что происходит. Шаг 4. Для каждой гипотезы оцени: какие данные её подтверждают, какие – опровергают? Шаг 5. Выбери наиболее вероятное объяснение. Шаг 6. Дай рекомендации, основанные на этом объяснении. Шаг 7. Отметь, в чём ты не уверен и какой информации не хватает. Покажи весь ход рассуждений.
6XML + Markdown
Умеренная73%
XML-теги для структуры, Markdown для вывода. Отлично для Alice (85%) и Qwen3 (74%), слабо для GigaChat-Ultra (53%).
* q < 0.05 (FDR)
Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
<task> Проанализировать бизнес-ситуацию и дать рекомендации. </task> <context> Компания: интернет-магазин электроники, 45 сотрудников. Период: последний квартал. </context> <data> - Выручка: -18% - Трафик на сайт: +12% - Средний чек: снизился с 8 700 руб. до 6 200 руб. - Возвраты: выросли с 4% до 11% - Рекламный бюджет: +30% </data> <question>Что происходит и что делать?</question> <output_format> # Диагноз (2-3 предложения) # Корневые причины (с доказательствами из данных) # Рекомендации (таблица: действие, результат, срок, приоритет) # Недостающие данные </output_format> <constraints> - Не используй общие фразы без конкретики - Каждый вывод привязывай к цифрам из секции <data> - Если не уверен – укажи это явно </constraints>
7Итеративное улучшение
Умеренная65%
Итеративная доработка ответа в нескольких шагах. Результаты сильно зависят от модели и субъективны (судьи расходятся).
Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
Системный промпт: Ты – бизнес-аналитик. [Сообщение 1]: У нас интернет-магазин электроники, 45 сотрудников. Выручка -18%, трафик +12%, средний чек упал с 8700 до 6200 руб., возвраты с 4% до 11%, рекламный бюджет +30%. Что происходит и что делать? [Сообщение 2]: Это слишком общо. Мне нужно: 1) Конкретные цифры – посчитай потери в рублях и ROI рекламы. 2) Привяжи каждую рекомендацию к конкретной метрике. 3) Укажи, чего ты не знаешь точно. [Сообщение 3]: Оформи это в виде служебной записки генеральному директору на 1 страницу. Формат: проблема -> причины -> план действий на 30/60/90 дней с KPI.
8Декомпозиция
Неэффективная58%
Разбейте задачу на подзадачи в отдельных сообщениях. Теряет контекст между шагами. Работает только для GigaChat-Ultra, у остальных моделей результат хуже наивного промпта.
Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
Системный промпт: Ты – бизнес-аналитик. Отвечай конкретно, с цифрами. [Сообщение 1]: Вот данные за последний квартал: выручка -18%, трафик +12%, средний чек упал с 8700 до 6200 руб., возвраты выросли с 4% до 11%, рекламный бюджет +30%. Проанализируй каждый показатель отдельно – что он означает сам по себе? [Сообщение 2]: Теперь найди связи между этими показателями. Что является причиной, а что – следствием? Сформулируй 2–3 гипотезы. [Сообщение 3]: На основе анализа дай 5 конкретных рекомендаций. Для каждой: что сделать, ожидаемый результат, срок, кто отвечает.
9ЗАГЛАВНЫЕ БУКВЫ
Неэффективная50%
Выделение ключевых слов ЗАГЛАВНЫМИ БУКВАМИ. Нулевой эффект на качество. Даже не вредит.
Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
У НАС ИНТЕРНЕТ-МАГАЗИН ЭЛЕКТРОНИКИ, 45 СОТРУДНИКОВ. ЗА ПОСЛЕДНИЙ КВАРТАЛ ВЫРУЧКА УПАЛА НА 18%, ПРИ ЭТОМ ТРАФИК НА САЙТ ВЫРОС НА 12%. СРЕДНИЙ ЧЕК СНИЗИЛСЯ С 8 700 РУБ. ДО 6 200 РУБ. ВОЗВРАТЫ ВЫРОСЛИ С 4% ДО 11%. РЕКЛАМНЫЙ БЮДЖЕТ УВЕЛИЧИЛИ НА 30%. ЧТО ПРОИСХОДИТ И ЧТО ДЕЛАТЬ?
10Агрессивный тон
Неэффективная44%
Агрессивный, требовательный тон. Модель становится увереннее, но не точнее. Подавляет хеджирование (GigaChat-Ultra: 0% хеджирования).
Пример промпта Сценарий: интернет-магазин электроники, выручка упала на 18%
Блин, мне нужен нормальный ответ. У нас интернет-магазин электроники, 45 сотрудников. За последний квартал выручка упала на 18%, при этом трафик на сайт вырос на 12%. Средний чек снизился с 8 700 руб. до 6 200 руб. Возвраты выросли с 4% до 11%. Рекламный бюджет увеличили на 30%. Что происходит и что делать? Давай без воды.

Win rate по техникам и моделям – числа приблизительные, точные данные в таблице выше
Результаты по моделям
Техники улучшают формальные показатели: ответ полнее, структурированнее, модель реже пишет "я не уверен". Но при прямом сравнении с GPT-5.4 или Claude 4.6 разница в глубине анализа и точности фактов всё равно очевидна.
GigaChat-Ultra
Лучшая техника: Структурированный выводБазовый балл: 3.44
Лучший балл: 4.27Лучшая (Kimi K2.5): 4.57
Пригодна для работы, но не конкурентна с премиум-моделями
Потолок vs премиум
GigaChat-2-Max
Лучшая техника: Few-shot (эталон)Базовый балл: 3.02
Лучший балл: 3.63Лучшая (Kimi K2.5): 4.57
Не конкурентоспособна. Промпт-инжиниринг не компенсирует слабую модель
Потолок vs премиум
Alice AI LLM (Яндекс)
Лучшая техника: Структурированный выводБазовый балл: 3.85
Лучший балл: 4.46Лучшая (Kimi K2.5): 4.57
Жизнеспособная альтернатива. Выигрывает 1 из 3 сравнений с премиум
Потолок vs премиум
Qwen3 Max
Лучшая техника: Структурированный выводБазовый балл: 3.93
Лучший балл: 4.49Лучшая (Kimi K2.5): 4.57
Близка к конкурентоспособности. Доля побед 33–41% против премиум-моделей
Потолок vs премиум
Что делать: практический план
Используете GigaChat
Применяйте технику Структурированный вывод
доля побед
Усилия
Используете Alice AI
Применяйте технику XML + Markdown
доля побед
Усилия
Используете Qwen3
Применяйте технику CoT + Структура
доля побед
Усилия
Начинаете с нуля
Применяйте технику Роль
доля побед
Усилия
Готовы итерировать
Применяйте технику Самокритика
доля побед
Усилия
Начните применять прямо сейчас
Роль, структура и самокритика из этого исследования разобраны в первой главе курса
Попробовать бесплатноПопробуйте сами
Одна и та же задача, два подхода к промпту. Нажмите "Запустить" и сравните.
Сценарий 1: Анализ бизнес-данных
Интернет-магазин электроники, выручка упала, возвраты растут. Одна и та же ситуация, два подхода.
Наивный промпт – как обычно пишет менеджер:
Структурированный промпт – та же задача, но с шаблоном ответа:
Сценарий 2: Коммуникация в сложной ситуации
Нужно написать письмо команде о сокращениях. Эмоционально сложная задача, где структура критична.
Наивный промпт:
Структурированный промпт:
Показать методологию
сценариев
повторения на комбинацию
прохода оценки
Каждая из 10 техник протестирована на 6 реальных задачах менеджера: анализ данных, коммуникация, планирование. Каждая комбинация повторялась 3 раза для устойчивости результатов.
Два LLM-судьи (Claude Opus 4.6 + Gemini 3.1 Pro) с весами 70/30. Согласованность судей: 66–73%.
Методология:
- Этап 1: попарное сравнение – побеждает ли техника наивный промпт? (2 880 оценок)
- Этап 2: абсолютная оценка ответа по 5 измерениям: точность, практичность, полнота, честность, ясность (564 оценки)
- Этап 3: потолок – может ли лучшая техника конкурировать с GPT-5.4, Claude 4.6, Kimi K2.5? (864 оценки)
Статистика: Fisher exact test с FDR-коррекцией (q < 0.05). Значимые результаты отмечены в таблице.
Все промпты, данные и скрипты оценки доступны по запросу для воспроизведения эксперимента.
Данные: 2 880 попарных + 564 абсолютных + 864 потолочных оценки | Дата анализа: 2026-05-04
Частые вопросы
Помогают ли ЗАГЛАВНЫЕ БУКВЫ в промптах?
Нет. Техника CAPS показала win rate около 50% на всех моделях. Это статистически неотличимо от случайного результата. Выделение слов заглавными буквами не влияет на качество ответа.
Становятся ли ответы лучше, если писать агрессивно?
Нет, становятся хуже. Агрессивный тон показал win rate 43–46%. Единственный измеримый эффект: модель перестаёт признавать неуверенность (GigaChat-Ultra: 0% хеджирования). Ответы становятся увереннее, но не точнее.
Стоит ли просить модель "рассуждать шаг за шагом"?
Зависит от модели. Для Qwen3 Max (78% win rate) и GigaChat-2-Max (79%) это одна из лучших техник. Для Alice (60%) эффект слабый. CoT в первую очередь помогает модели не пропускать данные, а не улучшает рассуждения.
Лучше ли разбивать задачу на несколько сообщений?
Обычно нет. Multi-turn техники (декомпозиция, самокритика, итерации) в среднем не лучше single-turn. Исключение: самокритика стабильно помогает. Декомпозиция теряет контекст между шагами и ухудшает результат для 3 из 4 моделей.
Что важнее: техника промптинга или выбор модели?
Выбор модели. Даже лучшая техника (структурированный вывод) на GigaChat-Ultra (4.27 балла) проигрывает 78% сравнений с GPT-5.4, который получил 4.38 с наивным промптом. Промпт-инжиниринг поднимает пол, но потолок определяет модель.
Хотите применять эти техники на реальных задачах?
В первой главе курса разбираем роль, структуру и самокритику на задачах менеджера – с обратной связью от AI и измеримым результатом
Попробовать бесплатно