← Весь рейтинг · Бенчмарк ИИ-моделей mysummit.school
OpenAI
GPT-6 Luna
Сильнее всего – «Решения в неопределённости» (7,9), слабее всего – «Автоматизация» (7,1).
- Группа
- 5–14 из 74на одном уровне с Qwen 4 Max, Inkling 2 Small, GPT-6.1 Terra и ещё 2
- Общий балл
- 7,5 из 10
- Цена API за ответ теста
- $0,0024
- Данные
- ноябрь 2026
Где помогает, где проверять
Ответы этой модели на две задачи бенчмарка: начало ответа, ответ целиком и что отметили оба оценщика. По одной задаче на категорию, одной и той же для всех моделей.
Сильнее всего: Решения в неопределённости · 7,9Понедельник, 9:15: четыре пожара сразу
Сбой у крупнейшего клиента (31% выручки), ключевой менеджер просит «серьёзно поговорить» и ещё две срочные ситуации. Решить за час, чем заняться первым, что делегировать и кому.
Задача целиком
Сегодня понедельник, 9:15 утра. У меня одновременно горят четыре ситуации, и я не могу заниматься всеми сразу. Мне нужно принять решение о приоритетах в течение следующего часа. Ситуация 1 – Клиентский инцидент: Наш крупнейший клиент (31% ARR) сообщает о сбое в интеграции с их ERP-системой. Данные не синхронизируются с пятницы вечера. Их операционный директор уже написал нашему CEO. Технически проблема, по словам дежурного разработчика, «решаема за 2–4 часа», но он единственный, кто понимает этот модуль – он сейчас в отпуске (берёт трубку, но явно раздражён). Ещё один вариант – привлечь старшего разработчика Марину, она не знает этот модуль, но способна разобраться за 6–8 часов. Ситуация 2 – Кадровый кризис: Один из ключевых менеджеров, Павел, написал мне в воскресенье вечером, что «нужно серьёзно поговорить». Я знаю, что его переманивает конкурент. Если он уйдёт, мы теряем единственного человека, который ведёт три стратегических клиента и знает их контекст. Он ждёт ответа до конца дня. Если я не поговорю с ним сегодня до обеда, скорее всего, он примет решение без разговора со мной. Ситуация 3 – Внутренний дедлайн: Сегодня до 14:00 я должен сдать квартальный план по найму в HR – это блокирует открытие 4 вакансий, которые уже согласованы с CEO. Если опоздаю, следующее окно – через 3 недели (HR уходит в отпуск). Сам план занимает примерно 2 часа работы. Ситуация 4 – Продуктовый риск: Вчера аналитик прислал данные, которые указывают на потенциальную проблему с точностью одного из алгоритмов рекомендаций. Если проблема реальная – это может влиять на результаты примерно 15% пользователей. Аналитик не уверен в своих данных («может быть баг в скрипте, может быть реальная проблема»). Никто за пределами моей команды об этом не знает. У меня есть я, два менеджера среднего звена (один из которых сегодня ведёт важные переговоры с новым клиентом), и команда из 9 человек с разными компетенциями. Пожалуйста: 1. Помоги мне выстроить приоритеты на ближайшие 4 часа – не только по срочности, но с учётом реальной цены каждой задержки. 2. Что из этого я должен делать лично, а что могу делегировать, и кому именно? 3. Ситуация 4 – как мне принять решение: ждать подтверждения данных или действовать на основе неполной информации? Каковы риски каждого варианта? 4. Как мне справиться с ситуацией вокруг дежурного разработчика в отпуске – когда и как эскалировать, и как не сжечь мосты? 5. Какие из четырёх ситуаций несут системный риск (то есть повторятся снова), и что мне стоит сделать после того, как этот день закончится?
Системная строка: Вы - аналитический помощник для менеджеров.
GPT-6 Luna
Приоритет на ближайшие 4 часа
Не пытайтесь вести все четыре ситуации лично. Клиентский инцидент нужно немедленно поставить на рельсы, разговор с Павлом провести до обеда, план найма защитить отдельным блоком, а данные по алгоритму проверить параллельно.
| Время | Ваши действия | Параллельная работа |
|---|---|---|
| 9:15–9:30 | Назначьте владельца инцидента и ответственного за коммуникацию с клиентом. Напишите операционному директору и CEO: проблема принята, команда работает, сообщите время следующего обновления – например, через 45 минут, даже если решения ещё нет. | Марина начинает диагностику. Попросите специалиста в отпуске об ограниченной помощи: короткий звонок или письменный handoff – без ожидания, что он возьмёт инцидент целиком. |
Читать ответ целиком · 1 019 слов
Приоритет на ближайшие 4 часа
Не пытайтесь вести все четыре ситуации лично. Клиентский инцидент нужно немедленно поставить на рельсы, разговор с Павлом провести до обеда, план найма защитить отдельным блоком, а данные по алгоритму проверить параллельно.
| Время | Ваши действия | Параллельная работа |
|---|---|---|
| 9:15–9:30 | Назначьте владельца инцидента и ответственного за коммуникацию с клиентом. Напишите операционному директору и CEO: проблема принята, команда работает, сообщите время следующего обновления – например, через 45 минут, даже если решения ещё нет. | Марина начинает диагностику. Попросите специалиста в отпуске об ограниченной помощи: короткий звонок или письменный handoff – без ожидания, что он возьмёт инцидент целиком. |
| 9:30–10:00 | Поговорите с Павлом лично, пока окно не закрылось. | Доступный менеджер координирует инцидент и собирает статус; Марина занимается технической частью. |
| 10:00–10:15 | Проверьте, что клиент получил обновление и у расследования есть конкретный следующий шаг. Зафиксируйте, кто и когда сообщит следующий статус. | Аналитик и независимый специалист начинают проверку данных по рекомендациям. |
| 10:15–12:15 | Защитите два часа на план найма. Попросите сотрудника, знающего штатный план/бюджеты, заранее собрать исходные данные и заполнить фактические разделы; финальные решения и проверка – за вами. | Инцидент и проверка алгоритма продолжаются. Запросите короткие статусы в заранее заданные точки, а не отвлекайтесь на постоянные сообщения. |
| 12:15–13:15 | Проверьте качество плана и отправьте его в HR с запасом до 14:00. Проведите короткую оценку статуса инцидента и продуктового риска, определите дальнейшие решения и владельцев. | Команда продолжает работу по техническому плану; клиент получает очередное обновление в обещанное время. |
Если план действительно нельзя подготовить быстрее двух часов даже с предварительно собранными данными, не отдавайте этот блок под встречи: пропуск означает задержку согласованных вакансий на три недели. При этом расследование инцидента и проверка алгоритма не должны ждать, пока вы освободитесь.
Что делать лично, что делегировать
Лично вам:
- Взять на себя ответственность перед крупнейшим клиентом и дать CEO короткий фактический статус. Не обещайте срок восстановления, пока команда не подтвердила его; обещайте время следующего обновления.
- Поговорить с Павлом. Начните с вопросов: что для него важно, что может повлиять на решение остаться, чего он ждёт от вас. Не давайте обещаний, которые не можете выполнить, и договоритесь о следующем контакте сегодня.
- Проверить и отправить план найма.
- Принять решение о мерах по алгоритму, когда появятся результаты первичной проверки.
Делегировать:
- Марине – техническое расследование и план восстановления интеграции. Назначить рядом второго инженера с наиболее близким опытом, чтобы тот помогал и фиксировал шаги.
- Доступному менеджеру – координацию инцидента: собрать статусы, вести журнал решений и отправлять подготовленные вами или согласованные обновления клиенту. Не нужно делать его техническим владельцем, если у него нет нужной компетенции.
- Аналитику и независимому специалисту по данным – проверку проблемы с рекомендациями. Важно, чтобы проверяющий не просто повторил расчёт автора, а независимо проверил исходные данные и скрипт.
- Сотруднику с контекстом по штатному планированию – собрать исходные данные для плана найма. Менеджер, занятый переговорами с новым клиентом, сегодня не должен быть основным исполнителем одной из этих задач.
Ситуация 4: проверять сейчас, не ждать пассивно
Пока данные ненадёжны, это не основание объявлять проблему подтверждённой, но и не основание откладывать проверку. Назначьте независимую проверку с коротким сроком – например, первичный вывод к 11:00.
Проверить нужно как минимум:
- Не ошибся ли скрипт и корректны ли исходные данные.
- Можно ли воспроизвести эффект независимым расчётом.
- Какие пользователи и метрики затронуты, с чем сравниваются результаты.
- Есть ли простой и обратимый способ снизить потенциальный ущерб – например, временно ограничить затронутый вариант, если это технически безопасно.
Цена ожидания: если проблема реальна, пользователи продолжают получать плохие рекомендации, а ущерб и время до обнаружения растут.
Цена поспешного действия: ложная тревога может ухудшить рекомендации или затронуть другие группы пользователей.
Поэтому используйте поэтапный подход: быстро проверяйте данные, а при правдоподобном сигнале и безопасном обратимом способе – временно ограничьте риск до подтверждения. Если возможный вред серьёзный или необратимый, порог для превентивного действия должен быть ниже. Не делайте широких внешних заявлений до проверки; при подтверждении отдельно оцените, нужны ли уведомления клиентам или другие обязательные действия.
Дежурный разработчик в отпуске
Не стройте план на предположении, что он спасёт ситуацию: у Марины есть рабочий путь, пусть и более длинный. Но, учитывая масштаб клиента и то, что данные не синхронизируются с пятницы, полезен один чёткий запрос на передачу знаний.
Можно написать примерно так:
«Понимаю, что ты в отпуске, и не хочу перекладывать на тебя инцидент. Марина ведёт расследование. Можешь ли ты выделить 15 минут или прислать короткий handoff: где искать проблему, какие логи/особенности учесть и чего не делать? Если тебе это неудобно – скажи, мы продолжим без тебя. Если потребуется больше времени, отдельно согласуем компенсацию и свободное время».
- Не просите его немедленно «починить всё» и не упрекайте за отсутствие.
- Попросите один ограниченный, конкретный вклад; не засыпайте сообщениями.
- Если через 30–60 минут у Марины нет перспективного направления, эскалируйте техническому руководителю/CTO и запросите дополнительную помощь. Если без знаний отпускного разработчика действительно нельзя обойтись, предложите добровольную, ограниченную и компенсируемую консультацию.
- Если он не может или не хочет подключаться, не ждите: продолжайте по плану Марины и обеспечьте клиенту регулярные обновления.
Какие задержки дороже
- Инцидент клиента: 31% ARR, данные стоят с пятницы, эскалация уже дошла до CEO. Цена задержки высокая, поэтому начать немедленно – но не за счёт того, чтобы лично заниматься каждым техническим шагом.
- Разговор с Павлом: окно ограничено сегодняшним утром. Потеря одного разговора может означать потерю владельца контекста сразу по трём стратегическим клиентам.
- План найма: жёсткий срок и трёхнедельная цена опоздания. Его нужно выполнить сегодня, но его можно защитить календарным блоком.
- Алгоритм: вероятность проблемы пока неясна, но потенциальный охват – 15% пользователей. Правильная реакция – не ждать молча, а делегировать быструю проверку и заранее определить условия для временного ограничения риска.
Это ранжирование может измениться: если проверка покажет серьёзный вред пользователям, продуктовый риск сразу поднимется выше плана найма.
После сегодняшнего дня: устранить повторяемые риски
- Единственный специалист по интеграции: документация, runbook, ротация дежурств, обученный резервный инженер, регулярные тесты восстановления и сверки пропущенных данных.
- Зависимость от одного менеджера на стратегических клиентах: второй контакт по каждому клиенту, общее хранилище контекста и план передачи дел.
- Зависимость от календаря HR: заранее установленный календарь подачи планов и резервный процесс на период отпусков.
- Позднее и неуверенное обнаружение продуктовых проблем: независимые проверки аналитических скриптов, мониторинг качества рекомендаций по сегментам, пороги тревоги и заранее согласованный порядок отката.
- Слишком много критичных задач на одном руководителе: определить для инцидентов владельца, заместителя, правила эскалации и частоту обновлений – тогда в следующий раз вы не станете единственной точкой координации.
Что отметили оценщики
Claude Opus 5.5 · этот ответ: 8,4 из 10
Перевод с английского.
Это сильный, практичный ответ, соответствующий реальности утра. Рабочие потоки идут параллельно, назначены ответственные, блок плана по найму защищён, а разговор с Павлом запланирован до обеда. Рекомендации по общению с генеральным директором и клиентом, а также сообщение разработчику в отпуске особенно полезны. Расстановка приоритетов ставит инцидент с клиентом на первое место без полного анализа того, насколько необратимым будет уход Павла. Раздел про Павла – самый слабый: нет текста сообщения, нет структуры разговора, нет подготовки контрпредложения. В протоколе эскалации отсутствуют поэтапные контрольные точки, а раздел о системных мерах проработан менее детально, чем ожидалось.
- Сильная сторона: Чёткая таблица расписания с параллельными рабочими потоками и конкретными ответственными
- Слабая сторона: Мало деталей по Павлу: нет текста приглашения, нет структуры разговора, нет подготовки контрпредложения
Оригинал на английском
This is a strong, practical response that fits the reality of the morning. Workstreams run in parallel, owners are named, the hiring-plan block is protected, and the Pavel conversation is scheduled before lunch. The guidance on communicating with the CEO and client and the message to the vacationing developer are especially useful. The ranking puts the client incident first without fully analyzing how irreversible Pavel's departure would be. The Pavel section is the thinnest: no message text, no conversation structure, no counteroffer preparation. The escalation protocol lacks staged checkpoints, and the systemic-measures section is less detailed than expected.
- A clear schedule table with parallel workstreams and specific owners
- Little detail on Pavel: no invitation text, no conversation structure, no counteroffer preparation
GPT-6.2 Astra · этот ответ: 8,4 из 10
Перевод с английского.
Это рабочий план для утра понедельника: он сразу начинает работу над инцидентом, не жертвуя разговором в 9:30, защищает срок по найму и даёт аналитику ограниченное по времени расследование. Расписание в нём сильнее, чем заявленная расстановка приоритетов. Более чёткое разграничение между первоочередным действием команды и главным личным приоритетом менеджера, с последующим конкретным решением после встречи с Павлом, улучшило бы его сильнее всего.
- Сильная сторона: Конкретные ответственные и блоки в календаре позволяют менеджеру защитить сфокусированную работу, пока продолжается работа над инцидентом.
- Слабая сторона: Расстановка приоритетов явно не учитывает нелинейную, потенциально необратимую цену откладывания разговора с Павлом.
Оригинал на английском
This is a usable plan for Monday morning: it starts incident work immediately without sacrificing the 9:30 conversation, protects the hiring deadline and gives the analyst a bounded investigation. Its schedule is stronger than its stated ranking. A clearer distinction between the team's first action and the manager's top personal priority, followed by a concrete decision after the Pavel meeting, would improve it most.
- Specific owners and calendar blocks let the manager protect focused work while the incident proceeds.
- The ranking does not explicitly account for the nonlinear, potentially irreversible cost of delaying Pavel's conversation.
Оценка относится к этому ответу, а не к общему баллу модели.
Слабее всего: Автоматизация · 7,1Автоматизировать одобрение заявок партнёров
Старший менеджер тратит два часа в день на проверку заявок партнёров. Формальные критерии можно проверить через API, но реальные решения, похоже, сложнее. Как автоматизировать и что не потерять?
Задача целиком
Хочу полностью автоматизировать процесс проверки и одобрения входящих заявок от партнеров. Сейчас этим занимается один из старших менеджеров – тратит примерно 2 часа в день. Процесс выглядит так: приходит заявка по email или через форму на сайте, менеджер смотрит на компанию-партнера, оценивает её профиль, проверяет несколько внутренних критериев и либо одобряет, либо отправляет на доработку, либо отклоняет. Формальные критерии для одобрения такие: компания зарегистрирована более двух лет, выручка выше порогового значения, нет открытых долгов по нашим данным, тематика бизнеса не входит в список исключений. Всё это можно проверить автоматически через API нескольких сервисов проверки контрагентов. Но я подозреваю, что реальные решения сложнее. Менеджер иногда одобряет заявки от компаний, которые формально не проходят по критериям, – потому что знает их историю, потому что они стратегически важны, или потому что директор лично попросил. И наоборот – отклоняет формально подходящих партнеров, потому что чувствует что-то подозрительное в заявке. Мне нужна твоя честная оценка: что здесь реально поддается автоматизации, а что нет? Если делать автоматизацию, то какую архитектуру выбрать – полный автопилот, или гибрид где рутина автоматизирована, а нестандартные случаи идут к человеку? Как отделить одно от другого? И какие риски я несу, если переавтоматизирую этот процесс – что может пойти не так незаметно?
Системная строка: Вы - помощник по обучению и развитию для менеджеров.
GPT-6 Luna
Короткий вывод: автоматизировать сбор данных и проверку формальных критериев – разумно; полностью автоматизировать итоговое решение на текущем описании – преждевременно. Вы уже знаете, что реальные решения иногда расходятся с формальными правилами. Значит, процесс содержит не только рутину, но и неописанную политику: исключения, стратегические приоритеты и оценку риска.
Важно разделить автоматизацию процесса и автоматизацию решения. Первую можно делать почти полностью. Для второй сначала нужно выяснить, какие исключения легитимны и кто вправе их утверждать.
Читать ответ целиком · 767 слов
Короткий вывод: автоматизировать сбор данных и проверку формальных критериев – разумно; полностью автоматизировать итоговое решение на текущем описании – преждевременно. Вы уже знаете, что реальные решения иногда расходятся с формальными правилами. Значит, процесс содержит не только рутину, но и неописанную политику: исключения, стратегические приоритеты и оценку риска.
Важно разделить автоматизацию процесса и автоматизацию решения. Первую можно делать почти полностью. Для второй сначала нужно выяснить, какие исключения легитимны и кто вправе их утверждать.
Что хорошо автоматизируется
- Приём заявок из email и с сайта, создание карточки и устранение дублей.
- Поиск компании и получение сведений из внешних API.
- Проверка однозначных критериев: срок регистрации, выручка, долги, исключённые отрасли.
- Запрос недостающих документов или данных.
- Маршрутизация заявки, уведомления, журналирование и подготовка краткого резюме для менеджера.
Это обычно снимает значительную часть двухчасовой ежедневной нагрузки даже без автоматического принятия всех решений.
Что пока нельзя безопасно автоматизировать
- «Знаем их историю» – если знания не записаны и не подтверждаются в доступной системе.
- «Стратегически важны» – если нет формального списка или понятной процедуры исключений.
- «Директор попросил» – это не критерий, а особый канал влияния. Если его оставить неявным, автоматизация лишь сделает решения менее прозрачными.
- «Что-то подозрительное» – пока не определено, какие конкретные признаки имеются в виду, это не воспроизводимое правило.
Полезный вопрос к менеджеру не «почему вы так решили?», а: какой факт или сигнал изменил решение, можно ли его проверить, и кто имеет право на такое исключение?
Рекомендуемый вариант: гибридная схема
Автоматизируйте проверки, но направляйте случаи по понятным маршрутам:
| Результат проверок | Действие |
|---|---|
| Все критерии пройдены, данные однозначны, нет исключений и сигналов риска | Возможное автоодобрение – после пилота и проверки качества |
| Не хватает данных, результаты API противоречат друг другу или компания не идентифицируется однозначно | Запрос уточнения или проверка человеком |
| Формальный критерий не пройден, но возможна санкционированная льгота | Рассмотрение исключения уполномоченным человеком |
| Есть конкретный риск-сигнал или подозрительный факт | Проверка человеком, а не автоматический отказ |
| Критерий точно не пройден, исключения не предусмотрены | Отказ по формальному правилу с объяснением и возможностью исправить ошибочные данные |
Не делайте «неизвестно» равным «не проходит». Например, ошибка API или устаревшая информация о выручке – это основание отложить решение или запросить данные, а не автоматически отклонить заявку.
И отдельно: если формальные критерии иногда можно обойти, сначала решите, являются ли они жёсткими правилами или порогами с исключениями. Если есть исключения, зафиксируйте их основания, круг лиц, имеющих право их одобрять, и обязательное обоснование в системе. Иначе алгоритм будет последовательно применять правила, а люди – непоследовательно обходить их.
Как внедрять
- Изучите исторические решения. Возьмите репрезентативную выборку заявок, включая одобрения вопреки критериям и отказы при формальном соответствии. Зафиксируйте причины и проверьте, можно ли их превратить в понятные правила.
- Запустите систему в теневом режиме. Пусть она проверяет заявки и предлагает исход, но менеджер пока принимает решение. Сравнивайте расхождения, не считая каждое из них ошибкой системы: иногда это может быть необоснованное исключение человека, а иногда – важный сигнал, который вы пока не описали.
- Автоматизируйте низкорисковую часть постепенно. Сначала – сбор сведений, проверка критериев и подготовка решения. Затем, возможно, автоодобрение очевидных заявок. Автоотказ вводите особенно осторожно: проверка данных и возможность исправить ошибку здесь важны.
- Оставьте человеческий контроль и журнал решений. Записывайте источники и время получения данных, сработавшие правила, версии правил, итог, а для исключений – основание и автора решения.
- Регулярно пересматривайте качество. Следите не только за скоростью, но и за ошибочными одобрениями и отказами, долей апелляций, частотой ручных переопределений и тем, не концентрируются ли ошибки на определённых типах компаний.
Для объективных критериев лучше использовать понятные правила и проверенные данные. Модель ИИ может помочь кратко суммировать материалы или подсветить сведения для проверки, но не должна самостоятельно превращать расплывчатое «выглядит подозрительно» в отказ.
Что может пойти не так незаметно
- Ошибочная идентификация компании. Сведения подтянутся от одноимённой организации или другой юрструктуры группы.
- Устаревшие или неполные данные API. Формально автоматическая проверка создаёт ложное ощущение точности.
- Скрытое изменение политики. Порог выручки или список исключённых отраслей меняются, а правила в системе – нет.
- Переизбыток доверия к автоматическому результату. Менеджер перестаёт перепроверять данные, даже если система показывает сомнительное совпадение.
- Незаметное смещение в отказах или одобрениях. Например, источник данных хуже покрывает некоторые рынки или типы компаний.
- Обход правил вне системы. Важные просьбы и исключения продолжат приходить по телефону или в личных сообщениях, и аудит будет показывать неполную картину.
- Оптимизация не того показателя. Система может уменьшить время обработки, но увеличить число ошибок, конфликтов с партнёрами или упущенных стратегических сделок.
Поэтому цель стоит формулировать не как «заменить менеджера», а как снять с него повторяемую проверку и оставить ему решения, где нужны контекст, полномочия или разбор риска. Если после теневого режима окажется, что большинство заявок проходят по ясным правилам, автоодобрение подходящих низкорисковых случаев может быть оправдано. Нестандартные и спорные случаи лучше оставить человеку – по крайней мере, пока причины таких решений не описаны и не проверены.
Что отметили оценщики
Claude Opus 5.5 · этот ответ: 8,3 из 10
Перевод с английского.
Это качественный, зрелый ответ. Он честно оценивает пределы автоматизации, предлагает хорошо обоснованную гибридную архитектуру с таблицей маршрутизации и даёт разумный план внедрения через анализ исторических данных и теневой режим. Также хорошо перечислены скрытые риски, включая не самые очевидные. По сравнению с эталоном ему не хватает количественной конкретики: долей по линиям, экономии времени, содержания досье, карточки заявки для руководителя, графика пересмотра правил и конкретных инструментов. Это делает его скорее сильной стратегической рамкой, чем готовым к внедрению проектом.
- Сильная сторона: Чётко разделяет автоматизацию процесса и автоматизацию принятия решений и формулирует принцип «неизвестно ≠ отказ»
- Слабая сторона: Нет количественных оценок: долей заявок по линиям, экономии времени, времени обработки на заявку
Оригинал на английском
This is a high-quality, mature response. It gives an honest assessment of the limits of automation, recommends a well-reasoned hybrid architecture with a routing table, and provides a sound rollout plan through historical analysis and shadow mode. It also lists hidden risks well, including some that are not obvious. Compared with the reference, it lacks quantitative detail: lane shares, time savings, dossier contents, the manager's application card, a schedule for reviewing rules, and specific tools. This makes it a strong strategic framework rather than a ready-to-implement blueprint.
- Clearly separates process automation from decision automation and states the principle that "unknown ≠ fail"
- No quantitative estimates: shares of applications per lane, time savings, processing time per application
GPT-6.2 Astra · этот ответ: 8,1 из 10
Ответ убедительно обосновывает гибридную схему и даёт менеджеру полезную отправную точку: изучить реальные исключения, автоматизировать сбор сведений и проверить рекомендации до передачи системе права решать. Его главный пробел находится на переходе от пилота к эксплуатации: не определено, какие результаты пилота достаточны для автоодобрения, кто это утверждает и как команда продолжит видеть ошибки после запуска.
- Сильная сторона: Чётко разделены получение фактов, применение правил и управленческое решение об исключении.
- Слабая сторона: Не заданы достаточно узкие стартовые границы автоодобрения и критерии готовности к его включению.
Оценка относится к этому ответу, а не к общему баллу модели.
Запустите задачу сами
Задача «Понедельник, 9:15: четыре пожара сразу» из бенчмарка – сейчас, на GPT-6 Luna и для сравнения на DeepSeek V4.1 Flash (1017) (другая группа). Ответы новые: судьи их не оценивали, а версии моделей с момента теста могли измениться.
Одно нажатие – два запроса к платным моделям, ответ приходит за 10–60 секунд. Без нажатия ничего не запускается.
Показать задачу
Сегодня понедельник, 9:15 утра. У меня одновременно горят четыре ситуации, и я не могу заниматься всеми сразу. Мне нужно принять решение о приоритетах в течение следующего часа. Ситуация 1 – Клиентский инцидент: Наш крупнейший клиент (31% ARR) сообщает о сбое в интеграции с их ERP-системой. Данные не синхронизируются с пятницы вечера. Их операционный директор уже написал нашему CEO. Технически проблема, по словам дежурного разработчика, «решаема за 2–4 часа», но он единственный, кто понимает этот модуль – он сейчас в отпуске (берёт трубку, но явно раздражён). Ещё один вариант – привлечь старшего разработчика Марину, она не знает этот модуль, но способна разобраться за 6–8 часов. Ситуация 2 – Кадровый кризис: Один из ключевых менеджеров, Павел, написал мне в воскресенье вечером, что «нужно серьёзно поговорить». Я знаю, что его переманивает конкурент. Если он уйдёт, мы теряем единственного человека, который ведёт три стратегических клиента и знает их контекст. Он ждёт ответа до конца дня. Если я не поговорю с ним сегодня до обеда, скорее всего, он примет решение без разговора со мной. Ситуация 3 – Внутренний дедлайн: Сегодня до 14:00 я должен сдать квартальный план по найму в HR – это блокирует открытие 4 вакансий, которые уже согласованы с CEO. Если опоздаю, следующее окно – через 3 недели (HR уходит в отпуск). Сам план занимает примерно 2 часа работы. Ситуация 4 – Продуктовый риск: Вчера аналитик прислал данные, которые указывают на потенциальную проблему с точностью одного из алгоритмов рекомендаций. Если проблема реальная – это может влиять на результаты примерно 15% пользователей. Аналитик не уверен в своих данных («может быть баг в скрипте, может быть реальная проблема»). Никто за пределами моей команды об этом не знает. У меня есть я, два менеджера среднего звена (один из которых сегодня ведёт важные переговоры с новым клиентом), и команда из 9 человек с разными компетенциями. Пожалуйста: 1. Помоги мне выстроить приоритеты на ближайшие 4 часа – не только по срочности, но с учётом реальной цены каждой задержки. 2. Что из этого я должен делать лично, а что могу делегировать, и кому именно? 3. Ситуация 4 – как мне принять решение: ждать подтверждения данных или действовать на основе неполной информации? Каковы риски каждого варианта? 4. Как мне справиться с ситуацией вокруг дежурного разработчика в отпуске – когда и как эскалировать, и как не сжечь мосты? 5. Какие из четырёх ситуаций несут системный риск (то есть повторятся снова), и что мне стоит сделать после того, как этот день закончится?
GPT-6 Luna · Новый ответ · без оценки
DeepSeek V4.1 Flash (1017) · Новый ответ · без оценки
Оценённые ответы из бенчмарка – выше.
Все 8 категорий
Средний балл по категории на 80 задачах бенчмарка, на одной шкале 0–10. В каждой категории – шесть критериев.
-
Поиск информации
7,2близко к лучшим
Хорошо отделяет факты от оценок и честно показывает, где данных не хватает, но слабо ссылается на конкретные источники и свежие цифры.
Шесть критериев
- Точность
- 7,3
- Релевантность
- 6,2
- Практичность
- 6,7
- Прозрачность
- 8,0
- Эффективность
- 8,1
- Надёжность
- 7,9
-
Анализ данных
7,5в середине
Шесть критериев
- Точность
- 7,8
- Релевантность
- 7,0
- Практичность
- 6,8
- Прозрачность
- 8,2
- Эффективность
- 8,3
- Надёжность
- 8,2
-
Решения в неопределённости
7,9близко к лучшим
Считает корректно и честно оговаривает ограничения данных, ловит нестыковки, но слабее в оценке финансового эффекта и готовых планах действий.
Шесть критериев
- Точность
- 8,3
- Релевантность
- 7,0
- Практичность
- 7,4
- Прозрачность
- 8,3
- Эффективность
- 8,4
- Надёжность
- 8,3
-
Анализ отзывов и обратной связи
7,6близко к лучшим
Шесть критериев
- Точность
- 8,0
- Релевантность
- 6,7
- Практичность
- 7,1
- Прозрачность
- 8,4
- Эффективность
- 8,5
- Надёжность
- 8,0
-
Корпоративные требования и риски
7,5близко к лучшим
Шесть критериев
- Точность
- 7,8
- Релевантность
- 6,7
- Практичность
- 7,0
- Прозрачность
- 8,2
- Эффективность
- 8,2
- Надёжность
- 8,2
-
Автоматизация
7,1близко к лучшим
Шесть критериев
- Точность
- 7,4
- Релевантность
- 6,5
- Практичность
- 6,3
- Прозрачность
- 7,9
- Эффективность
- 8,1
- Надёжность
- 7,3
-
Управление людьми
7,8близко к лучшим
Сильный разбор ситуации и тактичные готовые сценарии разговоров, но меньше конкретики по срокам, удержанию людей и измеримым планам.
Шесть критериев
- Точность
- 8,1
- Релевантность
- 7,1
- Практичность
- 7,8
- Прозрачность
- 8,2
- Эффективность
- 8,2
- Надёжность
- 8,2
-
Российская и казахстанская специфика
7,1в середине
Хорошо ориентируется в законах РФ и Казахстана и свежих нормах, но перестраховывается с цифрами и местами ошибается в ссылках на статьи.
Шесть критериев
- Точность
- 7,2
- Релевантность
- 6,1
- Практичность
- 7,1
- Прозрачность
- 8,1
- Эффективность
- 7,8
- Надёжность
- 7,4
риска – лучшая модель рейтинга в этой категории, шкала 0–10
Если работать через API
Один ответ теста через API стоит $0,0024 (вход $0,1 / выход $0,5 за миллион токенов).
$0,16 примерно в месяц (22 рабочих дня)
| Ответов в день через API | примерно в месяц (22 рабочих дня) |
|---|---|
| 1 | $0,05 |
| 3 | $0,16 |
| 10 | $0,54 |
Оценка по длине ответов нашего теста, а не тариф чата или подписка. Ваши запросы и ответы могут стоить иначе.
Альтернативы
Подобраны по причине, которая важна при выборе, а не по десятой доле балла.
-
Тот же уровень, открывается из России без VPN
группа 5–14 из 74 · 7,6 из 10 · открывается из России без VPN · API $0,065
Сравнить: GPT-6 Luna – Qwen 4 Max -
Лучшая модель, которая открывается из России без VPN
группа 1–4 из 74 · 8,0 из 10 · открывается из России без VPN · API $0,15
Сравнить: GPT-6 Luna – Kimi K3.1 Pro
Как получен балл
- Два ИИ-оценщика (Claude Opus 5.5 и GPT-6.2 Astra) оценили каждый ответ по шести основным критериям, от 1 до 10.
- Общий балл сводит их оценки по всем 80 задачам, по одному прогону на модель.
- Разница меньше 0,3 балла считается одним уровнем: порядок внутри группы ничего не значит.
- Данные на ноябрь 2026; версии моделей с тех пор могли измениться.
Итоговые оценки двух судей для этой модели: Claude Opus 5.5 – 7,3, GPT-6.2 Astra – 7,6. Общий балл – их среднее, с равным весом.
Что дальше
Модель из верхней группы не исправит размытую задачу
В бесплатных первых уроках – как задать контекст и форму ответа, а потом проверить результат на своей рабочей задаче.
Открыть бесплатные первые урокиНовые волны бенчмарка и разборы – в дайджесте раз в две недели. Бесплатно, отписка в один клик.
Подписываясь, вы соглашаетесь с политикой обработки персональных данных. Отписка – в один клик в любом письме.