← Whole ranking · mysummit.school AI model benchmark
OpenAI
GPT-6 Luna
Strongest in «Decisions under uncertainty» (7.9), weakest in «Automation» (7.1).
- Group
- 5–14 of 74on one level with Qwen 4 Max, Inkling 2 Small, GPT-6.1 Terra and 2 more
- Overall score
- 7.5 of 10
- API price of a test answer
- $0.0024
- Data
- November 2026
Where it helps, where to check
This model’s own answers to two benchmark tasks: the opening, the full answer and what both judges noted. One task per category, the same for every model.
Strongest: Decisions under uncertainty · 7.9Monday, 9:15: four fires at once
An outage at the biggest client (31% of revenue), a key manager asking for «a serious talk» and two more urgent situations. Decide within an hour what comes first and what to delegate to whom.
Full task
Today is Monday, 9:15 a.m. I have four situations burning at the same time, and I can't handle all of them simultaneously. I need to decide on priorities within the next hour. Situation 1 – Client incident: Our largest client (31% of ARR) is reporting a failure in the integration with their ERP system. Data has not been syncing since Friday evening. Their COO has already written to our CEO. Technically, the problem, according to the on-call developer, is "solvable in 2–4 hours," but he is the only one who understands this module – and he is currently on vacation (he picks up the phone, but is clearly irritated). Another option is to bring in Marina, a senior developer; she doesn't know this module, but is capable of figuring it out in 6–8 hours. Situation 2 – Personnel crisis: One of our key managers, Pavel, wrote to me on Sunday evening saying "we need to have a serious talk." I know he's being poached by a competitor. If he leaves, we lose the only person who manages three strategic clients and knows their context. He's waiting for my answer by the end of the day. If I don't talk to him today before lunch, he will most likely make his decision without talking to me. Situation 3 – Internal deadline: Today, by 2:00 p.m., I need to submit the quarterly hiring plan to HR – this is blocking the opening of 4 positions already approved by the CEO. If I'm late, the next window is in 3 weeks (HR is going on vacation). The plan itself takes about 2 hours of work. Situation 4 – Product risk: Yesterday an analyst sent me data indicating a potential problem with the accuracy of one of the recommendation algorithms. If the problem is real, it could affect the results for approximately 15% of users. The analyst is not confident in his data ("it could be a bug in the script, or it could be a real problem"). No one outside my team knows about this yet. I have myself, two mid-level managers (one of whom is leading important negotiations with a new client today), and a team of 9 people with varying competencies. Please: 1. Help me build priorities for the next 4 hours – not just by urgency, but taking into account the real cost of delay for each. 2. Which of these should I handle personally, and which can I delegate – and to whom specifically? 3. Situation 4 – how should I make the decision: wait for confirmation of the data, or act on incomplete information? What are the risks of each option? 4. How should I handle the situation with the on-call developer being on vacation – when and how to escalate, and how to avoid burning bridges? 5. Which of the four situations carry systemic risk (that is, will recur again), and what should I do once this day is over?
System line: You are an analytical assistant for managers.
Translated from Russian: the models got the Russian text.
Original in Russian
Сегодня понедельник, 9:15 утра. У меня одновременно горят четыре ситуации, и я не могу заниматься всеми сразу. Мне нужно принять решение о приоритетах в течение следующего часа. Ситуация 1 – Клиентский инцидент: Наш крупнейший клиент (31% ARR) сообщает о сбое в интеграции с их ERP-системой. Данные не синхронизируются с пятницы вечера. Их операционный директор уже написал нашему CEO. Технически проблема, по словам дежурного разработчика, «решаема за 2–4 часа», но он единственный, кто понимает этот модуль – он сейчас в отпуске (берёт трубку, но явно раздражён). Ещё один вариант – привлечь старшего разработчика Марину, она не знает этот модуль, но способна разобраться за 6–8 часов. Ситуация 2 – Кадровый кризис: Один из ключевых менеджеров, Павел, написал мне в воскресенье вечером, что «нужно серьёзно поговорить». Я знаю, что его переманивает конкурент. Если он уйдёт, мы теряем единственного человека, который ведёт три стратегических клиента и знает их контекст. Он ждёт ответа до конца дня. Если я не поговорю с ним сегодня до обеда, скорее всего, он примет решение без разговора со мной. Ситуация 3 – Внутренний дедлайн: Сегодня до 14:00 я должен сдать квартальный план по найму в HR – это блокирует открытие 4 вакансий, которые уже согласованы с CEO. Если опоздаю, следующее окно – через 3 недели (HR уходит в отпуск). Сам план занимает примерно 2 часа работы. Ситуация 4 – Продуктовый риск: Вчера аналитик прислал данные, которые указывают на потенциальную проблему с точностью одного из алгоритмов рекомендаций. Если проблема реальная – это может влиять на результаты примерно 15% пользователей. Аналитик не уверен в своих данных («может быть баг в скрипте, может быть реальная проблема»). Никто за пределами моей команды об этом не знает. У меня есть я, два менеджера среднего звена (один из которых сегодня ведёт важные переговоры с новым клиентом), и команда из 9 человек с разными компетенциями. Пожалуйста: 1. Помоги мне выстроить приоритеты на ближайшие 4 часа – не только по срочности, но с учётом реальной цены каждой задержки. 2. Что из этого я должен делать лично, а что могу делегировать, и кому именно? 3. Ситуация 4 – как мне принять решение: ждать подтверждения данных или действовать на основе неполной информации? Каковы риски каждого варианта? 4. Как мне справиться с ситуацией вокруг дежурного разработчика в отпуске – когда и как эскалировать, и как не сжечь мосты? 5. Какие из четырёх ситуаций несут системный риск (то есть повторятся снова), и что мне стоит сделать после того, как этот день закончится?
GPT-6 Luna
Translated from Russian: the model answered in Russian.
Priority for the next 4 hours
Do not try to handle all four situations personally. The client incident needs to be put on track immediately, the conversation with Pavel should take place before lunch, the hiring plan needs to be defended as a separate block, and the algorithm data should be checked in parallel.
| Time | Your actions | Parallel work |
|---|---|---|
| 9:15–9:30 | Appoint an incident owner and someone responsible for client communication. Write to the COO and CEO: the problem has been acknowledged, the team is working on it, state the time of the next update – for example, in 45 minutes – even if there is no solution yet. | Marina begins diagnostics. Ask the specialist who is on vacation for limited help: a short call or a written handoff – without expecting them to take on the incident entirely. |
Original in Russian
Приоритет на ближайшие 4 часа
Не пытайтесь вести все четыре ситуации лично. Клиентский инцидент нужно немедленно поставить на рельсы, разговор с Павлом провести до обеда, план найма защитить отдельным блоком, а данные по алгоритму проверить параллельно.
| Время | Ваши действия | Параллельная работа |
|---|---|---|
| 9:15–9:30 | Назначьте владельца инцидента и ответственного за коммуникацию с клиентом. Напишите операционному директору и CEO: проблема принята, команда работает, сообщите время следующего обновления – например, через 45 минут, даже если решения ещё нет. | Марина начинает диагностику. Попросите специалиста в отпуске об ограниченной помощи: короткий звонок или письменный handoff – без ожидания, что он возьмёт инцидент целиком. |
Read the full answer · 1,019 words
Priority for the next 4 hours
Do not try to personally handle all four situations. The client incident must be put on rails immediately, the conversation with Pavel must happen before lunch, the hiring plan must be protected as a separate block, and the data on the algorithm must be checked in parallel.
| Time | Your actions | Parallel work |
|---|---|---|
| 9:15–9:30 | Appoint an incident owner and a person responsible for client communication. Write to the COO and CEO: the problem has been acknowledged, the team is working on it, state the time of the next update – for example, in 45 minutes – even if there is no solution yet. | Marina begins diagnostics. Ask the specialist who is on vacation for limited help: a short call or a written handoff – without expecting him to take over the incident entirely. |
| 9:30–10:00 | Talk to Pavel in person, before the window closes. | The available manager coordinates the incident and collects status updates; Marina handles the technical side. |
| 10:00–10:15 | Verify that the client has received the update and that the investigation has a concrete next step. Record who will report the next status and when. | The analyst and the independent specialist begin checking the recommendation data. |
| 10:15–12:15 | Protect two hours for the hiring plan. Ask the employee who knows the staffing plan/budgets to gather source data in advance and fill in the factual sections; final decisions and review are yours. | The incident and the algorithm check continue. Request brief status updates at pre-set checkpoints rather than being distracted by constant messages. |
| 12:15–13:15 | Check the quality of the plan and send it to HR with a margin before 14:00. Conduct a brief assessment of the incident status and the product risk, and determine further decisions and owners. | The team continues work on the technical plan; the client receives another update at the promised time. |
If the plan genuinely cannot be prepared in less than two hours even with pre-gathered data, do not give up this block to meetings: skipping it means a three-week delay for approved vacancies. At the same time, the incident investigation and the algorithm check must not wait until you are free.
What to do personally, what to delegate
Personally yours:
- Take responsibility before the largest client and give the CEO a short, factual status. Do not promise a recovery time until the team has confirmed it; promise the time of the next update.
- Talk to Pavel. Start with questions: what matters to him, what could influence his decision to stay, and what he expects from you. Do not make promises you cannot keep, and agree on the next contact today.
- Review and send the hiring plan.
- Decide on measures regarding the algorithm once the results of the initial check are in.
Delegate:
- To Marina – the technical investigation and the integration recovery plan. Assign a second engineer with the closest relevant experience to assist and log the steps.
- To the available manager – incident coordination: collect statuses, keep a decision log, and send updates to the client that you have prepared or approved. There is no need to make him the technical owner if he lacks the necessary competence.
- To the analyst and the independent data specialist – verification of the recommendation issue. It is important that the reviewer does not merely repeat the author's calculation but independently checks the source data and the script.
- To the employee with staffing-planning context – gather source data for the hiring plan. The manager busy negotiating with the new client should not be the primary executor of one of these tasks today.
Situation 4: verify now, do not wait passively
While the data is unreliable, this is not grounds to declare the problem confirmed, but nor is it grounds to postpone verification. Assign an independent check with a short deadline – for example, an initial conclusion by 11:00.
At minimum, the following must be checked:
- Whether the script made an error and whether the source data is correct.
- Whether the effect can be reproduced by an independent calculation.
- Which users and metrics are affected, and what the results are being compared against.
- Whether there is a simple and reversible way to reduce potential harm – for example, temporarily restricting the affected variant, if this is technically safe.
Cost of waiting: if the problem is real, users continue to receive poor recommendations, and the damage and the time to detection keep growing. Cost of acting hastily: a false alarm could worsen recommendations or affect other user groups.
Therefore, use a staged approach: check the data quickly, and if the signal is plausible and a safe, reversible method exists – temporarily limit the risk pending confirmation. If the potential harm is serious or irreversible, the threshold for preventive action should be lower. Do not make broad external statements before verification; if confirmed, separately assess whether client notifications or other mandatory actions are required.
The on-call developer who is on vacation
Do not build the plan on the assumption that he will save the situation: Marina has a working path, even if a longer one. But given the scale of the client and the fact that the data has not synced since Friday, one clear knowledge-transfer request is useful.
You could write something like:
"I understand you're on vacation, and I don't want to put the incident on you. Marina is leading the investigation. Could you spare 15 minutes or send a short handoff: where to look for the problem, which logs/specifics to take into account, and what not to do? If this isn't convenient for you, just say so – we'll continue without you. If it ends up taking more time, we'll separately arrange compensation and time off."
- Do not ask him to immediately "fix everything," and do not reproach him for being unavailable.
- Ask for one limited, specific contribution; do not flood him with messages.
- If after 30–60 minutes Marina has no promising lead, escalate to the technical lead/CTO and request additional help. If it truly cannot be done without the vacationing developer's knowledge, offer a voluntary, limited, and compensated consultation.
- If he cannot or does not want to get involved, do not wait: continue according to Marina's plan and ensure the client receives regular updates.
Which delays are more costly
- Client incident: 31% of ARR, data has been stale since Friday, the escalation has already reached the CEO. The cost of delay is high, so start immediately – but not at the cost of personally handling every technical step.
- Conversation with Pavel: the window is limited to this morning. Losing one conversation could mean losing the holder of context on three strategic clients at once.
- Hiring plan: a hard deadline and a three-week cost of being late. It must be completed today, but it can be protected with a calendar block.
- Algorithm: the probability of a problem is still unclear, but the potential reach is 15% of users. The right response is not to wait silently, but to delegate a quick check and define in advance the conditions for temporarily limiting the risk.
This ranking could change: if the check reveals serious harm to users, the product risk would immediately rank above the hiring plan.
After today: eliminate recurring risks
- Single point of failure for integration expertise: documentation, a runbook, on-call rotation, a trained backup engineer, regular recovery drills, and reconciliation of missed data.
- Dependence on a single manager for strategic clients: a secondary contact for each client, a shared context repository, and a handover plan.
- Dependence on the HR calendar: a pre-set submission calendar for plans and a backup process for vacation periods.
- Late and uncertain detection of product issues: independent reviews of analytics scripts, monitoring of recommendation quality by segment, alert thresholds, and a pre-agreed rollback procedure.
- Too many critical tasks concentrated on one manager: define an owner, a deputy, escalation rules, and update frequency for incidents – so that next time you are not the sole point of coordination.
Original in Russian
Приоритет на ближайшие 4 часа
Не пытайтесь вести все четыре ситуации лично. Клиентский инцидент нужно немедленно поставить на рельсы, разговор с Павлом провести до обеда, план найма защитить отдельным блоком, а данные по алгоритму проверить параллельно.
| Время | Ваши действия | Параллельная работа |
|---|---|---|
| 9:15–9:30 | Назначьте владельца инцидента и ответственного за коммуникацию с клиентом. Напишите операционному директору и CEO: проблема принята, команда работает, сообщите время следующего обновления – например, через 45 минут, даже если решения ещё нет. | Марина начинает диагностику. Попросите специалиста в отпуске об ограниченной помощи: короткий звонок или письменный handoff – без ожидания, что он возьмёт инцидент целиком. |
| 9:30–10:00 | Поговорите с Павлом лично, пока окно не закрылось. | Доступный менеджер координирует инцидент и собирает статус; Марина занимается технической частью. |
| 10:00–10:15 | Проверьте, что клиент получил обновление и у расследования есть конкретный следующий шаг. Зафиксируйте, кто и когда сообщит следующий статус. | Аналитик и независимый специалист начинают проверку данных по рекомендациям. |
| 10:15–12:15 | Защитите два часа на план найма. Попросите сотрудника, знающего штатный план/бюджеты, заранее собрать исходные данные и заполнить фактические разделы; финальные решения и проверка – за вами. | Инцидент и проверка алгоритма продолжаются. Запросите короткие статусы в заранее заданные точки, а не отвлекайтесь на постоянные сообщения. |
| 12:15–13:15 | Проверьте качество плана и отправьте его в HR с запасом до 14:00. Проведите короткую оценку статуса инцидента и продуктового риска, определите дальнейшие решения и владельцев. | Команда продолжает работу по техническому плану; клиент получает очередное обновление в обещанное время. |
Если план действительно нельзя подготовить быстрее двух часов даже с предварительно собранными данными, не отдавайте этот блок под встречи: пропуск означает задержку согласованных вакансий на три недели. При этом расследование инцидента и проверка алгоритма не должны ждать, пока вы освободитесь.
Что делать лично, что делегировать
Лично вам:
- Взять на себя ответственность перед крупнейшим клиентом и дать CEO короткий фактический статус. Не обещайте срок восстановления, пока команда не подтвердила его; обещайте время следующего обновления.
- Поговорить с Павлом. Начните с вопросов: что для него важно, что может повлиять на решение остаться, чего он ждёт от вас. Не давайте обещаний, которые не можете выполнить, и договоритесь о следующем контакте сегодня.
- Проверить и отправить план найма.
- Принять решение о мерах по алгоритму, когда появятся результаты первичной проверки.
Делегировать:
- Марине – техническое расследование и план восстановления интеграции. Назначить рядом второго инженера с наиболее близким опытом, чтобы тот помогал и фиксировал шаги.
- Доступному менеджеру – координацию инцидента: собрать статусы, вести журнал решений и отправлять подготовленные вами или согласованные обновления клиенту. Не нужно делать его техническим владельцем, если у него нет нужной компетенции.
- Аналитику и независимому специалисту по данным – проверку проблемы с рекомендациями. Важно, чтобы проверяющий не просто повторил расчёт автора, а независимо проверил исходные данные и скрипт.
- Сотруднику с контекстом по штатному планированию – собрать исходные данные для плана найма. Менеджер, занятый переговорами с новым клиентом, сегодня не должен быть основным исполнителем одной из этих задач.
Ситуация 4: проверять сейчас, не ждать пассивно
Пока данные ненадёжны, это не основание объявлять проблему подтверждённой, но и не основание откладывать проверку. Назначьте независимую проверку с коротким сроком – например, первичный вывод к 11:00.
Проверить нужно как минимум:
- Не ошибся ли скрипт и корректны ли исходные данные.
- Можно ли воспроизвести эффект независимым расчётом.
- Какие пользователи и метрики затронуты, с чем сравниваются результаты.
- Есть ли простой и обратимый способ снизить потенциальный ущерб – например, временно ограничить затронутый вариант, если это технически безопасно.
Цена ожидания: если проблема реальна, пользователи продолжают получать плохие рекомендации, а ущерб и время до обнаружения растут.
Цена поспешного действия: ложная тревога может ухудшить рекомендации или затронуть другие группы пользователей.
Поэтому используйте поэтапный подход: быстро проверяйте данные, а при правдоподобном сигнале и безопасном обратимом способе – временно ограничьте риск до подтверждения. Если возможный вред серьёзный или необратимый, порог для превентивного действия должен быть ниже. Не делайте широких внешних заявлений до проверки; при подтверждении отдельно оцените, нужны ли уведомления клиентам или другие обязательные действия.
Дежурный разработчик в отпуске
Не стройте план на предположении, что он спасёт ситуацию: у Марины есть рабочий путь, пусть и более длинный. Но, учитывая масштаб клиента и то, что данные не синхронизируются с пятницы, полезен один чёткий запрос на передачу знаний.
Можно написать примерно так:
«Понимаю, что ты в отпуске, и не хочу перекладывать на тебя инцидент. Марина ведёт расследование. Можешь ли ты выделить 15 минут или прислать короткий handoff: где искать проблему, какие логи/особенности учесть и чего не делать? Если тебе это неудобно – скажи, мы продолжим без тебя. Если потребуется больше времени, отдельно согласуем компенсацию и свободное время».
- Не просите его немедленно «починить всё» и не упрекайте за отсутствие.
- Попросите один ограниченный, конкретный вклад; не засыпайте сообщениями.
- Если через 30–60 минут у Марины нет перспективного направления, эскалируйте техническому руководителю/CTO и запросите дополнительную помощь. Если без знаний отпускного разработчика действительно нельзя обойтись, предложите добровольную, ограниченную и компенсируемую консультацию.
- Если он не может или не хочет подключаться, не ждите: продолжайте по плану Марины и обеспечьте клиенту регулярные обновления.
Какие задержки дороже
- Инцидент клиента: 31% ARR, данные стоят с пятницы, эскалация уже дошла до CEO. Цена задержки высокая, поэтому начать немедленно – но не за счёт того, чтобы лично заниматься каждым техническим шагом.
- Разговор с Павлом: окно ограничено сегодняшним утром. Потеря одного разговора может означать потерю владельца контекста сразу по трём стратегическим клиентам.
- План найма: жёсткий срок и трёхнедельная цена опоздания. Его нужно выполнить сегодня, но его можно защитить календарным блоком.
- Алгоритм: вероятность проблемы пока неясна, но потенциальный охват – 15% пользователей. Правильная реакция – не ждать молча, а делегировать быструю проверку и заранее определить условия для временного ограничения риска.
Это ранжирование может измениться: если проверка покажет серьёзный вред пользователям, продуктовый риск сразу поднимется выше плана найма.
После сегодняшнего дня: устранить повторяемые риски
- Единственный специалист по интеграции: документация, runbook, ротация дежурств, обученный резервный инженер, регулярные тесты восстановления и сверки пропущенных данных.
- Зависимость от одного менеджера на стратегических клиентах: второй контакт по каждому клиенту, общее хранилище контекста и план передачи дел.
- Зависимость от календаря HR: заранее установленный календарь подачи планов и резервный процесс на период отпусков.
- Позднее и неуверенное обнаружение продуктовых проблем: независимые проверки аналитических скриптов, мониторинг качества рекомендаций по сегментам, пороги тревоги и заранее согласованный порядок отката.
- Слишком много критичных задач на одном руководителе: определить для инцидентов владельца, заместителя, правила эскалации и частоту обновлений – тогда в следующий раз вы не станете единственной точкой координации.
What the judges noted
Claude Opus 5.5 · this answer: 8.4 of 10
This is a strong, practical response that fits the reality of the morning. Workstreams run in parallel, owners are named, the hiring-plan block is protected, and the Pavel conversation is scheduled before lunch. The guidance on communicating with the CEO and client and the message to the vacationing developer are especially useful. The ranking puts the client incident first without fully analyzing how irreversible Pavel's departure would be. The Pavel section is the thinnest: no message text, no conversation structure, no counteroffer preparation. The escalation protocol lacks staged checkpoints, and the systemic-measures section is less detailed than expected.
- Strong: A clear schedule table with parallel workstreams and specific owners
- Weak: Little detail on Pavel: no invitation text, no conversation structure, no counteroffer preparation
GPT-6.2 Astra · this answer: 8.4 of 10
This is a usable plan for Monday morning: it starts incident work immediately without sacrificing the 9:30 conversation, protects the hiring deadline and gives the analyst a bounded investigation. Its schedule is stronger than its stated ranking. A clearer distinction between the team's first action and the manager's top personal priority, followed by a concrete decision after the Pavel meeting, would improve it most.
- Strong: Specific owners and calendar blocks let the manager protect focused work while the incident proceeds.
- Weak: The ranking does not explicitly account for the nonlinear, potentially irreversible cost of delaying Pavel's conversation.
The score is for this one answer, not the model’s overall result.
Weakest: Automation · 7.1Automate approving partner applications
A senior manager spends two hours a day reviewing partner applications. The formal criteria can be checked through APIs, but real decisions seem more complex. How to automate it without losing what matters?
Full task
I want to fully automate the process of checking and approving incoming applications from partners. Right now this is handled by one of the senior managers – it takes about 2 hours a day. The process looks like this: an application arrives by email or through a form on the website, the manager looks at the partner company, assesses its profile, checks several internal criteria, and either approves it, sends it back for revision, or rejects it. The formal criteria for approval are as follows: the company has been registered for more than two years, revenue is above a threshold value, there are no outstanding debts according to our data, and the business's field of activity is not on the exclusion list. All of this can be checked automatically via the API of several counterparty verification services. But I suspect the real decisions are more complex. The manager sometimes approves applications from companies that formally do not pass the criteria – because he knows their history, because they are strategically important, or because the director personally asked. And conversely, he rejects partners who formally qualify, because he senses something suspicious in the application. I need your honest assessment: what here can realistically be automated, and what cannot? If we go ahead with automation, which architecture should we choose – full autopilot, or a hybrid where routine tasks are automated while non-standard cases go to a human? How do we separate one from the other? And what risks do I take on if I over-automate this process – what could go wrong unnoticeably?
System line: You are an assistant for training and development for managers.
Translated from Russian: the models got the Russian text.
Original in Russian
Хочу полностью автоматизировать процесс проверки и одобрения входящих заявок от партнеров. Сейчас этим занимается один из старших менеджеров – тратит примерно 2 часа в день. Процесс выглядит так: приходит заявка по email или через форму на сайте, менеджер смотрит на компанию-партнера, оценивает её профиль, проверяет несколько внутренних критериев и либо одобряет, либо отправляет на доработку, либо отклоняет. Формальные критерии для одобрения такие: компания зарегистрирована более двух лет, выручка выше порогового значения, нет открытых долгов по нашим данным, тематика бизнеса не входит в список исключений. Всё это можно проверить автоматически через API нескольких сервисов проверки контрагентов. Но я подозреваю, что реальные решения сложнее. Менеджер иногда одобряет заявки от компаний, которые формально не проходят по критериям, – потому что знает их историю, потому что они стратегически важны, или потому что директор лично попросил. И наоборот – отклоняет формально подходящих партнеров, потому что чувствует что-то подозрительное в заявке. Мне нужна твоя честная оценка: что здесь реально поддается автоматизации, а что нет? Если делать автоматизацию, то какую архитектуру выбрать – полный автопилот, или гибрид где рутина автоматизирована, а нестандартные случаи идут к человеку? Как отделить одно от другого? И какие риски я несу, если переавтоматизирую этот процесс – что может пойти не так незаметно?
GPT-6 Luna
Translated from Russian: the model answered in Russian.
Short summary: automating data collection and checking formal criteria is reasonable; fully automating the final decision based on the current description is premature. You already know that real decisions sometimes diverge from formal rules. This means the process contains not only routine but also an undocumented policy: exceptions, strategic priorities, and risk assessment.
It is important to distinguish between automating the process and automating the decision. The former can be done almost completely. For the latter, you first need to determine which exceptions are legitimate and who has the authority to approve them.
Original in Russian
Короткий вывод: автоматизировать сбор данных и проверку формальных критериев – разумно; полностью автоматизировать итоговое решение на текущем описании – преждевременно. Вы уже знаете, что реальные решения иногда расходятся с формальными правилами. Значит, процесс содержит не только рутину, но и неописанную политику: исключения, стратегические приоритеты и оценку риска.
Важно разделить автоматизацию процесса и автоматизацию решения. Первую можно делать почти полностью. Для второй сначала нужно выяснить, какие исключения легитимны и кто вправе их утверждать.
Read the full answer · 767 words
Short conclusion: automating data collection and verification of formal criteria – reasonable; fully automating the final decision based on the current description – premature. You already know that real decisions sometimes diverge from formal rules. This means the process contains not only routine work but also undocumented policy: exceptions, strategic priorities, and risk assessment.
It is important to separate automating the process from automating the decision. The former can be done almost entirely. For the latter, you first need to determine which exceptions are legitimate and who has the right to approve them.
What automates well
- Receiving applications from email and the website, creating a record, and eliminating duplicates.
- Searching for the company and retrieving information from external APIs.
- Checking unambiguous criteria: registration period, revenue, debts, excluded industries.
- Requesting missing documents or data.
- Routing the application, notifications, logging, and preparing a brief summary for the manager.
This usually removes a significant portion of the two-hour daily workload even without automatically making all decisions.
What cannot yet be safely automated
- "We know their history" – if this knowledge is not recorded and cannot be confirmed in an accessible system.
- "They are strategically important" – if there is no formal list or clear exception procedure.
- "The director asked" – this is not a criterion but a special channel of influence. If left implicit, automation will only make decisions less transparent.
- "Something looks suspicious" – until it is defined what specific signs are meant, this is not a reproducible rule.
A useful question to ask the manager is not "why did you decide this way?" but rather: what fact or signal changed the decision, can it be verified, and who has the right to make such an exception?
Recommended approach: a hybrid scheme
Automate the checks, but route cases through clear channels:
| Result of checks | Action |
|---|---|
| All criteria passed, data is unambiguous, no exceptions or risk signals | Possible auto-approval – after a pilot and quality review |
| Insufficient data, API results conflict, or the company cannot be unambiguously identified | Request for clarification or human review |
| A formal criterion is not met, but an authorized exemption is possible | Review of the exception by an authorized person |
| There is a specific risk signal or suspicious fact | Human review, not automatic rejection |
| A criterion is clearly not met, and no exceptions apply | Rejection based on the formal rule, with an explanation and the possibility to correct erroneous data |
Do not treat "unknown" as equivalent to "fails." For example, an API error or outdated revenue information is grounds to postpone the decision or request data, not to automatically reject the application.
And separately: if formal criteria can sometimes be bypassed, first decide whether they are strict rules or thresholds with exceptions. If exceptions exist, document their grounds, the circle of people authorized to approve them, and a mandatory justification recorded in the system. Otherwise, the algorithm will consistently apply the rules while people inconsistently bypass them.
How to implement this
- Study historical decisions. Take a representative sample of applications, including approvals made despite unmet criteria and rejections despite formal compliance. Record the reasons and check whether they can be turned into clear rules.
- Launch the system in shadow mode. Let it check applications and suggest an outcome, while the manager still makes the decision. Compare discrepancies without treating each one as a system error: sometimes it may be an unjustified exception made by a person, and sometimes an important signal you have not yet described.
- Automate the low-risk part gradually. Start with gathering information, checking criteria, and preparing the decision. Then, perhaps, auto-approval of obvious applications. Introduce auto-rejection especially cautiously: data verification and the ability to correct an error are important here.
- Retain human oversight and a decision log. Record data sources and retrieval times, the rules that were triggered, rule versions, the outcome, and for exceptions – the justification and the person who made the decision.
- Regularly review quality. Monitor not only speed but also erroneous approvals and rejections, the share of appeals, the frequency of manual overrides, and whether errors are concentrated among certain types of companies.
For objective criteria, it is better to use clear rules and verified data. An AI model can help briefly summarize materials or highlight information for review, but it should not independently turn a vague "looks suspicious" into a rejection.
What can go wrong unnoticed
- Incorrect company identification. Information may be pulled from a similarly named organization or a different legal entity within the group.
- Outdated or incomplete API data. A formally automatic check creates a false sense of accuracy.
- Hidden policy changes. The revenue threshold or the list of excluded industries changes, but the rules in the system do not.
- Excessive trust in the automated result. The manager stops double-checking data even when the system shows a questionable match.
- Unnoticed bias in rejections or approvals. For example, a data source may cover certain markets or types of companies worse than others.
- Bypassing rules outside the system. Important requests and exceptions will continue to arrive by phone or in personal messages, and the audit trail will show an incomplete picture.
- Optimizing the wrong metric. The system may reduce processing time but increase the number of errors, conflicts with partners, or missed strategic deals.
Therefore, the goal should be formulated not as "replace the manager," but as removing the repeatable checks from them and leaving them with decisions that require context, authority, or risk analysis. If, after the shadow mode, it turns out that most applications pass under clear rules, auto-approval of suitable low-risk cases may be justified. Non-standard and disputed cases are better left to a human – at least until the reasons behind such decisions are documented and verified.
Original in Russian
Короткий вывод: автоматизировать сбор данных и проверку формальных критериев – разумно; полностью автоматизировать итоговое решение на текущем описании – преждевременно. Вы уже знаете, что реальные решения иногда расходятся с формальными правилами. Значит, процесс содержит не только рутину, но и неописанную политику: исключения, стратегические приоритеты и оценку риска.
Важно разделить автоматизацию процесса и автоматизацию решения. Первую можно делать почти полностью. Для второй сначала нужно выяснить, какие исключения легитимны и кто вправе их утверждать.
Что хорошо автоматизируется
- Приём заявок из email и с сайта, создание карточки и устранение дублей.
- Поиск компании и получение сведений из внешних API.
- Проверка однозначных критериев: срок регистрации, выручка, долги, исключённые отрасли.
- Запрос недостающих документов или данных.
- Маршрутизация заявки, уведомления, журналирование и подготовка краткого резюме для менеджера.
Это обычно снимает значительную часть двухчасовой ежедневной нагрузки даже без автоматического принятия всех решений.
Что пока нельзя безопасно автоматизировать
- «Знаем их историю» – если знания не записаны и не подтверждаются в доступной системе.
- «Стратегически важны» – если нет формального списка или понятной процедуры исключений.
- «Директор попросил» – это не критерий, а особый канал влияния. Если его оставить неявным, автоматизация лишь сделает решения менее прозрачными.
- «Что-то подозрительное» – пока не определено, какие конкретные признаки имеются в виду, это не воспроизводимое правило.
Полезный вопрос к менеджеру не «почему вы так решили?», а: какой факт или сигнал изменил решение, можно ли его проверить, и кто имеет право на такое исключение?
Рекомендуемый вариант: гибридная схема
Автоматизируйте проверки, но направляйте случаи по понятным маршрутам:
| Результат проверок | Действие |
|---|---|
| Все критерии пройдены, данные однозначны, нет исключений и сигналов риска | Возможное автоодобрение – после пилота и проверки качества |
| Не хватает данных, результаты API противоречат друг другу или компания не идентифицируется однозначно | Запрос уточнения или проверка человеком |
| Формальный критерий не пройден, но возможна санкционированная льгота | Рассмотрение исключения уполномоченным человеком |
| Есть конкретный риск-сигнал или подозрительный факт | Проверка человеком, а не автоматический отказ |
| Критерий точно не пройден, исключения не предусмотрены | Отказ по формальному правилу с объяснением и возможностью исправить ошибочные данные |
Не делайте «неизвестно» равным «не проходит». Например, ошибка API или устаревшая информация о выручке – это основание отложить решение или запросить данные, а не автоматически отклонить заявку.
И отдельно: если формальные критерии иногда можно обойти, сначала решите, являются ли они жёсткими правилами или порогами с исключениями. Если есть исключения, зафиксируйте их основания, круг лиц, имеющих право их одобрять, и обязательное обоснование в системе. Иначе алгоритм будет последовательно применять правила, а люди – непоследовательно обходить их.
Как внедрять
- Изучите исторические решения. Возьмите репрезентативную выборку заявок, включая одобрения вопреки критериям и отказы при формальном соответствии. Зафиксируйте причины и проверьте, можно ли их превратить в понятные правила.
- Запустите систему в теневом режиме. Пусть она проверяет заявки и предлагает исход, но менеджер пока принимает решение. Сравнивайте расхождения, не считая каждое из них ошибкой системы: иногда это может быть необоснованное исключение человека, а иногда – важный сигнал, который вы пока не описали.
- Автоматизируйте низкорисковую часть постепенно. Сначала – сбор сведений, проверка критериев и подготовка решения. Затем, возможно, автоодобрение очевидных заявок. Автоотказ вводите особенно осторожно: проверка данных и возможность исправить ошибку здесь важны.
- Оставьте человеческий контроль и журнал решений. Записывайте источники и время получения данных, сработавшие правила, версии правил, итог, а для исключений – основание и автора решения.
- Регулярно пересматривайте качество. Следите не только за скоростью, но и за ошибочными одобрениями и отказами, долей апелляций, частотой ручных переопределений и тем, не концентрируются ли ошибки на определённых типах компаний.
Для объективных критериев лучше использовать понятные правила и проверенные данные. Модель ИИ может помочь кратко суммировать материалы или подсветить сведения для проверки, но не должна самостоятельно превращать расплывчатое «выглядит подозрительно» в отказ.
Что может пойти не так незаметно
- Ошибочная идентификация компании. Сведения подтянутся от одноимённой организации или другой юрструктуры группы.
- Устаревшие или неполные данные API. Формально автоматическая проверка создаёт ложное ощущение точности.
- Скрытое изменение политики. Порог выручки или список исключённых отраслей меняются, а правила в системе – нет.
- Переизбыток доверия к автоматическому результату. Менеджер перестаёт перепроверять данные, даже если система показывает сомнительное совпадение.
- Незаметное смещение в отказах или одобрениях. Например, источник данных хуже покрывает некоторые рынки или типы компаний.
- Обход правил вне системы. Важные просьбы и исключения продолжат приходить по телефону или в личных сообщениях, и аудит будет показывать неполную картину.
- Оптимизация не того показателя. Система может уменьшить время обработки, но увеличить число ошибок, конфликтов с партнёрами или упущенных стратегических сделок.
Поэтому цель стоит формулировать не как «заменить менеджера», а как снять с него повторяемую проверку и оставить ему решения, где нужны контекст, полномочия или разбор риска. Если после теневого режима окажется, что большинство заявок проходят по ясным правилам, автоодобрение подходящих низкорисковых случаев может быть оправдано. Нестандартные и спорные случаи лучше оставить человеку – по крайней мере, пока причины таких решений не описаны и не проверены.
What the judges noted
Claude Opus 5.5 · this answer: 8.3 of 10
This is a high-quality, mature response. It gives an honest assessment of the limits of automation, recommends a well-reasoned hybrid architecture with a routing table, and provides a sound rollout plan through historical analysis and shadow mode. It also lists hidden risks well, including some that are not obvious. Compared with the reference, it lacks quantitative detail: lane shares, time savings, dossier contents, the manager's application card, a schedule for reviewing rules, and specific tools. This makes it a strong strategic framework rather than a ready-to-implement blueprint.
- Strong: Clearly separates process automation from decision automation and states the principle that "unknown ≠ fail"
- Weak: No quantitative estimates: shares of applications per lane, time savings, processing time per application
GPT-6.2 Astra · this answer: 8.1 of 10
Translated from Russian.
The answer convincingly justifies the hybrid scheme and gives the manager a useful starting point: study the actual exceptions, automate the collection of information, and verify recommendations before handing the decision-making authority over to the system. Its main gap lies at the transition from pilot to operation: it does not define which pilot results are sufficient for auto-approval, who approves this, and how the team will continue to see errors after launch.
- Strong: Clearly separates obtaining facts, applying rules, and the managerial decision on an exception.
- Weak: Sufficiently narrow starting boundaries for auto-approval and readiness criteria for enabling it are not defined.
Original in Russian
Ответ убедительно обосновывает гибридную схему и даёт менеджеру полезную отправную точку: изучить реальные исключения, автоматизировать сбор сведений и проверить рекомендации до передачи системе права решать. Его главный пробел находится на переходе от пилота к эксплуатации: не определено, какие результаты пилота достаточны для автоодобрения, кто это утверждает и как команда продолжит видеть ошибки после запуска.
- Чётко разделены получение фактов, применение правил и управленческое решение об исключении.
- Не заданы достаточно узкие стартовые границы автоодобрения и критерии готовности к его включению.
The score is for this one answer, not the model’s overall result.
Run the task yourself
The task «Monday, 9:15: four fires at once» from the benchmark, sent now to GPT-6 Luna and, for comparison, DeepSeek V4.1 Flash (1017) (another group). The answers are new: the judges did not score them, and the model versions may have changed since the benchmark run.
One click sends two requests to paid models; answers take 10–60 seconds. Nothing runs until you click.
Show the task
Today is Monday, 9:15 a.m. I have four situations burning at the same time, and I can't handle all of them simultaneously. I need to decide on priorities within the next hour. Situation 1 – Client incident: Our largest client (31% of ARR) is reporting a failure in the integration with their ERP system. Data has not been syncing since Friday evening. Their COO has already written to our CEO. Technically, the problem, according to the on-call developer, is "solvable in 2–4 hours," but he is the only one who understands this module – and he is currently on vacation (he picks up the phone, but is clearly irritated). Another option is to bring in Marina, a senior developer; she doesn't know this module, but is capable of figuring it out in 6–8 hours. Situation 2 – Personnel crisis: One of our key managers, Pavel, wrote to me on Sunday evening saying "we need to have a serious talk." I know he's being poached by a competitor. If he leaves, we lose the only person who manages three strategic clients and knows their context. He's waiting for my answer by the end of the day. If I don't talk to him today before lunch, he will most likely make his decision without talking to me. Situation 3 – Internal deadline: Today, by 2:00 p.m., I need to submit the quarterly hiring plan to HR – this is blocking the opening of 4 positions already approved by the CEO. If I'm late, the next window is in 3 weeks (HR is going on vacation). The plan itself takes about 2 hours of work. Situation 4 – Product risk: Yesterday an analyst sent me data indicating a potential problem with the accuracy of one of the recommendation algorithms. If the problem is real, it could affect the results for approximately 15% of users. The analyst is not confident in his data ("it could be a bug in the script, or it could be a real problem"). No one outside my team knows about this yet. I have myself, two mid-level managers (one of whom is leading important negotiations with a new client today), and a team of 9 people with varying competencies. Please: 1. Help me build priorities for the next 4 hours – not just by urgency, but taking into account the real cost of delay for each. 2. Which of these should I handle personally, and which can I delegate – and to whom specifically? 3. Situation 4 – how should I make the decision: wait for confirmation of the data, or act on incomplete information? What are the risks of each option? 4. How should I handle the situation with the on-call developer being on vacation – when and how to escalate, and how to avoid burning bridges? 5. Which of the four situations carry systemic risk (that is, will recur again), and what should I do once this day is over?
GPT-6 Luna · New answer · not scored
DeepSeek V4.1 Flash (1017) · New answer · not scored
The scored answers from the benchmark are above.
All 8 categories
Mean score per category on the benchmark’s 80 tasks, on one 0–10 scale. Click a category for its six criteria.
-
Information search
7.2close to the best
Six criteria
- Accuracy
- 7.3
- Relevance
- 6.2
- Actionability
- 6.7
- Transparency
- 8.0
- Efficiency
- 8.1
- Trustworthiness
- 7.9
-
Data analysis
7.5mid-field
Six criteria
- Accuracy
- 7.8
- Relevance
- 7.0
- Actionability
- 6.8
- Transparency
- 8.2
- Efficiency
- 8.3
- Trustworthiness
- 8.2
-
Decisions under uncertainty
7.9close to the best
Six criteria
- Accuracy
- 8.3
- Relevance
- 7.0
- Actionability
- 7.4
- Transparency
- 8.3
- Efficiency
- 8.4
- Trustworthiness
- 8.3
-
Feedback analysis
7.6close to the best
Six criteria
- Accuracy
- 8.0
- Relevance
- 6.7
- Actionability
- 7.1
- Transparency
- 8.4
- Efficiency
- 8.5
- Trustworthiness
- 8.0
-
Corporate requirements and risks
7.5close to the best
Six criteria
- Accuracy
- 7.8
- Relevance
- 6.7
- Actionability
- 7.0
- Transparency
- 8.2
- Efficiency
- 8.2
- Trustworthiness
- 8.2
-
Automation
7.1close to the best
Six criteria
- Accuracy
- 7.4
- Relevance
- 6.5
- Actionability
- 6.3
- Transparency
- 7.9
- Efficiency
- 8.1
- Trustworthiness
- 7.3
-
People management
7.8close to the best
Six criteria
- Accuracy
- 8.1
- Relevance
- 7.1
- Actionability
- 7.8
- Transparency
- 8.2
- Efficiency
- 8.2
- Trustworthiness
- 8.2
-
Russia and Kazakhstan specifics
7.1mid-field
Six criteria
- Accuracy
- 7.2
- Relevance
- 6.1
- Actionability
- 7.1
- Transparency
- 8.1
- Efficiency
- 7.8
- Trustworthiness
- 7.4
the mark is the best ranked model in that category; the scale is 0–10
If you use it through the API
One benchmark answer costs $0.0024 through the API ($0.1 in / $0.5 out per million tokens).
$0.16 about a month (22 working days)
| Answers a day through the API | about a month (22 working days) |
|---|---|
| 1 | $0.05 |
| 3 | $0.16 |
| 10 | $0.54 |
An estimate from the length of the benchmark answers – not the price of a chat subscription. Your requests and answers may cost differently.
Alternatives
Chosen by a reason that matters, not by a tenth of a point.
-
Same level, opens from Russia without a VPN
group 5–14 of 74 · 7.6 of 10 · opens from Russia without a VPN · API $0.065
Compare: GPT-6 Luna – Qwen 4 Max -
The best model that opens from Russia without a VPN
group 1–4 of 74 · 8.0 of 10 · opens from Russia without a VPN · API $0.15
Compare: GPT-6 Luna – Kimi K3.1 Pro
How the score was made
- Two AI judges (Claude Opus 5.5 and GPT-6.2 Astra) scored every answer on six main criteria, from 1 to 10.
- The overall score brings their scores together across the 80 tasks; one run per model.
- Differences under 0.3 points are treated as one level: the order inside a group means nothing.
- Data as of November 2026; model versions may have changed since.
The two judges’ overall scores for this model: Claude Opus 5.5 7.3, GPT-6.2 Astra 7.6. The published score is their average, with equal weight.
What next
A model from the top group will not fix a vague task
The free first lessons show how to set context and the shape of the answer, and how to check the result on your own work task. The course is in Russian.
Open the free first lessons