← Whole ranking · mysummit.school AI model benchmark
Alibaba
Qwen 4 Max
Strongest in «Decisions under uncertainty» (7.9), weakest in «Automation» (7.2).
- Group
- 5–14 of 74on one level with GPT-6 Luna, Inkling 2 Small, GPT-6.1 Terra and 2 more
- Overall score
- 7.6 of 10
- API price of a test answer
- $0.065
- Data
- November 2026
Where it helps, where to check
This model’s own answers to two benchmark tasks: the opening, the full answer and what both judges noted. One task per category, the same for every model.
Strongest: Decisions under uncertainty · 7.9Monday, 9:15: four fires at once
An outage at the biggest client (31% of revenue), a key manager asking for «a serious talk» and two more urgent situations. Decide within an hour what comes first and what to delegate to whom.
Full task
Today is Monday, 9:15 a.m. I have four situations burning at the same time, and I can't handle all of them simultaneously. I need to decide on priorities within the next hour. Situation 1 – Client incident: Our largest client (31% of ARR) is reporting a failure in the integration with their ERP system. Data has not been syncing since Friday evening. Their COO has already written to our CEO. Technically, the problem, according to the on-call developer, is "solvable in 2–4 hours," but he is the only one who understands this module – and he is currently on vacation (he picks up the phone, but is clearly irritated). Another option is to bring in Marina, a senior developer; she doesn't know this module, but is capable of figuring it out in 6–8 hours. Situation 2 – Personnel crisis: One of our key managers, Pavel, wrote to me on Sunday evening saying "we need to have a serious talk." I know he's being poached by a competitor. If he leaves, we lose the only person who manages three strategic clients and knows their context. He's waiting for my answer by the end of the day. If I don't talk to him today before lunch, he will most likely make his decision without talking to me. Situation 3 – Internal deadline: Today, by 2:00 p.m., I need to submit the quarterly hiring plan to HR – this is blocking the opening of 4 positions already approved by the CEO. If I'm late, the next window is in 3 weeks (HR is going on vacation). The plan itself takes about 2 hours of work. Situation 4 – Product risk: Yesterday an analyst sent me data indicating a potential problem with the accuracy of one of the recommendation algorithms. If the problem is real, it could affect the results for approximately 15% of users. The analyst is not confident in his data ("it could be a bug in the script, or it could be a real problem"). No one outside my team knows about this yet. I have myself, two mid-level managers (one of whom is leading important negotiations with a new client today), and a team of 9 people with varying competencies. Please: 1. Help me build priorities for the next 4 hours – not just by urgency, but taking into account the real cost of delay for each. 2. Which of these should I handle personally, and which can I delegate – and to whom specifically? 3. Situation 4 – how should I make the decision: wait for confirmation of the data, or act on incomplete information? What are the risks of each option? 4. How should I handle the situation with the on-call developer being on vacation – when and how to escalate, and how to avoid burning bridges? 5. Which of the four situations carry systemic risk (that is, will recur again), and what should I do once this day is over?
System line: You are an analytical assistant for managers.
Translated from Russian: the models got the Russian text.
Original in Russian
Сегодня понедельник, 9:15 утра. У меня одновременно горят четыре ситуации, и я не могу заниматься всеми сразу. Мне нужно принять решение о приоритетах в течение следующего часа. Ситуация 1 – Клиентский инцидент: Наш крупнейший клиент (31% ARR) сообщает о сбое в интеграции с их ERP-системой. Данные не синхронизируются с пятницы вечера. Их операционный директор уже написал нашему CEO. Технически проблема, по словам дежурного разработчика, «решаема за 2–4 часа», но он единственный, кто понимает этот модуль – он сейчас в отпуске (берёт трубку, но явно раздражён). Ещё один вариант – привлечь старшего разработчика Марину, она не знает этот модуль, но способна разобраться за 6–8 часов. Ситуация 2 – Кадровый кризис: Один из ключевых менеджеров, Павел, написал мне в воскресенье вечером, что «нужно серьёзно поговорить». Я знаю, что его переманивает конкурент. Если он уйдёт, мы теряем единственного человека, который ведёт три стратегических клиента и знает их контекст. Он ждёт ответа до конца дня. Если я не поговорю с ним сегодня до обеда, скорее всего, он примет решение без разговора со мной. Ситуация 3 – Внутренний дедлайн: Сегодня до 14:00 я должен сдать квартальный план по найму в HR – это блокирует открытие 4 вакансий, которые уже согласованы с CEO. Если опоздаю, следующее окно – через 3 недели (HR уходит в отпуск). Сам план занимает примерно 2 часа работы. Ситуация 4 – Продуктовый риск: Вчера аналитик прислал данные, которые указывают на потенциальную проблему с точностью одного из алгоритмов рекомендаций. Если проблема реальная – это может влиять на результаты примерно 15% пользователей. Аналитик не уверен в своих данных («может быть баг в скрипте, может быть реальная проблема»). Никто за пределами моей команды об этом не знает. У меня есть я, два менеджера среднего звена (один из которых сегодня ведёт важные переговоры с новым клиентом), и команда из 9 человек с разными компетенциями. Пожалуйста: 1. Помоги мне выстроить приоритеты на ближайшие 4 часа – не только по срочности, но с учётом реальной цены каждой задержки. 2. Что из этого я должен делать лично, а что могу делегировать, и кому именно? 3. Ситуация 4 – как мне принять решение: ждать подтверждения данных или действовать на основе неполной информации? Каковы риски каждого варианта? 4. Как мне справиться с ситуацией вокруг дежурного разработчика в отпуске – когда и как эскалировать, и как не сжечь мосты? 5. Какие из четырёх ситуаций несут системный риск (то есть повторятся снова), и что мне стоит сделать после того, как этот день закончится?
Qwen 4 Max
Translated from Russian: the model answered in Russian.
Short conclusion
This isn't four tasks in one queue. It's four tasks that consume different resources – and only one of them requires you personally and cannot be delegated.
- Personally you, irreplaceable: Pavel (the window closes at lunch, the decision is irreversible).
- Launch first, but don't run it personally: the client incident (your input is the first 40 minutes, then it's the coordinator).
- Delegate almost entirely, but don't miss it: the hiring plan (hard deadline 14:00, cheap to execute).
- Buy information, not action: the algorithm (90 minutes to verify, decision at 12:15).
Original in Russian
Короткий вывод
Это не четыре задачи в одной очереди. Это четыре задачи, которые потребляют разные ресурсы – и только одна из них требует лично вас и не подлежит переносу.
- Лично вы,不可替代: Павел (окно закрывается в обед, решение необратимо).
- Запустить первым, но не вести лично: инцидент с клиентом (ваш вклад – первые 40 минут, дальше – координатор).
- Делегировать почти целиком, но не пропустить: план найма (жёсткий порог 14:00, дешёв в исполнении).
- Купить информацию, а не действие: алгоритм (90 минут проверки, решение в 12:15).
Read the full answer · 1,818 words
Short summary
This isn't four tasks in one queue. It's four tasks that consume different resources – and only one of them requires you personally and cannot be delegated.
- Personally you, irreplaceable: Pavel (the window closes at lunch, the decision is irreversible).
- Launch first, but don't run it personally: the client incident (your contribution – the first 40 minutes, then a coordinator).
- Delegate almost entirely, but don't miss it: the hiring plan (hard deadline 14:00, cheap to execute).
- Buy information, not action: the algorithm (90 minutes of checking, decision at 12:15).
The main trap of the morning: spending 9:15–12:00 on the loudest incident and losing Pavel. Loudness ≠ the cost of delay.
1. Priorities by actual cost of delay
| Shape of the loss curve | Reversibility | Do you need to be there personally? | Cost of an hour of delay | |
|---|---|---|---|---|
| Pavel | A cliff edge (a step at lunchtime) | Irreversible | Yes, only you | Loss of 3 strategic clients + a second bus-factor-1 |
| 31% ARR client | Cumulative, worsening | Partially reversible (data can be caught up) | Only 40 min at the start | Damage to the client grows, plus trust; but the engineering work proceeds without you |
| Hiring plan | A step at 14:00 | Reversible, but costly | No (your decisions are needed, not your hands) | 3 weeks × 4 vacancies ≈ a quarter of ramp-up |
| Algorithm | Unknown | Still reversible | No | Could be zero, could be high. First reduce the uncertainty |
Launch order: client → Pavel → hiring → algorithm. Order of your personal hours: Pavel (75 min) → client (40 min) → hiring (40 min) → algorithm (20 min).
The key lever for Situation 1
The client's pain isn't a code bug – it's missing data since Friday. These are two separate tasks:
- Restore the client's operations – manual export/import, queue replay, a temporary workaround. Often done in 1–2 hours and doesn't depend on fixing the module.
- Fix the module – 2–8 hours.
Launch both tracks in parallel. The first question for the developers and the client: "Is the data lost, or simply undelivered? Can it be caught up manually?" If yes – you remove 80% of the client's pain before the code is even fixed.
The second lever: don't choose between the developer and Marina
This is a false dilemma. Marina starts working on it right now, and what you need from the developer on vacation isn't work – it's 40 minutes of navigation ("where to look, where the mines are, how to test the hypothesis"). This typically cuts her 6–8 hours down to 3–4 – and at the same time creates a second knowledge holder, which you currently don't have.
The third lever: check for a common cause
The integration failure has been happening since Friday evening. The anomaly in the recommendations was noticed yesterday. What was deployed on Friday? One hypothesis, verifiable in 10 minutes, could tie Situations 1 and 4 together. Give this question explicitly to Marina and the analyst.
2. Timeline and delegation
9:15–9:30 – launch (6 short messages, no deep work)
- To Pavel (first thing, 9:16): "I got your message. This matters, and I don't want to respond on the fly. I'm holding 11:00–12:15 for you, just you and me. Please wait for the conversation." – His anxiety has been ticking since Sunday; silence until lunch is itself a decision.
- To Manager A (available): "You are the incident coordinator for client X. You own the process, not the relationship. By 10:00: a written status for the client, a manual-workaround plan, a damage estimate. Client updates at 12:00 and 15:00. Escalate to me only if the client talks about money/termination."
- To Marina: "You own fixing the module. Start now, don't wait for anyone. Within the hour you'll get a 40-minute briefing. Write notes as you go – this will become the documentation."
- To the analyst: tasks for Situation 4 (see §3), written verdict by 10:45.
- To HR: "Fill in the hiring-plan template using last quarter's data, gather grade/budget/dates. My decisions will be in the document by 10:45, final by 12:45. Confirm: is 14:00 hard? Would a partial submission hold the window?"
- To Manager B (in negotiations): one line, no action requested: "Fires today, I'm not pulling you in. Negotiations are your only priority. If a decision is needed, write to me, I'll answer within 15 min." Don't draw him in. This is future revenue.
9:30–9:50 – you personally call the developer on vacation (§4). Not a manager, not a group chat.
9:50–10:15 – the client. First, 5 minutes with the CEO (he's already in the thread – brief him and ask him to make a reassurance call to the COO, while you run the fix; this is upward delegation, and it's appropriate here). Then your own call with the COO: acknowledgment, no excuses, a named owner, what we're doing, when the next update is – and the main question: "which of your processes have stopped, and what can we do manually right now?" Don't promise a fix timeline you don't control. Promise a communication rhythm.
10:15–10:45 – hiring plan: only your decisions in the shared document (who, when, priority among 4 vacancies, salary ranges). Everything else is HR's. 30 minutes, not 2 hours.
10:45–11:00 – preparing for the conversation with Pavel. What can you actually offer (money, role, growth area, workload relief)? What can't you offer? What do you do if he's already signed?
11:00–12:15 – Pavel. Phone away. Manager A knows: interrupt only if termination is threatened.
12:15–12:45 – three decisions in a row: the algorithm verdict (§3), the incident status, approval of the client update.
12:45–13:30 – finalizing and submitting the hiring plan. The buffer before 14:00 is 30 minutes.
What you do NOT do today: don't get into the code, don't go to the negotiations, don't investigate the algorithm personally, don't write the plan from scratch, don't run a postmortem.
What changes priorities:
- The client talks about termination/non-payment → you personally go to the client, Pavel shifts to 13:00 (hard deadline – "by end of day," but no later).
- Pavel has already signed → the conversation becomes a managed transition, bring in HR, covering 3 clients becomes task #1 for the week.
- The analyst confirms degradation → pull one engineer (not Marina) onto mitigation.
3. Situation 4: wait or act?
Neither. Buy information in 90 minutes and set the decision rule in advance.
Task for the analyst (9:30–10:45, written by 10:45):
- Can the anomaly be reproduced a different way – raw data, a manual calculation on 100 samples? (This rules out a script bug.)
- When did it start? Does it coincide with Friday's release?
- Is it stable or worsening?
- What are the 15% – which segment, which metric, how large is the deviation?
- Is there a cheap, reversible lever – a flag, a rollback to the simple recommendation, a fallback?
Decision rule (set it now, so there's no arguing at 12:15):
| Verdict | Action |
|---|---|
| Script bug | Close it. Thank the analyst publicly – they did the right thing |
| Confirmed, degradation is real | Enable a reversible mitigation today, handle diagnostics separately. Notify the product owner |
| Not confirmed, but not ruled out; mitigation is cheap and reversible | Mitigate now, investigate later |
| Not confirmed, mitigation is costly/risky | Second gate at 16:00. Don't touch the engineers today |
Risks of each option, honestly:
- Waiting for full confirmation: if the problem is real, damage to 15% of users accumulates silently, and later there's the question "did you know since Sunday?" Plus the analyst may never reach certainty – there may simply not be enough data.
- Acting immediately without checking: on a day when a client worth 31% of ARR is on fire, you'd be pulling engineers in for a possible false alarm; rolling back recommendations can itself worsen metrics; and you'd be teaching the team that every hypothesis = a fire.
- The asymmetry: the cost of cheap, reversible caution is low, the cost of a missed real degradation is high. So the decision isn't "is there a problem," it's "is it cheap to be careful."
Separately: "no one outside the team knows" isn't only about the data. It may mean the analyst doesn't know whom to tell, or at what threshold. Tell them directly: "Reporting a suspicion is the right call, even if you're wrong; I won't treat that as a false alarm." And don't hide it: a short "we're testing a hypothesis, confidence is low" to the product owner is information, not an escalation.
4. The developer on vacation
Diagnose first. He isn't irritated because he's difficult. He's the sole holder of knowledge about a module carrying 31% of revenue, and his vacation is being interrupted. His irritation is data about your system, not about his character. And check the fact: is he formally on call (then this is a legitimate ask) or is his vacation unplanned-for without coverage (then this is your management failure, and the ask should be framed accordingly).
Principles for the call (9:30, you personally):
- Acknowledgment first, then the request. Not the other way around.
- The request is limited and specific: not "fix it," but "40 minutes of navigation so Marina can fix it herself."
- He chooses the time. You hold the hard stop.
- An explicit right to say "no" with no consequences.
- Real compensation: returned vacation days + a bonus/day off. Don't promise what you can't actually approve.
- No guilt-tripping ("31% of ARR rides on you, the company could collapse"). It works once and costs you the relationship.
Roughly like this:
"Hi. I know you're on vacation, and calling you is wrong of me. We've had an integration failure for client X since Friday. I'm not asking you to fix it. Marina has already taken the module and is working through it herself. What I need is 40 minutes of your attention: where to look, where the mines are, how to test things. Tell me when works for you today – or say 'no,' and I won't hold it against you, we'll take the long road. Your vacation days will be returned, and separately I'll address the fact that you ended up being the single point of failure at all – that's my mistake, not yours."
Escalation ladder:
- 9:30 – the ask above.
- He doesn't pick up → one message, wait 30 minutes. Don't call five times.
- Refusal or silence by 10:15 → go the full Marina route (6–8 hrs) + ask for a 5-minute voice note on "where the mines are" (a much smaller intrusion, often agreed to). Be honest with the client: the timeline is longer. The manual workaround becomes the main lever.
- Only if the damage is catastrophic and he's the sole path → formal decision via his manager/CTO: an emergency arrangement, paid, documented. Last resort: this turns a favor into a requirement.
- Never escalate through the CEO to pressure the developer. The CEO is for the client.
How not to burn bridges: after the incident – public thanks, a real reward, and above all: show him that within a month the module will have a second owner and a normal on-call rotation. A genuine apology means removing the reason he had to pick up the phone in the first place.
5. Systemic risks: all four
| Situation | The real breakage | What to do afterward |
|---|---|---|
| 1. Client | Bus factor = 1 on a module carrying 31% of ARR. The integration broke on Friday – found out on Monday. No vacation coverage. No incident-communication protocol | Map of owners and a bus-factor audit across all top-revenue dependencies. Monitoring of sync lag + alerting (the client shouldn't find out before you do). A vacation/on-call policy. An incident-commander role + status templates. Paid knowledge-transfer sessions |
| 2. Pavel | Bus factor = 1 on relationships with 3 strategic clients. The retention risk became visible Sunday evening – meaning there's no early-warning system | A second owner on every strategic account. Documented account context. Regular stay interviews (quarterly, not at resignation). A compensation review against market |
| 3. Hiring | One HR person's vacation creates a three-week gap; a two-hour artifact blocks 4 approved vacancies | A rolling hiring plan instead of a quarterly scramble. Delegated preparation. A backup approver. A "good enough and on time" rule instead of "perfect and late" |
| 4. Algorithm | No trusted metrics pipeline: the analyst can't distinguish a script bug from reality. And no clear norm for "who to tell about a suspicion" | Metric definitions + tests and reproducible calculations. Data-quality monitors. An explicit escalation protocol for suspicions, with a low threshold and no punishment for false alarms. A documented rule for acting under incomplete information |
The meta-risk that matters more than all four: the single point of failure in this system is you. Only you can talk to Pavel, only you to the client, only you to the developer. Four fires at once on a Monday morning isn't bad luck – it's accumulated organizational debt: no coverage, no monitoring, no early signals, no deputies.
Three things for the next two weeks, if you do only these:
- A second owner for every critical module and every strategic client (this fixes both #1 and #2).
- Monitoring of integrations and data quality with alerting (fixes "found out on Monday" and "the analyst isn't sure").
- Manager A as a standing incident commander and deputy for operational decisions – so that next time a Monday like this happens, you can spend it entirely with Pavel.
What to do today at 13:30, in 15 minutes: write down the timeline and decisions across all four tracks while you still remember. The postmortem is on Friday, not today. But the material for it disappears by evening.
Original in Russian
Короткий вывод
Это не четыре задачи в одной очереди. Это четыре задачи, которые потребляют разные ресурсы – и только одна из них требует лично вас и не подлежит переносу.
- Лично вы,不可替代: Павел (окно закрывается в обед, решение необратимо).
- Запустить первым, но не вести лично: инцидент с клиентом (ваш вклад – первые 40 минут, дальше – координатор).
- Делегировать почти целиком, но не пропустить: план найма (жёсткий порог 14:00, дешёв в исполнении).
- Купить информацию, а не действие: алгоритм (90 минут проверки, решение в 12:15).
Главная ловушка утра: потратить 9:15–12:00 на самый громкий инцидент и потерять Павла. Громкость ≠ цена задержки.
1. Приоритеты по реальной цене задержки
| Форма кривой потерь | Обратимость | Нужны лично вы? | Цена часа задержки | |
|---|---|---|---|---|
| Павел | Обрыв (ступенька в обед) | Необратимо | Да, только вы | Потеря 3 стратегических клиентов + второй bus-factor-1 |
| Клиент 31% ARR | Накопительная, усугубляется | Частично обратима (данные можно догнать) | Только 40 мин в начале | Растёт ущерб у клиента + доверие; но инженерная работа идёт без вас |
| План найма | Ступенька в 14:00 | Обратима, но дорого | Нет (нужны ваши решения, не ваши руки) | 3 недели × 4 вакансии ≈ квартал рампы |
| Алгоритм | Неизвестна | Пока обратима | Нет | Может быть 0, может быть высокой. Сначала снизить неопределённость |
Порядок запуска: клиент → Павел → найм → алгоритм. Порядок ваших личных часов: Павел (75 мин) → клиент (40 мин) → найм (40 мин) → алгоритм (20 мин).
Ключевой рычаг по ситуации 1
Боль клиента – не баг в коде, а отсутствие данных с пятницы. Это две разные задачи:
- Восстановить операции клиента – ручной выгрузка/импорт, replay очереди, временный обход. Часто делается за 1–2 часа и не зависит от починки модуля.
- Починить модуль – 2–8 часов.
Запустите оба трека параллельно. Первый вопрос разработчикам и клиенту: «данные потеряны или просто не доставлены? можно ли их догнать вручную?» Если да – вы снимаете 80% боли клиента до того, как починен код.
Второй рычаг: не выбирайте между разработчиком и Мариной
Это ложная развилка. Марина начинает разбираться прямо сейчас, а от разработчика в отпуске вам нужна не работа, а 40 минут навигации («где смотреть, где мины, как проверить гипотезу»). Это обычно сокращает её 6–8 часов до 3–4 – и одновременно создаёт второго носителя знания, которого у вас нет.
Третий рычаг: проверьте общую причину
Сбой интеграции – с пятницы вечера. Аномалия в рекомендациях – замечена вчера. Что деплоили в пятницу? Одна гипотеза, проверяется за 10 минут, может объединить ситуации 1 и 4. Дайте этот вопрос Марине и аналитику явно.
2. Таймлайн и делегирование
9:15–9:30 – запуск (6 коротких сообщений, без глубокой работы)
- Павлу (первым делом, 9:16): «Получил твоё сообщение. Это важно, не хочу отвечать на бегу. Держу для тебя 11:00–12:15, только ты и я. Пожалуйста, дождись разговора». – Его тревога тикает с воскресенья; молчание до обеда само по себе решение.
- Менеджеру А (свободному): «Ты – координатор инцидента по клиенту X. Владелец процесса, не владелец отношений. К 10:00: письменный статус клиенту, план ручного обхода, оценка ущерба. Обновления клиенту в 12:00 и 15:00. Ко мне эскалируешь только если клиент говорит о деньгах/расторжении».
- Марине: «Ты владелец починки модуля. Начинай сейчас, не жди никого. В течение часа получишь 40 минут вводной. Пиши заметки по ходу – это будет документация».
- Аналитику: задачи по ситуации 4 (см. §3), вердикт письменно к 10:45.
- HR: «Заполни шаблон плана найма по прошлому кварталу, собери грейд/бюджет/даты. Мои решения будут в документе к 10:45, финал в 12:45. Подтверди: 14:00 – жёстко? частичная сдача держит окно?»
- Менеджеру Б (на переговорах): одна строка, без запроса действий: «Сегодня пожары, тебя не трогаю. Переговоры – твой единственный приоритет. Если понадобится решение – пиши, отвечу в течение 15 мин». Не втягивайте его. Это будущая выручка.
9:30–9:50 – вы лично звоните разработчику в отпуске (§4). Не менеджер, не групповой чат.
9:50–10:15 – клиент. Сначала 5 минут CEO (он уже в переписке – дайте ему брифинг и попросите его сделать звонок успокоения COO, пока вы ведёте починку; это делегирование вверх, и оно уместно). Затем ваш звонок COO: признание, без оправданий, названный владелец, что делаем, когда следующее обновление – и главный вопрос: «какие ваши процессы встали и что мы можем сделать вручную прямо сейчас?» Не обещайте срок починки, который не контролируете. Обещайте ритм связи.
10:15–10:45 – план найма: только ваши решения в общем документе (кого, когда, приоритет 4 вакансий, вилки). Остальное – HR. 30 минут, не 2 часа.
10:45–11:00 – подготовка к разговору с Павлом. Что вы реально можете дать (деньги, роль, зона роста, разгрузка)? Что не можете? Что делаете, если он уже подписал?
11:00–12:15 – Павел. Телефон убран. Менеджер А знает: прерывать только при угрозе расторжения.
12:15–12:45 – три решения подряд: вердикт по алгоритму (§3), статус инцидента, утверждение обновления клиенту.
12:45–13:30 – финал и сдача плана найма. Буфер до 14:00 – 30 минут.
Чего вы сегодня НЕ делаете: не лезете в код, не идёте на переговоры, не расследуете алгоритм лично, не пишете план с нуля, не проводите постмортем.
Что меняет приоритеты:
- Клиент говорит о расторжении/неоплате → вы лично в клиент, Павел сдвигается на 13:00 (крайний срок – «до конца дня», но не позже).
- Павел уже подписал → разговор превращается в управляемый переход, подключаете HR, покрытие 3 клиентов становится задачей №1 на неделю.
- Аналитик подтверждает деградацию → снимаете одного инженера (не Марину) на смягчение.
3. Ситуация 4: ждать или действовать?
Ни то, ни другое. Купить информацию за 90 минут и заранее определить правило решения.
Задание аналитику (9:30–10:45, письменно к 10:45):
- Воспроизводится ли аномалия другим способом – сырые данные, ручной расчёт на 100 примерах? (Это отсекает баг скрипта.)
- Когда началась? Совпадает ли с релизом пятницы?
- Стабильна или ухудшается?
- Какие 15% – какой сегмент, какая метрика, насколько велико отклонение?
- Есть ли дешёвый обратимый рычаг – флаг, откат к простой рекомендации, fallback?
Правило решения (принять сейчас, чтобы в 12:15 не спорить):
| Вердикт | Действие |
|---|---|
| Баг скрипта | Закрыть. Поблагодарить аналитика публично – он сделал правильно |
| Подтверждено, деградация реальна | Включить обратимое смягчение сегодня, диагностику – отдельно. Уведомить продакт-владельца |
| Не подтверждено, но и не исключено; смягчение дешёвое и обратимое | Смягчить сейчас, разбираться потом |
| Не подтверждено, смягчение дорогое/рискованное | Второй гейт в 16:00. Не трогать инженеров сегодня |
Риски вариантов, честно:
- Ждать полного подтверждения: если проблема реальна, ущерб 15% пользователей копится молча, и потом добавится вопрос «вы знали с воскресенья?». Плюс аналитик может никогда не достичь уверенности – данных может не хватать.
- Действовать сразу без проверки: в день, когда горит клиент на 31% ARR, вы дёргаете инженеров на возможную ложную тревогу; откат рекомендаций сам может ухудшить метрики; и вы обучаете команду, что любая гипотеза = пожар.
- Асимметрия: цена дешёвого обратимого смягчения мала, цена пропущенной реальной деградации – велика. Поэтому решайте не «есть ли проблема», а «дёшево ли перестраховаться».
Отдельно: «никто за пределами команды не знает» – это не только про данные. Это может значить, что аналитик не знает, кому и с каким порогом сообщать. Скажите ему прямо: «сообщать о подозрении – правильно, даже если ошибёшься; я не буду считать это ложной тревогой». И не скрывайте: короткое «проверяем гипотезу, уверенность низкая» продакт-владельцу – это информация, а не эскалация.
4. Разработчик в отпуске
Сначала диагноз. Он раздражён не потому, что вредный. Он – единственный носитель знания о модуле, на котором висит 31% выручки, и его отпуск нарушают. Его раздражение – это данные о вашей системе, а не о его характере. И проверьте факт: он формально на дежурстве (тогда это законная просьба) или отпуск согласован без покрытия (тогда это ваш управленческий провал, и просить нужно соответственно).
Принципы звонка (9:30, лично вы):
- Сначала признание, потом просьба. Не наоборот.
- Просьба ограниченная и конкретная: не «почини», а «40 минут навигации, чтобы Марина смогла починить сама».
- Он выбирает время. Вы держите жёсткий стоп.
- Явное право сказать «нет» без последствий.
- Реальная компенсация: возврат дней отпуска + премия/отгул. Не обещайте того, что не можете утвердить.
- Никакого давления через вину («на тебе 31% ARR, компания погибнет»). Это работает один раз и стоит вам отношений.
Примерно так:
«Привет. Знаю, что ты в отпуске, и звонить тебе – неправильно. У нас сбой интеграции у X с пятницы. Я не прошу тебя чинить. Марина уже взяла модуль и разбирается сама. Мне нужно 40 минут твоей головы: куда смотреть, где мины, как проверить. Скажи, когда тебе удобно сегодня – или скажи «нет», и я не обижусь, мы пойдём длинным путём. Дни отпуска вернём, и я отдельно закрою то, что ты вообще оказался единственной точкой отказа – это моя ошибка, не твоя.»
Лестница эскалации:
- 9:30 – просьба выше.
- Не берёт → одно сообщение, ждать 30 минут. Не звонить пять раз.
- Отказ или тишина к 10:15 → полный путь Марины (6–8 ч) + просьба о 5-минутном голосовом «где мины» (несравнимо меньшее вторжение, часто соглашаются). Клиенту честно: срок больше. Ручной обход становится главным средством.
- Только если ущерб катастрофический и он – единственный путь → формальное решение через его руководителя/CTO: аварийный режим, оплачиваемый, задокументированный. Последнее средство: это превращает одолжение в принуждение.
- Никогда не эскалируйте через CEO, чтобы надавить на разработчика. CEO – для клиента.
Как не сжечь мосты: после инцидента – публичная благодарность, реальная награда, и главное: покажите ему, что через месяц у модуля будет второй владелец и нормальное дежурство. Настоящее извинение – это устранение причины, по которой ему пришлось брать трубку.
5. Системные риски: все четыре
| Ситуация | Настоящая поломка | Что сделать после |
|---|---|---|
| 1. Клиент | Bus factor = 1 на модуле с 31% ARR. Интеграция сломалась в пятницу – узнали в понедельник. Нет покрытия отпусков. Нет протокола коммуникации при инциденте | Карта владельцев и аудит bus-factor по всем зависимостям топ-выручки. Мониторинг лага синхронизации + алерт (клиент не должен узнавать раньше вас). Политика дежурств/отпусков. Роль incident commander + шаблоны статусов. Оплачиваемые сессии передачи знаний |
| 2. Павел | Bus factor = 1 на отношениях с 3 стратегическими клиентами. Риск удержания стал виден в воскресенье вечером – то есть системы раннего сигнала нет | Второй владелец на каждом стратегическом аккаунте. Записанный контекст аккаунтов. Регулярные stay-интервью (раз в квартал, не при увольнении). Обзор компенсаций против рынка |
| 3. Найм | Отпуск одного HR создаёт трёхнедельный обрыв; двухчасовой артефакт блокирует 4 согласованные вакансии | Скользящий план найма вместо квартального авралa. Делегированная подготовка. Заместитель-утверждающий. Правило «достаточно хорошо и вовремя» вместо «идеально и поздно» |
| 4. Алгоритм | Нет доверенного контура метрик: аналитик не может отличить баг скрипта от реальности. И нет ясной нормы «кому сообщать о подозрении» | Определения метрик + тесты и воспроизводимость расчётов. Мониторы качества данных. Явный протокол эскалации подозрений с низким порогом и без наказания за ложную тревогу. Записанное правило действия при неполной информации |
Мета-риск, который важнее всех четырёх: единственная точка отказа в этой системе – вы. Только вы можете говорить с Павлом, только вы – с клиентом, только вы – с разработчиком. Четыре пожара одновременно в понедельник утром – не неудача, а накопленный организационный долг: отсутствие покрытия, отсутствие мониторинга, отсутствие ранних сигналов, отсутствие заместителей.
Три вещи на ближайшие две недели, если сделаете только их:
- Второй владелец на каждом критичном модуле и каждом стратегическом клиенте (это лечит и №1, и №2).
- Мониторинг интеграций и качества данных с алертами (лечит «узнали в понедельник» и «аналитик не уверен»).
- Менеджер А как постоянный incident commander и заместитель по операционным решениям – чтобы следующий такой понедельник вы могли провести целиком с Павлом.
Что сделать сегодня в 13:30, за 15 минут: записать хронологию и решения по всем четырём трекам, пока помните. Постмортем – в пятницу, не сегодня. Но материал для него исчезает к вечеру.
What the judges noted
Claude Opus 5.5 · this answer: 8.6 of 10
This is a strong, practitioner-level answer. It correctly identifies Pavel as the irreversible, personally owned priority, separates launch order from the manager's personal time, and gives ready-made messages, scripts and decision rules. The systemic-risk analysis is insightful, including the observation that the manager is the single point of failure. It loses points for a few missed checklist specifics (reporting cadence, client SLA, guardrail metrics, signal-triage protocol), a later-than-ideal slot for Pavel, and language glitches including a stray Chinese phrase.
- Strong: Clear cost-of-delay framework based on irreversibility and loss-curve shape, with Pavel prioritised for personal attention
- Weak: Conversation with Pavel scheduled at 11:00–12:15, which is riskier than an early slot given his deadline
GPT-6.2 Astra · this answer: 7.6 of 10
The response gives a manager a useful way to start four workstreams without personally taking over all four. Its strongest advice concerns client communication and reversible action under uncertainty. The plan would be more dependable if it protected the pre-lunch conversation with Pavel, confirmed delegated capacity, and treated the proposed workaround and faster repair as hypotheses rather than expected outcomes.
- Strong: Separates the order for launching work from the order for spending the manager's personal time.
- Weak: Uses unsupported numerical estimates for workaround impact and repair acceleration.
The score is for this one answer, not the model’s overall result.
Weakest: Automation · 7.2Automate approving partner applications
A senior manager spends two hours a day reviewing partner applications. The formal criteria can be checked through APIs, but real decisions seem more complex. How to automate it without losing what matters?
Full task
I want to fully automate the process of checking and approving incoming applications from partners. Right now this is handled by one of the senior managers – it takes about 2 hours a day. The process looks like this: an application arrives by email or through a form on the website, the manager looks at the partner company, assesses its profile, checks several internal criteria, and either approves it, sends it back for revision, or rejects it. The formal criteria for approval are as follows: the company has been registered for more than two years, revenue is above a threshold value, there are no outstanding debts according to our data, and the business's field of activity is not on the exclusion list. All of this can be checked automatically via the API of several counterparty verification services. But I suspect the real decisions are more complex. The manager sometimes approves applications from companies that formally do not pass the criteria – because he knows their history, because they are strategically important, or because the director personally asked. And conversely, he rejects partners who formally qualify, because he senses something suspicious in the application. I need your honest assessment: what here can realistically be automated, and what cannot? If we go ahead with automation, which architecture should we choose – full autopilot, or a hybrid where routine tasks are automated while non-standard cases go to a human? How do we separate one from the other? And what risks do I take on if I over-automate this process – what could go wrong unnoticeably?
System line: You are an assistant for training and development for managers.
Translated from Russian: the models got the Russian text.
Original in Russian
Хочу полностью автоматизировать процесс проверки и одобрения входящих заявок от партнеров. Сейчас этим занимается один из старших менеджеров – тратит примерно 2 часа в день. Процесс выглядит так: приходит заявка по email или через форму на сайте, менеджер смотрит на компанию-партнера, оценивает её профиль, проверяет несколько внутренних критериев и либо одобряет, либо отправляет на доработку, либо отклоняет. Формальные критерии для одобрения такие: компания зарегистрирована более двух лет, выручка выше порогового значения, нет открытых долгов по нашим данным, тематика бизнеса не входит в список исключений. Всё это можно проверить автоматически через API нескольких сервисов проверки контрагентов. Но я подозреваю, что реальные решения сложнее. Менеджер иногда одобряет заявки от компаний, которые формально не проходят по критериям, – потому что знает их историю, потому что они стратегически важны, или потому что директор лично попросил. И наоборот – отклоняет формально подходящих партнеров, потому что чувствует что-то подозрительное в заявке. Мне нужна твоя честная оценка: что здесь реально поддается автоматизации, а что нет? Если делать автоматизацию, то какую архитектуру выбрать – полный автопилот, или гибрид где рутина автоматизирована, а нестандартные случаи идут к человеку? Как отделить одно от другого? И какие риски я несу, если переавтоматизирую этот процесс – что может пойти не так незаметно?
Qwen 4 Max
Translated from Russian: the model answered in Russian.
The main conclusion you may not like
Right now you don't know your own approval policy. Formal criteria are described, but you yourself suspect that actual decisions are made by different rules. As long as that is the case, full autopilot is impossible not technically, but logically: you would be automating a document that doesn't match the practice. The system will begin consistently applying rules that your business doesn't actually follow – and it will do so quickly, at scale, and with an apparently flawless result.
Original in Russian
Главный вывод, который вам может не понравиться
Сейчас вы не знаете собственную политику одобрения. Формальные критерии описаны, но вы сами подозреваете, что реальные решения принимаются по другим правилам. Пока это так, полный автопилот невозможен не технически, а логически: вы автоматизируете документ, который не соответствует практике. Система начнёт последовательно применять правила, которых ваш бизнес фактически не придерживается – и сделает это быстро, масштабируемо и с виду безупречно.
Read the full answer · 1,316 words
The main conclusion you might not like
Right now, you don't know your own approval policy. Formal criteria are described, but you yourself suspect that real decisions are made by different rules. As long as this is the case, full autopilot is impossible – not technically, but logically: you would be automating a document that doesn't match actual practice. The system will start consistently applying rules that your business doesn't actually follow – and it will do this quickly, scalably, and with a flawless appearance.
Second: don't rush to classify "manager's intuition" as valuable tacit knowledge. Part of its deviation from formal criteria is probably genuine expertise. Part is bias, fatigue, personal relationships, and pressure from above. You can distinguish one from the other only by outcomes, not by narratives. This is a key fork in the road, and it must be resolved before any design work begins.
What is actually being automated here
Four different types of knowledge are mixed together in this process, and they are automated with varying degrees of success.
1. Formal verifiable facts (registration age, revenue, debts, blacklist). Fully automatable – but with caveats that usually kill such projects: legal entity matching (TIN (ИНН) vs. name, corporate groups, reorganizations), a 12–18 month reporting lag on revenue, API data coverage and freshness. Separately: "no data" ≠ "no debts." This is the most common silent error in such systems.
2. Unwritten but codifiable rules ("these are strategically important," "we've worked with them for 5 years"). Automatable through explicit attributes: whitelist, strategic partner flag, CRM history. But someone must become the owner of this rule and sign off on it. As long as it lives only in a manager's head, it isn't automated – it will simply disappear.
3. Genuine weak-signal recognition ("something suspicious about this application"). Partially translatable into a checklist of indicators, the rest – not. This is adaptive defense against something that changes: fraud schemes adapt to any fixed rules. A static engine is a stationary target.
4. "The director asked for it." This is not a judgment call and not an automation task. This is a management defect. Such a decision must exist as an explicit, named, logged exception channel with the author identified. It cannot be removed; hiding it inside "manager's discretion" is harmful.
Separately: break down these 2 hours into operations, not decisions. Reading letters, searching for missing documents, correspondence, reconciling data from three services, drafting responses – this is likely more than half the time, and it is automatable independently of decision logic. Automate the preparation of a decision before automating the decision itself.
What to do before building anything
4–6 weeks of instrumentation, without a single line of production code:
- For each application, record: the result of formal criteria, the actual decision, the reason for deviating from the formal result – in one line, free-form text.
- Retrospectively review 200–500 past decisions.
- Link approved partners to outcomes: who actually worked out, who caused problems, who turned out to be a fraud, who dropped off.
- Give 30 identical cases to two people independently and measure the discrepancy. This is your ceiling for rule reproducibility.
You will get the key number for the project – the rate of discrepancy between formal policy and actual practice. If it's 5%, a hybrid is easy to build. If it's 40%, your formal criteria are fictitious, and you need to rewrite the policy first, not automate it.
And you will find out whether the manager's intuition adds value. If his exceptions predict bad outcomes – this is expertise, and it should be preserved and scaled. If they predict nothing – the problem isn't automation, it's management, and autopilot will be an improvement here.
Architecture: a hybrid, but a concrete one
Not "a human looks at low model confidence" – that's a slogan, not a design. A working scheme is routing across three lanes with asymmetry between approval and rejection:
| Layer | What it does | Risk |
|---|---|---|
| Intake | Normalization, deduplication, completeness check, auto-request for missing items | Zero |
| Enrichment | API + explicit data status: fresh / stale / not found / ambiguous match | Fail-closed on gaps |
| Rules | Deterministic engine, versioned | Medium |
| Routing | Auto-approval / auto-rejection / human queue | All the risk is here |
| Exceptions | Named channel for strategic and director-level decisions, with a log and review deadline | Managed |
| Feedback | Outcomes, monthly rule calibration | – |
Auto-approval – a narrow lane: all criteria passed on fresh data, no flags, low stakes (small partner, small credit exposure).
Auto-rejection – only for hard, verifiable disqualifiers (blacklist, liquidation, sanctions). Everything else is "rejection prepared, human confirms." The reason for this asymmetry is explained below.
Human queue – not a "raw application," but a ready-made dossier: data, triggered criteria, recommendation, rationale, a specific question to answer. The goal is 3 minutes instead of 20. This is where the main time savings happen, with almost zero risk.
How to draw the line: five questions
Automate fully only if the answer to all five is "yes":
- Is the rule written down, and do two people apply it identically?
- Is the input data reliable, fresh, and unambiguously matched?
- Is the error reversible and cheap?
- Is the error detectable?
- Does the rule have an owner willing to be accountable for it?
The fourth question is the most important and the most often skipped. A false approval you will detect: the partner will show up and cause a problem. A false rejection you will never detect: a good partner will go to a competitor and won't write to you. That's why auto-rejection is always more dangerous than auto-approval, even though intuitively it seems the opposite.
What will go wrong silently
This is your main concern, and here is the honest list:
Silent false rejections. No complaint, no signal, no metric. The only cure is to force it: a random sample of rejections for manual review, an appeal channel, a "second look" queue.
Data source degradation. The API changes its schema, coverage drops, the cache goes stale – and the system keeps cheerfully returning "no debts," because the request is silently failing. Canary checks are mandatory: a known-delinquent and a known-clean company in the daily run. And the "not found" rate should be a first-class metric, not a technical log entry.
Goodhart's Law. Partners and intermediaries will learn the thresholds. Revenue will turn out just above the threshold, debt will migrate to an affiliated entity, a company will re-register. A criterion that becomes a target stops being a measurement.
Disappearance of the exception channel. It won't vanish – it will go underground. The director will call directly, a partner will be onboarded around the system, a manager will stop flagging strategic cases because "the system decided." You will lose both the flexibility and its paper trail.
Deskilling. The senior manager stops seeing the full flow and loses their trained eye. When the system fails, there will be no one left to judge. And the pipeline for growing the next generation of senior managers dies too: this process was not only work but also training. Keep a rotation and a calibration sample where a human reviews random cases, including ones resolved automatically.
Degeneration of human-in-the-loop. The most insidious one. The human starts rubber-stamping "approved" in 8 seconds. You end up with a full autopilot plus extra delay and a fake audit trail. Monitor the rate of overrides and time per case; secretly mix in known-bad cases and see if the human catches them. If they don't – your hybrid doesn't actually exist.
Diffusion of accountability. "The system rejected it" – and a partner's complaint has no owner. Every routing lane must have a named owner.
Illusion of throughput. You will start approving faster, but onboarding and operations will hit a ceiling. Quality will slip wherever you're not looking.
Dashboard and rollback conditions
Define before launch: the rate of discrepancy with formal policy, the rate and direction of overrides, time per case, the "data not found" rate, the appeal rate and its success rate, outcomes for "auto" vs. "human" cohorts, drift in the overall approval rate, the catch rate for planted control cases. And set numerical thresholds in advance at which autopilot switches back to manual mode. Without this, you'll be debating a rollback at the moment you've already lost money.
People: what usually breaks such projects
The senior manager is the owner of the knowledge you need to extract. Make them the author of the rules, not the object of downsizing. Otherwise you'll get sabotage, formal compliance, and loss of knowledge.
Don't extract knowledge by asking "what are your criteria" – you'll just get back a formal list. What works: walking through 20 real cases out loud, contrasting pairs ("why is this one a yes, but a similar one a no"), the critical incident method ("recall a time you made a serious mistake").
And explicitly design the new role: from application processor to calibrator, auditor, and exception handler. These are different skills: working with data, writing rules, sample auditing. They need to be deliberately developed; they won't appear on their own.
A realistic assessment
Time: 60–80% savings are achievable, mainly from decision preparation and correspondence, not from the automatic decision itself. Decisions: the share of full autopilot is determined by your discrepancy number – probably 40–70% of the flow, mostly simple approvals.
I do not recommend full autopilot, for four reasons: you don't yet know your real policy; rejection errors are invisible; the strategic channel is legitimate and must remain; fraud adapts to static rules.
And reframe the business case. 2 hours a day is roughly 0.25 FTE – a fairly modest saving. The real value here is consistency, reproducibility, auditability, and removing dependence on a single person. If you sell the project as "we'll save 2 hours," you'll get a cheap autopilot that quietly breaks the partner funnel. If you sell it as "we finally know by what rules we take on partners" – you'll get both time and manageability.
Original in Russian
Главный вывод, который вам может не понравиться
Сейчас вы не знаете собственную политику одобрения. Формальные критерии описаны, но вы сами подозреваете, что реальные решения принимаются по другим правилам. Пока это так, полный автопилот невозможен не технически, а логически: вы автоматизируете документ, который не соответствует практике. Система начнёт последовательно применять правила, которых ваш бизнес фактически не придерживается – и сделает это быстро, масштабируемо и с виду безупречно.
Второе: не спешите записывать «интуицию менеджера» в ценное неявное знание. Часть его отклонений от формальных критериев – вероятно, настоящая экспертиза. Часть – предвзятость, усталость, личные отношения и давление сверху. Отличить одно от другого можно только по исходам, а не по рассказам. Это ключевая развилка, и её нужно пройти до проектирования.
Что здесь действительно автоматизируется
В процессе смешаны четыре разных типа знания, и они автоматизируются с разной степенью успеха.
1. Формальные проверяемые факты (возраст регистрации, выручка, долги, стоп-лист). Автоматизируются полностью – но с оговорками, которые обычно и убивают проект: совпадение юрлица (ИНН vs. название, группы компаний, реорганизации), лаг отчётности по выручке в 12–18 месяцев, покрытие и свежесть данных API. Отдельно: «нет данных» ≠ «нет долгов». Это самая частая тихая ошибка в таких системах.
2. Неписаные, но кодируемые правила («эти стратегически важны», «с ними работали 5 лет»). Автоматизируются через явные атрибуты: whitelist, флаг стратегического партнёра, история в CRM. Но кто-то должен стать владельцем этого правила и подписаться под ним. Пока оно живёт в голове менеджера, оно не автоматизируется – оно просто исчезнет.
3. Настоящее распознавание слабых сигналов («что-то подозрительное в заявке»). Частично переводится в чек-лист признаков, остаток – нет. Это адаптивная защита от того, что меняется: мошеннические схемы подстраиваются под любые фиксированные правила. Статичный движок – это стационарная мишень.
4. «Директор попросил». Это не суждение и не задача автоматизации. Это дефект управления. Такое решение должно существовать как явный, именной, логируемый канал исключения с указанием автора. Убрать его нельзя, спрятать внутри «усмотрения менеджера» – вредно.
Отдельно: разложите эти 2 часа на операции, а не на решения. Чтение писем, поиск недостающих документов, переписка, сведение данных из трёх сервисов, формулирование ответа – это, скорее всего, больше половины времени, и это автоматизируется независимо от логики решения. Автоматизируйте подготовку решения раньше, чем само решение.
Что сделать до того, как что-то строить
4–6 недель инструментирования, без единой строчки продакшн-кода:
- По каждой заявке фиксируйте: результат формальных критериев, фактическое решение, причину отклонения от формального результата – одной строкой, свободным текстом.
- Разберите ретроспективно 200–500 прошлых решений.
- Свяжите одобренных партнёров с исходами: кто реально работал, кто принёс проблемы, кто оказался мошенником, кто отвалился.
- Дайте 30 одинаковых кейсов двум людям независимо и измерьте расхождение. Это ваш потолок воспроизводимости правил.
Вы получите главную цифру проекта – долю расхождения между формальной политикой и фактической. Если это 5%, гибрид строится легко. Если 40%, ваши формальные критерии фиктивны, и сначала надо переписать политику, а не автоматизировать.
И вы узнаете, добавляет ли интуиция менеджера ценность. Если его исключения предсказывают плохие исходы – это экспертиза, её надо сохранять и масштабировать. Если не предсказывают ничего – проблема не в автоматизации, а в управлении, и автопилот здесь будет улучшением.
Архитектура: гибрид, но конкретный
Не «человек смотрит на низкую уверенность модели» – это лозунг, а не дизайн. Работающая схема – маршрутизация по трём коридорам с асимметрией между одобрением и отказом:
| Слой | Что делает | Риск |
|---|---|---|
| Приём | Нормализация, дедупликация, проверка комплектности, автозапрос недостающего | Нулевой |
| Обогащение | API + явный статус данных: свежо / устарело / не найдено / неоднозначное совпадение | Fail-closed при пробелах |
| Правила | Детерминированный движок, версионируемый | Средняя |
| Маршрутизация | Авто-одобрение / авто-отказ / очередь к человеку | Здесь весь риск |
| Исключения | Именной канал стратегических и директорских решений с логом и сроком пересмотра | Управляемый |
| Обратная связь | Исходы, ежемесячная калибровка правил | – |
Авто-одобрение – узкий коридор: все критерии пройдены на свежих данных, нет флагов, низкая ставка (малый партнёр, малая кредитная экспозиция).
Авто-отказ – только по жёстким верифицируемым дисквалификаторам (стоп-лист, ликвидация, санкции). Всё остальное – «отказ подготовлен, человек подтверждает». Причина асимметрии ниже.
Очередь к человеку – не «заявка», а готовое досье: данные, сработавшие критерии, рекомендация, обоснование, конкретный вопрос, на который надо ответить. Цель – 3 минуты вместо 20. Именно здесь основная экономия времени при почти нулевом риске.
Как проводить границу: пять вопросов
Автоматизируйте полностью, только если на все пять ответ «да»:
- Правило записано, и два человека применяют его одинаково?
- Входные данные надёжны, свежи и однозначно сопоставлены?
- Ошибка обратима и дешева?
- Ошибка обнаруживаема?
- У правила есть владелец, готовый за него отвечать?
Четвёртый вопрос – самый важный и самый пропускаемый. Ложное одобрение вы обнаружите: партнёр придёт и создаст проблему. Ложный отказ вы не обнаружите никогда: хороший партнёр уйдёт к конкуренту и не напишет вам. Поэтому авто-отказ всегда опаснее авто-одобрения, хотя интуитивно кажется наоборот.
Что пойдёт не так незаметно
Это ваш главный вопрос, и вот честный список:
Тихие ложные отказы. Нет жалобы, нет сигнала, нет метрики. Лечится только принудительно: случайная выборка отказов на ручной пересмотр, канал апелляции, очередь «второго взгляда».
Деградация источников данных. API меняет схему, покрытие падает, кэш устаревает – система продолжает бодро возвращать «долгов нет», потому что запрос молча падает. Обязательны канареечные проверки: заведомо должная и заведомо чистая компания в ежедневном прогоне. И метрика «доля not found» как первоклассный показатель, а не технический лог.
Закон Гудхарта. Партнёры и посредники выучат пороги. Выручка окажется чуть выше порога, долг переедет на аффилированное лицо, компания перерегистрируется. Критерий, ставший целью, перестаёт быть измерением.
Исчезновение канала исключений. Он не исчезнет – он уйдёт в подполье. Директор позвонит напрямую, партнёр заведётся мимо системы, менеджер перестанет помечать стратегические кейсы, потому что «система решила». Вы потеряете и гибкость, и её след в учёте.
Обесквалификация. Старший менеджер перестаёт видеть весь поток и теряет насмотренность. Когда система даст сбой, судить будет некому. И умирает конвейер выращивания следующих старших менеджеров: этот процесс был не только работой, но и обучением. Оставьте ротацию и калибровочную выборку, где человек разбирает случайные кейсы, включая автоматически решённые.
Вырождение human-in-the-loop. Самая коварная. Человек начинает штамповать «согласен» за 8 секунд. У вас полный автопилот с дополнительной задержкой и фальшивым аудиторским следом. Мониторьте долю переопределений и время на кейс; подмешивайте заведомо плохие кейсы вслепую и смотрите, ловит ли их человек. Если не ловит – вашего гибрида не существует.
Размывание ответственности. «Система отклонила» – и у претензии партнёра нет владельца. У каждого коридора маршрутизации должно быть имя.
Иллюзия пропускной способности. Одобрять вы станете быстрее, а онбординг и операционка упрутся в потолок. Качество просядет там, где вы не смотрите.
Панель управления и условия отката
Задайте до запуска: доля расхождений с формальной политикой, доля и направление переопределений, время на кейс, доля «данные не найдены», доля апелляций и их удовлетворение, исходы когорт «авто» vs. «человек», дрейф общего approval rate, ловимость подмешанных контрольных кейсов. И заранее – численные пороги, при которых автопилот отключается обратно на ручной режим. Без этого вы будете обсуждать откат в момент, когда уже потеряли деньги.
Люди: то, что обычно ломает такие проекты
Старший менеджер – владелец знания, которое вам нужно извлечь. Сделайте его автором правил, а не объектом сокращения. Иначе получите саботаж, формальное согласие и потерю знания.
Извлекать надо не вопросом «какие у тебя критерии» – вам вернут формальный список. Работает: разбор 20 реальных кейсов вслух, контрастные пары («почему этот да, а похожий нет»), метод критических инцидентов («вспомни, когда ты сильно ошибся»).
И спроектируйте новую роль явно: из обработчика заявок – в калибратора, аудитора и разборщика исключений. Это другие навыки: работа с данными, написание правил, выборочный аудит. Их надо целенаправленно развивать, они не появятся сами.
Реалистичная оценка
Время: 60–80% экономии достижимо, в основном за счёт подготовки решений и переписки, а не за счёт автоматического решения. Решения: доля полного автопилота определяется вашей цифрой расхождений – вероятно, 40–70% потока, преимущественно простые одобрения.
Полный автопилот я не рекомендую по четырём причинам: вы пока не знаете свою реальную политику; ошибки отказа невидимы; стратегический канал легитимен и должен остаться; мошенничество адаптируется к статичным правилам.
И переформулируйте бизнес-кейс. 2 часа в день – это примерно 0,25 FTE, довольно скромная экономия. Настоящая ценность здесь – консистентность, воспроизводимость, аудируемость и снятие зависимости от одного человека. Если проект продавать как «сэкономим 2 часа», вы получите дешёвый автопилот, который тихо ломает партнёрскую воронку. Если как «мы наконец знаем, по каким правилам берём партнёров» – вы получите и время, и управляемость.
What the judges noted
Claude Opus 5.5 · this answer: 8.7 of 10
This is a very strong expert answer that goes beyond a technical design. It reframes the problem as 'you don't know your own approval policy', proposes a diagnostic phase before building anything, and lays out a hybrid three-lane architecture that is asymmetric between approval and rejection. It gives a deep, original list of silent risks (invisible false rejections, data-source degradation, Goodhart's law, degradation of human-in-the-loop into rubber-stamping, the exception channel going underground) and treats the people side seriously. The weaknesses are less technical detail (tools, email parsing, card format) and no explicitly phased rollout with a shadow mode after the diagnostic phase.
- Strong: A diagnostic first step that measures the gap between formal and actual policy before automating, with a concrete method
- Weak: No explicit phased rollout with a shadow mode and gradual expansion of automated processing
GPT-6.2 Astra · this answer: 7.5 of 10
The strongest recommendation is to automate dossier preparation before automating decisions: it offers a way to reduce the current two-hour workload even while the team is still resolving policy disagreements. The answer gives a manager a useful discovery plan and credible controls for data failures, hidden overrides and superficial human review. It is less reliable as a rollout plan or business case because it lacks a shadow-to-live transition and does not establish its estimated savings or its ranking of approval versus rejection risks.
- Strong: Separates routine evidence gathering from expert judgment and authorized business exceptions.
- Weak: Overstates what approved-partner outcomes can reveal about rejected applicants and which type of error is costlier.
The score is for this one answer, not the model’s overall result.
Run the task yourself
The task «Monday, 9:15: four fires at once» from the benchmark, sent now to Qwen 4 Max and, for comparison, DeepSeek V4.1 Flash (1017) (another group). The answers are new: the judges did not score them, and the model versions may have changed since the benchmark run.
One click sends two requests to paid models; answers take 10–60 seconds. Nothing runs until you click.
Show the task
Today is Monday, 9:15 a.m. I have four situations burning at the same time, and I can't handle all of them simultaneously. I need to decide on priorities within the next hour. Situation 1 – Client incident: Our largest client (31% of ARR) is reporting a failure in the integration with their ERP system. Data has not been syncing since Friday evening. Their COO has already written to our CEO. Technically, the problem, according to the on-call developer, is "solvable in 2–4 hours," but he is the only one who understands this module – and he is currently on vacation (he picks up the phone, but is clearly irritated). Another option is to bring in Marina, a senior developer; she doesn't know this module, but is capable of figuring it out in 6–8 hours. Situation 2 – Personnel crisis: One of our key managers, Pavel, wrote to me on Sunday evening saying "we need to have a serious talk." I know he's being poached by a competitor. If he leaves, we lose the only person who manages three strategic clients and knows their context. He's waiting for my answer by the end of the day. If I don't talk to him today before lunch, he will most likely make his decision without talking to me. Situation 3 – Internal deadline: Today, by 2:00 p.m., I need to submit the quarterly hiring plan to HR – this is blocking the opening of 4 positions already approved by the CEO. If I'm late, the next window is in 3 weeks (HR is going on vacation). The plan itself takes about 2 hours of work. Situation 4 – Product risk: Yesterday an analyst sent me data indicating a potential problem with the accuracy of one of the recommendation algorithms. If the problem is real, it could affect the results for approximately 15% of users. The analyst is not confident in his data ("it could be a bug in the script, or it could be a real problem"). No one outside my team knows about this yet. I have myself, two mid-level managers (one of whom is leading important negotiations with a new client today), and a team of 9 people with varying competencies. Please: 1. Help me build priorities for the next 4 hours – not just by urgency, but taking into account the real cost of delay for each. 2. Which of these should I handle personally, and which can I delegate – and to whom specifically? 3. Situation 4 – how should I make the decision: wait for confirmation of the data, or act on incomplete information? What are the risks of each option? 4. How should I handle the situation with the on-call developer being on vacation – when and how to escalate, and how to avoid burning bridges? 5. Which of the four situations carry systemic risk (that is, will recur again), and what should I do once this day is over?
Qwen 4 Max · New answer · not scored
DeepSeek V4.1 Flash (1017) · New answer · not scored
The scored answers from the benchmark are above.
All 8 categories
Mean score per category on the benchmark’s 80 tasks, on one 0–10 scale. Click a category for its six criteria.
-
Information search
7.6level with the best
Six criteria
- Accuracy
- 7.0
- Relevance
- 7.5
- Actionability
- 8.3
- Transparency
- 8.3
- Efficiency
- 7.5
- Trustworthiness
- 7.5
-
Data analysis
7.8close to the best
Six criteria
- Accuracy
- 7.1
- Relevance
- 8.3
- Actionability
- 8.3
- Transparency
- 8.1
- Efficiency
- 7.3
- Trustworthiness
- 7.3
-
Decisions under uncertainty
7.9close to the best
Six criteria
- Accuracy
- 7.4
- Relevance
- 8.2
- Actionability
- 8.5
- Transparency
- 8.3
- Efficiency
- 7.3
- Trustworthiness
- 7.5
-
Feedback analysis
7.6close to the best
Six criteria
- Accuracy
- 6.9
- Relevance
- 8.2
- Actionability
- 8.3
- Transparency
- 7.8
- Efficiency
- 7.3
- Trustworthiness
- 7.2
-
Corporate requirements and risks
7.8close to the best
Six criteria
- Accuracy
- 6.8
- Relevance
- 8.2
- Actionability
- 8.4
- Transparency
- 8.2
- Efficiency
- 7.6
- Trustworthiness
- 7.5
-
Automation
7.2close to the best
Six criteria
- Accuracy
- 6.7
- Relevance
- 7.6
- Actionability
- 7.5
- Transparency
- 8.1
- Efficiency
- 6.9
- Trustworthiness
- 7.0
-
People management
7.7close to the best
Six criteria
- Accuracy
- 7.2
- Relevance
- 8.3
- Actionability
- 8.4
- Transparency
- 7.7
- Efficiency
- 7.5
- Trustworthiness
- 7.0
-
Russia and Kazakhstan specifics
7.3mid-field
Six criteria
- Accuracy
- 6.3
- Relevance
- 8.0
- Actionability
- 8.0
- Transparency
- 7.8
- Efficiency
- 7.2
- Trustworthiness
- 6.8
the mark is the best ranked model in that category; the scale is 0–10
If you use it through the API
One benchmark answer costs $0.065 through the API ($1.5 in / $4.5 out per million tokens).
$4.3 about a month (22 working days)
| Answers a day through the API | about a month (22 working days) |
|---|---|
| 1 | $1.4 |
| 3 | $4.3 |
| 10 | $14 |
An estimate from the length of the benchmark answers – not the price of a chat subscription. Your requests and answers may cost differently.
Alternatives
Chosen by a reason that matters, not by a tenth of a point.
-
For the API: a close level, a cheaper answer
group 5–14 of 74 · 7.5 of 10 · a VPN is needed from Russia · API $0.0024
Compare: Qwen 4 Max – GPT-6 Luna
How the score was made
- Two AI judges (Claude Opus 5.5 and GPT-6.2 Astra) scored every answer on six main criteria, from 1 to 10.
- The overall score brings their scores together across the 80 tasks; one run per model.
- Differences under 0.3 points are treated as one level: the order inside a group means nothing.
- Data as of November 2026; model versions may have changed since.
The two judges’ overall scores for this model: Claude Opus 5.5 8.4, GPT-6.2 Astra 6.8. The published score is their average, with equal weight.
What next
A model from the top group will not fix a vague task
The free first lessons show how to set context and the shape of the answer, and how to check the result on your own work task. The course is in Russian.
Open the free first lessons