← Whole ranking · mysummit.school AI model benchmark

Alibaba

Qwen 4 Max (preview)

A newer version of this line was tested: Qwen 4 Max →

Strongest in «Feedback analysis» (8.0), weakest in «Automation» (7.2).

Group
5–14 of 74on one level with Qwen 4 Max, GPT-6 Luna, Inkling 2 Small and 3 more
Overall score
7.7 of 10
Data
November 2026

Where it helps, where to check

This model’s own answers to two benchmark tasks: the opening, the full answer and what both judges noted. One task per category, the same for every model.

Strongest: Feedback analysis · 8.0One-to-one notes: any warning signs?

A team lead of 9 reviews eight weeks of one-to-one notes on three developers. On paper everyone is fine. Are there signs of burnout or of someone thinking about leaving?

Full task

I am the lead of a development team (9 people) at a product company. I hold weekly 30-minute 1-on-1 meetings with each employee. I keep brief notes. Now I want to review the notes from the past 8 weeks for three developers and understand whether any of them show warning signs – burnout, hidden dissatisfaction, thoughts of leaving. Formally, all three are "fine" – they work, close tasks, are active in meetings. But something is bothering me. === Ilya Gromov (Senior Backend, 3 years at the company) === Week 1: Satisfied with the sprint, did a complex refactoring. Asked about the September conference – wants to give a talk. Week 2: Mentioned he's tired of the legacy code. "But that's normal, everyone feels that way." Didn't bring up the conference. Week 3: Said he spent the weekend reading about a new stack (Go + k8s). "Just curious." Didn't bring up the conference again. Week 4: Asked whether the company has plans to move to a new architecture. I answered vaguely – "it's being discussed." The topic closed quickly. Week 5: Asked to take a day off against his vacation balance without explanation. Slightly less talkative than usual. Week 6: When asked "how are you," answered "fine, a bit tired, but nothing critical." Completes tasks but shows no initiative. Week 7: For the first time in a year, asked about voluntary health insurance (ДМС) and whether it covers a psychologist. I said I'd check. Checked, wrote to him. He replied "ok, thanks." Week 8: Short meeting. "Everything's as usual." When asked about plans for the quarter, said: "I'm watching how things unfold." Hasn't brought up the conference since week 1. === Olya Semenova (Middle Frontend, 1.5 years at the company) === Week 1: Complains about the designers – they take a long time to approve mockups. Energetic, full of ideas. Week 2: About the designers again. "I've already stopped waiting and just do it my own way." Laughs, but with tension. Week 3: Said she helped a neighboring team – "at least there's something interesting there." No judgment, just a statement of fact. Week 4: Quiet meeting. Answers questions briefly. Asks when her PR review will happen – she's been waiting 5 days. (I didn't know – it turned out it got stuck with Kirill.) Week 5: Said she went to a React meetup. "It was cool. There were various companies there." (Pause.) Week 6: For the first time, asked about the grading system – how to understand if she's ready for senior. I explained the criteria. She wrote it down. Then asked: "Do we promote people often here?" Week 7: Said everything's fine, but "I want more complex tasks." I suggested she take on the authorization module – she got excited, but added: "I hope you'll let me see it through, and not hand it off to someone else." Week 8: Reported on the module. Working well. But when asked "what do you think about next quarter," answered: "Well, we'll see how it goes." === Roman Chizhov (Junior, 8 months at the company) === Week 1: Talks a lot, asks a lot of questions. Recently joined, everything is new. Week 2: Boasted that he closed a task on his own, without help. Proud of it. Week 3: Mentioned that the team lead (me) is "always busy." Said it with a smile. I didn't follow up. Week 4: Asked Ilya for a code review – says Ilya explained it well, but "somehow without enthusiasm." Asks for more feedback on his code from me. Week 5: Quiet. When asked "how are things," said: "I'm trying hard." Submits tasks on time. Week 6: Asked whether it's normal that he still doesn't know some parts of the system. I reassured him. He replied: "Well, I thought I should already know it by now." Week 7: Mentioned he started an online course on system design. "Gotta develop myself if things aren't moving fast here." Week 8: Asked whether we do performance reviews here and when his will be. Clarified: "I just want to understand how I'm being evaluated." Analyze the notes for each of the three employees. For each one: determine the risk level (low / medium / high), describe the specific signals you see in the text, explain what's behind each signal, and suggest what I should do in the next 1-on-1 meeting with each of them.

System line: You are a planning and productivity assistant for managers.

Translated from Russian: the models got the Russian text.

Original in Russian

Я руководитель команды разработки (9 человек) в продуктовой компании. Провожу еженедельные 1-on-1 встречи с каждым сотрудником по 30 минут. Веду короткие заметки. Сейчас хочу пересмотреть заметки за последние 8 недель по трем разработчикам и понять, есть ли у кого-то тревожные сигналы – выгорание, скрытое недовольство, мысли об уходе. Формально все трое "норм" – работают, задачи закрывают, на совещаниях активны. Но что-то меня беспокоит. === Илья Громов (Senior Backend, 3 года в компании) === Неделя 1: Доволен спринтом, сделал сложный рефакторинг. Спросил про конференцию в сентябре – хочет выступить. Неделя 2: Упомянул, что устал от легаси. "Но это норм, у всех такое". Конференцию не поднимал. Неделя 3: Сказал, что выходные провел за чтением про новый стек (Go + k8s). "Просто интересно". Конференцию снова не поднимал. Неделя 4: Спросил, есть ли в компании планы переходить на новую архитектуру. Я ответил расплывчато – "обсуждается". Тема закрылась быстро. Неделя 5: Попросил взять день в счет отпуска без объяснений. Чуть менее разговорчив, чем обычно. Неделя 6: На вопрос "как ты" ответил "нормально, устал немного, но ничего критичного". Задачи выполняет, но инициативы не проявляет. Неделя 7: Впервые за год спросил про ДМС и покрывает ли оно психолога. Я сказал – уточню. Уточнил, написал ему. Он ответил "ок, спасибо". Неделя 8: Короткая встреча. "Все штатно". На вопрос про планы на квартал сказал: "Смотрю, что будет". Конференцию не поднимал с недели 1. === Оля Семенова (Middle Frontend, 1.5 года в компании) === Неделя 1: Жалуется на дизайнеров – долго согласуют макеты. Энергичная, с идеями. Неделя 2: Снова про дизайнеров. "Я уже перестала ждать и делаю по-своему". Смеется, но с напряжением. Неделя 3: Рассказала, что помогала соседней команде – "там хоть что-то интересное". Без осуждения, просто факт. Неделя 4: Тихая встреча. На вопросы отвечает кратко. Спрашивает, когда ревью её PR – ждет уже 5 дней. (Я не знал – оказалось, завис у Кирилла.) Неделя 5: Сказала, что ходила на митап по React. "Прикольно было. Компании там разные были". (Пауза.) Неделя 6: Впервые спросила про систему грейдов – как понять, готова ли она к сеньору. Объяснил критерии. Записала. Потом спросила: "А у нас часто повышают?" Неделя 7: Сказала, что всё ок, но "хочется больше сложных задач". Предложил ей взять модуль авторизации – загорелась, но добавила: "Надеюсь, дадите довести до конца, а не перебросят". Неделя 8: Отчиталась по модулю. Работает хорошо. Но на вопрос "что думаешь о следующем квартале" ответила: "Ну, посмотрим, как сложится". === Роман Чижов (Junior, 8 месяцев в компании) === Неделя 1: Говорит много, спрашивает много. Недавно пришел, всё в новинку. Неделя 2: Похвалился, что закрыл задачу самостоятельно, без помощи. Гордится. Неделя 3: Упомянул, что тимлид (я) "всегда занят". Сказал с улыбкой. Я не уточнил. Неделя 4: Попросил ревью кода у Ильи – говорит, тот объяснил хорошо, но "как-то без энтузиазма". Просит больше фидбека по коду от меня. Неделя 5: Тихий. На вопрос "как дела" сказал: "Стараюсь". Задачи сдает в срок. Неделя 6: Спросил, нормально ли, что он до сих пор не знает некоторых частей системы. Успокоил его. Ответил: "Ну, я думал, что уже должен знать". Неделя 7: Сообщил, что начал онлайн-курс по системному дизайну. "Надо же развиваться, если здесь не получается быстро". Неделя 8: Спросил, делают ли у нас performance review и когда будет его. Уточнил: "Просто хочу понять, как меня оценивают". Проанализируй заметки по каждому из трех сотрудников. Для каждого: определи уровень риска (низкий / средний / высокий), опиши конкретные сигналы, которые ты видишь в тексте, объясни, что стоит за каждым сигналом, и предложи, что мне стоит сделать на следующей 1-on-1 встрече с каждым из них.

Qwen 4 Max (preview) group 5–14 · no VPN

Translated from Russian: the model answered in Russian.

In brief

Your concern is justified, but the problem isn't that someone is "hiding" something. All three people told you about their problems – in plain words, several times. It's just that each genuine signal was wrapped in a softener ("it's fine", "just curious", with a smile, with laughter, "just want to understand"), and you responded to the literal wording rather than to the request beneath it.

Risk Core mechanism
Ilya High Burnout + loss of a vision of the future at the company. Two risks overlapped
Olya Medium (at the upper bound for leaving, low for burnout) Has energy, but belief that the company will provide growth is declining
Roman Medium Not burnout, but a lack of feedback → anxiety and inaccurate self-assessment
Original in Russian

Коротко о главном

Ваше беспокойство обосновано, но проблема не в том, что кто-то «скрывает». Все трое говорили вам о своих проблемах – прямым текстом, несколько раз. Просто каждый настоящий сигнал был упакован в смягчитель («это норм», «просто интересно», с улыбкой, со смехом, «просто хочу понять»), а вы отвечали на буквальную формулировку, а не на запрос под ней.

Риск Основной механизм
Илья Высокий Выгорание + потеря образа будущего в компании. Два риска наложились
Оля Средний (по уходу – верхняя граница, по выгоранию – низкий) Энергия есть, вера в то, что компания даст рост, падает
Роман Средний Не выгорание, а дефицит обратной связи → тревога и неверная самооценка
Read the full answer · 2,276 words

Brief overview of the main points

Your concern is justified, but the problem isn't that someone is "hiding" something. All three people told you about their problems – in plain text, several times. It's just that every real signal was wrapped in a softener ("it's fine," "just curious," with a smile, with laughter, "just want to understand"), and you responded to the literal wording rather than the request underneath it.

Risk Core mechanism
Ilya High Burnout + loss of a future image at the company. Two risks overlapping
Olya Medium (upper boundary for departure risk, low for burnout) Energy is there, but belief that the company will provide growth is falling
Roman Medium Not burnout, but a deficit of feedback → anxiety and inaccurate self-assessment

Order of action: Ilya – this week, don't wait for the scheduled slot. Olya – next, she has the cheapest and fastest fixes. Roman – launch structural changes immediately, regardless of the meeting queue.


Ilya Gromov – high risk

What's happening: over 8 weeks, a monotonic decline without a single rebound. This isn't "a bad week," it's a trend. And two different processes have overlapped for him: exhaustion and a broken career horizon.

Signals:

  • The conference as a canary (w1 → w8). In the first week – a concrete goal with a date: speak in September. It never came up again afterward. The disappearance of a concrete personal plan is the most reliable marker in these notes, because it's measurable. People don't forget what they want; they stop talking about it when they no longer believe the conversation will change anything.
  • Three self-deprecating remarks. "But it's fine, everyone has that" (w2), "just curious" (w3), "nothing critical" (w6). He systematically downplays the significance of his own signals. The practical takeaway: "fine" from Ilya is not data. His scale is broken, asking "how are you" is pointless.
  • Go + k8s on weekends (w3). A strong, market-demanded stack, learned on personal time and not applied at work. Two hypotheses: preparing to enter the job market, or trying to compensate for professional hunger. The notes can't distinguish between them – but both require the same action.
  • Week 4 – the turning point. He asked about the new architecture, i.e., he checked whether there's a future here for what matters to him. He got "under discussion." "The topic closed quickly" means he stopped investing in the conversation. After this week, contraction begins: a day off, fewer conversations, no initiative. A vague answer to a probing question reads as "no."
  • W6: tasks are there, initiative isn't. A classic early marker. Formal metrics hold out the longest; the first thing to drop is discretionary effort – what won't be asked for. That's exactly why "formally fine" doesn't disprove anything.
  • W7: health insurance and a psychologist – for the first time in a year. The loudest signal in the whole dataset. For a senior, this is an expensive disclosure, an indirect ask for help. You responded logistically: checked, wrote back. He: "ok, thanks." The door was opened a crack – you got information, not interest – the door closed. Caution: this is not a diagnosis and not necessarily about work. It could be something personal. Your job isn't to find out what, but to relieve the load and make support accessible without requiring an explanation.
  • W5: a day off without explanation. On its own – weak evidence, don't build a "he's going to interviews" theory on it. It's only meaningful in combination with the drop in talkativeness the same week.
  • W8: "Let's see what happens" about the quarter. The planning horizon has collapsed to zero. Compare to week 1, where there was September and a talk.

What to do at the next meeting:

  1. Change the format. Not "how are you" – he'll say "fine." 30 minutes is too little: either an hour, or two separate meetings – about energy and about the future. These are different conversations.
  2. Start with facts, not interpretations. "In week one, you wanted to speak at the September conference. We haven't come back to it. I want to revisit it – are you still interested?" Check the CFP deadline, offer prep time during work hours.
  3. Acknowledge the week 4 mistake out loud. "You asked about the architecture, I gave a vague answer. That was a bad answer. Here's what I know, here's what I don't, here's when I'll have a real answer – [date]." Even an honest "no, we're not transitioning this year" is better than "under discussion." A second vague answer will be worse than the first.
  4. About the psychologist – don't pry. Once, calmly: support is available, confidential, no need to report to anyone. Then – a concrete reduction in load that doesn't require explanation: take him off on-call duty, remove him from the default "reviewer" role, offer a real vacation, not one day.
  5. Ask about the future directly, without panic: "When you think about the next six months to a year – what do you want to be doing? And how much of that is realistically here?"
  6. The main trap: don't treat burnout with a new interesting task. Relief first, then Go/k8s and ownership of a piece of the new architecture. If you offer growth on top of the current load, you'll speed up his exit.

What not to do: don't say "I analyzed your notes and see you're burned out," don't diagnose, don't pass on Roman's words about "no enthusiasm" to Ilya.


Olya Semenova – medium risk

What's happening: she isn't burned out. She's blocked and unconvinced. Energy, initiative, and output are intact – trust is falling that the company can deliver growth for her and remove obstacles. This is a growth-driven departure, the most typical scenario at the 1.5-year mark for a strong mid-level employee.

Signals:

  • W1 → w2: from complaint to workaround. "Stopped waiting and I'm doing it my own way" – she didn't give up on the work, she gave up on the process. Laughter with tension is a wrapper for real irritation. Important: she solved the problem herself, which means the organization didn't. And "her own way" will later create rework and conflict with design, which she'll be held accountable for.
  • W3: helped a neighboring team, "at least there's something interesting there." Notice the difference from Ilya: her scouting is directed inward, within the company. This is a bid for internal mobility, not for leaving. The flat delivery, without judgment, means the comparison has already become normal for her.
  • W4: a quiet meeting + a PR stuck for 5 days, and you didn't know about it. Two signals. First: the energy drop coincided with a blockage – she didn't lose motivation, she was stopped. Second, systemic: you have no visibility into the review queue. Five days of waiting reads, for a mid-level employee, as "my work doesn't matter."
  • W5: "There were different kinds of companies there." (Pause.) The pause is the signal itself. She left you room to react. You didn't take it.
  • W6: grades/levels. Wrote down the criteria. "Do we promote often here?" Here's the real question. The first was about criteria, the second was about whether it's actually achievable here. She's checking the credibility of the career path. She wrote it down – meaning she's building an argument, she's serious about this. If the honest answer is "rarely," she'll conclude that senior status needs to be earned outside.
  • W7: "I hope you'll let me see this through, not hand it off to someone else." Conditional trust and a reference to past experience – she's been reassigned before. This is a test with a clear-cut outcome: will you let the module be seen through to completion or not. The cheapest and strongest action available to you right now.
  • W8: "We'll see how it goes." Same formula as Ilya's, but a different mechanism: for her, the uncertainty isn't about her own abilities, but about your commitments.

What to do at the next meeting:

  1. Come with a report, not questions. She's told you four times what she needs. The next meeting should be a status update on her requests. Another "how are things" will be read as confirmation that speaking up is pointless.
  2. Review process: "Your PR has been stuck with Kirill. This is a process problem, not yours. Here's what I changed." Agree on an SLA for first response (e.g., 24 hours) and make the queue visible. Don't call out Kirill publicly.
  3. Designers are your responsibility, not hers. Go to the design lead and product. Come back with either an agreement or an honest "not resolved yet, I'll follow up by [date]." And protect her from criticism for "doing it her own way" – that was a forced adaptation.
  4. Levels/grades: give an honest answer to "do we promote often." With data: how many times, when, what the cycle looks like. Before the meeting, calibrate with HR or whoever makes the decision, so you don't give a vague answer a second time. Then – a 3–6 month plan: 2–3 observable criteria and a named review date. If the path is genuinely blocked – say so directly and discuss alternatives. She'll spot a fake path and leave faster.
  5. Authorization module: commit to seeing it through. If priorities threaten this, warn her in advance and agree on it – don't reassign it silently.
  6. Pick up the pause from the meetup, late is fine: "You mentioned there were different kinds of companies there. Did something catch your attention? What do they have that we don't?" Without being defensive.
  7. Ask about "we'll see": "What would need to happen for you to answer the question about the quarter with certainty?"

Roman Chizhov – medium risk

Why not low: the baseline has changed (talks a lot → quiet) and four explicit requests for feedback went unanswered. Why not high: this isn't burnout or preparation to leave, but a lack of scaffolding. The cheapest thing to fix and the most expensive to ignore – and part of the gap is on you.

Signals:

  • W3: "the team lead is always busy," with a smile, you didn't follow up. Direct feedback about your availability, softened with a smile for safety. For a junior, access to the manager is the primary growth channel. This is where the whole trajectory begins.
  • W4: review with Ilya felt "somehow unenthusiastic" + asked you for feedback. He's looking for mentorship and finding it thin. This is also independent confirmation of Ilya's state – his exhaustion is already visible to a junior. Structural problem: the only available mentor is an exhausted senior.
  • W5: "I'm trying hard." Language of effort, not result. He's working a lot but not getting confirmation that it's enough. A sharp contrast with the week-1 baseline.
  • W6: "I thought I should already know this" – after you reassured him. Key moment: the reassurance didn't work, he pushed back. "You're doing great, don't worry" is not proof. He needs specifics and a map, not comfort. Impostor syndrome plus a self-imposed deadline you didn't know about.
  • W7: a systems design course, "if it's not working out quickly here." Two worrying elements. Systems design isn't the most useful skill for a junior in month 8: he's optimizing for an imagined gap or for interviews, not for his actual job. And "it's not working out quickly here" means he sees his progress as slow. He's buying mentorship externally because he's not getting it internally.
  • W8: "I want to understand how I'm being evaluated." He's asking for a verdict. After 8 months without a formal reference point, a junior defaults to interpreting the absence of evaluation as failure.
  • Delivers on time while anxiety is rising. Check for hidden overtime: juniors silently compensate with extra hours. "Everything's fine" here might mean "I'm working 11-hour days."

What to do at the next meeting:

  1. Give a real evaluation now, don't wait for the cycle. 2–3 specific strengths with examples (name the tasks and PRs) and 1–2 growth areas with observable steps. Evidence instead of reassurance.
  2. Answer "should I already know this" with a map, not words. A written list: what's expected by month 8, what by year one, what comes later. Normalize through standards, not through "don't worry."
  3. Fix availability structurally. A fixed slot he can count on: 20 minutes of code review with you weekly. Plus an assigned mentor – not Ilya. Allocate the mentor's time formally so it's not charity.
  4. Acknowledge week 3: "You said I'm always busy. You were right. Here's what I'm changing." This single action restores more trust than an hour of conversation, and shows that feedback actually works.
  5. Name a review date and exactly what will be evaluated. Remove the uncertainty.
  6. About the course: ask what he wants to get out of it; gently redirect him toward what's more useful right now; consider covering the cost or allowing it during work hours – this signals investment in him.
  7. Unpack "I'm trying hard": "What's taking the most effort right now? Where are you getting stuck and not asking for help?" Agree on a rule for asking for help (stuck more than 40 minutes – ask). Pride in "solved it without help" might mean he's struggling alone for too long.

What's visible only at the level of all three together

1. All three have learned not to expect results from a conversation with you. Ilya stopped bringing up the conference. Olya stopped waiting for the designers. Roman stopped waiting for feedback. Different subjects, one learned lesson: raising an issue changes nothing. This is the answer to "everything's formally fine, but something's bothering me." The 1-on-1 channel functions as status collection, not as a change mechanism.

2. Documented missed requests. W4, vague answer about architecture; w7, logistical response about the psychologist; w3, "always busy" without follow-up; w4, you didn't know about the stuck PR; w5, pause after the meetup. Five across 24 meetings. You responded to the wording, not the request. This is the most practically useful conclusion from the entire dataset – and it is entirely within your control.

3. A collapsed horizon for all three in week 8. "Let's see what happens" / "We'll see how it goes" / "I want to understand how I'm being evaluated." When a person stops describing their future at the company – that's the strongest predictor of departure in these notes. The causes differ, the symptom is the same.

4. Ilya is a load-bearing node. He mentors Roman, and his decline is already transmitting downward. Fixing Ilya will partially fix Roman. The reverse is not true: don't solve Roman's mentorship problem by loading more onto Ilya.

5. Three out of nine is not a coincidence, it's a system. Run the other six notes through the same lens: unanswered requests, vanished personal plans, absence of future descriptions. You'll likely find more.


What to change in the notes and meetings themselves

Your notes are good enough that this analysis was even possible – the problem isn't the notes, it's the absence of a closed loop. A minimal addition, 4 lines per person:

  • Request: what they asked for or hinted at (including softened asks).
  • Promise + date: what I said I'd do, and by when.
  • Closed? Yes / no / overdue.
  • Engagement marker: one specific personal goal being tracked (Ilya's conference, Olya's level/grade, Roman's review). If it disappears – a red flag.

And one rule: start every meeting with a report on your own past promises. Trust is rebuilt through closed loops, not empathetic phrasing. One completed item works better than ten well-phrased questions.

Separately: 9 people × 30 minutes = 4.5 hours a week, and Roman says you're always busy. Check whether these meetings are being eaten up by your own workload – if so, what needs to change isn't the note format, but the schedule.


Limitations of this analysis

These are hypotheses based on short summaries without verbatim quotes or nonverbal cues, from a single source. Eight weeks is a short horizon. Every signal has benign explanations: Ilya might have a personal or family situation unrelated to work; Olya might have ordinary ambition; Roman might have ordinary junior anxiety. "High risk" means "act now," not "he's definitely leaving."

Three things not to do: make diagnoses (burnout and depression are determined by a clinician, not a manager), turn the next meeting into an interrogation checklist of signals, or pass along anything said by one employee to another. If Ilya genuinely has an acute health situation – that's not your domain: HR, health insurance, confidentiality. Yours is workload, an honest answer about the future, and accessible support.

Original in Russian

Коротко о главном

Ваше беспокойство обосновано, но проблема не в том, что кто-то «скрывает». Все трое говорили вам о своих проблемах – прямым текстом, несколько раз. Просто каждый настоящий сигнал был упакован в смягчитель («это норм», «просто интересно», с улыбкой, со смехом, «просто хочу понять»), а вы отвечали на буквальную формулировку, а не на запрос под ней.

Риск Основной механизм
Илья Высокий Выгорание + потеря образа будущего в компании. Два риска наложились
Оля Средний (по уходу – верхняя граница, по выгоранию – низкий) Энергия есть, вера в то, что компания даст рост, падает
Роман Средний Не выгорание, а дефицит обратной связи → тревога и неверная самооценка

Порядок действий: Илья – на этой неделе, не дожидаясь планового слота. Оля – следующая, у неё самые дешёвые и быстрые исправления. Роман – структурные изменения запустить сразу, независимо от очереди встреч.


Илья Громов – высокий риск

Что происходит: за 8 недель монотонное спадание без единого отскока. Это не «плохая неделя», это тренд. И у него наложились два разных процесса: истощение и разрыв карьерного горизонта.

Сигналы:

  • Конференция как канарейка (н1 → н8). На первой неделе – конкретная цель с датой: выступить в сентябре. Дальше не поднималась ни разу. Исчезновение конкретного личного плана – самый надёжный маркер в этих заметках, потому что он измеримый. Люди не забывают о том, чего хотят; они перестают об этом говорить, когда не верят, что разговор что-то изменит.
  • Три самоуничижительные оговорки. «Но это норм, у всех такое» (н2), «просто интересно» (н3), «ничего критичного» (н6). Он систематически занижает значимость собственных сигналов. Вывод практический: «нормально» от Ильи – это не данные. Его шкала сломана, спрашивать «как ты» бессмысленно.
  • Go + k8s на выходных (н3). Сильный стек, востребованный на рынке, осваивается в личное время и не применяется в работе. Две гипотезы: подготовка к выходу на рынок или попытка компенсировать профессиональный голод. Различить по заметкам нельзя – но обе требуют одного и того же действия.
  • Неделя 4 – точка перелома. Он спросил про новую архитектуру, то есть проверил, есть ли здесь будущее для того, что ему важно. Получил «обсуждается». «Тема закрылась быстро» – это он перестал вкладываться в разговор. После этой недели начинается сжатие: день отпуска, меньше разговоров, нет инициативы. Расплывчатый ответ на проверочный вопрос читается как «нет».
  • Н6: задачи есть, инициативы нет. Классический ранний маркер. Формальные метрики держатся дольше всего, первым отваливается дискреционное усилие – то, что не спросят. Именно поэтому «формально норм» ничего не опровергает.
  • Н7: ДМС и психолог – впервые за год. Самый громкий сигнал во всём массиве. Для сеньора это дорогое раскрытие, косвенная просьба о помощи. Вы ответили логистически: уточнил, написал. Он: «ок, спасибо». Дверь приоткрыли – получили информацию, а не интерес – дверь закрыли. Осторожно: это не диагноз и не обязательно про работу. Может быть что-то личное. Ваша задача – не выяснить что, а снять нагрузку и сделать поддержку доступной без необходимости объясняться.
  • Н5: день отпуска без объяснений. Сам по себе – слабое свидетельство, не стройте на нём версию «ходит на собеседования». Значимо только в связке со снижением разговорчивости на той же неделе.
  • Н8: «Смотрю, что будет» про квартал. Горизонт планирования схлопнулся до нуля. Сравните с неделей 1, где был сентябрь и доклад.

Что делать на следующей встрече:

  1. Смените формат. Не «как ты» – он ответит «нормально». 30 минут мало: либо час, либо две отдельные встречи – про энергию и про будущее. Это разные разговоры.
  2. Начните с фактов, не с интерпретаций. «На первой неделе ты хотел выступить на сентябрьской конференции. Мы к этому не возвращались. Хочу вернуться – тебе это ещё интересно?» Проверьте дедлайн CFP, предложите время на подготовку в рабочие часы.
  3. Признайте ошибку недели 4 вслух. «Ты спросил про архитектуру, я ответил размыто. Это был плохой ответ. Вот что я знаю, вот чего не знаю, вот когда у меня будет настоящий ответ – [дата]». Даже честное «нет, в этом году не переходим» лучше, чем «обсуждается». Второй расплывчатый ответ будет хуже первого.
  4. Про психолога – не расспрашивайте. Один раз, спокойно: поддержка есть, конфиденциальна, отчитываться никому не нужно. Дальше – конкретное снижение нагрузки, не требующее объяснений: снять с дежурств, убрать из роли «ревьюера по умолчанию», предложить настоящий отпуск, а не один день.
  5. Спросите про будущее прямо, без паники: «Когда думаешь про следующие полгода-год – чем хочешь заниматься? И сколько из этого реально здесь?»
  6. Главная ловушка: не лечите выгорание новой интересной задачей. Сначала разгрузка, потом Go/k8s и владение куском новой архитектуры. Если предложите рост поверх текущей нагрузки – ускорите исход.

Чего не делать: не говорить «я проанализировал твои заметки и вижу у тебя выгорание», не диагностировать, не передавать Илье слова Романа про «без энтузиазма».


Оля Семенова – средний риск

Что происходит: она не выгорела. Она заблокирована и не убеждена. Энергия, инициатива и результат на месте – падает доверие к тому, что компания способна дать ей рост и убрать препятствия. Это уход-за-повышением, самый типичный сценарий на отметке 1,5 года для сильного мидла.

Сигналы:

  • Н1 → н2: от жалобы к обходному пути. «Перестала ждать и делаю по-своему» – она отказалась не от работы, а от процесса. Смех с напряжением – обёртка для реального раздражения. Важно: проблему она решила сама, значит организация – нет. И «по-своему» потом создаст переделки и конфликт с дизайном, за которые спросят с неё.
  • Н3: помогала соседней команде, «там хоть что-то интересное». Обратите внимание на разницу с Ильёй: её разведка направлена внутрь компании. Это заявка на внутреннюю мобильность, а не на выход. Плоская подача без осуждения означает, что сравнение уже стало для неё нормой.
  • Н4: тихая встреча + PR висит 5 дней, и вы об этом не знали. Два сигнала. Первый: спад энергии совпал с блокировкой – она не потеряла мотивацию, её остановили. Второй, системный: у вас нет видимости очереди ревью. Пять дней ожидания для мидла читаются как «моя работа не важна».
  • Н5: «Компании там разные были». (Пауза.) Пауза – это и есть сигнал. Она оставила вам место для реакции. Вы его не заняли.
  • Н6: грейды. Записала критерии. «А у нас часто повышают?» Вот здесь настоящий вопрос. Первый был про критерии, второй – про то, реально ли это здесь. Она проверяет достоверность карьерного пути. Записала – значит строит аргументацию, настроена серьёзно. Если честный ответ «редко», она сделает вывод, что сеньора надо получать снаружи.
  • Н7: «Надеюсь, дадите довести до конца, а не перебросят». Условное доверие и ссылка на прошлый опыт – её уже перекидывали. Это тест с однозначным результатом: доведёте модуль до конца или нет. Самое дешёвое и самое сильное действие, доступное вам прямо сейчас.
  • Н8: «Посмотрим, как сложится». Та же формула, что у Ильи, но механизм другой: у неё неопределённость не в своих силах, а в ваших обязательствах.

Что делать на следующей встрече:

  1. Придите с отчётом, а не с вопросами. Она четыре раза сказала, что ей нужно. Следующая встреча – статус по её запросам. Ещё одно «как дела» она прочитает как подтверждение, что говорить бесполезно.
  2. Ревью: «Твой PR завис у Кирилла. Это проблема процесса, не твоя. Вот что я изменил». Договоритесь об SLA на первый отклик (например, 24 часа) и сделайте очередь видимой. Кирилла публично не разбирайте.
  3. Дизайнеры – ваша задача, не её. Идите к дизайн-лиду и продукту. Принесите либо договорённость, либо честное «не решено, вернусь [дата]». И защитите её от претензий за «делаю по-своему» – это была вынужденная адаптация.
  4. Грейды: дайте честный ответ на «часто ли повышают». С данными: сколько раз, когда, какой цикл. До встречи пройдите калибровку с HR или тем, кто принимает решение, чтобы не ответить размыто второй раз. Затем – план на 3–6 месяцев: 2–3 наблюдаемых критерия и названная дата ревью. Если путь реально заблокирован – скажите прямо и обсудите альтернативы. Фальшивый путь она распознает и уйдёт быстрее.
  5. Модуль авторизации: обязательство довести. Если приоритеты угрожают – предупредите заранее и договоритесь, не перекидывайте молча.
  6. Подберите паузу с митапа, поздно – нормально: «Ты говорила, там были разные компании. Что-то зацепило? Что у них есть, чего нет у нас?» Без обороны.
  7. Спросите про «посмотрим»: «Что должно произойти, чтобы на вопрос про квартал ты ответила определённо?»

Роман Чижов – средний риск

Почему не низкий: изменился базовый уровень (много говорит → тихий) и четыре явных запроса на обратную связь остались без ответа. Почему не высокий: это не выгорание и не подготовка к уходу, а дефицит строительных лесов. Самое дешёвое в исправлении и самое дорогое в игнорировании – и часть пропусков ваши.

Сигналы:

  • Н3: «тимлид всегда занят», с улыбкой, вы не уточнили. Прямая обратная связь про вашу доступность, смягчённая улыбкой для безопасности. Для джуна доступ руководителя – основной канал роста. Здесь начинается вся траектория.
  • Н4: ревью у Ильи «как-то без энтузиазма» + просьба о фидбеке от вас. Он ищет наставничество и находит его тонким. Это ещё и независимое подтверждение состояния Ильи – его истощение уже видно джуну. Структурная проблема: единственный доступный ментор – истощённый сеньор.
  • Н5: «Стараюсь». Язык усилия, а не результата. Он много работает, но не получает подтверждения, что этого достаточно. Резкий контраст с базой первой недели.
  • Н6: «Я думал, что уже должен знать» – после того, как вы его успокоили. Ключевой момент: успокоение не сработало, он возразил. «Ты молодец, не переживай» – не доказательство. Ему нужны конкретика и карта, а не утешение. Синдром самозванца плюс самостоятельно назначенный дедлайн, о котором вы не знали.
  • Н7: курс по системному дизайну, «если здесь не получается быстро». Два тревожных элемента. Системный дизайн – не самый полезный навык для джуна на 8-м месяце: он оптимизируется под воображаемый разрыв или под собеседования, а не под свою работу. И «здесь не получается быстро» – он считает свой прогресс медленным. Покупает наставничество снаружи, потому что не получает внутри.
  • Н8: «Хочу понять, как меня оценивают». Он просит вердикт. После 8 месяцев без формальной точки отсчёта отсутствие оценки джун по умолчанию трактует как провал.
  • Сдаёт в срок при растущей тревоге. Проверьте скрытые переработки: джуны молча компенсируют временем. «Всё в порядке» здесь может означать «работаю по 11 часов».

Что делать на следующей встрече:

  1. Дайте настоящую оценку сейчас, не дожидаясь цикла. 2–3 конкретные сильные вещи с примерами (назовите задачи и PR) и 1–2 зоны роста с наблюдаемыми шагами. Доказательства вместо утешений.
  2. Ответьте на «должен ли я уже знать» картой, а не словами. Письменный список: что ожидается к 8-му месяцу, что к году, что позже. Нормализация через нормы, а не через «не переживай».
  3. Почините доступность структурно. Фиксированный слот, на который он может рассчитывать: 20 минут разбора кода с вами еженедельно. Плюс назначенный ментор – не Илья. Время ментора выделите formally, чтобы это не была благотворительность.
  4. Признайте неделю 3: «Ты сказал, что я вечно занят. Ты был прав. Вот что я меняю». Это одно действие возвращает больше доверия, чем час разговоров, и показывает, что обратная связь работает.
  5. Назовите дату ревью и что именно будет оцениваться. Уберите неопределённость.
  6. Про курс: спросите, что он хочет оттуда получить; мягко перенаправьте на то, что полезнее сейчас; рассмотрите оплату или время в рабочие часы – это сигнал, что в него вкладываются.
  7. Разберите «стараюсь»: «Что сейчас требует больше всего сил? Где застреваешь и не спрашиваешь?» Договоритесь о правиле обращения за помощью (застрял больше 40 минут – спрашивай). Гордость «закрыл без помощи» может означать, что он слишком долго борется один.

Что видно только на уровне всех троих

1. Все трое разучились ждать результата от разговора с вами. Илья перестал поднимать конференцию. Оля перестала ждать дизайнеров. Роман перестал ждать фидбека. Разные предметы, один выученный урок: поднять вопрос – ничего не меняет. Это и есть ответ на «формально все норм, но что-то беспокоит». Канал 1-on-1 работает как сбор статуса, а не как механизм изменений.

2. Задокументированные пропущенные запросы. Н4 расплывчатый ответ про архитектуру; н7 логистический ответ про психолога; н3 «всегда занят» без уточнения; н4 вы не знали про зависший PR; н5 пауза после митапа. Пять за 24 встречи. Вы отвечали на формулировку, а не на запрос. Это самый практически полезный вывод из всего массива – и он полностью в вашей зоне контроля.

3. Схлопнувшийся горизонт у всех троих на неделе 8. «Смотрю, что будет» / «Посмотрим, как сложится» / «хочу понять, как меня оценивают». Когда человек перестаёт описывать своё будущее в компании – это сильнейший предиктор ухода в этих заметках. Причины разные, симптом один.

4. Илья – несущий узел. Он менторит Романа, и его спад уже транслируется вниз. Починка Ильи частично починит Романа. Обратное неверно: не решайте проблему наставничества Романа, нагружая Илью.

5. Трое из девяти – это не совпадение, это система. Прогоните остальные шесть заметок через ту же оптику: неотвеченные запросы, исчезнувшие личные планы, отсутствие описания будущего. Скорее всего найдёте ещё.


Что поменять в самих заметках и встречах

Ваши заметки достаточно хороши, чтобы этот анализ вообще стал возможен – проблема не в них, а в отсутствии замкнутого цикла. Минимальная доработка, 4 строки на человека:

  • Запрос: что он попросил или на что намекнул (включая смягчённое).
  • Обещание + дата: что я сказал, что сделаю, и когда.
  • Закрыл? Да / нет / просрочено.
  • Маркер вовлечённости: одна конкретная личная цель, за которой следим (конференция Ильи, грейд Оли, ревью Романа). Исчезла – красный флаг.

И одно правило: начинайте каждую встречу с отчёта по своим обещаниям с прошлой. Доверие восстанавливается закрытыми циклами, а не эмпатичными формулировками. Один выполненный пункт работает лучше, чем десять правильных вопросов.

Отдельно: 9 человек × 30 минут = 4,5 часа в неделю, и Роман говорит, что вы всегда заняты. Проверьте, не съедаются ли эти встречи вашей же загрузкой – если да, менять надо не формат заметок, а расписание.


Границы этого анализа

Это гипотезы по коротким пересказам без дословных реплик и невербалики, из одного источника. Восемь недель – короткий горизонт. У каждого сигнала есть доброкачественные объяснения: у Ильи может быть личная или семейная ситуация, не связанная с работой; у Оли – нормальные амбиции; у Романа – обычная джуновская тревога. «Высокий риск» означает «действуй сейчас», а не «он точно уходит».

Три вещи, которых делать не стоит: ставить диагнозы (выгорание и депрессию определяет клиницист, не руководитель), превращать следующую встречу в допрос по списку сигналов и передавать что-либо одному сотруднику из слов другого. Если у Ильи действительно острая ситуация со здоровьем – это не ваша зона: HR, ДМС, конфиденциальность. Ваша – нагрузка, честный ответ про будущее и доступная поддержка.

What the judges noted

Claude Opus 5.5 · this answer: 8.9 of 10

Translated from Russian.

A very strong, expert-level analysis. It correctly assesses all three risks, ties every signal to specific weeks and quotes, and offers concrete scripts and structural measures for the next meetings. Its key insight is that all three employees voiced requests in softened form and the manager answered the literal wording rather than the request underneath. It also shows the systemic connection between Ilya's decline and Roman's mentoring problem, and proposes a closed-loop note format. Limitations and ethical boundaries are stated explicitly. The minor weaknesses are the length, a few categorical inferences, and the absence of explicit time windows for Olya and Roman.

  • Strong: Precise reference to specific weeks and quotes, with an explanation of the mechanism behind each signal
  • Weak: A long response that takes time to read
Original in Russian

A very strong, expert-level analysis. It correctly assesses all three risks, ties every signal to specific weeks and quotes, and offers concrete scripts and structural measures for the next meetings. Its key insight is that all three employees voiced requests in softened form and the manager answered the literal wording rather than the request underneath. It also shows the systemic connection between Ilya's decline and Roman's mentoring problem, and proposes a closed-loop note format. Limitations and ethical boundaries are stated explicitly. The minor weaknesses are the length, a few categorical inferences, and the absence of explicit time windows for Olya and Roman.

  • Precise reference to specific weeks and quotes, with an explanation of the mechanism behind each signal
  • A long response that takes time to read

GPT-6.2 Astra · this answer: 7.6 of 10

Translated from Russian.

The answer is especially useful where it turns an observation into a verifiable commitment from the manager: to come back with a clear answer on architecture, to eliminate review delays, or to give feedback on specific code. It covers all three employees and correctly distinguishes the reasons for attention, but at times presents a plausible interpretation as knowledge of the employee's motives. The main improvement would be to keep the specific actions while reframing the contentious conclusions as questions that the employee themselves can answer.

  • Strong: Distinguishes between Ilya's declining initiative, Olya's continued interest in complex tasks, and Roman's request for evaluation criteria.
  • Weak: Adds unconfirmed circumstances about Olya's previous task transfers and the availability of other mentors.
Original in Russian

Ответ особенно полезен там, где превращает наблюдение в проверяемое обязательство руководителя: вернуться с ясным ответом об архитектуре, устранить задержки ревью или дать обратную связь по конкретному коду. Он охватывает всех троих и верно различает причины для внимания, но временами выдаёт правдоподобную интерпретацию за знание мотивов сотрудника. Основное улучшение – сохранить конкретные действия, а спорные выводы переформулировать как вопросы, на которые сможет ответить сам сотрудник.

  • Различает снижение инициативы у Ильи, сохраняющийся интерес к сложным задачам у Оли и запрос на критерии оценки у Романа.
  • Добавляет неподтверждённые обстоятельства о предыдущих переводах Оли между задачами и доступности других наставников.

The score is for this one answer, not the model’s overall result.

Compare this category with another model →

Weakest: Automation · 7.2Automate approving partner applications

A senior manager spends two hours a day reviewing partner applications. The formal criteria can be checked through APIs, but real decisions seem more complex. How to automate it without losing what matters?

Full task

I want to fully automate the process of checking and approving incoming applications from partners. Right now this is handled by one of the senior managers – it takes about 2 hours a day. The process looks like this: an application arrives by email or through a form on the website, the manager looks at the partner company, assesses its profile, checks several internal criteria, and either approves it, sends it back for revision, or rejects it. The formal criteria for approval are as follows: the company has been registered for more than two years, revenue is above a threshold value, there are no outstanding debts according to our data, and the business's field of activity is not on the exclusion list. All of this can be checked automatically via the API of several counterparty verification services. But I suspect the real decisions are more complex. The manager sometimes approves applications from companies that formally do not pass the criteria – because he knows their history, because they are strategically important, or because the director personally asked. And conversely, he rejects partners who formally qualify, because he senses something suspicious in the application. I need your honest assessment: what here can realistically be automated, and what cannot? If we go ahead with automation, which architecture should we choose – full autopilot, or a hybrid where routine tasks are automated while non-standard cases go to a human? How do we separate one from the other? And what risks do I take on if I over-automate this process – what could go wrong unnoticeably?

System line: You are an assistant for training and development for managers.

Translated from Russian: the models got the Russian text.

Original in Russian

Хочу полностью автоматизировать процесс проверки и одобрения входящих заявок от партнеров. Сейчас этим занимается один из старших менеджеров – тратит примерно 2 часа в день. Процесс выглядит так: приходит заявка по email или через форму на сайте, менеджер смотрит на компанию-партнера, оценивает её профиль, проверяет несколько внутренних критериев и либо одобряет, либо отправляет на доработку, либо отклоняет. Формальные критерии для одобрения такие: компания зарегистрирована более двух лет, выручка выше порогового значения, нет открытых долгов по нашим данным, тематика бизнеса не входит в список исключений. Всё это можно проверить автоматически через API нескольких сервисов проверки контрагентов. Но я подозреваю, что реальные решения сложнее. Менеджер иногда одобряет заявки от компаний, которые формально не проходят по критериям, – потому что знает их историю, потому что они стратегически важны, или потому что директор лично попросил. И наоборот – отклоняет формально подходящих партнеров, потому что чувствует что-то подозрительное в заявке. Мне нужна твоя честная оценка: что здесь реально поддается автоматизации, а что нет? Если делать автоматизацию, то какую архитектуру выбрать – полный автопилот, или гибрид где рутина автоматизирована, а нестандартные случаи идут к человеку? Как отделить одно от другого? И какие риски я несу, если переавтоматизирую этот процесс – что может пойти не так незаметно?

Qwen 4 Max (preview) group 5–14 · no VPN

Translated from Russian: the model answered in Russian.

Short answer

Full autopilot won't work here – and not because the technology is insufficient, but because the process mixes three different things: fact-checking, judgment, and political decision-making. The first is almost entirely automatable. The second is partially automatable, and only after you make it explicit. The third cannot be automated in principle, and if you try, it will simply move into the shadows.

The right goal is not to "remove the person", but to "remove fact-gathering from the person and leave them only with judgment." But before designing this, I would challenge the very economics of the undertaking – more on that at the end.

Original in Russian

Короткий ответ

Полный автопилот здесь не получится – и не потому, что технологии не хватает, а потому что в процессе смешаны три разные вещи: проверка фактов, суждение и политическое решение. Первое автоматизируется почти целиком. Второе – частично и только после того, как вы его вытащите наружу. Третье автоматизировать нельзя в принципе, и если вы попробуете, оно уйдёт в тень.

Правильная цель – не «убрать человека», а «убрать у человека сбор фактов и оставить ему только суждение». Но прежде чем это проектировать, я бы оспорил саму экономику затеи – об этом в конце.

Read the full answer · 1,540 words

Short answer

Full autopilot won't work here – and not because the technology is lacking, but because the process mixes three different things: fact-checking, judgment, and a political decision. The first is almost entirely automatable. The second – partially, and only after you bring it out into the open. The third cannot be automated in principle, and if you try, it will go underground.

The right goal is not "remove the human" but "remove fact-gathering from the human and leave them only judgment." But before designing this, I'd challenge the economics of the whole endeavor – that's at the end.


1. What's actually inside those two hours

Break the manager's decisions down into four types. This isn't an academic classification – the architecture depends directly on it.

Type Example Automatability
Formal verification age, revenue, debts, industry Fully. Deterministic rules, not ML
Context that can be written down "we've worked with them for 5 years," "strategic account," "there was a delinquency last year" Automatable after you turn it into data. Right now it's in someone's head, but this isn't tacit knowledge – it's un-digitized knowledge
Judgment / anomaly detection "something's suspicious about this application" Poorly. And you don't yet know whether this is signal or noise
Power-based decision "the director asked for it" Not automatable. This isn't a data problem, it's a management problem

Two traps are already visible here.

Trap #1: "feels something's suspicious." This could be genuine expertise – a trained eye for fraud patterns that formal criteria don't catch. Or it could be bias, fatigue, or dislike of a certain type of applicant. From the inside, these two states are indistinguishable. Until you check, you don't know exactly what you're about to automate – and you don't know what you'll lose if you remove the human.

Trap #2: "the director asked for it." Right now the manager works as a buffer that absorbs organizational uncertainty and personal risk. He approves – and responsibility gets diffused. The moment you install a system, the director's request has no legal channel left. Then two scenarios follow, both bad: either the system pushes back and you get a conflict that gets "resolved" with a manual flag in the database, or a shadow process emerges around the system. Six months later 30% of decisions are outside the loop, and you don't know it.


2. Architecture: a hybrid, but with explicit lanes

"A hybrid where non-standard cases go to a human" is too vague – that's not how you design this. You need explicitly defined routes:

Lane A – auto-approval. All formal criteria are passed with margin, data from all sources has been obtained, exposure is low. Plus mandatory random post-checks (5–10%) – not to control the quality of applications, but to control the quality of the system itself.

Lane B – auto-rejection. Only on hard, indisputable grounds: prohibited industry, sanctions list, blacklist. Never on a borderline score. The reason is below, in the section on hidden risks.

Lane C – return for revision. Missing data, tax ID doesn't match, revenue is on the border. This is the largest and safest lane to automate, and it often yields more time savings than auto-approval.

Lane D – a prepared case file for the human. The system gathers everything, applies the rules, flags anomalies – and does not render a verdict. The manager spends 3 minutes instead of 25. This is where most of the savings live.

Lane E – exceptions register. A separate, legal, logged "approve despite the rules" button with a mandatory reason code and the name of the decision owner. A director's request must go through here, with the director's signature, not the manager's. This isn't a workaround – it's the main element of the design. It makes organizational politics visible and discussable instead of hiding it inside an employee's head.

Key principle: automate evidence-gathering before you automate decision-making. Fact collection gives you 60–70% of the time savings with almost zero risk. Automating the verdict gives another 15% and almost all of the risk.


3. How to separate the two: 3–4 weeks before a single line of code

Step 1. Retrospective audit of decisions. Take 200–500 of the most recent applications. Reconstruct the data that was available at the moment of decision (not today's data – otherwise you get a leak from the future). Run them through the formal rules. Build a matrix of discrepancies:

  • rule "yes" / human "yes" – autopilot zone, measure its volume;
  • rule "no" / human "yes" – the gold mine. Analyze each case and code the reason;
  • rule "yes" / human "no" – the second gold mine, this is where your "intuition" lives;
  • rule "no" / human "no" – safe.

You'll immediately see the real size of the non-standard zone. If discrepancies are 5% – the project is simple. If they're 35% – you're automating a minority of the process, and the whole economics needs to be recalculated.

Step 2. Extracting tacit knowledge. Sit the manager down to go through 10–15 live applications out loud. Don't ask "what criteria do you use to decide" – you'll get a retelling of the regulations. Ask instead: "What would make you change your mind?", "Recall the last five times you approved despite the rules", "What did you look at first, and why?" Concrete cases pull out what abstract questions don't.

Step 3. Checking for self-consistency. Give the manager 20 applications again a month later, shuffled, without history. Or give them to two managers in parallel. If agreement with oneself is below ~80% – part of the "expertise" is noise. This is sobering and, more importantly, means: historical decisions are not a benchmark. Training a model on them means automating fatigue, bias, and politics as well.

Step 4. Translation rule. A reason for discrepancy → becomes a rule if it (a) occurs regularly, (b) can be expressed in data you can obtain, (c) is stable over time. Everything else – goes to Lane D, to the human. Don't try to codify the rare and high-stakes.

Separately: involve the manager as a co-author, not as a research subject. If he realizes the goal is to eliminate his two hours, he won't tell you anything valuable. And he'll have a rational reason not to.


4. The risks of over-automation – the ones you don't see

You were right to ask specifically about what's invisible. Obvious failures are loud: the system goes down, everyone notices. The dangerous ones are these:

Rejections give no feedback. An approved bad partner creates an incident – you find out. A rejected good partner creates nothing. They simply leave, often to a competitor, and they don't exist in your reporting. So metrics will keep improving while portfolio quality quietly deteriorates. Antidote: route a random 5% of rejections to manual review as a control group. Without this, you're blind in one direction forever. This is also the reason not to auto-reject on borderline scores.

Rules become a target. Once criteria are stabilized and known, applications start being tailored to fit them: revenue gets "touched up," the industry code changes, debts get paid off for the day of the check. Formally the system works perfectly – substantively it has stopped measuring anything. Sensor: drift in the distribution of applicant features, spikes in values exactly at the threshold.

Absence of data ≠ a negative result. The most common engineering hole: the counterparty-check API returns an empty response / timeout / can't find the company – and this gets interpreted as "no debts." The system stamps approvals right at the peak of an external service outage. Design for fail-closed: no data → Lane C, not "clean." And a separate alert on the share of empty responses.

The hybrid degenerates into an autopilot with a signature. This is the most insidious risk of exactly your architecture. The human sees "system recommends: reject" and six months later just clicks "agree." Formally the human is in the loop, in fact they're not. Sensor: the share of cases where the human disagrees with the recommendation. If it trends to zero – that's not a sign of system quality, it's an alarm. Antidotes: in Lane D show the evidence, not a verdict; give some cases "blind," without a recommendation; rotation.

Loss of the sensory function. The manager was not just an executor but also an early detector: new fraud schemes, market shifts, strange patterns in applications. Rules freeze yesterday's patterns, while the adversary adapts. Detection lag – months. Leave the human time to "look at the strange" and an explicit channel to escalate the unexplainable.

Normalization of exceptions. The override register creeps from 5% to 40%, because pushing through an exception is easier than fixing the rule. Or the reverse: exceptions become stigmatized, people stop making them, and real knowledge moves into chat messages. Both states are visible only if you watch the dynamics of the override share and the reasons behind it.

Diffusion of responsibility. "The system approved it" – and there's no owner for the bad partner. Every automatic decision must have a human owner of the rule, not "the system."

Deskilling and pipeline breakdown. Reviewing applications is, most likely, the way the company grows an eye for partners. Remove it, and in two years you'll find there's no one left to pass judgment on to: the senior manager has left, and the junior ones never went through applications by hand. This isn't an argument against automation, but it needs to be deliberately compensated for – for example, by reviewing cases from the control sample as a training ritual.


5. Implementation order

  1. Shadow mode, 4–8 weeks. The system computes and logs, but doesn't act. Compare against real decisions. This is the cheapest way to learn the truth about the process.
  2. Autopilot only on a narrow, safe segment (Lane C and "clean" approvals with low exposure).
  3. Expand based on evidence, not on a plan. Each step with a metric and a rollback.
  4. Probation period for auto-approved cases: a limited exposure cap for the first N months. This makes an error reversible – and reversibility matters more than accuracy.

Permanent sensors: share of auto-decisions, share and outcomes of overrides, share of empty API responses, audit results from the control sample of rejections, share of appeals and their outcomes, drift in applicant features.


6. An uncomfortable question about the premise itself

Two hours a day is roughly 0.25 FTE. Development, API integrations, rule maintenance, monitoring, incident analysis – all of this can easily exceed what you save. If the goal really is just "save the manager's time," the project probably won't pay for itself, and it would be more honest to just give him a template case file and a checklist.

Automation is justified here if the real goal is something else: throughput (applications growing 5x), response speed (SLA of hours instead of days), consistency (different managers deciding differently), or transparency (you can't explain why someone was rejected). These are good goals. But they need to be stated out loud, because what you're optimizing depends on them.

And lastly: those two hours are the cheapest part of the equation. The cost of a single wrongly approved partner or a single lost strategic account can exceed this manager's annual salary. By optimizing review time, you risk optimizing the wrong variable. Start with the decision audit – it's useful in itself, even if you decide afterward to automate nothing.

Original in Russian

Короткий ответ

Полный автопилот здесь не получится – и не потому, что технологии не хватает, а потому что в процессе смешаны три разные вещи: проверка фактов, суждение и политическое решение. Первое автоматизируется почти целиком. Второе – частично и только после того, как вы его вытащите наружу. Третье автоматизировать нельзя в принципе, и если вы попробуете, оно уйдёт в тень.

Правильная цель – не «убрать человека», а «убрать у человека сбор фактов и оставить ему только суждение». Но прежде чем это проектировать, я бы оспорил саму экономику затеи – об этом в конце.


1. Что на самом деле внутри этих двух часов

Разложите решения менеджера на четыре типа. Это не академическая классификация – от неё напрямую зависит архитектура.

Тип Пример Автоматизируемость
Формальная проверка возраст, выручка, долги, отрасль Полностью. Детерминированные правила, не ML
Контекст, который можно записать «работаем с ними 5 лет», «стратегический аккаунт», «в прошлом году была просрочка» Автоматизируется после того, как вы превратите это в данные. Сейчас это в голове, но это не неявное знание – это неоцифрованное знание
Суждение / распознавание аномалий «что-то подозрительное в заявке» Плохо. И вы пока не знаете, сигнал это или шум
Властное решение «директор попросил» Не автоматизируется. Это не задача про данные, это задача про управление

Две ловушки, которые видны уже сейчас.

Ловушка №1: «чувствует что-то подозрительное». Это может быть настоящая экспертиза – насмотренность на паттернах мошенничества, которые формальные критерии не ловят. А может быть предвзятость, усталость или неприязнь к определённому типу заявителей. Изнутри эти два состояния неразличимы. Пока вы не проверите, вы не знаете, что именно собираетесь автоматизировать – и не знаете, что именно потеряете, если уберёте человека.

Ловушка №2: «директор попросил». Сейчас менеджер работает буфером, который поглощает организационную неопределённость и личный риск. Он одобряет – и ответственность размазана. Как только вы поставите систему, у директорской просьбы не останется легального канала. Дальше два сценария, оба плохих: либо система упирается и вы получаете конфликт, который «решается» ручным флагом в базе, либо появляется теневой процесс мимо системы. Через полгода у вас 30% решений вне контура, и вы об этом не знаете.


2. Архитектура: гибрид, но с явными коридорами

«Гибрид, где нестандартное идёт к человеку» – слишком расплывчато, так не проектируют. Нужны явно определённые маршруты:

Коридор A – автоодобрение. Все формальные критерии пройдены с запасом, данные из всех источников получены, экспозиция мала. Плюс обязательная выборочная пост-проверка (5–10%) – не для контроля качества заявок, а для контроля качества самой системы.

Коридор B – автоотказ. Только по жёстким, неоспоримым основаниям: запрещённая отрасль, санкционный список,黑名单. Никогда – по пограничному скору. Причина ниже, в разделе про тихие риски.

Коридор C – возврат на доработку. Не хватает данных, не бьётся ИНН, выручка на границе. Это самый объёмный и самый безопасный для автоматизации коридор, и он часто даёт больше экономии времени, чем автоодобрение.

Коридор D – подготовленное досье для человека. Система собирает всё, считает правила, подсвечивает аномалии – и не выносит вердикт. Менеджер тратит 3 минуты вместо 25. Здесь живёт основная экономия.

Коридор E – реестр исключений. Отдельная, легальная, логируемая кнопка «одобрить вопреки правилам» с обязательным кодом причины и именем владельца решения. Директорская просьба должна проходить здесь, с подписью директора, а не менеджера. Это не костыль – это главный элемент конструкции. Он делает организационную политику видимой и обсуждаемой вместо того, чтобы прятать её в голове сотрудника.

Ключевой принцип: автоматизируйте подготовку доказательств раньше, чем принятие решений. Сбор фактов даёт 60–70% экономии времени при почти нулевом риске. Автоматизация вердикта даёт ещё 15% и почти весь риск.


3. Как отделить одно от другого: 3–4 недели до единой строчки кода

Шаг 1. Ретроспективный аудит решений. Возьмите 200–500 последних заявок. Восстановите данные, которые были доступны на момент решения (не сегодняшние – иначе получите утечку из будущего). Прогоните через формальные правила. Постройте матрицу расхождений:

  • правило «да» / человек «да» – зона автопилота, посчитайте объём;
  • правило «нет» / человек «да» – золотая жила. Разберите каждый случай и закодируйте причину;
  • правило «да» / человек «нет» – вторая золотая жила, здесь ваша «интуиция»;
  • правило «нет» / человек «нет» – безопасно.

Вы сразу увидите реальный размер нестандартной зоны. Если расхождений 5% – проект простой. Если 35% – вы автоматизируете меньшинство процесса, и всю экономику надо пересчитывать.

Шаг 2. Извлечение неявного знания. Посадите менеджера разбирать 10–15 живых заявок вслух. Не спрашивайте «по каким критериям ты решаешь» – получите пересказ регламента. Спрашивайте: «Что бы заставило тебя передумать?», «Вспомни последние пять раз, когда ты одобрил вопреки правилам», «На что ты посмотрел первым делом и почему?» Конкретные случаи вытаскивают то, что абстрактные вопросы не вытаскивают.

Шаг 3. Проверка на самосогласованность. Дайте менеджеру 20 заявок повторно через месяц, в перемешанном виде, без истории. Или двум менеджерам параллельно. Если совпадение с самим собой ниже ~80% – часть «экспертизы» это шум. Это отрезвляет и, что важнее, означает: исторические решения не являются эталоном. Обучать модель на них – значит автоматизировать ещё и усталость, предвзятость и политику.

Шаг 4. Правило перевода. Причина расхождения → в правило, если она (а) встречается регулярно, (б) выражается в данных, которые вы можете получить, (в) стабильна во времени. Всё остальное – в коридор D, к человеку. Не пытайтесь кодировать редкое и высокоставочное.

Отдельно: вовлеките менеджера как соавтора, а не как объект изучения. Если он поймёт, что цель – убрать его два часа, он не расскажет вам ничего ценного. И у него будет рациональный повод не рассказать.


4. Риски переавтоматизации – те, что не видно

Вы правильно спросили именно про незаметное. Явные сбои loud: система упала, все заметили. Опасны вот эти:

Отказы не дают обратной связи. Одобренный плохой партнёр создаёт инцидент – вы узнаёте. Отклонённый хороший партнёр не создаёт ничего. Он просто уходит, часто к конкуренту, и в вашей отчётности его не существует. Поэтому метрики будут улучшаться, пока качество портфеля тихо падает. Противоядие: случайные 5% отказов маршрутизировать на ручную проверку как контрольную группу. Без этого вы слепы в одну сторону навсегда. Это же и есть причина не делать автоотказ по пограничным скорам.

Правила становятся мишенью. Как только критерии стабилизированы и известны, заявки начинают подгонять под них: выручка «дорисовывается», ОКВЭД меняется, долги закрываются на день проверки. Формально система работает идеально – содержательно она перестала что-либо измерять. Датчик: дрейф распределения признаков заявителей, всплески значений ровно на пороге.

Отсутствие данных ≠ отрицательный результат. Самая частая инженерная дыра: API проверки контрагентов вернул пустой ответ / таймаут / не нашёл компанию – и это интерпретируется как «долгов нет». Система штампует одобрения на пике сбоя внешнего сервиса. Проектируйте fail-closed: нет данных → коридор C, а не «чисто». И отдельный алерт на долю пустых ответов.

Гибрид вырождается в автопилот с подписью. Самый коварный риск именно вашей архитектуры. Человек видит «система рекомендует: отклонить» и через полгода просто кликает «согласен». Формально человек в контуре, фактически – нет. Датчик: доля расхождений человека с рекомендацией. Если она стремится к нулю – это не признак качества системы, это тревога. Противоядия: в коридоре D показывать улики, а не вердикт; часть кейсов давать «слепыми», без рекомендации; ротация.

Потеря сенсорной функции. Менеджер был не только исполнителем, но и ранним детектором: новые схемы мошенничества, изменения на рынке, странные паттерны в заявках. Правила замораживают вчерашние паттерны, а противник адаптируется. Лаг обнаружения – месяцы. Оставьте человеку время на «смотреть на странное» и явный канал «эскалировать необъяснимое».

Нормализация исключений. Реестр override расползается с 5% до 40%, потому что продавить исключение проще, чем починить правило. Или обратное: исключения стигматизируются, люди перестают их делать, и реальное знание уходит в мессенджеры. Оба состояния видны только если вы смотрите на динамику доли override и на причины.

Размывание ответственности. «Система одобрила» – и владельца у плохого партнёра нет. У каждого автоматического решения должен быть человек-владелец правила, а не «система».

Деквалификация и разрыв_pipeline. Разбор заявок – это, скорее всего, способ, которым в компании выращивают насмотренность на партнёров. Убрав его, вы через два года обнаружите, что的判断 некому передать: старший менеджер ушёл, а младшие никогда не разбирали заявки руками. Это не аргумент против автоматизации, но это надо компенсировать осознанно – например, разбор кейсов из контрольной выборки как учебный ритуал.


5. Порядок внедрения

  1. Теневой режим, 4–8 недель. Система считает и логирует, но не действует. Сравнение с реальными решениями. Здесь вы узнаёте правду о процессе дешевле всего.
  2. Автопилот только на узком безопасном сегменте (коридор C и «чистые» одобрения с малой экспозицией).
  3. Расширение по доказательствам, а не по плану. Каждый шаг – с метрикой и с откатом.
  4. Испытательный срок для авто-одобренных: ограниченный лимит экспозиции первые N месяцев. Это делает ошибку обратимой – а обратимость важнее точности.

Постоянные датчики: доля авто-решений, доля и исходы override, доля пустых ответов API, результат аудита контрольной выборки отказов, доля апелляций и их удовлетворение, дрейф признаков заявителей.


6. Неудобный вопрос к самой постановке

Два часа в день – это примерно 0,25 FTE. Разработка, интеграции с API, поддержка правил, мониторинг, разбор инцидентов – это легко больше, чем вы экономите. Если цель именно «сэкономить время менеджера», проект, скорее всего, не окупится, и честнее просто дать ему шаблон досье и чек-лист.

Автоматизация здесь оправдана, если настоящая цель другая: пропускная способность (заявок станет в 5 раз больше), скорость ответа (SLA – часы вместо дней), консистентность (разные менеджеры решают по-разному) или прозрачность (вы не можете объяснить, почему отказали). Это хорошие цели. Но их надо назвать вслух, потому что от них зависит, что вы оптимизируете.

И последнее. Эти два часа – самая дешёвая часть уравнения. Стоимость одного ошибочно принятого партнёра или одного потерянного стратегического может превышать годовую зарплату этого менеджера. Оптимизируя время на проверку, вы рискуете оптимизировать не ту переменную. Начните с аудита решений – он полезен сам по себе, даже если вы после него решите ничего не автоматизировать.

What the judges noted

Claude Opus 5.5 · this answer: 8.9 of 10

A strong, analytically deep answer that addresses the substance of the question. It separates automatable fact-checking from judgment and authority decisions, proposes a hybrid architecture with explicit corridors and a legal exceptions registry, and gives a thoughtful list of hidden risks: no feedback on rejections, gaming of the rules, missing data read as a clean result, degeneration into rubber-stamping, and erosion of expertise. It stands out for challenging the economic premise of the project. Its weaknesses are a thin technical part (intake, dossier, tools, interface), no quantified expected effect, and multilingual generation artifacts that reduce professionalism.

  • Strong: Precise classification of decision types, with automatability assessed for each
  • Weak: Generation artifacts: Chinese fragments ('黑名单', '的判断') and a broken token ('разрыв_pipeline')

GPT-6.2 Astra · this answer: 7.5 of 10

This is a useful basis for authorizing a discovery exercise and shadow pilot, not yet a specification for unattended processing. Its strongest contribution is showing how to learn from disagreements without assuming either the manager or the rules are always right. Before launch, the team needs a clearer intake and routing design, explicit limits on overrides, and measured workload and cost data to replace illustrative savings claims.

  • Strong: Separates verifiable facts, recordable business context, expert judgment, and executive authority.
  • Weak: Treats borderline financial results, applicant omissions, and external API failures as the same return-for-rework route.

The score is for this one answer, not the model’s overall result.

Compare this category with another model →

Run the task yourself

The task «One-to-one notes: any warning signs?» from the benchmark, sent now to Qwen 4 Max (preview) and, for comparison, DeepSeek V4.1 Flash (1017) (another group). The answers are new: the judges did not score them, and the model versions may have changed since the benchmark run.

One click sends two requests to paid models; answers take 10–60 seconds. Nothing runs until you click.

Show the task

I am the lead of a development team (9 people) at a product company. I hold weekly 30-minute 1-on-1 meetings with each employee. I keep brief notes. Now I want to review the notes from the past 8 weeks for three developers and understand whether any of them show warning signs – burnout, hidden dissatisfaction, thoughts of leaving. Formally, all three are "fine" – they work, close tasks, are active in meetings. But something is bothering me. === Ilya Gromov (Senior Backend, 3 years at the company) === Week 1: Satisfied with the sprint, did a complex refactoring. Asked about the September conference – wants to give a talk. Week 2: Mentioned he's tired of the legacy code. "But that's normal, everyone feels that way." Didn't bring up the conference. Week 3: Said he spent the weekend reading about a new stack (Go + k8s). "Just curious." Didn't bring up the conference again. Week 4: Asked whether the company has plans to move to a new architecture. I answered vaguely – "it's being discussed." The topic closed quickly. Week 5: Asked to take a day off against his vacation balance without explanation. Slightly less talkative than usual. Week 6: When asked "how are you," answered "fine, a bit tired, but nothing critical." Completes tasks but shows no initiative. Week 7: For the first time in a year, asked about voluntary health insurance (ДМС) and whether it covers a psychologist. I said I'd check. Checked, wrote to him. He replied "ok, thanks." Week 8: Short meeting. "Everything's as usual." When asked about plans for the quarter, said: "I'm watching how things unfold." Hasn't brought up the conference since week 1. === Olya Semenova (Middle Frontend, 1.5 years at the company) === Week 1: Complains about the designers – they take a long time to approve mockups. Energetic, full of ideas. Week 2: About the designers again. "I've already stopped waiting and just do it my own way." Laughs, but with tension. Week 3: Said she helped a neighboring team – "at least there's something interesting there." No judgment, just a statement of fact. Week 4: Quiet meeting. Answers questions briefly. Asks when her PR review will happen – she's been waiting 5 days. (I didn't know – it turned out it got stuck with Kirill.) Week 5: Said she went to a React meetup. "It was cool. There were various companies there." (Pause.) Week 6: For the first time, asked about the grading system – how to understand if she's ready for senior. I explained the criteria. She wrote it down. Then asked: "Do we promote people often here?" Week 7: Said everything's fine, but "I want more complex tasks." I suggested she take on the authorization module – she got excited, but added: "I hope you'll let me see it through, and not hand it off to someone else." Week 8: Reported on the module. Working well. But when asked "what do you think about next quarter," answered: "Well, we'll see how it goes." === Roman Chizhov (Junior, 8 months at the company) === Week 1: Talks a lot, asks a lot of questions. Recently joined, everything is new. Week 2: Boasted that he closed a task on his own, without help. Proud of it. Week 3: Mentioned that the team lead (me) is "always busy." Said it with a smile. I didn't follow up. Week 4: Asked Ilya for a code review – says Ilya explained it well, but "somehow without enthusiasm." Asks for more feedback on his code from me. Week 5: Quiet. When asked "how are things," said: "I'm trying hard." Submits tasks on time. Week 6: Asked whether it's normal that he still doesn't know some parts of the system. I reassured him. He replied: "Well, I thought I should already know it by now." Week 7: Mentioned he started an online course on system design. "Gotta develop myself if things aren't moving fast here." Week 8: Asked whether we do performance reviews here and when his will be. Clarified: "I just want to understand how I'm being evaluated." Analyze the notes for each of the three employees. For each one: determine the risk level (low / medium / high), describe the specific signals you see in the text, explain what's behind each signal, and suggest what I should do in the next 1-on-1 meeting with each of them.

All 8 categories

Mean score per category on the benchmark’s 80 tasks, on one 0–10 scale. Click a category for its six criteria.

  1. Data analysis

    7.7close to the best

    Six criteria
    Accuracy
    7.0
    Relevance
    8.2
    Actionability
    8.3
    Transparency
    8.3
    Efficiency
    7.4
    Trustworthiness
    7.3
  2. Decisions under uncertainty

    7.9close to the best

    Six criteria
    Accuracy
    7.4
    Relevance
    8.3
    Actionability
    8.4
    Transparency
    8.4
    Efficiency
    7.3
    Trustworthiness
    7.5
  3. Feedback analysis

    8.0close to the best

    Six criteria
    Accuracy
    7.5
    Relevance
    8.2
    Actionability
    8.6
    Transparency
    8.4
    Efficiency
    7.3
    Trustworthiness
    7.7
  4. Corporate requirements and risks

    7.9close to the best

    Six criteria
    Accuracy
    7.2
    Relevance
    8.1
    Actionability
    8.4
    Transparency
    8.2
    Efficiency
    7.5
    Trustworthiness
    7.5
  5. Automation

    7.2close to the best

    Six criteria
    Accuracy
    6.7
    Relevance
    7.6
    Actionability
    7.3
    Transparency
    8.1
    Efficiency
    7.1
    Trustworthiness
    7.0
  6. People management

    7.6close to the best

    Six criteria
    Accuracy
    7.0
    Relevance
    8.2
    Actionability
    8.4
    Transparency
    7.6
    Efficiency
    7.4
    Trustworthiness
    6.8
  7. Russia and Kazakhstan specifics

    7.5mid-field

    Six criteria
    Accuracy
    6.5
    Relevance
    8.3
    Actionability
    8.0
    Transparency
    8.0
    Efficiency
    7.5
    Trustworthiness
    6.7

the mark is the best ranked model in that category; the scale is 0–10

Alternatives

Chosen by a reason that matters, not by a tenth of a point.

Compare with any model →

How the score was made

  • Two AI judges (Claude Opus 5.5 and GPT-6.2 Astra) scored every answer on six main criteria, from 1 to 10.
  • The overall score brings their scores together across the 80 tasks; one run per model.
  • Differences under 0.3 points are treated as one level: the order inside a group means nothing.
  • Data as of November 2026; model versions may have changed since.

The two judges’ overall scores for this model: Claude Opus 5.5 8.4, GPT-6.2 Astra 6.9. The published score is their average, with equal weight.

The whole method and its limits →

What next

A model from the top group will not fix a vague task

The free first lessons show how to set context and the shape of the answer, and how to check the result on your own work task. The course is in Russian.

Open the free first lessons

The first 9 lessons – free