← Whole ranking · mysummit.school AI model benchmark

OpenAI

GPT-6.1 Sol

Strongest in «People management» (8.4), weakest in «Information search» (7.7).

Group
1–4 of 74on one level with Kimi K3.1 Pro, Claude Opus 5.5
Overall score
8.2 of 10
API price of a test answer
$0.043
Data
November 2026
Open GPT-6.1 Sol ↗ a VPN is needed from Russia Compare with another model

Where it helps, where to check

This model’s own answers to two benchmark tasks: the opening, the full answer and what both judges noted. One task per category, the same for every model.

Strongest: People management · 8.4The two strongest developers can't work together

A lead of ten developers at a fintech: for four months two irreplaceable seniors – a slow architect and a fast pragmatist – have been in conflict, and the team is starting to fall apart.

Full task

I lead a development team at a fintech startup. I have 10 direct reports, and I've been in this role for three years. There's a situation I haven't been able to resolve for four months now, and it's starting to break the team apart. I have two of the strongest developers – Sergey Volkov and Diana Karpova. Both are Senior Engineers, both are irreplaceable, and I can't afford to lose either of them. Sergey is an architect at heart. Six years of experience, an incredibly deep understanding of systems, always thinking several steps ahead. His code reads like an essay – clean, documented, polished. The problem: he works slowly, methodically, and doesn't like to rush. During review he might leave 40 comments on a PR and wait until every single one is addressed. When asked a question at standup, he gives a three-minute detailed answer complete with historical context. Sergey is convinced that speed is the enemy of quality, and that "fast means twice." Diana is a next-generation product engineer. Four years of experience, but her iteration speed is phenomenal. She can ship a working feature in two days where Sergey would plan for a week. Diana thinks in terms of the user: "why make it perfect when you can make it good and test it on real data." She readily cuts architectural corners for the sake of speed – and this is a deliberate stance on her part, not laziness. Over the past four months, a quiet war has been going on between them. Sergey regularly sends her PRs back with fundamental architectural revisions – sometimes three days after submission. Diana has stopped waiting for his review and started asking other colleagues to approve her PRs instead. Sergey noticed this and wrote to me: "If we're not upholding review standards, I don't understand why I'm here." Diana said to my face: "Sergey is slowing down the whole team. I spend more time on his comments than on actually writing code." At the last team retro, Diana said: "We need to agree on what 'good enough' means – we can't turn every PR into a term paper." Sergey responded: "If we can't maintain minimal engineering standards, let's be honest with the business and say we're building prototypes, not a product." The other eight people went silent and stared at the floor. The situation is complicated by the fact that both of them are right in their own way. We really have accumulated technical debt from quick fixes made in past years – Sergey warned about this. At the same time, we're in a mode of serious competition, and speed of shipping features to market is critical – here Diana is right. I've talked to each of them separately. Sergey doesn't perceive the problem as an interpersonal conflict – for him it's a matter of professional standards, and he's not willing to lower them. Diana perceives Sergey as someone hiding behind "quality" to control her work, and she's starting to boil over. She's already hinted once that "there are places that value speed." I don't want to forcibly "reconcile" them or pretend this is simply a communication issue. This is a fundamental values divergence in engineering philosophy, and both people are smart – they understand this. Help me work through this situation. I'm interested in the following: 1. How do you see the root problem – is this a conflict of people, a conflict of values, or a managerial failure on my part? What's actually going on? 2. I have several possible courses of action – splitting their areas of responsibility, working out a team agreement on review standards, holding a structured three-way conversation, or picking one philosophy and asking the other person to adapt to it. Which of these is realistic and which is likely not to work? 3. How should I talk to each of them – what should I say to Sergey, what should I say to Diana, so that they both feel heard, but at the same time understand that their current behavior is unacceptable? 4. Is there a scenario where I'll have to choose one of them – and if so, how should I think about that? 5. What should I concretely do in the next two weeks? Don't give me an HR-sanitized answer about "respect and dialogue." Give me an honest assessment of the situation and a concrete action plan.

System line: You are a team management assistant for managers.

Translated from Russian: the models got the Russian text.

Original in Russian

Я руковожу командой разработки в финтех-стартапе, у меня 10 прямых подчинённых, я в этой роли уже три года. Есть ситуация, которую я не могу разрешить уже четыре месяца, и она начинает разрушать команду. У меня два сильнейших разработчика – Сергей Волков и Диана Карпова. Оба Senior Engineer, оба незаменимы, обоих я не могу позволить себе потерять. Сергей – архитектор в душе. Шесть лет опыта, невероятно глубокое понимание систем, всегда думает на несколько шагов вперёд. Его код читается как эссе – чистый, документированный, выверенный. Проблема: он работает медленно, методично, не любит спешить. На ревью он может оставить 40 комментариев к PR и ждать, пока каждый будет разобран. Когда ему задают вопрос на стендапе, он даёт трёхминутный развёрнутый ответ с историческим контекстом. Сергей убеждён, что скорость – это враг качества, и что «быстро – значит дважды». Диана – продуктовый инженер нового поколения. Четыре года опыта, но скорость итерации феноменальная. Она умеет выпустить рабочую фичу за два дня там, где Сергей планировал бы неделю. Диана мыслит через пользователя: «зачем делать идеально, если можно сделать хорошо и проверить на реальных данных». Она легко срезает углы в архитектуре ради скорости – и это её осознанная позиция, не лень. Последние четыре месяца между ними идёт тихая война. Сергей регулярно возвращает её PR с фундаментальными архитектурными правками – иногда через три дня после подачи. Диана перестала ждать его ревью и начала просить других коллег approve'ить её PR. Сергей заметил это и написал мне: «Если мы не поддерживаем стандарты ревью, я не понимаю зачем я здесь». Диана сказала мне в лицо: «Сергей тормозит всю команду. Я трачу больше времени на его комментарии, чем на написание кода». На последнем командном ретро Диана сказала: «Нам нужно договориться, что значит "достаточно хорошо" – нельзя каждый PR превращать в курсовую работу». Сергей ответил: «Если мы не можем поддерживать минимальные инженерные стандарты, давайте честно скажем бизнесу, что мы строим прототипы, а не продукт». Остальные восемь человек замолчали и смотрели в пол. Ситуацию усложняет то, что оба по-своему правы. У нас действительно накопился технический долг из-за быстрых решений прошлых лет – Сергей об этом предупреждал. При этом мы в режиме серьёзной конкуренции, и скорость вывода фич на рынок критична – здесь Диана права. Я разговаривал с каждым по отдельности. Сергей не воспринимает проблему как межличностный конфликт – для него это вопрос профессиональных стандартов, и он не готов их снижать. Диана воспринимает Сергея как человека, который прячется за «качеством», чтобы контролировать её работу, и начинает закипать. Она уже один раз намекнула, что «есть места, где ценят скорость». Я не хочу принудительно «примирять» их или делать вид, что это просто коммуникационный вопрос. Это фундаментальное ценностное расхождение в инженерной философии, и оба человека умные – они это понимают. Помоги мне разобраться с этой ситуацией. Меня интересует следующее: 1. Как ты видишь корневую проблему – это конфликт людей, конфликт ценностей, или управленческий провал с моей стороны? Что на самом деле происходит? 2. У меня есть несколько вариантов действий – разделить их зоны ответственности, выработать командное соглашение по стандартам ревью, провести структурированный разговор втроём, или выбрать одну философию и попросить второго подстроиться. Что из этого реалистично и что скорее всего не сработает? 3. Как мне разговаривать с каждым из них – что говорить Сергею, что говорить Диане, чтобы они оба почувствовали, что их услышали, но при этом поняли, что текущее поведение неприемлемо? 4. Есть ли сценарий, где мне придётся выбрать одного из них – и если да, как я должен об этом думать? 5. Что я должен сделать в следующие две недели конкретно? Не давай мне HR-корректный ответ про «уважение и диалог». Дай мне честную оценку ситуации и конкретный план действий.

GPT-6.1 Sol group 1–4 · VPN needed

Translated from Russian: the model answered in Russian.

You are not obligated to reconcile their engineering philosophies. You are obligated to ensure that disagreements don't give one person the right to indefinitely block work, while allowing the other to bypass mandatory checks.

Right now, based on your description, the team has no legitimate way to resolve the conflict between speed and quality. That's why Sergey and Diana are resolving it through PRs, workarounds, and public statements. This is no longer just a dispute about code – it's a fight over who sets the rules of development.

Original in Russian

Вы не обязаны примирить их инженерные философии. Вы обязаны сделать так, чтобы разногласия не давали одному человеку право бессрочно блокировать работу, а другому – обходить обязательные проверки.

Сейчас, судя по вашему описанию, у команды нет легитимного способа решать конфликт между скоростью и качеством. Поэтому Сергей и Диана решают его через PR, обходные маршруты и публичные заявления. Это уже не просто спор о коде – это борьба за то, кто определяет правила разработки.

Read the full answer · 1,778 words

You are not required to reconcile their engineering philosophies. You are required to ensure that disagreements don't give one person the right to indefinitely block work while another bypasses mandatory checks.

Right now, based on your description, the team has no legitimate way to resolve the conflict between speed and quality. So Sergey and Diana are resolving it through PRs, workarounds, and public statements. This is no longer just a dispute about code – it's a fight over who sets the rules of development.

1. What's actually happening

There are three layers here.

Layer one: a real engineering contradiction

Technical debt exists. The cost of slow product delivery also exists. You cannot eliminate this contradiction by talking about mutual respect.

But "speed versus quality" is too crude a frame. In fintech, different changes require different levels of rigor:

  • an error in balance calculation, an access violation, or incorrect payment processing may be unacceptable;
  • imperfect code structure in a reversible product experiment may be a reasonable price for testing a hypothesis;
  • an architectural decision that is expensive to change deserves discussion before implementation, not three days after a PR is submitted.

As long as all of this is judged by one implicit standard, each person will consider the other irresponsible.

Layer two: the dispute has become a fight for authority

Sergey is effectively saying: "My understanding of standards should determine what can be shipped."

Diana is effectively responding: "If these standards get in the way of shipping, I'll find another way."

This is a description of behavior, not a claim about their hidden motives. You don't know whether Sergey is actually trying to control Diana. And you don't need to prove that in order to stop the prolonged blocking.

Similarly: requesting review from another colleague is not necessarily a violation. If Sergey is not designated as a mandatory approver, Diana may be acting within the rules. A violation would be bypassing a mandatory check or seeking approval without disclosing an already identified material risk. These need to be distinguished.

Layer three: management responsibility

Yes, there is a management shortfall here: for four months the team has been living without a working mechanism to resolve this dispute.

This doesn't mean you created the technical debt or are responsible for every remark they've made. But you are responsible for:

  • mandatory standards;
  • the right to block changes;
  • decision-making timelines;
  • acceptable trade-offs;
  • consequences for violating the rules.

As long as you don't set these boundaries, the two most influential engineers will set them.

The silence of the other eight people is an alarming signal. It doesn't prove everyone is afraid, but it shows the dispute has stopped being a productive team discussion.

And one more thing: the thought "both are irreplaceable" is dangerous. They may be extremely valuable, but if irreplaceability means the right not to follow common procedure, the team ends up held hostage by them.

2. What options are realistic

I wouldn't pick just one option. You need a sequence: management boundaries → working agreement → three-way conversation → role/responsibility changes if necessary.

A team review agreement – necessary but not sufficient

It will work if it governs decisions, not communication style.

It should include:

1. Mandatory criteria.
Correctness, security, data requirements, regulatory constraints, required tests – specified for your systems.

2. Risk classes.
Payment logic and a small reversible interface experiment should not automatically be subject to the same process.

3. Comment types.

  • Blocking: a mandatory criterion is violated or a specific material risk has been identified.
  • Suggestion: an improvement that does not prevent merging.
  • Question: a request for clarification; if the answer reveals a risk, the comment can become blocking.

"I would have designed it differently" is not by itself grounds to block a PR.

4. Deadlines and escalation.
For example, for ordinary small PRs – first substantive response within one business day. For large or high-risk changes, the deadline is agreed separately. If a reviewer can't make it in time, they hand off the review rather than leaving the author waiting.

Lack of a response does not mean automatic permission to ship a dangerous change.

5. Who makes the final decision.
Each class of change should have a known arbiter. Not "argue until you agree," but "document the risk, discuss it, the responsible person decides."

6. Rules for accepted technical debt.
Not just a "fix it later" ticket, but an owner, the reason for the trade-off, and a deadline or condition for revisiting it. A promise to pay off debt is meaningless if you never allocate resources for it.

A three-way conversation – needed to finalize the working agreement

Don't start it with "tell me what annoys you about each other." After four months, this will easily turn into a tribunal.

First, propose the framework. Then review two or three real PRs:

  • what risk did Sergey see;
  • how material was it;
  • could it have been identified before the code was written;
  • what did the delay cost;
  • who should have made the decision.

The goal of the meeting is not to determine whose philosophy is nobler, but to test whether the new procedure can resolve real disputes.

Splitting responsibilities – useful if split by risk, not by camp

A bad option: "Sergey is responsible for quality, Diana for speed." This cements the conflict and creates two incompatible value systems.

A workable option:

  • Sergey owns the architecture of critical components, flags constraints in advance, and helps with decisions that are expensive to change.
  • Diana owns product experiments with agreed-upon constraints, observability, and rollback capability.
  • Where areas overlap, there's a pre-established procedure for resolving decisions.

Sergey does not thereby get veto power over all code. Diana does not get exempted from general standards.

Choosing one philosophy – as framed, likely won't work

"Speed is now the priority" is dangerous for critical systems. "Quality is now the priority" could make the startup uncompetitive.

But choosing an engineering policy is necessary. For example:

"In critical contours, we are strict about risk. In reversible experiments, we allow limited debt for the sake of speed. Architectural disagreements are resolved before implementation, wherever possible. Shipping does not depend on a reviewer's personal aesthetic preferences."

This is the policy both of them will actually have to adapt to.

3. What to say to each of them

The conversations need to be concrete: observation → consequences → acknowledgment of contribution → boundary → required behavior.

To Sergey

"You're right that past fast decisions created debt. I'm not asking you to stop seeing risks or to approve unsafe code.

But right now the process allows a decision to be delayed for several days and turns architectural preferences into mandatory requirements after the fact. This is hurting the team's ability to work. I'm responsible for the fact that we didn't set boundaries in time.

From now on, a blocking comment must point to a specific risk or a violation of an agreed standard. Other improvements will not automatically prevent shipping. We will raise significant architectural questions earlier.

If you disagree with a decision, you document the risk and escalate it. Once the designated responsible person decides, the work moves forward. This does not override security and compliance requirements.

I need to understand: are you willing to work in a system where your engineering opinion carries significant weight but is not a universal veto right?"

Also ask: "What three risks do you consider truly unacceptable, and what facts support that?" This moves the conversation from "standards in general" to manageable requirements.

And check his workload: a three-day wait might not just be a stance, but a result of one person being assigned too many reviews.

To Diana

"You're right that feature delivery time is part of engineering effectiveness. Days of waiting and endless rework cannot be the norm.

But we cannot replace a clear process with finding whoever will approve fastest. If a check is mandatory or a material risk has already been identified, it cannot be bypassed.

I also won't accept as an established fact that Sergey is using quality to exert control. We will discuss his specific actions and their consequences, not attribute motives.

I will introduce review deadlines and a dispute-resolution mechanism. In return, I need you to openly disclose trade-offs, comply with mandatory checks, and escalate disputes rather than work around them.

Are you willing to accept that some changes will move more slowly than your preferred pace if the cost of error is high?"

Ask one more direct question:

"What conditions would need to change for you to consider working here sustainable? And how close are you right now to deciding to leave?"

Don't promise her a win over Sergey as a retention tactic.

To both

"You may disagree about a technical decision. But you cannot wage a parallel battle over the team's rules. I'm not asking for friendship. I am requiring professional cooperation within a clear process."

4. When you'll actually have to choose

Yes, that scenario is possible. But the choice is not between speed and quality, but between the ability and inability to work within the system the company needs.

Signs the problem isn't being resolved:

  • Sergey continues to block decisions using his personal standard after clear rules have been introduced.
  • Diana continues to bypass mandatory checks or conceal accepted risks.
  • One of them systematically undermines accepted decisions in front of the team.
  • Process compliance only happens under your constant supervision.
  • Business requirements and the person's actual professional preferences turn out to be incompatible.

Then you need to assess:

  1. Which capabilities are critical for the next 6–12 months.
  2. The person's contribution, accounting for their impact on the other nine people, not just their own code.
  3. Whether they accept feedback and change their behavior.
  4. How much the dependency on their knowledge can be reduced.

If keeping one strong engineer is only possible at the cost of disempowering everyone else, that's a bad trade.

But don't decide on someone's departure based on one emotional conversation. First – clear expectations, your support, observable criteria, and a reasonable trial period. In parallel, reduce dependency on both of them: documentation, shared ownership of components, knowledge transfer. Not as punishment, but as risk mitigation for the company.

5. Concrete two-week plan

Days 1–2: gather facts and end the uncertainty

Review 6–8 disputed PRs:

  • time to first review;
  • reasons for blocking;
  • which comments prevented real problems;
  • which were preferences;
  • which decisions had to be redone after release;
  • what impact the delays had.

Briefly talk to several other engineers: "Where has the process stopped working? What's preventing you from making decisions?" Don't ask who between the two is right.

Set a temporary procedure: any prolonged dispute goes to you or a designated technical arbiter with a brief description of the risk and the options. Don't leave blocks unresolved indefinitely.

Days 3–4: hold individual conversations

Use the language above. From each person, get:

  • a list of what they consider mandatory criteria;
  • areas where trade-offs are acceptable;
  • an answer on willingness to follow the common procedure.

If someone already refuses to acknowledge the company's right to set rules at this stage, that's an important signal – don't mask it with further workshops.

Day 5: prepare a one-page agreement

Document risk classes, blocking criteria, review deadlines, the arbiter, and technical debt rules.

Check critical requirements with those responsible for security, compliance, and product commitments. These cannot be determined by developer vote alone.

Days 6–7: three-way meeting and pilot launch

A 60–75 minute meeting:

  1. You acknowledge your share of responsibility.
  2. State behavioral boundaries.
  3. Test the agreement against two real PRs.
  4. Document remaining disagreements and make decisions.
  5. Get an explicit commitment to follow the pilot process.

Then explain the rules to the whole team, without staging a public review of Sergey and Diana.

Days 8–12: test the process in action

For risky tasks, hold a short discussion of the decision before implementation. In disputed reviews, require comments to be classified. Every accepted trade-off must have an owner.

Protect a small, specific portion of resources for the most dangerous technical debt. Otherwise Sergey will see only a limitation of his authority without any answer to the real problem.

Track several metrics: review wait time, dispute resolution time, late architectural rework, post-release defects. Don't turn them into a competition between two people.

Days 13–14: assess initial results

Talk separately with both of them and with several team members.

In two weeks you won't prove the conflict is fully resolved. But you will be able to see:

  • whether decisions are being made faster and more clearly;
  • whether mandatory checks are being preserved;
  • whether both are keeping to the agreements;
  • whether others can participate in discussions without retreating into silence.

If so – continue the pilot for a few more weeks. If the rules are impractical – refine them. If the rules are clear and a person deliberately rejects them – that is now a question of fit for the role, not further "communication improvement."

The main step on your part: stop being a mediator between two philosophies and become the owner of the decision-making system. Their strengths can complement each other, but only if the cost of trade-offs, the boundaries of authority, and the final word stop being redetermined in every single PR.

Original in Russian

Вы не обязаны примирить их инженерные философии. Вы обязаны сделать так, чтобы разногласия не давали одному человеку право бессрочно блокировать работу, а другому – обходить обязательные проверки.

Сейчас, судя по вашему описанию, у команды нет легитимного способа решать конфликт между скоростью и качеством. Поэтому Сергей и Диана решают его через PR, обходные маршруты и публичные заявления. Это уже не просто спор о коде – это борьба за то, кто определяет правила разработки.

1. Что на самом деле происходит

Здесь три слоя.

Слой первый: реальное инженерное противоречие

Технический долг существует. Цена медленного вывода продукта тоже существует. Нельзя устранить это противоречие разговором о взаимном уважении.

Но «скорость против качества» – слишком грубая рамка. В финтехе разные изменения требуют разной строгости:

  • ошибка в расчёте баланса, нарушение доступа или некорректная обработка платежа могут быть недопустимы;
  • несовершенная структура кода в обратимом продуктовом эксперименте может быть разумной ценой проверки гипотезы;
  • архитектурное решение, которое дорого менять, заслуживает обсуждения до реализации, а не через три дня после подачи PR.

Пока всё это оценивается по одному неявному стандарту, каждый будет считать другого безответственным.

Слой второй: спор стал борьбой за полномочия

Сергей фактически говорит: «Моё понимание стандартов должно определять, что можно выпускать».

Диана фактически отвечает: «Если эти стандарты мешают выпуску, я найду другой путь».

Это описание поведения, а не утверждение об их скрытых мотивах. Вы не знаете, действительно ли Сергей стремится контролировать Диану. И вам не нужно это доказывать, чтобы прекратить затяжные блокировки.

Аналогично: запросить ревью у другого коллеги – не обязательно нарушение. Если Сергей не назначен обязательным согласующим, Диана может действовать в рамках правил. Нарушением будет обход обязательной проверки или поиск approve без раскрытия уже обнаруженного существенного риска. Это нужно различить.

Слой третий: управленческая ответственность

Да, здесь есть ваша управленческая недоработка: четыре месяца команда живёт без работающего механизма разрешения этого спора.

Это не означает, что вы создали технический долг или отвечаете за каждую их реплику. Но именно вы отвечаете за:

  • обязательные стандарты;
  • право блокировать изменения;
  • сроки принятия решений;
  • допустимые компромиссы;
  • последствия нарушения правил.

Пока вы не устанавливаете эти границы, их устанавливают два самых влиятельных инженера.

Молчание остальных восьми человек – тревожный сигнал. Оно не доказывает, что все боятся, но показывает, что спор уже перестал быть продуктивным командным обсуждением.

И ещё: мысль «оба незаменимы» опасна. Они могут быть крайне ценными, но если незаменимость означает право не соблюдать общий порядок, команда оказывается у них в заложниках.

2. Какие варианты реалистичны

Я бы не выбирал один вариант. Нужна последовательность: управленческие границы → рабочее соглашение → разговор втроём → при необходимости изменение ответственности.

Командное соглашение по ревью – необходимо, но недостаточно

Оно сработает, если регулирует решения, а не манеры общения.

В нём должны быть:

1. Обязательные критерии.
Корректность, безопасность, требования к данным и регуляторные ограничения, необходимые тесты – с конкретизацией для ваших систем.

2. Классы риска.
Для платёжной логики и небольшого обратимого интерфейсного эксперимента не должен автоматически действовать одинаковый процесс.

3. Типы комментариев.

  • Блокирует: нарушен обязательный критерий или выявлен конкретный существенный риск.
  • Предложение: улучшение, которое не препятствует merge.
  • Вопрос: запрос объяснения; если ответ выявляет риск, комментарий может стать блокирующим.

«Я бы спроектировал иначе» само по себе не основание блокировать PR.

4. Сроки и эскалация.
Например, для обычных небольших PR – первый содержательный ответ в течение рабочего дня. Для крупных или высокорисковых изменений срок согласуется отдельно. Если ревьюер не успевает, он передаёт ревью, а не оставляет автора ждать.

Отсутствие ответа не означает автоматического разрешения выпускать опасное изменение.

5. Кто принимает последнее решение.
У каждого класса изменений должен быть известный арбитр. Не «спорим до согласия», а «фиксируем риск, обсуждаем, ответственный принимает решение».

6. Правила принятого техдолга.
Не просто тикет «потом исправим», а владелец, причина компромисса и срок либо условие пересмотра. Обещание погасить долг бессмысленно, если вы никогда не выделяете на него ресурс.

Разговор втроём – нужен для заключения рабочего договора

Не начинайте его с «расскажите, что вас раздражает друг в друге». После четырёх месяцев это легко превратится в судебное заседание.

Сначала предложите рамку. Потом разберите два-три реальных PR:

  • какой риск видел Сергей;
  • насколько он был существенным;
  • можно ли было обнаружить его до написания кода;
  • что стоила задержка;
  • кто должен был принять решение.

Задача встречи – не выяснить, чья философия благороднее, а проверить, способен ли новый порядок разрешать реальные споры.

Разделение ответственности – полезно, если разделять по риску, а не по лагерям

Плохой вариант: «Сергей отвечает за качество, Диана – за скорость». Это закрепляет конфликт и создаёт две несовместимые системы ценностей.

Рабочий вариант:

  • Сергей ведёт архитектуру критичных компонентов, заранее обозначает ограничения и помогает с дорогими для изменения решениями.
  • Диана ведёт продуктовые эксперименты с согласованными ограничениями, наблюдаемостью и возможностью отката.
  • При пересечении областей есть заранее установленный порядок решения.

Сергей при этом не получает право вето на весь код. Диана не получает освобождение от общих стандартов.

Выбрать одну философию – в такой формулировке, скорее всего, не сработает

«Теперь главное скорость» опасно для критичных систем. «Теперь главное качество» может сделать стартап неконкурентоспособным.

Но выбрать инженерную политику необходимо. Например:

«В критичных контурах мы строги к рискам. В обратимых экспериментах допускаем ограниченный долг ради скорости. Архитектурные разногласия решаем до реализации, насколько это возможно. Выпуск не зависит от личных эстетических предпочтений ревьюера».

Вот к этой политике обоим действительно придётся подстроиться.

3. Что говорить каждому

Разговоры должны быть конкретными: наблюдение → последствия → признание вклада → граница → требуемое поведение.

Сергею

«Ты прав, что прошлые быстрые решения создали долг. Я не прошу тебя перестать видеть риски или одобрять небезопасный код.

Но сейчас процесс позволяет задерживать решение на несколько дней и превращать архитектурные предпочтения в обязательные требования уже после реализации. Это мешает команде работать. Я отвечаю за то, что мы вовремя не установили границы.

Теперь блокирующий комментарий должен указывать конкретный риск или нарушение согласованного стандарта. Остальные улучшения не будут автоматически препятствовать выпуску. Существенные архитектурные вопросы мы будем выносить раньше.

Если ты не согласен с решением, ты фиксируешь риск и эскалируешь его. После решения уполномоченного ответственного работа продолжается. Это не отменяет требований безопасности и комплаенса.

Мне нужно понять: готов ли ты работать в системе, где твоё инженерное мнение имеет большой вес, но не является универсальным правом вето?»

Также спросите: «Какие три риска ты считаешь действительно недопустимыми и какими фактами это подтверждается?» Это переводит разговор от «стандартов вообще» к управляемым требованиям.

И проверьте его загрузку: трёхдневное ожидание может быть не только позицией, но и результатом того, что на одного человека повесили слишком много ревью.

Диане

«Ты права, что время выхода фич – часть инженерной эффективности. Дни ожидания и бесконечные переделки не могут быть нормой.

Но мы не можем заменить понятный процесс поиском человека, который быстрее даст approve. Если проверка обязательна или существенный риск уже обнаружен, его нельзя обойти.

Я также не буду принимать как установленный факт, что Сергей использует качество для контроля. Мы будем обсуждать его конкретные действия и последствия, а не приписывать мотивы.

Я введу сроки ревью и механизм разрешения споров. Взамен мне нужно, чтобы ты открыто обозначала компромиссы, соблюдала обязательные проверки и не обходила спор, а эскалировала его.

Готова ли ты принять, что некоторые изменения будут идти медленнее твоего предпочтительного темпа, если цена ошибки высока?»

Задайте ещё один прямой вопрос:

«Какие условия должны измениться, чтобы ты считала работу здесь устойчивой? И насколько близко ты сейчас к решению уйти?»

Не обещайте ей победу над Сергеем ради удержания.

Обоим

«Вы можете не согласиться с техническим решением. Но вы не можете вести параллельную борьбу за правила команды. Я не требую дружбы. Я требую профессионального сотрудничества в понятном процессе».

4. Когда действительно придётся выбирать

Да, такой сценарий возможен. Но выбирать стоит не между скоростью и качеством, а между способностью и неспособностью работать в нужной компании системе.

Признаки, что проблема не решается:

  • Сергей продолжает блокировать решения личным стандартом после введения ясных правил.
  • Диана продолжает обходить обязательные проверки или скрывать принятые риски.
  • Один из них систематически подрывает принятые решения перед командой.
  • Соблюдение процесса происходит только под вашим постоянным наблюдением.
  • Требования бизнеса и реальные профессиональные предпочтения человека оказываются несовместимы.

Тогда оценивать нужно:

  1. Какие способности критичны для ближайших 6–12 месяцев.
  2. Каков вклад человека с учётом влияния на остальных девятерых, а не только его собственного кода.
  3. Принимает ли он обратную связь и меняет ли поведение.
  4. Насколько можно снизить зависимость от его знаний.

Если сохранить одного сильного инженера можно только ценой бессилия остальных, это плохая сделка.

Но не решайте вопрос ухода по одному эмоциональному разговору. Сначала – ясные ожидания, ваша поддержка, наблюдаемые критерии и разумный период проверки. Параллельно снижайте зависимость от обоих: документация, совместное владение компонентами, передача знаний. Не как наказание, а как устранение риска для компании.

5. Конкретный план на две недели

Дни 1–2: собрать факты и прекратить неопределённость

Разберите 6–8 спорных PR:

  • время до первого ревью;
  • причины блокировки;
  • какие замечания предотвратили реальные проблемы;
  • какие были предпочтениями;
  • какие решения пришлось переделывать после выпуска;
  • какие последствия имели задержки.

Коротко поговорите с несколькими остальными инженерами: «Где процесс перестал работать? Что мешает вам принимать решения?» Не спрашивайте, кто из двух прав.

Установите временный порядок: любой затянувшийся спор приходит к вам или назначенному техническому арбитру с кратким описанием риска и вариантов. Не оставляйте блокировку бессрочной.

Дни 3–4: провести индивидуальные разговоры

Используйте формулировки выше. От каждого получите:

  • список обязательных, по его мнению, критериев;
  • области допустимого компромисса;
  • ответ о готовности соблюдать общий порядок.

Если кто-то уже здесь отказывается признавать право компании устанавливать правила, это важный сигнал – не маскируйте его дальнейшими воркшопами.

День 5: подготовить одностраничное соглашение

Зафиксируйте классы риска, критерии блокировки, сроки ревью, арбитра и правила техдолга.

Критичные требования сверьте с теми, кто отвечает за безопасность, комплаенс и продуктовые обязательства. Их нельзя определить только голосованием разработчиков.

Дни 6–7: встреча втроём и запуск пилота

Встреча на 60–75 минут:

  1. Вы признаёте свою часть ответственности.
  2. Обозначаете границы поведения.
  3. Проверяете соглашение на двух реальных PR.
  4. Фиксируете оставшиеся разногласия и принимаете решения.
  5. Получаете явное обязательство соблюдать пилотный процесс.

Затем объясняете правила всей команде, не устраивая публичный разбор Сергея и Дианы.

Дни 8–12: проверить процесс в работе

Для рискованных задач проводите короткое обсуждение решения до реализации. В спорных ревью требуйте классификации комментариев. У каждого принятого компромисса должен быть ответственный.

Защитите небольшую, конкретную часть ресурса на самый опасный техдолг. Иначе Сергей увидит лишь ограничение его полномочий без ответа на реальную проблему.

Следите за несколькими показателями: ожидание ревью, время разрешения спора, поздние архитектурные переделки, дефекты после выпуска. Не превращайте их в соревнование между двумя людьми.

Дни 13–14: оценить первые результаты

Отдельно поговорите с обоими и несколькими членами команды.

За две недели вы не докажете, что конфликт окончательно решён. Но сможете понять:

  • стали ли решения приниматься быстрее и понятнее;
  • сохранились ли обязательные проверки;
  • соблюдают ли оба договорённости;
  • могут ли остальные участвовать в обсуждении без ухода в молчание.

Если да – продолжайте пилот ещё несколько недель. Если правила неудобны – уточните их. Если правила понятны, а человек сознательно их отвергает – это уже вопрос соответствия роли, а не дальнейшего «улучшения коммуникации».

Главный шаг с вашей стороны: перестать быть посредником между двумя философиями и стать владельцем системы принятия решений. Их сильные стороны могут дополнять друг друга, но только если цена компромисса, границы полномочий и последнее слово перестанут определяться в каждом PR заново.

What the judges noted

Claude Opus 5.5 · this answer: 8.1 of 10

A high-quality, mature answer that meets the request to avoid an HR-correct reply. It diagnoses the conflict as a fight over authority in a management vacuum and proposes a sequence: management boundaries, then a working agreement, then a three-way conversation, then a risk-based split of responsibilities. Ready-made scripts and a day-by-day plan are included. It falls short of a top score because the protocol lacks hard parameters: no tiers with SLAs, no cap on review rounds, no lists of phrases to avoid. It also gives no explicit forecast of each engineer's departure risk or a warning against appointing Sergey tech lead.

  • Strong: Precise, nuanced diagnosis: the conflict as a fight over who sets the rules, plus open acknowledgment of the manager's own responsibility
  • Weak: No concrete tier/SLA model or cap on review rounds; parameters are given only as examples

GPT-6.2 Astra · this answer: 8.6 of 10

Translated from Russian.

A strong answer for the manager: it shows which decisions can no longer be delegated to arguing engineers, and gives distinct, appropriate boundaries for each. The conversations can be held with almost no further refinement. The main gap is the transition from principles to execution: the two-week plan proposes drafting a regulation, but does not provide a sufficiently complete starting version that the team could immediately apply to the next PR.

  • Strong: Distinguishes between an acceptable change of reviewer and bypassing a mandatory check, without blaming Diana after the fact.
  • Weak: There is no complete scheme by risk classes with deadlines, mandatory approvers, and a limit on the number of review rounds.
Original in Russian

Сильный ответ для руководителя: он показывает, какие решения нельзя дальше делегировать спорящим инженерам, и даёт разные, уместные границы для каждого. Разговоры можно проводить практически без доработки. Основной пробел – переход от принципов к исполнению: двухнедельный план предлагает составить регламент, но не даёт достаточно полного стартового варианта, который команда могла бы сразу применить к следующему PR.

  • Различает допустимую смену ревьюера и обход обязательной проверки, не обвиняя Диану задним числом.
  • Нет полной схемы по классам риска со сроками, обязательными согласующими и пределом числа раундов ревью.

The score is for this one answer, not the model’s overall result.

Compare this category with another model →

Weakest: Information search · 7.7Does remote work really cut productivity by 15–20%?

A colleague cites «recent research»: remote work cuts productivity by 15–20%. Check the claim, name the source, give the context and the limits of the data.

Full task

A colleague just stated: "Remote work reduces productivity by 15-20% according to recent studies." Is this true? Please: 1. Verify or correct this statement using up-to-date data. 2. Provide the source of accurate information. 3. Give context (why this matters, what has changed recently). 4. Note any nuances or limitations of this data.

System line: I'm ready to help. Please provide the Russian business text you'd like me to translate into English.

Translated from Russian: the models got the Russian text.

Original in Russian

Коллега только что заявил: "Удаленная работа снижает продуктивность на 15-20% согласно недавним исследованиям". Это правда? Пожалуйста: 1. Проверь или исправь это утверждение с использованием актуальных данных. 2. Укажи источник точной информации. 3. Дай контекст (почему это важно, что изменилось в последнее время). 4. Отметь любые нюансы или ограничения этих данных.

GPT-6.1 Sol group 1–4 · VPN needed

Translated from Russian: the model answered in Russian.

In such a general form – no. The figure of 15–20% appears in studies of fully remote work under specific conditions, but it cannot be applied to all employees or to a hybrid format.

Verification limitation: I don't have access to real-time search, so I cannot confirm which studies are the most recent as of November 2026. Below are verifiable scientific sources from 2023–2024, not a claim to an exhaustive review of the latest publications.

Original in Russian

В таком общем виде – нет. Цифра 15–20% встречается в исследованиях полностью удалённой работы в отдельных условиях, но её нельзя переносить на всех сотрудников и на гибридный формат.

Ограничение проверки: у меня нет доступа к поиску в реальном времени, поэтому я не могу подтвердить, какие исследования являются самыми свежими на ноябрь 2026 года. Ниже – проверяемые научные источники 2023–2024 годов, а не заявка на исчерпывающий обзор последних публикаций.

Read the full answer · 488 words

Not in this general form. The figure of 15–20% appears in studies of fully remote work under specific conditions, but it cannot be extended to all employees or to the hybrid format.

Verification limitation: I do not have access to real-time search, so I cannot confirm which studies are the most recent as of November 2026. Below are verifiable scientific sources from 2023–2024, not a claim to an exhaustive review of the latest publications.

1. What the studies actually show

Source and conditions Main finding What follows from this
Atkin, Schoar, Shinde, "Working from Home, Worker Sorting and Development," NBER, 2023. A randomized experiment with workers performing data entry in India: working from home or in the office. The productivity of those assigned to work from home was 18% lower than that of those assigned to the office. This confirms a figure close to the claimed one for a specific job and conditions, but not for remote work in general.
Barrero, Bloom, Davis, "The Evolution of Work from Home," Journal of Economic Perspectives, 2023. A review of studies. The authors summarize estimates: fully remote work is associated with roughly 10–20% lower productivity, while results for hybrid work are substantially more favorable. This is likely one of the sources for such claims. But the range is a generalization of heterogeneous studies, not a universal causal effect.
Bloom, Han, Liang, "Hybrid working from home improves retention without damaging performance," Nature, 2024. A randomized experiment with 1,612 Trip.com employees: two days at home per week versus fully office-based work. The hybrid regime did not worsen measured performance indicators, while the resignation rate decreased by approximately one-third. The claim that "remote work reduces productivity by 15–20%" is incorrect if remote work is taken to include such a hybrid regime.

Exact sources:

2. Why context matters

The key distinction is that fully remote work and hybrid work are not the same thing. In the former case, training newcomers, informal knowledge sharing, and coordination can be more difficult. Hybrid work allows some of these office advantages to be preserved.

Compared with early pandemic-era estimates, studies have become better at distinguishing work formats and using randomized experiments. Pandemic-era remote work often coincided with school closures, stress, and emergency restructuring of processes – its results cannot automatically be taken as the effect of normally organized remote work.

The overall economics also matter for a manager: even unchanged productivity combined with lower turnover can mean substantial gains thanks to reduced hiring and training costs.

3. Nuances and limitations

  • Different metrics. Output per hour, total volume of work, supervisor ratings, and quality of output are not interchangeable indicators.
  • Limited transferability. Data entry workers in India and skilled employees at a Chinese tech company do not represent all professions and countries.
  • Causality. Randomized experiments are more convincing than simple comparisons between remote and office employees, since the latter groups may differ from the outset.
  • Observation horizon. The absence of deterioration in current performance does not rule out long-term consequences for mentoring, innovation, or career development.
  • Work organization matters: equipment, home conditions, management processes, and the nature of tasks can all change the outcome.

Correct phrasing for a colleague:

"Some studies of fully remote work find a productivity decline of roughly 10–20%, but this is not a universal result. For the hybrid format, there is solid experimental evidence of no decline in performance indicators and a reduction in turnover."

Original in Russian

В таком общем виде – нет. Цифра 15–20% встречается в исследованиях полностью удалённой работы в отдельных условиях, но её нельзя переносить на всех сотрудников и на гибридный формат.

Ограничение проверки: у меня нет доступа к поиску в реальном времени, поэтому я не могу подтвердить, какие исследования являются самыми свежими на ноябрь 2026 года. Ниже – проверяемые научные источники 2023–2024 годов, а не заявка на исчерпывающий обзор последних публикаций.

1. Что действительно показывают исследования

Источник и условия Основной результат Что из этого следует
Atkin, Schoar, Shinde, “Working from Home, Worker Sorting and Development”, NBER, 2023. Рандомизированный эксперимент с работниками, выполнявшими ввод данных в Индии: работа дома или в офисе. Производительность назначенных работать из дома была на 18% ниже, чем у назначенных в офис. Это подтверждает близкую к заявленной цифру для конкретной работы и условий, но не для удалёнки вообще.
Barrero, Bloom, Davis, “The Evolution of Work from Home”, Journal of Economic Perspectives, 2023. Обзор исследований. Авторы суммируют оценки: полностью удалённая работа связана примерно с 10–20% более низкой производительностью, тогда как для гибридной работы результаты существенно благоприятнее. Вероятно, это один из источников подобных утверждений. Но диапазон – обобщение разнородных исследований, а не универсальный причинный эффект.
Bloom, Han, Liang, “Hybrid working from home improves retention without damaging performance”, Nature, 2024. Рандомизированный эксперимент с 1 612 сотрудниками Trip.com: два дня дома в неделю против полностью офисного режима. Гибридный режим не ухудшил измеряемые показатели работы, а доля увольнений снизилась примерно на треть. Утверждение «удалёнка снижает продуктивность на 15–20%» неверно, если под удалёнкой подразумевают и такой гибридный режим.

Точные источники:

2. Почему важен контекст

Главное различие – полностью удалённая работа и гибрид не одно и то же. В первом случае сложнее могут быть обучение новичков, обмен неформальными знаниями и координация. Гибрид позволяет сохранить часть этих преимуществ офиса.

По сравнению с ранними пандемийными оценками исследования стали лучше разделять форматы работы и использовать рандомизированные эксперименты. Пандемийная удалёнка часто совпадала с закрытием школ, стрессом и экстренной перестройкой процессов – её результаты нельзя автоматически считать эффектом нормально организованной удалённой работы.

Для менеджера важна и экономика в целом: даже неизменная производительность при меньшей текучести может означать существенную выгоду благодаря снижению затрат на найм и обучение.

3. Нюансы и ограничения

  • Разные метрики. Выпуск за час, общий объём работы, оценки руководителя и качество результата – не взаимозаменяемые показатели.
  • Ограниченная переносимость. Ввод данных в Индии и квалифицированные сотрудники китайской технологической компании не представляют все профессии и страны.
  • Причинность. Рандомизированные эксперименты убедительнее простого сравнения удалённых и офисных сотрудников: последние могут изначально различаться.
  • Горизонт наблюдения. Отсутствие ухудшения текущих результатов не исключает долгосрочных последствий для наставничества, инноваций или карьерного развития.
  • Организация работы имеет значение: оборудование, домашние условия, управленческие процессы и характер задач могут менять результат.

Корректная формулировка для коллеги:

«Некоторые исследования полностью удалённой работы находят снижение производительности примерно на 10–20%, но это не универсальный результат. Для гибридного режима есть качественные экспериментальные данные об отсутствии ухудшения показателей работы и снижении текучести».

What the judges noted

Claude Opus 5.5 · this answer: 8.7 of 10

This is a strong, academically sound response. It does not simply refute the colleague's claim; it accurately places it, showing that a 10–20% decline appears in studies of fully remote work under specific conditions, while rigorous experimental evidence for hybrid work shows no harm to performance and lower attrition. The sources are authoritative and verifiable, and the knowledge limitation is stated openly. The main gaps are the absence of industry surveys and of breakdowns by task type and seniority, and weak practical guidance on how the manager should handle the discussion or test formats within the team.

  • Strong: High-quality, verifiable sources (Nature 2024, JEP 2023, NBER) with DOIs and links
  • Weak: No practical guidance for the conversation with the colleague or for testing formats (pilot, metrics)

GPT-6.2 Astra · this answer: 8.5 of 10

The answer gives a sound correction: a study did find an 18% loss, but that finding does not establish a general penalty for remote work, particularly for hybrid schedules. Its strongest feature is the comparison of what the two experiments actually measured. The principal limitations are the lack of a 2025–2026 evidence check and the risk that readers will repeat 10–20% as the review’s typical estimate rather than distinguish an average from individual findings.

  • Strong: Identifies a concrete experimental basis for a figure close to the colleague’s claim.
  • Weak: Does not establish whether newer studies change the conclusion.

The score is for this one answer, not the model’s overall result.

Compare this category with another model →

Run the task yourself

The task «The two strongest developers can't work together» from the benchmark, sent now to GPT-6.1 Sol and, for comparison, Qwen 4 Max (another group). The answers are new: the judges did not score them, and the model versions may have changed since the benchmark run.

One click sends two requests to paid models; answers take 10–60 seconds. Nothing runs until you click.

Show the task

I lead a development team at a fintech startup. I have 10 direct reports, and I've been in this role for three years. There's a situation I haven't been able to resolve for four months now, and it's starting to break the team apart. I have two of the strongest developers – Sergey Volkov and Diana Karpova. Both are Senior Engineers, both are irreplaceable, and I can't afford to lose either of them. Sergey is an architect at heart. Six years of experience, an incredibly deep understanding of systems, always thinking several steps ahead. His code reads like an essay – clean, documented, polished. The problem: he works slowly, methodically, and doesn't like to rush. During review he might leave 40 comments on a PR and wait until every single one is addressed. When asked a question at standup, he gives a three-minute detailed answer complete with historical context. Sergey is convinced that speed is the enemy of quality, and that "fast means twice." Diana is a next-generation product engineer. Four years of experience, but her iteration speed is phenomenal. She can ship a working feature in two days where Sergey would plan for a week. Diana thinks in terms of the user: "why make it perfect when you can make it good and test it on real data." She readily cuts architectural corners for the sake of speed – and this is a deliberate stance on her part, not laziness. Over the past four months, a quiet war has been going on between them. Sergey regularly sends her PRs back with fundamental architectural revisions – sometimes three days after submission. Diana has stopped waiting for his review and started asking other colleagues to approve her PRs instead. Sergey noticed this and wrote to me: "If we're not upholding review standards, I don't understand why I'm here." Diana said to my face: "Sergey is slowing down the whole team. I spend more time on his comments than on actually writing code." At the last team retro, Diana said: "We need to agree on what 'good enough' means – we can't turn every PR into a term paper." Sergey responded: "If we can't maintain minimal engineering standards, let's be honest with the business and say we're building prototypes, not a product." The other eight people went silent and stared at the floor. The situation is complicated by the fact that both of them are right in their own way. We really have accumulated technical debt from quick fixes made in past years – Sergey warned about this. At the same time, we're in a mode of serious competition, and speed of shipping features to market is critical – here Diana is right. I've talked to each of them separately. Sergey doesn't perceive the problem as an interpersonal conflict – for him it's a matter of professional standards, and he's not willing to lower them. Diana perceives Sergey as someone hiding behind "quality" to control her work, and she's starting to boil over. She's already hinted once that "there are places that value speed." I don't want to forcibly "reconcile" them or pretend this is simply a communication issue. This is a fundamental values divergence in engineering philosophy, and both people are smart – they understand this. Help me work through this situation. I'm interested in the following: 1. How do you see the root problem – is this a conflict of people, a conflict of values, or a managerial failure on my part? What's actually going on? 2. I have several possible courses of action – splitting their areas of responsibility, working out a team agreement on review standards, holding a structured three-way conversation, or picking one philosophy and asking the other person to adapt to it. Which of these is realistic and which is likely not to work? 3. How should I talk to each of them – what should I say to Sergey, what should I say to Diana, so that they both feel heard, but at the same time understand that their current behavior is unacceptable? 4. Is there a scenario where I'll have to choose one of them – and if so, how should I think about that? 5. What should I concretely do in the next two weeks? Don't give me an HR-sanitized answer about "respect and dialogue." Give me an honest assessment of the situation and a concrete action plan.

All 8 categories

Mean score per category on the benchmark’s 80 tasks, on one 0–10 scale. Click a category for its six criteria.

  1. Data analysis

    8.4level with the best

    Six criteria
    Accuracy
    8.8
    Relevance
    7.6
    Actionability
    7.9
    Transparency
    9.1
    Efficiency
    8.3
    Trustworthiness
    9.0
  2. Decisions under uncertainty

    8.3level with the best

    Six criteria
    Accuracy
    8.6
    Relevance
    7.6
    Actionability
    7.8
    Transparency
    8.8
    Efficiency
    8.4
    Trustworthiness
    8.9
  3. Feedback analysis

    8.3level with the best

    Six criteria
    Accuracy
    8.7
    Relevance
    7.4
    Actionability
    8.0
    Transparency
    9.1
    Efficiency
    8.3
    Trustworthiness
    8.9
  4. Corporate requirements and risks

    8.2level with the best

    Six criteria
    Accuracy
    8.6
    Relevance
    7.4
    Actionability
    7.7
    Transparency
    8.9
    Efficiency
    8.3
    Trustworthiness
    8.9
  5. Automation

    7.8level with the best

    Six criteria
    Accuracy
    8.3
    Relevance
    7.2
    Actionability
    7.2
    Transparency
    8.9
    Efficiency
    7.9
    Trustworthiness
    8.4
  6. People management

    8.4level with the best

    Six criteria
    Accuracy
    8.5
    Relevance
    7.8
    Actionability
    8.5
    Transparency
    8.8
    Efficiency
    8.3
    Trustworthiness
    8.9
  7. Russia and Kazakhstan specifics

    8.3level with the best

    Six criteria
    Accuracy
    8.4
    Relevance
    7.8
    Actionability
    8.3
    Transparency
    9.0
    Efficiency
    7.7
    Trustworthiness
    8.8

the mark is the best ranked model in that category; the scale is 0–10

If you use it through the API

One benchmark answer costs $0.043 through the API ($2 in / $10 out per million tokens).

Answers a day through the APIabout a month (22 working days)
1$0.96
3$2.9
10$9.6

An estimate from the length of the benchmark answers – not the price of a chat subscription. Your requests and answers may cost differently.

Alternatives

Chosen by a reason that matters, not by a tenth of a point.

Compare with any model →

How the score was made

  • Two AI judges (Claude Opus 5.5 and GPT-6.2 Astra) scored every answer on six main criteria, from 1 to 10.
  • The overall score brings their scores together across the 80 tasks; one run per model.
  • Differences under 0.3 points are treated as one level: the order inside a group means nothing.
  • Data as of November 2026; model versions may have changed since.

The two judges’ overall scores for this model: Claude Opus 5.5 8.1, GPT-6.2 Astra 8.3. The published score is their average, with equal weight.

The whole method and its limits →

What next

A model from the top group will not fix a vague task

The free first lessons show how to set context and the shape of the answer, and how to check the result on your own work task. The course is in Russian.

Open the free first lessons

The first 9 lessons – free