← Whole ranking · mysummit.school AI model benchmark

Google

Gemini 4 Carbon

Strongest in «Data analysis» (7.1), weakest in «Information search» (6.5).

Group
21–26 of 74on one level with Qwen 3.8 Flash, Claude Haiku 5.5
Overall score
6.8 of 10
API price of a test answer
$0.04
Data
November 2026

Where it helps, where to check

This model’s own answers to two benchmark tasks: the opening, the full answer and what both judges noted. One task per category, the same for every model.

Strongest: Data analysis · 7.1An onboarding A/B test: «it's obvious, roll it out»

Three weeks of an A/B test of a new onboarding: 37.4% vs 42.7% completed, plus a weekly breakdown. The marketer says «it's obvious, roll it out». Can the result be trusted?

Full task

We ran an A/B test of new onboarding in our SaaS product. The marketer sent over the results and said: "It's obvious – the new onboarding works, we need to roll it out immediately." I'm not sure, and I want to work through this myself before making a decision. Test parameters: - The test ran for 3 weeks (February 21–28 and March 1–14, 2025) - Group A (control, old onboarding): 340 new users - Group B (new onboarding with video tour): 356 new users - Success metric: onboarding completion (user completed 5 key actions) Results: - Group A: 127 of 340 completed onboarding = 37.4% - Group B: 152 of 356 completed onboarding = 42.7% - Difference: +5.3 pp (+14.2% relative growth) Additional weekly breakdown: | Week | Group A (conversion) | Group B (conversion) | |--------|---------------------|---------------------| | Feb 21–28 | 38.1% (n=89) | 44.2% (n=86) | | Mar 1–7 | 36.9% (n=130) | 43.1% (n=131) | | Mar 8–14 | 37.2% (n=121) | 41.1% (n=139) | Additional facts: - P-value of the test according to the marketer: "about 0.07 – almost significant" - Sample size was calculated for 80% test power and an MDE of 8%, but the actual observed difference was 5.3% - In the March 8–14 week, more users ended up in Group B because the ad channel temporarily switched (this was unplanned) - The video tour in the new onboarding is available only on desktop; mobile users get the text version - The share of mobile users in Group B turned out to be 31%, versus 44% in Group A (randomization was violated) The marketer insists: "A 5% lift is a lot of money, we need to launch it." The product team has doubts. Help me work through this: 1. Can these results be trusted? Are there methodological problems with the test? 2. What does a p-value of 0.07 mean in practice – and why might the marketer be misinterpreting it? 3. What factors could have distorted the results? How serious are these distortions? 4. What needs to be done to get a reliable answer to the question "does the new onboarding work?" 5. How should I frame the position for management – without technical jargon, but honestly?

System line: You are an assistant for managers in preparing professional communication.

Translated from Russian: the models got the Russian text.

Original in Russian

Мы провели A/B тест нового онбординга в нашем SaaS-продукте. Маркетолог прислал результаты и сказал: «Всё очевидно – новый онбординг работает, нужно внедрять немедленно». Я не уверен и хочу разобраться сам перед тем, как принимать решение. Параметры теста: - Тест шёл 3 недели (21–28 февраля и 1–14 марта 2025) - Группа A (контроль, старый онбординг): 340 новых пользователей - Группа B (новый онбординг с видео-туром): 356 новых пользователей - Метрика успеха: завершение онбординга (пользователь выполнил 5 ключевых действий) Результаты: - Группа A: 127 из 340 завершили онбординг = 37,4% - Группа B: 152 из 356 завершили онбординг = 42,7% - Разница: +5,3 п.п. (+14,2% относительный рост) Дополнительная разбивка по неделям: | Неделя | Группа A (конверсия) | Группа B (конверсия) | |--------|---------------------|---------------------| | 21–28 фев | 38,1% (n=89) | 44,2% (n=86) | | 1–7 мар | 36,9% (n=130) | 43,1% (n=131) | | 8–14 мар | 37,2% (n=121) | 41,1% (n=139) | Дополнительные факты: - P-value теста по словам маркетолога: «около 0,07 – почти значимо» - Размер выборки рассчитывался на 80% мощность теста и MDE 8%, но реальная наблюдаемая разница составила 5,3% - В неделю 8–14 марта в Группу B попало больше пользователей, потому что рекламный канал временно переключился (это было незапланировано) - Видео-тур в новом онбординге доступен только на десктопе; мобильные пользователи получают текстовую версию - Доля мобильных пользователей в Группе B оказалась 31%, в Группе A – 44% (рандомизация была нарушена) Маркетолог настаивает: «5% прирост – это большие деньги, надо запускать». Продуктовая команда сомневается. Помоги мне разобраться: 1. Можно ли доверять этим результатам? Есть ли методологические проблемы в тесте? 2. Что означает p-value 0,07 на практике – и почему маркетолог, возможно, неправильно его интерпретирует? 3. Какие факторы могли исказить результаты? Насколько серьёзны эти искажения? 4. Что нужно сделать, чтобы получить надёжный ответ на вопрос «работает ли новый онбординг»? 5. Как мне сформулировать позицию для руководства – без технического жаргона, но честно?

Gemini 4 Carbon group 21–26 · VPN needed

Translated from Russian: the model answered in Russian.

Your intuition is not failing you. The product team's doubts are entirely justified: a launch decision cannot be made based on these figures in their current form. The test contains critical errors that mean the observed growth could be a complete illusion.

Let's go through the situation point by point – from the analytics to ready-made arguments for leadership.

1. Can the results be trusted? Key methodological problems

Short answer: no, the overall results cannot be trusted. The test is compromised on three levels at once:

Original in Russian

Ваша интуиция вас не подводит. Продуктовая команда сомневается абсолютно обоснованно: принимать решение о запуске на основе этих цифр в текущем виде нельзя. В тесте допущены критические ошибки, из-за которых наблюдаемый рост может оказаться полной иллюзией.

Разберём ситуацию по пунктам – от аналитики до готовой аргументации для руководства.

1. Можно ли доверять результатам? Главные методологические проблемы

Короткий ответ: нет, результатам в общем зачёте доверять нельзя. Тест скомпрометирован сразу на трёх уровнях:

Read the full answer · 1,296 words

Your intuition isn't failing you. The product team's doubt is entirely justified: you cannot make a launch decision based on these numbers in their current form. The test contains critical errors that could mean the observed growth is a complete illusion.

Let's break down the situation point by point – from analytics to a ready-made argument for leadership.


1. Can the results be trusted? The main methodological problems

Short answer: no, the results cannot be trusted overall. The test is compromised on three levels at once:

  1. Randomization is broken (the main rule of A/B testing). Groups A and B should be "twins" in composition, differing only in the onboarding version. Here, the groups differ significantly both in devices and in advertising sources. We are comparing "apples to oranges."
  2. Insufficient sample size (the test is "underfed" with data). The test was designed to catch a difference of at least 8 percentage points (p.p.). Even for such a large difference, with a baseline conversion of 37%, you need about 580–600 people per group (under standard reliability settings), but you have about 350 each. To reliably confirm a difference of 5.3 p.p., you'd actually need about 1,300 users per group.
  3. Dilution of the effect ("dirty" experiment design). The video tour was made only for desktop, but the test included everyone, including mobile (who were shown some new text instead). As a result, two different tests got mixed into one.

2. What does a p-value of 0.07 mean in practice, and where did the marketer go wrong?

In simple terms: the p-value shows the probability of getting such a difference (or an even bigger one) between the groups purely by chance, if in reality the new onboarding works exactly the same as the old one. The industry standard is a threshold of 0.05 (risk of error no more than 5%).

Why the marketer is wrong, twice over:

  • The "almost significant" trap: The phrase "p-value 0.07 – almost significant" is a classic interpretation error. In statistics, this means: "We don't have enough data to distinguish the effect from random noise." If you flip a coin 10 times and get 7 heads, that doesn't mean the coin is "almost unfair" – it's just a small sample. Moreover, the smaller the sample, the more often random fluctuations produce nice-looking numbers like "+5%."
  • A hidden nuance in the calculations: If you recalculate your data (127 out of 340 versus 152 out of 356) using the standard two-sided test (which accounts for the possibility that the new version could get either better or worse), the real p-value is 0.15 (15%), not 0.075! The marketer used a one-sided test – a technique that artificially halves the p-value, assuming the new onboarding couldn't possibly make conversion worse. In product analytics, this isn't done without strict prior justification.

3. What factors distorted the results, and how serious are they?

Here lies the most dangerous trap in your data (in statistics, this is called Simpson's Paradox).

Factor #1. Device skew (Critical distortion 🔴)

In SaaS products, desktop users almost always get through a complex 5-step onboarding much better than mobile users (where clicking is inconvenient, the screen is small, and people are distracted while on the go). Group B ended up with 69% desktop (31% mobile), while Group A had only 56% desktop (44% mobile).

See how the illusion of growth arises: Let's imagine that the new onboarding changes absolutely nothing and conversion is exactly the same in both groups: say, on desktop it's always 48%, and on mobile – 24%. Let's calculate the overall group conversion using your device shares:

  • Group A: $(56% \times 48%) + (44% \times 24%) = \mathbf{37.4%}$
  • Group B: $(69% \times 48%) + (31% \times 24%) = \mathbf{40.6%}$

Simply due to the skew toward desktop, Group B gets a +3.2 p.p. head start out of thin air! That is, more than half (and possibly all 100%) of your "+5.3% growth" is simply the result of more people with computers ending up in Group B.

Factor #2. Advertising channel malfunction in week 3 (Serious distortion 🟠)

In the third week, Group B was flooded with unplanned advertising traffic (139 people versus 121 in A).

  • First, advertising traffic differs in motivation from organic traffic. This channel may have specifically brought in desktop users (hence the skew in point 1).
  • Second, look at the week-by-week dynamics: in weeks 1 and 2, the difference between groups was +6.1 p.p. and +6.2 p.p., but in week 3 it dropped to +3.9 p.p. The effect started deflating.

Factor #3. Mixing video (desktop) and text (mobile) (Moderate distortion 🟡)

Even if the test worked, you currently don't know what exactly worked: the expensive video tour on desktop, or simply the new text on mobile? What if the video worsened conversion while the mobile text pulled it up (or vice versa)?


4. What needs to be done to get a reliable answer?

The good news: there's no need to immediately bury the idea or blindly restart the test from scratch. Proceed in two steps:

Step 1. Quick revival of current data (will take 1–2 hours of analyst work, 0 rubles in cost):

  1. Split the report separately into Desktop and Mobile. Compare only Desktop A against Desktop B (and separately Mobile A against Mobile B). This will instantly remove the distortion from the skewed shares.
  2. Clean up week 3 (or exclude users from the malfunctioning advertising channel). See whether the difference holds up on clean data from the first two weeks within the desktop segment.
  • If, when comparing "Desktop A vs Desktop B," conversions turn out to be roughly equal (e.g., 45% and 46%) – the question is closed today, the video tour doesn't work.

Step 2. If a noticeable plus is still visible within Desktop – the correct relaunch:

  1. Fix the traffic splitting: confirm with developers that users are split strictly 50/50 regardless of advertising tags and devices.
  2. Test precisely: if the main feature is the video on desktop, run the test only on desktop users. Don't dilute the sample with mobile traffic.
  3. Set an honest timeline or assess the cost of error: if traffic is scarce (about 115 people per week per group) and it will take 2 months to accumulate the sample, ask the product team a pragmatic question: "How much does maintaining the video tour cost? If it can be implemented for free and quickly, with no risk of breaking the product – maybe it's simpler to check qualitative user feedback instead of statistical significance? But if implementation and maintenance are expensive – let's wait for clean data."

5. How to formulate a position for leadership (without jargon, but honestly)

Your task in this communication is not to expose the marketer as incompetent (otherwise it will turn into a turf war), but to act as a mature leader who protects the business from false expectations and unnecessary development costs.

Here's a ready-made message template (for an email, Slack, or verbal presentation at a meeting):

Subject: New onboarding test results – why it's too early to celebrate and what the next steps are

Colleagues, together with the marketing and product teams we've gone through the results of the new onboarding test in detail. At a surface level the numbers look promising (+5.3% in onboarding completion in the new group), but a data quality check revealed a technical skew that doesn't allow us to make a launch decision right now.

The problem in simple terms:

  1. Unequal comparison conditions. Due to a technical glitch in traffic distribution (including an advertising switch in week 3), the group with the new onboarding received far more desktop users (69%) than the old group (56%). Since completing onboarding on a computer is objectively more convenient in our product, and conversion there is traditionally higher than on phones, the observed increase may simply be caused by the audience composition, not by the video tour itself.
  2. High risk of randomness. The traffic volume over 3 weeks turned out to be lower than needed for reliable conclusions: at current numbers, the probability that we're seeing just a random fluctuation is about 15% (versus the acceptable standard of no more than 5%).

Why this matters for the business: If we roll out the update now based on distorted data, we risk spending team resources on implementing and maintaining the video tour, only to see zero effect in revenue and metrics next month.

What we're doing next (plan for this week):

  1. Today-tomorrow we will recalculate the already collected data separately for computer users and phone users, removing the malfunctioning advertising traffic. This is free and will immediately show whether there's a real uplift from the video tour under a fair comparison.
  2. Based on that breakdown, we'll decide: either fix the traffic distribution and gather clean data on the desktop version, or (if there's no difference on desktop) save development time and move on to testing stronger hypotheses.

I'll come back with an updated device breakdown on [day of the week, e.g., Thursday].

Advice before sending: show these arguments (especially the 69% versus 56% desktop share) to the marketer one-on-one before the general letter, saying: "Look what turned up in the device breakdown. Let's check desktop separately, so leadership doesn't later ask the two of us where the promised +5% went after the release." Most likely, the marketer will become your ally.

Original in Russian

Ваша интуиция вас не подводит. Продуктовая команда сомневается абсолютно обоснованно: принимать решение о запуске на основе этих цифр в текущем виде нельзя. В тесте допущены критические ошибки, из-за которых наблюдаемый рост может оказаться полной иллюзией.

Разберём ситуацию по пунктам – от аналитики до готовой аргументации для руководства.


1. Можно ли доверять результатам? Главные методологические проблемы

Короткий ответ: нет, результатам в общем зачёте доверять нельзя. Тест скомпрометирован сразу на трёх уровнях:

  1. Сломана рандомизация (главное правило A/B-теста). Группы А и B должны быть «близнецами» по составу, отличаясь только версией онбординга. Здесь же группы сильно отличаются и по устройствам, и по рекламным источникам. Мы сравниваем «яблоки с апельсинами».
  2. Недостаточный размер выборки (тест «недокормлен» данными). Тест проектировали, чтобы поймать разницу минимум в 8 процентных пунктов (п.п.). Даже для такой большой разницы при базовой конверсии 37% нужно около 580–600 человек в каждую группу (при стандартных настройках надёжности), а у вас по ~350. Чтобы надёжно подтвердить разницу в 5,3 п.п., нужно вообще около 1 300 пользователей в каждую группу.
  3. Размытие эффекта («грязный» дизайн эксперимента). Видео-тур сделали только для десктопа, но в тест пустили всех, включая мобайл (которым показали какой-то новый текст). В итоге смешались два разных теста в одном.

2. Что означает p-value 0,07 на практике и где ошибся маркетолог?

Простыми словами: p-value показывает вероятность получить такую (или ещё большую) разницу между группами чисто случайно, если на самом деле новый онбординг работает точно так же, как старый. Индустриальный стандарт – порог 0,05 (риск ошибки не более 5%).

Почему маркетолог неправ сразу дважды:

  • Ловушка «почти значимо»: Фраза «p-value 0,07 – почти значимо» – классическая ошибка интерпретации. В статистике это означает: «У нас недостаточно данных, чтобы отличить эффект от случайного шума». Если вы подбросите монетку 10 раз и выпадет 7 орлов – это не значит, что монетка «почти нечестная», это просто малая выборка. Более того, чем меньше выборка, тем чаще случайные колебания дают красивые цифры вроде «+5%».
  • Скрытый нюанс в расчётах: Если пересчитать ваши данные (127 из 340 против 152 из 356) по стандартному двустороннему критерию (который учитывает, что новая версия могла стать как лучше, так и хуже), реальный p-value составляет 0,15 (15%), а не 0,075! Маркетолог использовал односторонний тест – приём, который искусственно делит p-value пополам, предполагая, что ухудшить конверсию новый онбординг в принципе не может. В продуктовой аналитике так делать без жёстких предварительных оснований не принято.

3. Какие факторы исказили результаты и насколько они серьёзны?

Здесь кроется самая опасная ловушка ваших данных (в статистике её называют парадоксом Симпсона).

Фактор №1. Перекос по устройствам (Критическое искажение 🔴)

В SaaS-продуктах пользователи с компьютера (десктоп) почти всегда проходят сложный онбординг из 5 шагов гораздо лучше, чем пользователи с телефона (где неудобно кликать, маленький экран, люди отвлекаются в дороге). В Группе B оказалось 69% десктопа (31% мобайла), а в Группе A – всего 56% десктопа (44% мобайла).

Смотрите, как возникает иллюзия роста: Представим, что новый онбординг вообще ничего не меняет и конверсия в обеих группах абсолютно одинаковая: допустим, на десктопе она всегда 48%, а на мобильных – 24%. Посчитаем общую конверсию групп с вашими долями устройств:

  • Группа А: $(56% \times 48%) + (44% \times 24%) = \mathbf{37,4%}$
  • Группа B: $(69% \times 48%) + (31% \times 24%) = \mathbf{40,6%}$

Только за счёт перекоса в сторону десктопа Группа B получает +3,2 п.п. форы из воздуха! То есть больше половины (а возможно, и все 100%) ваших «+5,3% роста» – это просто результат того, что в группу B попало больше людей за компьютерами.

Фактор №2. Сбой рекламного канала на 3-й неделе (Серьёзное искажение 🟠)

На третьей неделе в Группу B хлынул незапланированный рекламный трафик (139 человек против 121 в А).

  • Во-первых, рекламный трафик отличается по мотивации от органики. Возможно, этот канал привёл именно десктопных пользователей (отсюда и перекос в п.1).
  • Во-вторых, посмотрите на динамику по неделям: в 1-ю и 2-ю недели разница между группами была +6,1 п.п. и +6,2 п.п., а на 3-й неделе просела до +3,9 п.п. Эффект начал сдуваться.

Фактор №3. Смешение видео (десктоп) и текста (мобайл) (Среднее искажение 🟡)

Даже если тест сработал, вы сейчас не знаете, что именно сработало: дорогой видео-тур на десктопе или просто новый текст на мобилках? А вдруг видео ухудшило конверсию, а текст на мобилках её вытянул (или наоборот)?


4. Что нужно сделать, чтобы получить надёжный ответ?

Хорошая новость: не нужно сразу хоронить идею или слепо перезапускать тест с нуля. Действуйте в два шага:

Шаг 1. Быстрая реанимация текущих данных (займёт 1–2 часа работы аналитика, 0 рублей затрат):

  1. Разделите отчёт отдельно на Десктоп и Мобайл. Сравните только Десктоп А против Десктопа B (и отдельно Мобайл А против Мобайла B). Это мгновенно уберёт искажение от перекоса долей.
  2. Очистите 3-ю неделю (или исключите пользователей из сбойнувшего рекламного канала). Посмотрите, сохраняется ли разница на чистых данных первых двух недель внутри десктопного сегмента.
  • Если при сравнении «Десктоп А vs Десктоп B» конверсии окажутся примерно равными (например, 45% и 46%) – вопрос закрыт прямо сегодня, видео-тур не работает.

Шаг 2. Если внутри Десктопа всё же виден заметный плюс – правильный перезапуск:

  1. Починить сплитование (разделение трафика): убедиться с разработчиками, что пользователи делятся строго 50/50 независимо от рекламных меток и устройств.
  2. Тестировать точечно: если главная фича – видео на десктопе, запускайте тест только на десктопных пользователей. Не размывайте выборку мобильным трафиком.
  3. Заложить честный срок или оценить стоимость ошибки: если трафика мало (по ~115 человек в неделю на группу) и копить выборку нужно 2 месяца, задайте продуктовой команде прагматичный вопрос: «Сколько стоит поддержка видео-тура? Если внедрить его бесплатно и быстро, а рисков сломать продукт нет – может, проще проверить не статзначимость, а качественный фидбек пользователей? А если внедрение и поддержка стоят дорого – ждём чистых данных».

5. Как сформулировать позицию для руководства (без жаргона, но честно)

Ваша задача в коммуникации – не выставить маркетолога некомпетентным (иначе начнётся позиционная война), а выступить зрелым руководителем, который защищает бизнес от ложных ожиданий и лишних затрат на разработку.

Вот готовый шаблон сообщения (для письма, Slack или устного выступления на встрече):

Тема: Итоги теста нового онбординга – почему рано радоваться и какие следующие шаги

Коллеги, мы с командами маркетинга и продукта детально разобрали результаты теста нового онбординга. На верхнем уровне цифры выглядят многообещающе (+5,3% к прохождению онбординга в новой группе), однако при проверке качества данных обнаружился технический перекос, который не позволяет принять решение о запуске прямо сейчас.

В чём проблема простыми словами:

  1. Неравные условия сравнения. Из-за технического сбоя в распределении трафика (в том числе переключения рекламы на 3-й неделе) в группу с новым онбордингом попало гораздо больше пользователей с компьютеров (69%), чем в старую группу (56%). Поскольку в нашем продукте проходить онбординг с компьютера объективно удобнее и конверсия там традиционно выше, чем с телефона, наблюдаемый прирост может быть вызван просто составом аудитории, а не самим видео-туром.
  2. Высокий риск случайности. Объём трафика за 3 недели оказался ниже необходимого для надёжных выводов: при текущих цифрах вероятность того, что мы видим просто случайное колебание, составляет около 15% (при допустимом стандарте не более 5%).

Почему это важно для бизнеса: Если мы раскатаем обновление сейчас, опираясь на искажённые данные, мы рискуем потратить ресурсы команды на внедрение и поддержку видео-тура, а в следующем месяце увидеть нулевой эффект в деньгах и метриках.

Что мы делаем дальше (план на эту неделю):

  1. Сегодня-завтра мы пересчитаем уже собранные данные отдельно для пользователей с компьютеров и отдельно для телефонов, убрав сбойный рекламный трафик. Это бесплатно и сразу покажет, есть ли реальный прирост от видео-тура при честном сравнении.
  2. По итогам среза примем решение: либо починим распределение трафика и доберём чистые данные по десктоп-версии, либо (если на компьютерах разницы нет) сэкономим время разработки и пойдём тестировать более сильные гипотезы.

Вернусь с обновлённым срезом по устройствам в [день недели, например, четверг].

Совет перед отправкой: покажите эти аргументы (особенно про долю десктопа 69% против 56%) маркетологу один на один до общего письма со словами: «Смотри, какая штука вскрылась в разбивке по устройствам. Давай проверим десктоп отдельно, чтобы руководство потом не спросило с нас обоих, куда пропали обещанные +5% после релиза». Скорее всего, маркетолог сам станет вашим союзником.

What the judges noted

Claude Opus 5.5 · this answer: 8.6 of 10

This is a strong, practical response with verifiably correct calculations. Its standout finding is that the two-sided p-value is ≈0.15, which points to the marketer having likely used a one-sided test. It also quantifies the device-skew effect concretely and supplies a ready-made message for leadership plus tactics for handling the marketer. The main weaknesses are a p-value misinterpretation inside the leadership memo itself and some overconfident claims about causes. It also omits confidence intervals, covariate balance checks, stratified randomization, a pre-registered test plan and a staged rollout. The segment-analysis recommendations do not warn about shrinking sample sizes.

  • Strong: Correct recalculation of the p-value (two-sided ≈0.15) and of required sample sizes (~590 and ~1,330 per group)
  • Weak: Leadership memo misreads the p-value as 'a 15% probability of random fluctuation'

GPT-6.2 Astra · this answer: 6.3 of 10

Translated from Russian.

The answer helps the manager make a sound near-term decision – not to roll out new onboarding for everyone and first check the composition of the groups. Especially useful is the example showing why a higher number of completions does not necessarily mean the video helped. However, the letter to management cannot be used without editing: it incorrectly explains the p-value, confuses percentages with percentage points, and promises a causal conclusion based on small subgroups.

  • Strong: Clearly shows the influence of the shares of desktop and mobile users on the final conversion.
  • Weak: The letter to management distorts the meaning of the p-value and the units of measurement of the increase.
Original in Russian

Ответ помогает менеджеру принять обоснованное ближайшее решение – не запускать новый онбординг для всех и сначала проверить состав групп. Особенно полезен пример, показывающий, почему большее число завершений ещё не означает, что помогло видео. Однако письмо руководству нельзя использовать без правки: оно неверно объясняет p-value, путает проценты с процентными пунктами и обещает причинный вывод по небольшим подгруппам.

  • Наглядно показывает влияние долей десктопных и мобильных пользователей на итоговую конверсию.
  • В письме руководству искажены смысл p-value и единицы измерения прироста.

The score is for this one answer, not the model’s overall result.

Compare this category with another model →

Weakest: Information search · 6.5Does remote work really cut productivity by 15–20%?

A colleague cites «recent research»: remote work cuts productivity by 15–20%. Check the claim, name the source, give the context and the limits of the data.

Full task

A colleague just stated: "Remote work reduces productivity by 15-20% according to recent studies." Is this true? Please: 1. Verify or correct this statement using up-to-date data. 2. Provide the source of accurate information. 3. Give context (why this matters, what has changed recently). 4. Note any nuances or limitations of this data.

System line: I'm ready to help. Please provide the Russian business text you'd like me to translate into English.

Translated from Russian: the models got the Russian text.

Original in Russian

Коллега только что заявил: "Удаленная работа снижает продуктивность на 15-20% согласно недавним исследованиям". Это правда? Пожалуйста: 1. Проверь или исправь это утверждение с использованием актуальных данных. 2. Укажи источник точной информации. 3. Дай контекст (почему это важно, что изменилось в последнее время). 4. Отметь любые нюансы или ограничения этих данных.

Gemini 4 Carbon group 21–26 · VPN needed

Translated from Russian: the model answered in Russian.

Your colleague's statement is partially correct, but taken out of context and overly generalized. It reflects business media headlines from the second half of 2023, but it misses a distinction that is critically important for a manager: the difference between fully remote and hybrid work.

Here is a detailed breakdown based on current economic research that will help you respond to your colleague with solid arguments.

1. Fact-check: how things actually stand

The productivity drop of 10–20% has indeed been recorded, but it concerns exclusively the fully remote format (100% from home) and specific roles.

Original in Russian

Утверждение вашего коллеги частично верно, но вырвано из контекста и чрезмерно обобщено. Оно отражает заголовки деловых СМИ второй половины 2023 года, но упускает критически важное для менеджера различие между полностью удаленной и гибридной работой.

Вот детальный разбор на основе актуальных экономических исследований, который поможет вам аргументированно ответить коллеге.

1. Проверка фактов: как обстоят дела на самом деле

Падение продуктивности на 10–20% действительно зафиксировано, но оно касается исключительно полностью удаленного формата (100% из дома) и специфических ролей.

Read the full answer · 683 words

Your colleague's statement is partially correct, but taken out of context and overly generalized. It reflects business media headlines from the second half of 2023, but misses a distinction that is critically important for a manager: the difference between fully remote and hybrid work.

Here is a detailed breakdown based on current economic research that will help you respond to your colleague with solid arguments.


1. Fact-check: how things actually stand

The productivity drop of 10–20% has indeed been recorded, but it applies exclusively to the fully remote format (100% from home) and to specific roles.

At the same time, a hybrid schedule (typically 2–3 days from home and 2–3 days in the office) shows zero drop in productivity (and in some cases, a small increase of 1–3%), while significantly improving employee retention.

2. Exact data sources

Most likely, your colleague (directly, or indirectly through articles in Forbes, WSJ, or The Economist) is referring to one of three high-profile studies from 2023:

  1. MIT and UCLA study (July 2023, NBER): Economists David Atkin, Antoinette Schoar, and Sumit Shinde conducted an experiment among data-entry specialists in India. Those randomly assigned to work fully from home showed a productivity decline of exactly 18% compared to their office-based colleagues.
  2. Stanford University meta-analysis (July 2023, SIEPR): Nicholas Bloom, the world's leading expert on remote work, and colleagues published a review titled "The Evolution of Working from Home." Conclusion: fully remote work reduces productivity by an average of 10–20% due to problems with communication, training, and self-discipline.
  3. University of Chicago study (2023, Journal of Political Economy): A study of 10,000 IT specialists at an Asian company (Gibbs, Mengel, Siemroth) found that when switching to fully remote work, employees worked longer hours to produce the same output, which led to a drop in hourly productivity of 8–19%.

Counterargument (the most recent data):

  • Study in the journal Nature (June 2024): The same Nicholas Bloom conducted a large-scale 6-month study of 1,600 employees at Trip.com (developers, marketers, financial staff). Result: a hybrid schedule did not reduce productivity, code quality, or the likelihood of promotion at all, but reduced resignations by 33%.

3. Context: why the data changed and why it matters

  • Paradigm shift (2020 versus 2023–2024): Early in the pandemic, initial studies showed an increase in remote productivity (by 5–13%). But economists later realized this was a short-term effect: people were working in crisis mode, not commuting anywhere, and spending the time saved on commuting on work instead. By 2023, data had accumulated on long-term effects under peacetime conditions.
  • Why fully remote work suffers: The main losses occur not because people are lazy, but because onboarding of newcomers, mentorship, and cross-functional coordination break down. What gets resolved in 3 minutes at the office water cooler takes hours of calls to coordinate in a fully distributed team.
  • Why this matters for a manager: If leadership decides, based on the "minus 20%" figure, to force a full Return to Office (RTO) for 5 days a week, the company will gain nothing in productivity compared to a hybrid model, but will guaranteed see a spike in staff turnover (especially among strong specialists and women).

4. Nuances and limitations of these studies

When discussing these figures, it's important to account for four blind spots in the research:

  1. The specific nature of the work being measured: The sharpest declines (that 18% figure) were recorded in monotonous, easily measurable operations – call centers, data entry, basic tech support (where productivity is counted by keystrokes or calls per hour). Measuring productivity in creative and intellectual professions (managers, analysts, R&D) is far more difficult.
  2. Newcomers versus experienced staff: In the MIT study, two-thirds of the productivity decline showed up in the very first week – newcomers simply learned worse at home. Experienced, autonomous employees (senior-level) lose minimal efficiency when working remotely, or none at all.
  3. Quality of management: Most of the negative data comes from traditional companies that were forced into remote work without restructuring their processes. Remote-first companies, whose culture was built from the start around asynchronous work, with processes structured around documentation rather than meetings, do not show such declines.
  4. Productivity ≠ Profitability: Even Nicholas Bloom himself emphasizes: if a fully remote employee is 10% less productive, but the company saves 20–30% on office rent and on hiring people from cheaper regions, it is still financially worthwhile for the business.

Summary for responding to your colleague: "You're right about the figures from the 2023 studies, but that minus 15–20% applies only to 100% remote work, mostly in routine positions and when hiring newcomers. A recent 2024 study in Nature shows that with a hybrid schedule there is no productivity loss at all, while turnover drops by a third. The question isn't about remote work itself, but about the dosage and quality of management."

Original in Russian

Утверждение вашего коллеги частично верно, но вырвано из контекста и чрезмерно обобщено. Оно отражает заголовки деловых СМИ второй половины 2023 года, но упускает критически важное для менеджера различие между полностью удаленной и гибридной работой.

Вот детальный разбор на основе актуальных экономических исследований, который поможет вам аргументированно ответить коллеге.


1. Проверка фактов: как обстоят дела на самом деле

Падение продуктивности на 10–20% действительно зафиксировано, но оно касается исключительно полностью удаленного формата (100% из дома) и специфических ролей.

В то же время гибридный график (обычно 2–3 дня из дома и 2–3 дня в офисе) показывает нулевое падение продуктивности (а в некоторых случаях – небольшой рост на 1–3%), при этом значительно повышая удержание сотрудников.

2. Точные источники данных

Скорее всего, ваш коллега (прямо или косвенно через статьи в Forbes, WSJ или Economist) ссылается на одно из трех громких исследований 2023 года:

  1. Исследование MIT и UCLA (июль 2023, NBER): Экономисты Дэвид Аткин, Антуанетта Шор и Сумит Шинде провели эксперимент среди специалистов по вводу данных в Индии. Те, кого случайным образом распределили работать полностью из дома, показали снижение продуктивности ровно на 18% по сравнению с офисными коллегами.
  2. Мета-анализ Стэнфордского университета (июль 2023, SIEPR): Ведущий мировой эксперт по удаленной работе Николас Блум с коллегами опубликовал обзор «The Evolution of Working from Home». Вывод: полностью удаленная работа в среднем снижает продуктивность на 10–20% из-за проблем с коммуникацией, обучением и самоконтролем.
  3. Исследование Чикагского университета (2023, Journal of Political Economy): Изучение 10 000 IT-специалистов в азиатской компании (Гиббс, Менгель, Зимрот) показало, что при переходе на полную удаленку сотрудники стали работать больше часов, чтобы выдать тот же результат, что привело к падению почасовой продуктивности на 8–19%.

Контраргумент (самые свежие данные):

  • Исследование в журнале Nature (июнь 2024): Тот же Николас Блум провел масштабное 6-месячное исследование 1600 сотрудников компании Trip.com (разработчики, маркетологи, финансисты). Результат: гибридный график никак не снизил продуктивность, качество кода или вероятность повышения, но снизил увольнения на 33%.

3. Контекст: почему данные изменились и почему это важно

  • Смена парадигмы (2020 против 2023–2024): В начале пандемии ранние исследования показывали рост продуктивности на удаленке (на 5–13%). Но позже экономисты поняли, что это был краткосрочный эффект: люди работали в режиме кризиса, никуда не ездили и тратили сэкономленное на дороге время на работу. К 2023 году накопились данные о долгосрочных эффектах в мирное время.
  • Почему страдает полная удаленка: Главные потери происходят не потому, что люди ленятся, а потому, что ломается онбординг новичков, менторство и кросс-функциональная координация. На согласование того, что в офисе решается за 3 минуты у кулера, в полностью распределенной команде уходят часы звонков.
  • Почему это важно для менеджера: Если на основе цифры «минус 20%» руководство решит принудительно вернуть всех в офис на 5 дней (RTO – Return to Office), компания ничего не выиграет в продуктивности по сравнению с гибридом, но гарантированно получит скачок текучести кадров (особенно среди сильных специалистов и женщин).

4. Нюансы и ограничения этих исследований

При обсуждении этих цифр важно учитывать четыре слепые зоны исследователей:

  1. Специфика измеряемой работы: Самые жесткие падения (те самые 18%) зафиксированы на монотонных, легко измеримых операциях – колл-центры, ввод данных, базовая техподдержка (где считают количество нажатий клавиш или звонков в час). Измерить продуктивность креативных и интеллектуальных профессий (менеджеры, аналитики, R&D) гораздо сложнее.
  2. Новички против опытных: В исследовании MIT две трети падения продуктивности проявились уже в первую неделю – новички просто хуже учились дома. Опытные, автономные сотрудники (Senior-уровень) теряют в эффективности на удаленке минимально или не теряют вовсе.
  3. Качество менеджмента: Большинство негативных данных получено в традиционных компаниях, которых вынудили перейти на удаленку без перестройки процессов. Компании с изначально асинхронной культурой (Remote-first), где процессы выстроены вокруг документации, а не совещаний, таких просадок не демонстрируют.
  4. Продуктивность ≠ Прибыльность: Даже сам Николас Блум подчеркивает: если сотрудник на полной удаленке на 10% менее продуктивен, но компания экономит 20–30% на аренде офиса и найме людей из более дешевых регионов, для бизнеса это все равно финансово выгодно.

Резюме для ответа коллеге: «Ты прав насчет цифр из исследований 2023 года, но эти минус 15–20% относятся только к 100% удаленке, в основном на рутинных позициях и при найме новичков. Свежее исследование в Nature за 2024 год доказывает, что при гибридном графике потерь продуктивности нет вообще, зато текучка падает на треть. Вопрос не в самой удаленке, а в дозировке и качестве управления».

What the judges noted

Claude Opus 5.5 · this answer: 7.1 of 10

A strong, well-structured answer that correctly identifies the real studies behind the 15–20% claim (Atkin et al., Gibbs et al., Bloom) and provides a key distinction between fully remote and hybrid work, supported by the 2024 Nature study. It reads as convincing and practical for a manager, including a ready-made reply to the colleague. Its weaknesses are a narrow set of sources, the absence of 2025 data, several factual misinterpretations (the newcomer effect, the origin of the +13% figure), and incomplete coverage of methodological limitations and practical recommendations for running a pilot.

  • Strong: Accurate identification of real academic studies with authors, dates and journals (NBER, Nature 2024, JPE Micro)
  • Weak: Narrow evidence base: no Microsoft, GitLab, Owl Labs or Gallup data, and nothing from 2025

GPT-6.2 Astra · this answer: 6.3 of 10

Translated from Russian.

The answer convincingly shows that the colleague's figure has an empirical source, but there are no grounds to apply it to all employees: the data-entry experiment and the hybrid regime at Trip.com answer different questions. The main flaw is that the answer itself repeats the generalization error, turning the Trip.com result into a promise of no losses under any hybrid schedule. For a conversation with a colleague the examples are useful; for a personnel decision, a more up-to-date source check and the specific team's metrics are needed.

  • Strong: Cites a specific experiment in which an 18% decrease was indeed observed.
  • Weak: Exaggerates the average negative effect of full remote work and the breadth of the conclusions of the Trip.com study.
Original in Russian

Ответ убедительно показывает, что у цифры коллеги есть эмпирический источник, но нет оснований применять её ко всем сотрудникам: эксперимент по вводу данных и гибридный режим в Trip.com отвечают на разные вопросы. Основной недостаток в том, что ответ сам повторяет ошибку обобщения, превращая результат Trip.com в обещание отсутствия потерь при любом гибридном графике. Для разговора с коллегой примеры полезны; для кадрового решения нужны более свежая проверка источников и показатели конкретной команды.

  • Приводит конкретный эксперимент, в котором действительно наблюдалось снижение на 18%.
  • Преувеличивает средний отрицательный эффект полной удалёнки и широту выводов исследования Trip.com.

The score is for this one answer, not the model’s overall result.

Compare this category with another model →

Run the task yourself

The task «An onboarding A/B test: «it's obvious, roll it out»» from the benchmark, sent now to Gemini 4 Carbon and, for comparison, DeepSeek V4 Pro (0813) (another group). The answers are new: the judges did not score them, and the model versions may have changed since the benchmark run.

One click sends two requests to paid models; answers take 10–60 seconds. Nothing runs until you click.

Show the task

We ran an A/B test of new onboarding in our SaaS product. The marketer sent over the results and said: "It's obvious – the new onboarding works, we need to roll it out immediately." I'm not sure, and I want to work through this myself before making a decision. Test parameters: - The test ran for 3 weeks (February 21–28 and March 1–14, 2025) - Group A (control, old onboarding): 340 new users - Group B (new onboarding with video tour): 356 new users - Success metric: onboarding completion (user completed 5 key actions) Results: - Group A: 127 of 340 completed onboarding = 37.4% - Group B: 152 of 356 completed onboarding = 42.7% - Difference: +5.3 pp (+14.2% relative growth) Additional weekly breakdown: | Week | Group A (conversion) | Group B (conversion) | |--------|---------------------|---------------------| | Feb 21–28 | 38.1% (n=89) | 44.2% (n=86) | | Mar 1–7 | 36.9% (n=130) | 43.1% (n=131) | | Mar 8–14 | 37.2% (n=121) | 41.1% (n=139) | Additional facts: - P-value of the test according to the marketer: "about 0.07 – almost significant" - Sample size was calculated for 80% test power and an MDE of 8%, but the actual observed difference was 5.3% - In the March 8–14 week, more users ended up in Group B because the ad channel temporarily switched (this was unplanned) - The video tour in the new onboarding is available only on desktop; mobile users get the text version - The share of mobile users in Group B turned out to be 31%, versus 44% in Group A (randomization was violated) The marketer insists: "A 5% lift is a lot of money, we need to launch it." The product team has doubts. Help me work through this: 1. Can these results be trusted? Are there methodological problems with the test? 2. What does a p-value of 0.07 mean in practice – and why might the marketer be misinterpreting it? 3. What factors could have distorted the results? How serious are these distortions? 4. What needs to be done to get a reliable answer to the question "does the new onboarding work?" 5. How should I frame the position for management – without technical jargon, but honestly?

All 8 categories

Mean score per category on the benchmark’s 80 tasks, on one 0–10 scale. Click a category for its six criteria.

  1. Data analysis

    7.1mid-field

    Six criteria
    Accuracy
    6.7
    Relevance
    7.3
    Actionability
    7.4
    Transparency
    6.6
    Efficiency
    8.3
    Trustworthiness
    6.3
  2. Decisions under uncertainty

    6.9mid-field

    Six criteria
    Accuracy
    6.5
    Relevance
    7.1
    Actionability
    7.5
    Transparency
    6.4
    Efficiency
    8.1
    Trustworthiness
    5.9
  3. Feedback analysis

    7.0mid-field

    Six criteria
    Accuracy
    6.8
    Relevance
    7.3
    Actionability
    7.6
    Transparency
    6.3
    Efficiency
    8.3
    Trustworthiness
    5.7
  4. Corporate requirements and risks

    6.5well below the best

    Six criteria
    Accuracy
    5.9
    Relevance
    6.5
    Actionability
    7.0
    Transparency
    6.2
    Efficiency
    8.2
    Trustworthiness
    5.3
  5. Automation

    6.5mid-field

    Six criteria
    Accuracy
    6.1
    Relevance
    6.5
    Actionability
    6.8
    Transparency
    6.5
    Efficiency
    8.1
    Trustworthiness
    5.7
  6. People management

    7.0mid-field

    Six criteria
    Accuracy
    6.5
    Relevance
    7.3
    Actionability
    7.9
    Transparency
    6.2
    Efficiency
    8.0
    Trustworthiness
    5.8
  7. Russia and Kazakhstan specifics

    6.8mid-field

    Six criteria
    Accuracy
    5.8
    Relevance
    7.8
    Actionability
    7.8
    Transparency
    6.0
    Efficiency
    7.5
    Trustworthiness
    5.3

the mark is the best ranked model in that category; the scale is 0–10

If you use it through the API

One benchmark answer costs $0.04 through the API ($2 in / $10 out per million tokens).

Answers a day through the APIabout a month (22 working days)
1$0.88
3$2.6
10$8.8

An estimate from the length of the benchmark answers – not the price of a chat subscription. Your requests and answers may cost differently.

Alternatives

Chosen by a reason that matters, not by a tenth of a point.

Compare with any model →

How the score was made

  • Two AI judges (Claude Opus 5.5 and GPT-6.2 Astra) scored every answer on six main criteria, from 1 to 10.
  • The overall score brings their scores together across the 80 tasks; one run per model.
  • Differences under 0.3 points are treated as one level: the order inside a group means nothing.
  • Data as of November 2026; model versions may have changed since.

The two judges’ overall scores for this model: Claude Opus 5.5 7.3, GPT-6.2 Astra 6.2. The published score is their average, with equal weight.

The whole method and its limits →

What next

A model from the top group will not fix a vague task

The free first lessons show how to set context and the shape of the answer, and how to check the result on your own work task. The course is in Russian.

Open the free first lessons

The first 9 lessons – free