← Весь рейтинг · Бенчмарк ИИ-моделей mysummit.school
Gemini 4 Carbon
Сильнее всего – «Анализ данных» (7,1), слабее всего – «Поиск информации» (6,5).
- Группа
- 21–26 из 74на одном уровне с Qwen 3.8 Flash, Claude Haiku 5.5
- Общий балл
- 6,8 из 10
- Цена API за ответ теста
- $0,04
- Данные
- ноябрь 2026
Где помогает, где проверять
Ответы этой модели на две задачи бенчмарка: начало ответа, ответ целиком и что отметили оба оценщика. По одной задаче на категорию, одной и той же для всех моделей.
Сильнее всего: Анализ данных · 7,1A/B-тест онбординга: «всё очевидно, внедряем»
Три недели A/B-теста нового онбординга: 37,4% против 42,7% завершивших, плюс разбивка по неделям. Маркетолог говорит «всё очевидно, внедряем». Стоит ли верить результату?
Задача целиком
Мы провели A/B тест нового онбординга в нашем SaaS-продукте. Маркетолог прислал результаты и сказал: «Всё очевидно – новый онбординг работает, нужно внедрять немедленно». Я не уверен и хочу разобраться сам перед тем, как принимать решение. Параметры теста: - Тест шёл 3 недели (21–28 февраля и 1–14 марта 2025) - Группа A (контроль, старый онбординг): 340 новых пользователей - Группа B (новый онбординг с видео-туром): 356 новых пользователей - Метрика успеха: завершение онбординга (пользователь выполнил 5 ключевых действий) Результаты: - Группа A: 127 из 340 завершили онбординг = 37,4% - Группа B: 152 из 356 завершили онбординг = 42,7% - Разница: +5,3 п.п. (+14,2% относительный рост) Дополнительная разбивка по неделям: | Неделя | Группа A (конверсия) | Группа B (конверсия) | |--------|---------------------|---------------------| | 21–28 фев | 38,1% (n=89) | 44,2% (n=86) | | 1–7 мар | 36,9% (n=130) | 43,1% (n=131) | | 8–14 мар | 37,2% (n=121) | 41,1% (n=139) | Дополнительные факты: - P-value теста по словам маркетолога: «около 0,07 – почти значимо» - Размер выборки рассчитывался на 80% мощность теста и MDE 8%, но реальная наблюдаемая разница составила 5,3% - В неделю 8–14 марта в Группу B попало больше пользователей, потому что рекламный канал временно переключился (это было незапланировано) - Видео-тур в новом онбординге доступен только на десктопе; мобильные пользователи получают текстовую версию - Доля мобильных пользователей в Группе B оказалась 31%, в Группе A – 44% (рандомизация была нарушена) Маркетолог настаивает: «5% прирост – это большие деньги, надо запускать». Продуктовая команда сомневается. Помоги мне разобраться: 1. Можно ли доверять этим результатам? Есть ли методологические проблемы в тесте? 2. Что означает p-value 0,07 на практике – и почему маркетолог, возможно, неправильно его интерпретирует? 3. Какие факторы могли исказить результаты? Насколько серьёзны эти искажения? 4. Что нужно сделать, чтобы получить надёжный ответ на вопрос «работает ли новый онбординг»? 5. Как мне сформулировать позицию для руководства – без технического жаргона, но честно?
Системная строка: Вы - помощник для менеджеров по подготовке профессиональной коммуникации.
Gemini 4 Carbon
Ваша интуиция вас не подводит. Продуктовая команда сомневается абсолютно обоснованно: принимать решение о запуске на основе этих цифр в текущем виде нельзя. В тесте допущены критические ошибки, из-за которых наблюдаемый рост может оказаться полной иллюзией.
Разберём ситуацию по пунктам – от аналитики до готовой аргументации для руководства.
1. Можно ли доверять результатам? Главные методологические проблемы
Короткий ответ: нет, результатам в общем зачёте доверять нельзя. Тест скомпрометирован сразу на трёх уровнях:
Читать ответ целиком · 1 296 слов
Ваша интуиция вас не подводит. Продуктовая команда сомневается абсолютно обоснованно: принимать решение о запуске на основе этих цифр в текущем виде нельзя. В тесте допущены критические ошибки, из-за которых наблюдаемый рост может оказаться полной иллюзией.
Разберём ситуацию по пунктам – от аналитики до готовой аргументации для руководства.
1. Можно ли доверять результатам? Главные методологические проблемы
Короткий ответ: нет, результатам в общем зачёте доверять нельзя. Тест скомпрометирован сразу на трёх уровнях:
- Сломана рандомизация (главное правило A/B-теста). Группы А и B должны быть «близнецами» по составу, отличаясь только версией онбординга. Здесь же группы сильно отличаются и по устройствам, и по рекламным источникам. Мы сравниваем «яблоки с апельсинами».
- Недостаточный размер выборки (тест «недокормлен» данными). Тест проектировали, чтобы поймать разницу минимум в 8 процентных пунктов (п.п.). Даже для такой большой разницы при базовой конверсии 37% нужно около 580–600 человек в каждую группу (при стандартных настройках надёжности), а у вас по ~350. Чтобы надёжно подтвердить разницу в 5,3 п.п., нужно вообще около 1 300 пользователей в каждую группу.
- Размытие эффекта («грязный» дизайн эксперимента). Видео-тур сделали только для десктопа, но в тест пустили всех, включая мобайл (которым показали какой-то новый текст). В итоге смешались два разных теста в одном.
2. Что означает p-value 0,07 на практике и где ошибся маркетолог?
Простыми словами: p-value показывает вероятность получить такую (или ещё большую) разницу между группами чисто случайно, если на самом деле новый онбординг работает точно так же, как старый. Индустриальный стандарт – порог 0,05 (риск ошибки не более 5%).
Почему маркетолог неправ сразу дважды:
- Ловушка «почти значимо»: Фраза «p-value 0,07 – почти значимо» – классическая ошибка интерпретации. В статистике это означает: «У нас недостаточно данных, чтобы отличить эффект от случайного шума». Если вы подбросите монетку 10 раз и выпадет 7 орлов – это не значит, что монетка «почти нечестная», это просто малая выборка. Более того, чем меньше выборка, тем чаще случайные колебания дают красивые цифры вроде «+5%».
- Скрытый нюанс в расчётах: Если пересчитать ваши данные (127 из 340 против 152 из 356) по стандартному двустороннему критерию (который учитывает, что новая версия могла стать как лучше, так и хуже), реальный p-value составляет 0,15 (15%), а не 0,075! Маркетолог использовал односторонний тест – приём, который искусственно делит p-value пополам, предполагая, что ухудшить конверсию новый онбординг в принципе не может. В продуктовой аналитике так делать без жёстких предварительных оснований не принято.
3. Какие факторы исказили результаты и насколько они серьёзны?
Здесь кроется самая опасная ловушка ваших данных (в статистике её называют парадоксом Симпсона).
Фактор №1. Перекос по устройствам (Критическое искажение 🔴)
В SaaS-продуктах пользователи с компьютера (десктоп) почти всегда проходят сложный онбординг из 5 шагов гораздо лучше, чем пользователи с телефона (где неудобно кликать, маленький экран, люди отвлекаются в дороге). В Группе B оказалось 69% десктопа (31% мобайла), а в Группе A – всего 56% десктопа (44% мобайла).
Смотрите, как возникает иллюзия роста: Представим, что новый онбординг вообще ничего не меняет и конверсия в обеих группах абсолютно одинаковая: допустим, на десктопе она всегда 48%, а на мобильных – 24%. Посчитаем общую конверсию групп с вашими долями устройств:
- Группа А: $(56% \times 48%) + (44% \times 24%) = \mathbf{37,4%}$
- Группа B: $(69% \times 48%) + (31% \times 24%) = \mathbf{40,6%}$
Только за счёт перекоса в сторону десктопа Группа B получает +3,2 п.п. форы из воздуха! То есть больше половины (а возможно, и все 100%) ваших «+5,3% роста» – это просто результат того, что в группу B попало больше людей за компьютерами.
Фактор №2. Сбой рекламного канала на 3-й неделе (Серьёзное искажение 🟠)
На третьей неделе в Группу B хлынул незапланированный рекламный трафик (139 человек против 121 в А).
- Во-первых, рекламный трафик отличается по мотивации от органики. Возможно, этот канал привёл именно десктопных пользователей (отсюда и перекос в п.1).
- Во-вторых, посмотрите на динамику по неделям: в 1-ю и 2-ю недели разница между группами была +6,1 п.п. и +6,2 п.п., а на 3-й неделе просела до +3,9 п.п. Эффект начал сдуваться.
Фактор №3. Смешение видео (десктоп) и текста (мобайл) (Среднее искажение 🟡)
Даже если тест сработал, вы сейчас не знаете, что именно сработало: дорогой видео-тур на десктопе или просто новый текст на мобилках? А вдруг видео ухудшило конверсию, а текст на мобилках её вытянул (или наоборот)?
4. Что нужно сделать, чтобы получить надёжный ответ?
Хорошая новость: не нужно сразу хоронить идею или слепо перезапускать тест с нуля. Действуйте в два шага:
Шаг 1. Быстрая реанимация текущих данных (займёт 1–2 часа работы аналитика, 0 рублей затрат):
- Разделите отчёт отдельно на Десктоп и Мобайл. Сравните только Десктоп А против Десктопа B (и отдельно Мобайл А против Мобайла B). Это мгновенно уберёт искажение от перекоса долей.
- Очистите 3-ю неделю (или исключите пользователей из сбойнувшего рекламного канала). Посмотрите, сохраняется ли разница на чистых данных первых двух недель внутри десктопного сегмента.
- Если при сравнении «Десктоп А vs Десктоп B» конверсии окажутся примерно равными (например, 45% и 46%) – вопрос закрыт прямо сегодня, видео-тур не работает.
Шаг 2. Если внутри Десктопа всё же виден заметный плюс – правильный перезапуск:
- Починить сплитование (разделение трафика): убедиться с разработчиками, что пользователи делятся строго 50/50 независимо от рекламных меток и устройств.
- Тестировать точечно: если главная фича – видео на десктопе, запускайте тест только на десктопных пользователей. Не размывайте выборку мобильным трафиком.
- Заложить честный срок или оценить стоимость ошибки: если трафика мало (по ~115 человек в неделю на группу) и копить выборку нужно 2 месяца, задайте продуктовой команде прагматичный вопрос: «Сколько стоит поддержка видео-тура? Если внедрить его бесплатно и быстро, а рисков сломать продукт нет – может, проще проверить не статзначимость, а качественный фидбек пользователей? А если внедрение и поддержка стоят дорого – ждём чистых данных».
5. Как сформулировать позицию для руководства (без жаргона, но честно)
Ваша задача в коммуникации – не выставить маркетолога некомпетентным (иначе начнётся позиционная война), а выступить зрелым руководителем, который защищает бизнес от ложных ожиданий и лишних затрат на разработку.
Вот готовый шаблон сообщения (для письма, Slack или устного выступления на встрече):
Тема: Итоги теста нового онбординга – почему рано радоваться и какие следующие шаги
Коллеги, мы с командами маркетинга и продукта детально разобрали результаты теста нового онбординга. На верхнем уровне цифры выглядят многообещающе (+5,3% к прохождению онбординга в новой группе), однако при проверке качества данных обнаружился технический перекос, который не позволяет принять решение о запуске прямо сейчас.
В чём проблема простыми словами:
- Неравные условия сравнения. Из-за технического сбоя в распределении трафика (в том числе переключения рекламы на 3-й неделе) в группу с новым онбордингом попало гораздо больше пользователей с компьютеров (69%), чем в старую группу (56%). Поскольку в нашем продукте проходить онбординг с компьютера объективно удобнее и конверсия там традиционно выше, чем с телефона, наблюдаемый прирост может быть вызван просто составом аудитории, а не самим видео-туром.
- Высокий риск случайности. Объём трафика за 3 недели оказался ниже необходимого для надёжных выводов: при текущих цифрах вероятность того, что мы видим просто случайное колебание, составляет около 15% (при допустимом стандарте не более 5%).
Почему это важно для бизнеса: Если мы раскатаем обновление сейчас, опираясь на искажённые данные, мы рискуем потратить ресурсы команды на внедрение и поддержку видео-тура, а в следующем месяце увидеть нулевой эффект в деньгах и метриках.
Что мы делаем дальше (план на эту неделю):
- Сегодня-завтра мы пересчитаем уже собранные данные отдельно для пользователей с компьютеров и отдельно для телефонов, убрав сбойный рекламный трафик. Это бесплатно и сразу покажет, есть ли реальный прирост от видео-тура при честном сравнении.
- По итогам среза примем решение: либо починим распределение трафика и доберём чистые данные по десктоп-версии, либо (если на компьютерах разницы нет) сэкономим время разработки и пойдём тестировать более сильные гипотезы.
Вернусь с обновлённым срезом по устройствам в [день недели, например, четверг].
Совет перед отправкой: покажите эти аргументы (особенно про долю десктопа 69% против 56%) маркетологу один на один до общего письма со словами: «Смотри, какая штука вскрылась в разбивке по устройствам. Давай проверим десктоп отдельно, чтобы руководство потом не спросило с нас обоих, куда пропали обещанные +5% после релиза». Скорее всего, маркетолог сам станет вашим союзником.
Что отметили оценщики
Claude Opus 5.5 · этот ответ: 8,6 из 10
Перевод с английского.
Это сильный, практичный ответ с проверяемо корректными расчётами. Его главное достижение – то, что двусторонний p-value составляет ≈0,15, что указывает на вероятное использование маркетологом одностороннего теста. Он также конкретно количественно оценивает эффект перекоса по устройствам и даёт готовое сообщение для руководства плюс тактику работы с маркетологом. Основные слабости – неверная интерпретация p-value внутри самой записки для руководства и некоторые слишком самоуверенные утверждения о причинах. Также отсутствуют доверительные интервалы, проверка баланса ковариат, стратифицированная рандомизация, предзарегистрированный план теста и поэтапный запуск. Рекомендации по сегментному анализу не предупреждают об уменьшении размера выборки.
- Сильная сторона: Корректный пересчёт p-value (двусторонний ≈0,15) и необходимых размеров выборки (~590 и ~1 330 на группу)
- Слабая сторона: Записка для руководства неверно трактует p-value как «15% вероятность случайного отклонения»
Оригинал на английском
This is a strong, practical response with verifiably correct calculations. Its standout finding is that the two-sided p-value is ≈0.15, which points to the marketer having likely used a one-sided test. It also quantifies the device-skew effect concretely and supplies a ready-made message for leadership plus tactics for handling the marketer. The main weaknesses are a p-value misinterpretation inside the leadership memo itself and some overconfident claims about causes. It also omits confidence intervals, covariate balance checks, stratified randomization, a pre-registered test plan and a staged rollout. The segment-analysis recommendations do not warn about shrinking sample sizes.
- Correct recalculation of the p-value (two-sided ≈0.15) and of required sample sizes (~590 and ~1,330 per group)
- Leadership memo misreads the p-value as 'a 15% probability of random fluctuation'
GPT-6.2 Astra · этот ответ: 6,3 из 10
Ответ помогает менеджеру принять обоснованное ближайшее решение – не запускать новый онбординг для всех и сначала проверить состав групп. Особенно полезен пример, показывающий, почему большее число завершений ещё не означает, что помогло видео. Однако письмо руководству нельзя использовать без правки: оно неверно объясняет p-value, путает проценты с процентными пунктами и обещает причинный вывод по небольшим подгруппам.
- Сильная сторона: Наглядно показывает влияние долей десктопных и мобильных пользователей на итоговую конверсию.
- Слабая сторона: В письме руководству искажены смысл p-value и единицы измерения прироста.
Оценка относится к этому ответу, а не к общему баллу модели.
Слабее всего: Поиск информации · 6,5Правда ли, что удалёнка снижает продуктивность на 15–20%
Коллега ссылается на «недавние исследования»: удалённая работа снижает продуктивность на 15–20%. Нужно проверить утверждение, назвать источник, дать контекст и ограничения данных.
Задача целиком
Коллега только что заявил: "Удаленная работа снижает продуктивность на 15-20% согласно недавним исследованиям". Это правда? Пожалуйста: 1. Проверь или исправь это утверждение с использованием актуальных данных. 2. Укажи источник точной информации. 3. Дай контекст (почему это важно, что изменилось в последнее время). 4. Отметь любые нюансы или ограничения этих данных.
Системная строка: Вы - помощник для менеджеров, который предоставляет информацию на основе актуальных данных и экспертных знаний.
Gemini 4 Carbon
Утверждение вашего коллеги частично верно, но вырвано из контекста и чрезмерно обобщено. Оно отражает заголовки деловых СМИ второй половины 2023 года, но упускает критически важное для менеджера различие между полностью удаленной и гибридной работой.
Вот детальный разбор на основе актуальных экономических исследований, который поможет вам аргументированно ответить коллеге.
1. Проверка фактов: как обстоят дела на самом деле
Падение продуктивности на 10–20% действительно зафиксировано, но оно касается исключительно полностью удаленного формата (100% из дома) и специфических ролей.
Читать ответ целиком · 683 слова
Утверждение вашего коллеги частично верно, но вырвано из контекста и чрезмерно обобщено. Оно отражает заголовки деловых СМИ второй половины 2023 года, но упускает критически важное для менеджера различие между полностью удаленной и гибридной работой.
Вот детальный разбор на основе актуальных экономических исследований, который поможет вам аргументированно ответить коллеге.
1. Проверка фактов: как обстоят дела на самом деле
Падение продуктивности на 10–20% действительно зафиксировано, но оно касается исключительно полностью удаленного формата (100% из дома) и специфических ролей.
В то же время гибридный график (обычно 2–3 дня из дома и 2–3 дня в офисе) показывает нулевое падение продуктивности (а в некоторых случаях – небольшой рост на 1–3%), при этом значительно повышая удержание сотрудников.
2. Точные источники данных
Скорее всего, ваш коллега (прямо или косвенно через статьи в Forbes, WSJ или Economist) ссылается на одно из трех громких исследований 2023 года:
- Исследование MIT и UCLA (июль 2023, NBER): Экономисты Дэвид Аткин, Антуанетта Шор и Сумит Шинде провели эксперимент среди специалистов по вводу данных в Индии. Те, кого случайным образом распределили работать полностью из дома, показали снижение продуктивности ровно на 18% по сравнению с офисными коллегами.
- Мета-анализ Стэнфордского университета (июль 2023, SIEPR): Ведущий мировой эксперт по удаленной работе Николас Блум с коллегами опубликовал обзор «The Evolution of Working from Home». Вывод: полностью удаленная работа в среднем снижает продуктивность на 10–20% из-за проблем с коммуникацией, обучением и самоконтролем.
- Исследование Чикагского университета (2023, Journal of Political Economy): Изучение 10 000 IT-специалистов в азиатской компании (Гиббс, Менгель, Зимрот) показало, что при переходе на полную удаленку сотрудники стали работать больше часов, чтобы выдать тот же результат, что привело к падению почасовой продуктивности на 8–19%.
Контраргумент (самые свежие данные):
- Исследование в журнале Nature (июнь 2024): Тот же Николас Блум провел масштабное 6-месячное исследование 1600 сотрудников компании Trip.com (разработчики, маркетологи, финансисты). Результат: гибридный график никак не снизил продуктивность, качество кода или вероятность повышения, но снизил увольнения на 33%.
3. Контекст: почему данные изменились и почему это важно
- Смена парадигмы (2020 против 2023–2024): В начале пандемии ранние исследования показывали рост продуктивности на удаленке (на 5–13%). Но позже экономисты поняли, что это был краткосрочный эффект: люди работали в режиме кризиса, никуда не ездили и тратили сэкономленное на дороге время на работу. К 2023 году накопились данные о долгосрочных эффектах в мирное время.
- Почему страдает полная удаленка: Главные потери происходят не потому, что люди ленятся, а потому, что ломается онбординг новичков, менторство и кросс-функциональная координация. На согласование того, что в офисе решается за 3 минуты у кулера, в полностью распределенной команде уходят часы звонков.
- Почему это важно для менеджера: Если на основе цифры «минус 20%» руководство решит принудительно вернуть всех в офис на 5 дней (RTO – Return to Office), компания ничего не выиграет в продуктивности по сравнению с гибридом, но гарантированно получит скачок текучести кадров (особенно среди сильных специалистов и женщин).
4. Нюансы и ограничения этих исследований
При обсуждении этих цифр важно учитывать четыре слепые зоны исследователей:
- Специфика измеряемой работы: Самые жесткие падения (те самые 18%) зафиксированы на монотонных, легко измеримых операциях – колл-центры, ввод данных, базовая техподдержка (где считают количество нажатий клавиш или звонков в час). Измерить продуктивность креативных и интеллектуальных профессий (менеджеры, аналитики, R&D) гораздо сложнее.
- Новички против опытных: В исследовании MIT две трети падения продуктивности проявились уже в первую неделю – новички просто хуже учились дома. Опытные, автономные сотрудники (Senior-уровень) теряют в эффективности на удаленке минимально или не теряют вовсе.
- Качество менеджмента: Большинство негативных данных получено в традиционных компаниях, которых вынудили перейти на удаленку без перестройки процессов. Компании с изначально асинхронной культурой (Remote-first), где процессы выстроены вокруг документации, а не совещаний, таких просадок не демонстрируют.
- Продуктивность ≠ Прибыльность: Даже сам Николас Блум подчеркивает: если сотрудник на полной удаленке на 10% менее продуктивен, но компания экономит 20–30% на аренде офиса и найме людей из более дешевых регионов, для бизнеса это все равно финансово выгодно.
Резюме для ответа коллеге: «Ты прав насчет цифр из исследований 2023 года, но эти минус 15–20% относятся только к 100% удаленке, в основном на рутинных позициях и при найме новичков. Свежее исследование в Nature за 2024 год доказывает, что при гибридном графике потерь продуктивности нет вообще, зато текучка падает на треть. Вопрос не в самой удаленке, а в дозировке и качестве управления».
Что отметили оценщики
Claude Opus 5.5 · этот ответ: 7,1 из 10
Перевод с английского.
Сильный, хорошо структурированный ответ, который верно определяет реальные исследования, стоящие за заявлением о 15–20% (Atkin et al., Gibbs et al., Bloom), и проводит ключевое различие между полностью удалённой и гибридной работой, опираясь на исследование Nature 2024 года. Он читается как убедительный и практичный для менеджера, включая готовый ответ коллеге. Его слабые стороны – узкий набор источников, отсутствие данных 2025 года, несколько фактических искажений (эффект новичка, происхождение цифры +13%) и неполное освещение методологических ограничений и практических рекомендаций по проведению пилота.
- Сильная сторона: Точное определение реальных академических исследований с авторами, датами и журналами (NBER, Nature 2024, JPE Micro)
- Слабая сторона: Узкая доказательная база: нет данных Microsoft, GitLab, Owl Labs или Gallup, и ничего из 2025 года
Оригинал на английском
A strong, well-structured answer that correctly identifies the real studies behind the 15–20% claim (Atkin et al., Gibbs et al., Bloom) and provides a key distinction between fully remote and hybrid work, supported by the 2024 Nature study. It reads as convincing and practical for a manager, including a ready-made reply to the colleague. Its weaknesses are a narrow set of sources, the absence of 2025 data, several factual misinterpretations (the newcomer effect, the origin of the +13% figure), and incomplete coverage of methodological limitations and practical recommendations for running a pilot.
- Accurate identification of real academic studies with authors, dates and journals (NBER, Nature 2024, JPE Micro)
- Narrow evidence base: no Microsoft, GitLab, Owl Labs or Gallup data, and nothing from 2025
GPT-6.2 Astra · этот ответ: 6,3 из 10
Ответ убедительно показывает, что у цифры коллеги есть эмпирический источник, но нет оснований применять её ко всем сотрудникам: эксперимент по вводу данных и гибридный режим в Trip.com отвечают на разные вопросы. Основной недостаток в том, что ответ сам повторяет ошибку обобщения, превращая результат Trip.com в обещание отсутствия потерь при любом гибридном графике. Для разговора с коллегой примеры полезны; для кадрового решения нужны более свежая проверка источников и показатели конкретной команды.
- Сильная сторона: Приводит конкретный эксперимент, в котором действительно наблюдалось снижение на 18%.
- Слабая сторона: Преувеличивает средний отрицательный эффект полной удалёнки и широту выводов исследования Trip.com.
Оценка относится к этому ответу, а не к общему баллу модели.
Запустите задачу сами
Задача «A/B-тест онбординга: «всё очевидно, внедряем»» из бенчмарка – сейчас, на Gemini 4 Carbon и для сравнения на DeepSeek V4 Pro (0813) (другая группа). Ответы новые: судьи их не оценивали, а версии моделей с момента теста могли измениться.
Одно нажатие – два запроса к платным моделям, ответ приходит за 10–60 секунд. Без нажатия ничего не запускается.
Показать задачу
Мы провели A/B тест нового онбординга в нашем SaaS-продукте. Маркетолог прислал результаты и сказал: «Всё очевидно – новый онбординг работает, нужно внедрять немедленно». Я не уверен и хочу разобраться сам перед тем, как принимать решение. Параметры теста: - Тест шёл 3 недели (21–28 февраля и 1–14 марта 2025) - Группа A (контроль, старый онбординг): 340 новых пользователей - Группа B (новый онбординг с видео-туром): 356 новых пользователей - Метрика успеха: завершение онбординга (пользователь выполнил 5 ключевых действий) Результаты: - Группа A: 127 из 340 завершили онбординг = 37,4% - Группа B: 152 из 356 завершили онбординг = 42,7% - Разница: +5,3 п.п. (+14,2% относительный рост) Дополнительная разбивка по неделям: | Неделя | Группа A (конверсия) | Группа B (конверсия) | |--------|---------------------|---------------------| | 21–28 фев | 38,1% (n=89) | 44,2% (n=86) | | 1–7 мар | 36,9% (n=130) | 43,1% (n=131) | | 8–14 мар | 37,2% (n=121) | 41,1% (n=139) | Дополнительные факты: - P-value теста по словам маркетолога: «около 0,07 – почти значимо» - Размер выборки рассчитывался на 80% мощность теста и MDE 8%, но реальная наблюдаемая разница составила 5,3% - В неделю 8–14 марта в Группу B попало больше пользователей, потому что рекламный канал временно переключился (это было незапланировано) - Видео-тур в новом онбординге доступен только на десктопе; мобильные пользователи получают текстовую версию - Доля мобильных пользователей в Группе B оказалась 31%, в Группе A – 44% (рандомизация была нарушена) Маркетолог настаивает: «5% прирост – это большие деньги, надо запускать». Продуктовая команда сомневается. Помоги мне разобраться: 1. Можно ли доверять этим результатам? Есть ли методологические проблемы в тесте? 2. Что означает p-value 0,07 на практике – и почему маркетолог, возможно, неправильно его интерпретирует? 3. Какие факторы могли исказить результаты? Насколько серьёзны эти искажения? 4. Что нужно сделать, чтобы получить надёжный ответ на вопрос «работает ли новый онбординг»? 5. Как мне сформулировать позицию для руководства – без технического жаргона, но честно?
Gemini 4 Carbon · Новый ответ · без оценки
DeepSeek V4 Pro (0813) · Новый ответ · без оценки
Оценённые ответы из бенчмарка – выше.
Все 8 категорий
Средний балл по категории на 80 задачах бенчмарка, на одной шкале 0–10. В каждой категории – шесть критериев.
-
Поиск информации
6,5в середине
Ценят структуру и привязку к контексту; штрафуют за цифры и доли рынка без источников, ложную точность и нехватку оговорок о надёжности данных.
Шесть критериев
- Точность
- 5,8
- Релевантность
- 6,6
- Практичность
- 7,1
- Прозрачность
- 5,9
- Эффективность
- 8,2
- Надёжность
- 5,3
-
Анализ данных
7,1в середине
Шесть критериев
- Точность
- 6,7
- Релевантность
- 7,3
- Практичность
- 7,4
- Прозрачность
- 6,6
- Эффективность
- 8,3
- Надёжность
- 6,3
-
Решения в неопределённости
6,9в середине
Ценят ясные варианты с компромиссами и поэтапные планы; критикуют самоуверенность, догадки о мотивах, поданные как факты, и нехватку просчитанных сценариев.
Шесть критериев
- Точность
- 6,5
- Релевантность
- 7,1
- Практичность
- 7,5
- Прозрачность
- 6,4
- Эффективность
- 8,1
- Надёжность
- 5,9
-
Анализ отзывов и обратной связи
7,0в середине
Шесть критериев
- Точность
- 6,8
- Релевантность
- 7,3
- Практичность
- 7,6
- Прозрачность
- 6,3
- Эффективность
- 8,3
- Надёжность
- 5,7
-
Корпоративные требования и риски
6,5заметно ниже лучших
Шесть критериев
- Точность
- 5,9
- Релевантность
- 6,5
- Практичность
- 7,0
- Прозрачность
- 6,2
- Эффективность
- 8,2
- Надёжность
- 5,3
-
Автоматизация
6,5в середине
Шесть критериев
- Точность
- 6,1
- Релевантность
- 6,5
- Практичность
- 6,8
- Прозрачность
- 6,5
- Эффективность
- 8,1
- Надёжность
- 5,7
-
Управление людьми
7,0в середине
Ценят готовые сценарии бесед и адаптацию под контекст; критикуют самоуверенные диагнозы, выдуманные вероятности и советы вразрез с заданными ограничениями.
Шесть критериев
- Точность
- 6,5
- Релевантность
- 7,3
- Практичность
- 7,9
- Прозрачность
- 6,2
- Эффективность
- 8,0
- Надёжность
- 5,8
-
Российская и казахстанская специфика
6,8в середине
Ценят знание реалий РФ и Казахстана и культурные нюансы; штрафуют за выдуманные и устаревшие юридические и налоговые детали и самоуверенность.
Шесть критериев
- Точность
- 5,8
- Релевантность
- 7,8
- Практичность
- 7,8
- Прозрачность
- 6,0
- Эффективность
- 7,5
- Надёжность
- 5,3
риска – лучшая модель рейтинга в этой категории, шкала 0–10
Если работать через API
Один ответ теста через API стоит $0,04 (вход $2 / выход $10 за миллион токенов).
$2,6 примерно в месяц (22 рабочих дня)
| Ответов в день через API | примерно в месяц (22 рабочих дня) |
|---|---|
| 1 | $0,88 |
| 3 | $2,6 |
| 10 | $8,8 |
Оценка по длине ответов нашего теста, а не тариф чата или подписка. Ваши запросы и ответы могут стоить иначе.
Альтернативы
Подобраны по причине, которая важна при выборе, а не по десятой доле балла.
-
Тот же уровень, открывается из России без VPN
группа 21–26 из 74 · 6,9 из 10 · открывается из России без VPN · API $0,01
Сравнить: Gemini 4 Carbon – Qwen 3.8 Flash -
Для API: близкий уровень, ответ дешевле
группа 15–20 из 74 · 7,4 из 10 · открывается из России без VPN · API $0,0014
Сравнить: Gemini 4 Carbon – DeepSeek V4.1 Flash (1017) -
Лучшая модель, которая открывается из России без VPN
группа 1–4 из 74 · 8,0 из 10 · открывается из России без VPN · API $0,15
Сравнить: Gemini 4 Carbon – Kimi K3.1 Pro
Как получен балл
- Два ИИ-оценщика (Claude Opus 5.5 и GPT-6.2 Astra) оценили каждый ответ по шести основным критериям, от 1 до 10.
- Общий балл сводит их оценки по всем 80 задачам, по одному прогону на модель.
- Разница меньше 0,3 балла считается одним уровнем: порядок внутри группы ничего не значит.
- Данные на ноябрь 2026; версии моделей с тех пор могли измениться.
Итоговые оценки двух судей для этой модели: Claude Opus 5.5 – 7,3, GPT-6.2 Astra – 6,2. Общий балл – их среднее, с равным весом.
Что дальше
Модель из верхней группы не исправит размытую задачу
В бесплатных первых уроках – как задать контекст и форму ответа, а потом проверить результат на своей рабочей задаче.
Открыть бесплатные первые урокиНовые волны бенчмарка и разборы – в дайджесте раз в две недели. Бесплатно, отписка в один клик.
Подписываясь, вы соглашаетесь с политикой обработки персональных данных. Отписка – в один клик в любом письме.