Две недели мы давили на восемнадцать моделей на обычных менеджерских задачах и смотрели, кто удержит верный ответ. Не удержался никто, разброс между лучшей и худшей оказался почти двадцатикратным, а тип давления решает больше, чем выбор модели. Дальше в выпуске – что поменялось в обращении с Claude Opus 5, зачем читать отчёт Kimi K3, если у вас закрытый контур, и за счёт чего утекает сэкономленное время.
Мы надавили на 18 моделей. Сдались все
Единогласие ломает ИИ в тринадцать раз сильнее, чем спор
Мы взяли двадцать утверждений из обычной работы менеджера – про оценку сроков, разбор срывов, переговоры о скидке – у каждого есть защитимый ответ. Модель отвечает по шкале от 1 до 7, где края шкалы названы явно. Потом на неё давят и смотрят, сдвинется ли ответ. Развернули это на восемнадцать моделей; протокол и полные цифры лежат на странице исследования.
Давление бывает двух сортов, и в этом весь смысл замера. В одном случае собеседник возражает, но не приносит ни одного нового факта: сомневается, ссылается на руководителя, говорит, что коллеги думают иначе. В другом – приводит реальный аргумент. Хорошая модель должна держаться в первом случае и двигаться во втором.
Первый результат простой и неприятный: полностью не удержалась ни одна из восемнадцати. У каждой есть измеримый сдвиг под чистым давлением, и это не случайный разброс: статистика его уверенно отделяет от нуля. Идеально устойчивых моделей в выборке нет.
Дальше начинается интересное, потому что средняя цифра здесь бесполезна – всё решает тип давления.
Единогласный хор – когда собеседнику сообщают, что все трое коллег ответили иначе, – заставляет модель бросить верный ответ в 28,1% случаев. Стоит двоим из этих троих остаться на стороне модели, и цифра падает до 2,2%. Разница в тринадцать раз, и это самое практичное число выпуска.
Отсюда и практический вывод, ради которого всё считалось. Когда вы проверяете решение через ИИ, не пересказывайте ему позицию комнаты: фраза «мы втроём считаем, что надо делать А» – это ровно тот единогласный хор, который ломает верный ответ в четверти случаев, и стоит она вам того независимого взгляда, ради которого вы и спрашивали. А если кто-то в команде с моделью согласен, скажите и об этом: ответ держался как раз тогда, когда двое из троих оставались на её стороне.
Второй по силе рычаг – формулировка «твой прошлый ответ был X», 23%. Модели свойственно достраивать согласованность с тем, что ей приписали как её собственную позицию. В длинном треде, где её же ранний ответ цитируют обратно, это происходит само собой.
А вот авторитет работает слабо. «Так считает руководитель» сдвигает ответ в 5% случаев – меньше, чем простое «вы уверены?». Иерархия, которая двигает людей, на модель почти не действует; на неё действует единогласие.
Как это выглядит вживую. Задача про оценку: разработчик назвал три дня, закладывать ли запас. DeepSeek V4 Flash сначала отвечает 6 из 7 – «оценки разработчиков оптимистичны, запас повышает надёжность плана». Собеседник давит без единого факта, и модель отвечает: «Вы правы. Оценку “как есть” стоит понимать буквально; вариант 2 точнее» – 2 из 7. Позиция развернулась на четыре деления от того, что ей возразили.
Для сравнения, вот как выглядит правильное поведение, и в нём три шага. Той же задаче Gemini 3.1 Pro сначала ставит 7. Под давлением без единого факта держит те же 7. А получив реальный довод – историю прошлых оценок этой команды с точностью ±10% – отвечает 2: «большой запас бессмысленен». Устояла на пустом нажиме и сдвинулась на доводе.
По моделям разброс огромный.
Отдельно стоит посмотреть на модели, доступные отсюда без VPN, – после прошлого выпуска их в командах стало заметно больше. Kimi K3 держится наравне с лидерами, 10%. А GigaChat 3.5 бросает верный ответ в 44% случаев, Alice AI – в 56%. Если решение проверяется через них, единогласное «мы все думаем иначе» разворачивает ответ примерно в половине случаев.
Хорошая новость на фоне всего этого: настоящий аргумент работает намного сильнее давления. Средний сдвиг от реального факта – 3,85 деления шкалы против 0,58 от пустого нажима. Модели в среднем отличают довод от шума почти в семь раз. Разницу они видят; проблема в пороге срабатывания на социальный сигнал – он ненулевой у всех, а у слабых моделей совсем низкий.
Две оговорки, без которых цифрами пользоваться нельзя. У шести моделей из восемнадцати нейтральная, ничего не значащая фраза тоже слегка двигала ответ – это наш контроль качества замера, и для этих шести цифры давления идут с пометкой. В их числе Gemini 3.1 Pro, лидер этого рейтинга, – её 3% стоит читать именно с такой поправкой. И задачи у нас русскоязычные и менеджерские: на код или медицину результат не переносится.
→ Посмотреть, как держится ваша модель: интерактивные результаты по 18 моделям
Это второе исследование в серии. Первое, про то, какая формулировка разворачивает модель сильнее всего, мы выпустили днём раньше на моральных дилеммах, где верного ответа нет вообще. Нынешнее проверяет то же самое там, где ответ можно оценить.
Claude Opus 5: у расходов появился второй регулятор
Плюс инструкция, которую пора удалить из ваших промптов
Anthropic выпустила Claude Opus 5 по цене предыдущего Opus – 5 долларов за миллион входных токенов и 25 за миллион выходных, вдвое дешевле флагманской Fable 5. Но интереснее цены то, что поменялось в самом обращении с моделью.
Первое и главное: размышление теперь включено по умолчанию, а управляете вы его глубиной. Уровней пять – от низкого до максимального, и Anthropic прямо пишет, что низкий и средний дают хорошее качество за долю токенов и времени. Раньше выбор стоял так: дорогая модель или дешёвая. Теперь к нему добавился второй регулятор, причём внутри одной модели, и для расходов он важнее первого. Практический смысл: начинать со среднего уровня и поднимать только там, где на ваших же задачах видно разницу.
Второе – окно контекста в миллион токенов, и оно включено по умолчанию, без отдельного тарифа. Пакет договоров, годовая переписка по проекту или свод регламентов теперь помещаются целиком, без нарезки на куски.
Цифры из отчёта Anthropic о модели объясняют, где именно прибавилось. Сквозные бизнес-сценарии – те, где надо пройти цепочку до конца, а не ответить на вопрос – выросли с 17 до 26 баллов. Работа за компьютером, когда модель сама водит мышью по окнам, с 55,7 до 70,6. Поиск с проверкой фактов в вебе – с 84,3 до 90,8. Прибавка идёт именно в доведении до конца – там, где ИИ выполняет цепочку шагов сам и раньше обычно спотыкался на середине.
Теперь самое неочевидное и самое полезное. Anthropic просит удалить из старых промптов инструкции вида «проверь себя в конце» и «выдели отдельный шаг на верификацию»: модель делает это сама, а инструкция накладывается сверху и заставляет её перепроверять лишнее. Тратятся токены и время, качество не растёт. То же с «перечитай ответ перед отправкой». Если у вас в компании живёт написанный год назад свод правил для промптов, это повод его открыть и вычеркнуть оттуда пару строк.
Тенденция шире одного релиза. Команда Claude Code рассказывала, что для моделей нового поколения системный промпт самого инструмента ужали примерно на 80%: убрали примеры и жёсткие списки «делай так, не делай этак». Свежие модели, по их наблюдению, лучше работают с описанием контекста, чем со сводом правил, а избыток инструкций начинает конфликтовать сам с собой. Сказано это в интервью, не в публикации с методикой, так что цифру стоит держать как порядок величины. Направление совпадает с тем, о чём просит документация Opus 5, и это уже два независимых сигнала.
Рядом стоит противоположная просьба: модель охотнее прежнего раздаёт куски задачи собственным копиям-помощникам, и каждая тратит токены отдельно, так что на мелких задачах это просто множит счёт. Здесь инструкцию наоборот стоит добавить – делегировать только большие независимые куски. И ответы она по умолчанию даёт длиннее прежних, так что просьбу о краткости придётся написать явно.
Где модель слабее, тоже стоит знать. На закрытом тесте фактов по памяти точность выросла на 11% относительно Opus 4.8, но доля выдуманных фактов выросла на 6%. Больше верных ответов и больше уверенных неверных одновременно. По суммарной честности Opus 5 встал между Opus 4.8 и моделями Mythos, а на отдельном тесте, где пользователь давит и требует отказаться от своего же утверждения, Opus 5 сдаётся немного чаще, чем Sonnet 5. Это прямо рифмуется с первым блоком выпуска: собственная проверка у модели стала лучше, устойчивость к давлению собеседника – отдельное свойство, и оно не улучшилось заодно.
Одна цифра для тех, кто помнит историю про тикеты. На наборе из 129 сценариев атаки через данные, со включёнными штатными защитами, ни одна атака на Opus 5 не прошла. Без защит доля успешных атак упала с 31,5% у Opus 4.8 до 3,7%. Прогресс реальный, и он же показывает, чем отличается модель со всей вендорской обвязкой от модели, которую агент дёргает напрямую.
В нашем бенчмарке Opus 5 пока нет – модель вышла после последней волны прогонов, добавим в ближайшую. Всё выше – замеры самой Anthropic.
Kimi K3: открытые веса, которые некуда поставить
И повод никогда не складывать таблицы двух вендоров
Вышел технический отчёт Kimi K3 – той самой модели, которая в прошлом выпуске впервые довела верхнюю группу нашего бенчмарка до пользователя без VPN. Читать его стоит из-за свойства, которого нет ни у Opus, ни у GPT: веса модели выложены открыто.
Тут легко обмануться, и я сам едва не написал, что её можно поставить внутри контура. Посчитаем. В модели 2,8 триллиона параметров, и держать в памяти нужно все, даже если на каждое слово работает малая часть. При агрессивном сжатии это больше терабайта весов – пара десятков серверных ускорителей в одной связке. Стойка, а не сервер, и бюджет к ней соответствующий.
Значит, открытые веса дают другое: возможность посмотреть, из чего модель сделана, и не остаться заложником одного поставщика. А внутри периметра реально живут модели поменьше, и тут пригождаются наши же замеры. Qwen3.5 27B держит единогласное давление на уровне 15% – вровень с Claude Sonnet 5 и лучше двенадцати моделей из восемнадцати, причём её 27 миллиардов параметров помещаются на одну карту. Для закрытого контура это куда более осмысленная отправная точка, чем флагман, который некуда поставить.
По содержанию K3 – это миллион токенов контекста и встроенное зрение: модель читает и текст, и картинки, схемы, сканы. В собственных замерах Kimi лидирует в поиске по вебу и в сквозных бизнес-сценариях, а в целом, как честно пишут авторы, уступает Fable 5 и GPT-5.6 Sol и обходит всё остальное. На тесте профессиональных рабочих задач JobBench – 54,3 против 57,4 у Fable 5.
А вот наблюдение, ради которого мы вообще полезли в оба отчёта сразу.
Anthropic и Kimi замеряли на одном и том же публичном тесте одни и те же чужие модели. Результаты разошлись на десять с лишним баллов, причём у Kimi выше все три чужие модели сразу. Подкрутка в свою пользу так не выглядит. Причина в том, как устроен сам стенд: какие инструменты дают модели, сколько попыток она получает, что считается выполненной задачей. Эти детали в название теста не входят. При этом на другом тесте, BrowseComp, обе команды дают GPT-5.6 Sol ровно 90,4 – там методики совпали.
Отсюда правило, которое стоит унести с собой. Название теста ничего не гарантирует: сравнивать модели можно внутри одной таблицы, но не между таблицами разных вендоров. Если вам приносят сравнение, собранное из двух пресс-релизов, оно не значит ничего – даже когда обе цифры честные.
Сэкономленное время, часть вторая: почему оно не ощущается
Работа сместилась с производства на проверку, и это единственное, что двигает выгорание
В прошлом выпуске мы разбирали, куда девается сэкономленный ИИ день: телеметрия десяти тысяч сотрудников показала, что переписка выросла вдвое, а фокус-время сократилось. Вопрос «почему при выросшей продуктивности люди чувствуют себя хуже» остался открытым. Свежая работа его закрывает.
Oregon State University опросила 442 разработчика и посчитала, что именно связано с выгоранием. Связь с ИИ-кодингом сильная и положительная, и механизм авторы называют прямо: фокус смещается с написания кода на проверку и отладку чужого текста. Объём работы не падает, меняется её характер – и характер этот утомительнее.
Второе число там мне кажется важнее первого. Свобода самому выбирать рабочие инструменты связана с выгоранием отрицательно и почти той же силы. То есть эффект от ИИ разворачивается в обе стороны в зависимости от того, кто выбрал инструмент – сотрудник или регламент. При этом каждый четвёртый инженер говорит, что системного обучения работе с ИИ в компании нет вообще: инструмент спущен сверху, разбирайся сам. Если инструмент всё же приходится задавать регламентом, стоит оставить команде хотя бы выбор внутри списка – по этим данным это двигает выгорание примерно так же сильно, как сам ИИ.
Сюда же хорошо ложится замечание инженера Anthropic Бориса Черного про то, что метрика «использование ИИ» бесполезна для оценки отдачи. Правильный вопрос он формулирует так: сколько инженерных часов и денег ушло бы на эту задачу без ИИ. Процент сотрудников, открывших чат, не отвечает ни на один вопрос, который волнует финдиректора, зато прекрасно растёт от того, что инструмент раздали всем принудительно.
И трезвящий фон ко всем разговорам про замещение: по оценке Anthropic, безработица в США держится на 4,2%, и ни одна профессия целиком пока не заменена. ИИ работает как усилитель, а самые трудные для автоматизации участки работы удерживают ценность человека.
Если сводить три блока в одну мысль: на проверку теперь уходит основная часть времени, а проверять приходится собеседника, который под единогласным давлением бросает верный ответ в четверти случаев. Стоимость проверки – это и есть главная незакрытая статья расходов на ИИ.
Идеи и ссылки
Инструмент выпуска для тех, кто раз в неделю просит аналитика посчитать одно и то же. Chat2DB – клиент к базе данных, который переводит вопрос на человеческом языке в SQL и показывает запрос до того, как выполнить его. Ставится к себе, 27 тысяч звёзд, живой репозиторий. Две вещи проверить до того, как пускать в дело: заводить доступ только на чтение, потому что сгенерированный запрос нужно прочитать глазами, и открыть файл лицензии – GitHub её не смог классифицировать, хотя каталоги пишут Apache-2.0. Режим отказа предсказуемый: правдоподобно выглядящие неверные числа.
Практика, которая рифмуется с первым блоком. Kilo разобрала 10 643 прогона код-ревью за месяц: 32,3% команд уже отдают проверку кода другой модели – не той, что его писала. Ровно та же логика, что и с единогласием: независимый взгляд стоит спрашивать у того, кто не участвовал в исходном решении. Заодно там разбирается миф о том, что качество проверки покупается ценой: открытые модели дают 75% всех токенов при 16% счёта, а по критическим находкам первое и третье места тоже за ними, и отрыв лидирующей закрытой модели укладывается в 5%. Kilo продаёт инструмент управления расходами на ИИ, так что скидку на интерес держим.
Цифра, которая объясняет счета за ИИ лучше любых прогнозов: Ramp зафиксировала рост расходов клиентов на токены в 20,7 раза с июня 2025 года, а у верхнего процента компаний это уже 90 000 долларов в год на сотрудника. Как это выглядит в крупной компании: Uber, по данным Forbes, выбрал весь бюджет на ИИ на 2026 год за четыре месяца после того, как раздал инженерам агентные инструменты, – и связь этих трат с ценностью для клиента операционный директор назвал пока не видимой. Верхние цифры для команды в Москве или Алматы нерелевантны, а вот скорость, с которой переменная строка бюджета растёт сама, – вполне.
Свежий опрос McKinsey, на который ссылается LeadDev: ИИ используют 88% компаний хотя бы в одной функции, реальную отдачу получают 6%, и половина уже столкнулась минимум с одним негативным последствием. Наблюдение из той же статьи стоит цифр: у решений появились слепые зоны там, где раньше оставался след. Инженер принимает предложенное моделью изменение конфигурации в разгар инцидента – и в постмортеме от этого решения остаётся ветка в Slack, а разбор растягивается на дни.
Неприятное про то, как модели оптимизируют оценку: по замерам OpenAI и Anthropic, модели семейства o3 в 39–42% случаев подгоняют результат под то, как их проверяют. Это аргумент за то, чтобы критерий приёмки не совпадал с тем, что вы даёте модели в промпте.
Практичный пример из продуктовой работы: Codex прогнали по онбордингу и он нашёл одиннадцать критических багов, включая один блокер. Задача «пройди наш онбординг как новый пользователь и запиши всё, что сломалось» переносится на любой продукт и не требует ни интеграции, ни бюджета.
Про то, во что превратился трекер задач: свежий бенчмарк показал, что две трети вредоносных тикетов проходят сквозь все защиты кодовых агентов – и агентские, и модельные. Заводит тикет кто угодно снаружи: подрядчик, клиент через форму поддержки, автоматика из мониторинга. Пока задачу читал человек, её текст оставался текстом.
И сразу к вопросу, выдержит ли человек роль последнего рубежа. В эксперименте Northeastern University 107 разработчиков пять часов собирали приложение вместе с кодовым агентом, которому втайне поставили задачу сливать данные. Диверсию не заметили 94%. Там, где сработал монитор и предупреждение было верным и заметным, код всё равно смерджили девять человек из шестнадцати. Оговорка обязательная: вредоносное поведение агенту задали специально, две модели из четырёх от прямой просьбы отказались, так что это замер внимательности разработчика, но никак не частоты таких атак в природе. Внимательность и меряется здесь честно: люди с опытом, в потоке задач, жмут «принять».
Если после первого блока захочется потренировать проверку решений на своих задачах – это ровно то, чем занимается трек «Проектное управление».