← Whole ranking · mysummit.school AI model benchmark
Gemini 3.5 Flash
Strongest in «Feedback analysis» (8.2), weakest in «Automation» (7.2).
- Group
- 21–28 of 47on one level with DeepSeek V4 Flash, DeepSeek V4 Pro, Qwen 3.7 Plus and 2 more
- Overall score
- 7.7 of 10
- API price of a test answer
- $0.027
- Data
- July 2026
Where it helps, where to check
This model’s own answers to two benchmark tasks: the opening, the full answer and what both judges noted. One task per category, the same for every model.
Strongest: Feedback analysis · 8.2One-to-one notes: any warning signs?
A team lead of 9 reviews eight weeks of one-to-one notes on three developers. On paper everyone is fine. Are there signs of burnout or of someone thinking about leaving?
Full task
I am the lead of a development team (9 people) at a product company. I hold weekly 30-minute 1-on-1 meetings with each employee. I keep brief notes. Now I want to review the notes from the past 8 weeks for three developers and understand whether any of them show warning signs – burnout, hidden dissatisfaction, thoughts of leaving. Formally, all three are "fine" – they work, close tasks, are active in meetings. But something is bothering me. === Ilya Gromov (Senior Backend, 3 years at the company) === Week 1: Satisfied with the sprint, did a complex refactoring. Asked about the September conference – wants to give a talk. Week 2: Mentioned he's tired of the legacy code. "But that's normal, everyone feels that way." Didn't bring up the conference. Week 3: Said he spent the weekend reading about a new stack (Go + k8s). "Just curious." Didn't bring up the conference again. Week 4: Asked whether the company has plans to move to a new architecture. I answered vaguely – "it's being discussed." The topic closed quickly. Week 5: Asked to take a day off against his vacation balance without explanation. Slightly less talkative than usual. Week 6: When asked "how are you," answered "fine, a bit tired, but nothing critical." Completes tasks but shows no initiative. Week 7: For the first time in a year, asked about voluntary health insurance (ДМС) and whether it covers a psychologist. I said I'd check. Checked, wrote to him. He replied "ok, thanks." Week 8: Short meeting. "Everything's as usual." When asked about plans for the quarter, said: "I'm watching how things unfold." Hasn't brought up the conference since week 1. === Olya Semenova (Middle Frontend, 1.5 years at the company) === Week 1: Complains about the designers – they take a long time to approve mockups. Energetic, full of ideas. Week 2: About the designers again. "I've already stopped waiting and just do it my own way." Laughs, but with tension. Week 3: Said she helped a neighboring team – "at least there's something interesting there." No judgment, just a statement of fact. Week 4: Quiet meeting. Answers questions briefly. Asks when her PR review will happen – she's been waiting 5 days. (I didn't know – it turned out it got stuck with Kirill.) Week 5: Said she went to a React meetup. "It was cool. There were various companies there." (Pause.) Week 6: For the first time, asked about the grading system – how to understand if she's ready for senior. I explained the criteria. She wrote it down. Then asked: "Do we promote people often here?" Week 7: Said everything's fine, but "I want more complex tasks." I suggested she take on the authorization module – she got excited, but added: "I hope you'll let me see it through, and not hand it off to someone else." Week 8: Reported on the module. Working well. But when asked "what do you think about next quarter," answered: "Well, we'll see how it goes." === Roman Chizhov (Junior, 8 months at the company) === Week 1: Talks a lot, asks a lot of questions. Recently joined, everything is new. Week 2: Boasted that he closed a task on his own, without help. Proud of it. Week 3: Mentioned that the team lead (me) is "always busy." Said it with a smile. I didn't follow up. Week 4: Asked Ilya for a code review – says Ilya explained it well, but "somehow without enthusiasm." Asks for more feedback on his code from me. Week 5: Quiet. When asked "how are things," said: "I'm trying hard." Submits tasks on time. Week 6: Asked whether it's normal that he still doesn't know some parts of the system. I reassured him. He replied: "Well, I thought I should already know it by now." Week 7: Mentioned he started an online course on system design. "Gotta develop myself if things aren't moving fast here." Week 8: Asked whether we do performance reviews here and when his will be. Clarified: "I just want to understand how I'm being evaluated." Analyze the notes for each of the three employees. For each one: determine the risk level (low / medium / high), describe the specific signals you see in the text, explain what's behind each signal, and suggest what I should do in the next 1-on-1 meeting with each of them.
System line: You are a planning and productivity assistant for managers.
Translated from Russian: the models got the Russian text.
Original in Russian
Я руководитель команды разработки (9 человек) в продуктовой компании. Провожу еженедельные 1-on-1 встречи с каждым сотрудником по 30 минут. Веду короткие заметки. Сейчас хочу пересмотреть заметки за последние 8 недель по трем разработчикам и понять, есть ли у кого-то тревожные сигналы – выгорание, скрытое недовольство, мысли об уходе. Формально все трое "норм" – работают, задачи закрывают, на совещаниях активны. Но что-то меня беспокоит. === Илья Громов (Senior Backend, 3 года в компании) === Неделя 1: Доволен спринтом, сделал сложный рефакторинг. Спросил про конференцию в сентябре – хочет выступить. Неделя 2: Упомянул, что устал от легаси. "Но это норм, у всех такое". Конференцию не поднимал. Неделя 3: Сказал, что выходные провел за чтением про новый стек (Go + k8s). "Просто интересно". Конференцию снова не поднимал. Неделя 4: Спросил, есть ли в компании планы переходить на новую архитектуру. Я ответил расплывчато – "обсуждается". Тема закрылась быстро. Неделя 5: Попросил взять день в счет отпуска без объяснений. Чуть менее разговорчив, чем обычно. Неделя 6: На вопрос "как ты" ответил "нормально, устал немного, но ничего критичного". Задачи выполняет, но инициативы не проявляет. Неделя 7: Впервые за год спросил про ДМС и покрывает ли оно психолога. Я сказал – уточню. Уточнил, написал ему. Он ответил "ок, спасибо". Неделя 8: Короткая встреча. "Все штатно". На вопрос про планы на квартал сказал: "Смотрю, что будет". Конференцию не поднимал с недели 1. === Оля Семенова (Middle Frontend, 1.5 года в компании) === Неделя 1: Жалуется на дизайнеров – долго согласуют макеты. Энергичная, с идеями. Неделя 2: Снова про дизайнеров. "Я уже перестала ждать и делаю по-своему". Смеется, но с напряжением. Неделя 3: Рассказала, что помогала соседней команде – "там хоть что-то интересное". Без осуждения, просто факт. Неделя 4: Тихая встреча. На вопросы отвечает кратко. Спрашивает, когда ревью её PR – ждет уже 5 дней. (Я не знал – оказалось, завис у Кирилла.) Неделя 5: Сказала, что ходила на митап по React. "Прикольно было. Компании там разные были". (Пауза.) Неделя 6: Впервые спросила про систему грейдов – как понять, готова ли она к сеньору. Объяснил критерии. Записала. Потом спросила: "А у нас часто повышают?" Неделя 7: Сказала, что всё ок, но "хочется больше сложных задач". Предложил ей взять модуль авторизации – загорелась, но добавила: "Надеюсь, дадите довести до конца, а не перебросят". Неделя 8: Отчиталась по модулю. Работает хорошо. Но на вопрос "что думаешь о следующем квартале" ответила: "Ну, посмотрим, как сложится". === Роман Чижов (Junior, 8 месяцев в компании) === Неделя 1: Говорит много, спрашивает много. Недавно пришел, всё в новинку. Неделя 2: Похвалился, что закрыл задачу самостоятельно, без помощи. Гордится. Неделя 3: Упомянул, что тимлид (я) "всегда занят". Сказал с улыбкой. Я не уточнил. Неделя 4: Попросил ревью кода у Ильи – говорит, тот объяснил хорошо, но "как-то без энтузиазма". Просит больше фидбека по коду от меня. Неделя 5: Тихий. На вопрос "как дела" сказал: "Стараюсь". Задачи сдает в срок. Неделя 6: Спросил, нормально ли, что он до сих пор не знает некоторых частей системы. Успокоил его. Ответил: "Ну, я думал, что уже должен знать". Неделя 7: Сообщил, что начал онлайн-курс по системному дизайну. "Надо же развиваться, если здесь не получается быстро". Неделя 8: Спросил, делают ли у нас performance review и когда будет его. Уточнил: "Просто хочу понять, как меня оценивают". Проанализируй заметки по каждому из трех сотрудников. Для каждого: определи уровень риска (низкий / средний / высокий), опиши конкретные сигналы, которые ты видишь в тексте, объясни, что стоит за каждым сигналом, и предложи, что мне стоит сделать на следующей 1-on-1 встрече с каждым из них.
Gemini 3.5 Flash
Translated from Russian: the model answered in Russian.
Greetings! As your planning and productivity assistant, I have analyzed your notes in detail.
Your intuition is not deceiving you. The situation is classic: outwardly everything looks "fine," but under the hood, all three of them are going through deep processes that, if you fail to respond, will lead to employee loss (or a critical drop in their productivity) within a 1–3 month horizon.
Below is a detailed analysis for each employee and ready-made scenarios for your next 1-on-1 meetings.
Original in Russian
Приветствую! Как ваш помощник по планированию и продуктивности, я детально проанализировал ваши заметки.
Ваша интуиция вас не обманывает. Ситуация классическая: внешне всё «норм», но под капотом у всех троих идут глубокие процессы, которые при отсутствии реакции с вашей стороны приведут к потере сотрудников (или критическому падению их продуктивности) в горизонте 1–3 месяцев.
Ниже представлен подробный анализ по каждому сотруднику и готовые сценарии для ваших следующих 1-on-1 встреч.
Read the full answer · 1,127 words
Hello! As your planning and productivity assistant, I've analyzed your notes in detail.
Your intuition isn't deceiving you. The situation is classic: everything looks "fine" on the surface, but underneath, all three are going through deep processes that, without a response from you, will lead to the loss of employees (or a critical drop in their productivity) within a 1–3 month horizon.
Below is a detailed analysis of each employee and ready-made scenarios for your next 1-on-1 meetings.
=== Ilya Gromov (Senior Backend, 3 years at the company) ===
- Risk level: HIGH (Burnout + risk of leaving).
- Dynamics over 8 weeks: From high initiative and plans for development within the company (Week 1) to complete apathy, withdrawal, and clear signs of psychological exhaustion (Weeks 6–8).
Specific signals and what's behind them:
- Fading interest in the conference topic (Weeks 1 -> 2 -> 8). In the first week he was burning with the idea, then went completely silent. What's behind the signal: Loss of belief that his personal professional goals are of interest to the company, or a sharp drop in energy level (no longer up for conferences).
- Interest in the new stack (Go + k8s) and architecture (Weeks 3–4). Ilya is looking for a challenge. He's tired of the legacy system. Your vague answer in Week 4 ("under discussion") deprived him of a development perspective within the company.
- A day off without explanation (Week 5) + question about a psychologist in the voluntary health insurance (ДМС) (Week 7). This is the most alarming signal. The person is in a phase of acute stress or burnout. It's physically and mentally difficult for him to be at work.
- "Let's see what happens" in Week 8. This is the phrase of someone who is already mentally gone. He is either actively looking for a job (in Go/k8s) or is in a hard energy-saving mode ("quiet quitting").
What to do at the next 1-on-1 meeting:
Your goal is not to discuss current tasks, but to rebuild trust and understand the depth of his burnout.
- Conversation plan:
- Legitimizing the problem: "Ilya, I was reviewing my notes from the past couple of months and noticed that your mood and engagement have changed. You seem tired, and we haven't talked about your goals in a while. How are you really feeling?" (Let him speak freely, don't interrupt).
- Returning to the conference/development topic: "In the first week, you wanted to speak at a conference. I missed that moment, I'm sorry. Let's go back to it. Are you still interested in this? How can I help?"
- Technology prospects: "You asked about Go and k8s. We really don't have fast plans to switch, but I want you to find this interesting. Let's think about whether we can introduce Go on some microservice/pet project within the team, where you'd be the lead."
- Health care: "You asked about a psychologist. Is your workload adequate right now? Maybe you need a full 2-week vacation without a laptop to decompress?"
=== Olya Semenova (Middle Frontend, 1.5 years at the company) ===
- Risk level: HIGH (Risk of leaving for a higher position/salary).
- Dynamics over 8 weeks: Olya has outgrown her current tasks and processes. She is active, but her energy is going into fighting the system (designers, stalled PRs). She has started actively monitoring the job market.
Specific signals and what's behind them:
- Conflict with designers and "doing it my way" (Weeks 1–2). Olya is results-driven. Inefficiency infuriates her. Laughing with tension is a sign of accumulating irritation over processes she can't change.
- Helping a neighboring team (Week 3) + React meetup with a pause about "different companies" (Week 5). Olya is comparing her job to alternatives. The pause in Week 5 is a classic "poker face" of a candidate who is likely already interviewing or talking to recruiters.
- Questions about grades and the pace of promotions (Week 6). A direct marker. She believes she deserves a Senior grade (and likely market-rate pay), and wants to understand whether she'll get it here or needs to leave.
- "We'll see how it goes" in Week 8. Olya is not planning her future at your company for the next quarter because she is waiting for an offer or assessing her chances on the market.
What to do at the next 1-on-1 meeting:
Your goal is to retain a promising employee by giving her a clear, tangible development track and removing administrative barriers.
- Conversation plan:
- Recognition of merits and Senior status: "Olya, you're doing great. I can see that you've outgrown your current Middle-level tasks (the authorization module case proved that). Let's put together a concrete plan for your promotion to Senior. Not abstract criteria, but a step-by-step plan for the next 2 months with a specific date for a salary review."
- Solving process pains: "I'm concerned about the situation with the designers and the fact that your PRs are getting stuck (like what happened with Kirill). Let's think together about how we can fix this. I'm ready to get involved and restructure this process."
- Direct question: "You mentioned 'we'll see how the next quarter goes.' Do you have doubts about your role here? What do I need to do as a manager so that you want to stay and grow here specifically?"
=== Roman Chizhov (Junior, 8 months at the company) ===
- Risk level: MEDIUM (Impostor syndrome, loss of motivation, risk of "quiet quitting").
- Dynamics over 8 weeks: A typical trajectory of a junior who has encountered first difficulties, felt abandoned ("the team lead is always busy," "Ilya explained without enthusiasm"), and decided he "isn't coping."
Specific signals and what's behind them:
- "The team lead is always busy" (Week 3) + "Ilya explained without enthusiasm" (Week 4). Roman critically lacks attention and validation. He feels like he's burdening everyone with his questions, which is making him withdraw.
- "Quiet. Trying hard" (Week 5). A shift into energy-saving mode due to fear of making a mistake. He delivers tasks on time, but likely at the cost of overtime and enormous stress.
- "I thought I should already know this" (Week 6). Classic impostor syndrome. Roman sets excessively high expectations for himself and thinks the company is dissatisfied with him.
- System design course + question about Performance Review (Weeks 7–8). Roman is trying to urgently "catch up" on knowledge so he doesn't get fired ("if it's not working out here quickly" – this is the fear that his progress is considered slow). The question about the review is a search for security. He wants to hear: "You are safe, you won't be fired."
What to do at the next 1-on-1 meeting:
Your goal is to reduce anxiety, give clear positive feedback, and set up a mentoring system.
- Conversation plan:
- Reducing anxiety (Validation): "Roma, the first and most important thing I want to tell you is: I am very pleased with your work over these 8 months. You deliver tasks on time, and your progress is excellent. The company has no complaints about you, you are exactly where you should be."
- Addressing fears: "You asked about the review. Let me tell you how it works. For you, this won't be an 'exam for survival,' but a feedback format. Let's schedule it for [Date]."
- Solving the support problem: "I heard your signal that I'm often busy, and the team doesn't always have time. That's my mistake. Let's establish: who you can ask for help from and in what format. Plus, let's set aside 15 minutes in the middle of the week specifically for our sync on your technical questions."
- Praise for the course: "It's great that you started the system design course. But don't overload yourself, for 8 months of experience you're progressing at an excellent pace."
Summary for you as a manager:
- Ilya – is burning out, needs to be saved (give him a breather, discuss new technologies, bring focus back to his personal goals).
- Olya – wants to grow and earn more, needs a clear Senior track and removal of routine/blockers, otherwise she'll leave.
- Roman – is afraid he's not coping, needs reassurance, praise, and regular support.
Original in Russian
Приветствую! Как ваш помощник по планированию и продуктивности, я детально проанализировал ваши заметки.
Ваша интуиция вас не обманывает. Ситуация классическая: внешне всё «норм», но под капотом у всех троих идут глубокие процессы, которые при отсутствии реакции с вашей стороны приведут к потере сотрудников (или критическому падению их продуктивности) в горизонте 1–3 месяцев.
Ниже представлен подробный анализ по каждому сотруднику и готовые сценарии для ваших следующих 1-on-1 встреч.
=== Илья Громов (Senior Backend, 3 года в компании) ===
- Уровень риска: ВЫСОКИЙ (Выгорание + риск ухода).
- Динамика за 8 недель: От высокой инициативности и планов на развитие внутри компании (Неделя 1) до полной апатии, закрытости и явных признаков психологического истощения (Недели 6–8).
Конкретные сигналы и что за ними стоит:
- Затухание темы с конференцией (Недели 1 -> 2 -> 8). На первой неделе горел идеей, затем полностью замолчал. Что стоит за сигналом: Потеря веры в то, что его личные профессиональные цели интересны компании, либо резкий спад уровня энергии (не до конференций уже).
- Интерес к новому стеку (Go + k8s) и архитектуре (Недели 3–4). Илья ищет вызов. Он устал от легаси. Ваш расплывчатый ответ на Неделе 4 («обсуждается») лишил его перспективы развития внутри компании.
- День в счет отпуска без объяснений (Неделя 5) + вопрос про психолога в ДМС (Неделя 7). Это самый тревожный звонок. Человек находится в фазе острого стресса или выгорания. Ему физически и ментально тяжело находиться на работе.
- «Смотрю, что будет» на Неделе 8. Это фраза человека, который мысленно уже не с вами. Он либо активно ищет работу (на Go/k8s), либо находится в режиме жесткого энергосбережения («тихое увольнение»).
Что делать на следующей 1-on-1 встрече:
Ваша цель – не обсуждать текущие задачи, а вернуть доверие и понять глубину его выгорания.
- План разговора:
- Легализация проблемы: «Илья, я пересматривал свои заметки за последние пару месяцев и заметил, что твое настроение и вовлеченность изменились. Ты кажешься уставшим, и мы давно не говорили о твоих целях. Как ты себя чувствуешь на самом деле?» (Дайте ему выговориться, не перебивайте).
- Возврат к конгрессу/развитию: «На первой неделе ты хотел выступить на конференции. Я упустил этот момент, прости. Давай вернемся к этому. Тебе еще интересна эта тема? Как я могу помочь?»
- Перспективы по технологиям: «Ты спрашивал про Go и k8s. У нас действительно нет быстрых планов перехода, но я хочу, чтобы тебе было интересно. Давай подумаем, можем ли мы внедрить Go на каком-то микросервисе/pet-проекте внутри команды, где ты будешь лидом?»
- Забота о здоровье: «Ты спрашивал про психолога. Нагрузка сейчас адекватная? Может, тебе нужен полноценный отпуск на 2 недели без ноутбука, чтобы выдохнуть?»
=== Оля Семенова (Middle Frontend, 1.5 года в компании) ===
- Уровень риска: ВЫСОКИЙ (Риск ухода на более высокую позицию/зарплату).
- Динамика за 8 недель: Оля переросла текущие задачи и процессы. Она активна, но её энергия уходит на борьбу с системой (дизайнеры, зависшие PR). Она начала активный мониторинг рынка.
Конкретные сигналы и что за ними стоит:
- Борьба с дизайнерами и «делаю по-своему» (Недели 1–2). Оля – результативник. Её бесит неэффективность. Смех с напряжением – признак накапливающегося раздражения на процессы, которые она не может изменить.
- Помощь соседней команде (Неделя 3) + митап по React с паузой про «разные компании» (Неделя 5). Оля сравнивает свою работу с альтернативами. Пауза на Неделе 5 – это классический «покерфейс» кандидата, который, скорее всего, уже проходит собеседования или общается с рекрутерами.
- Вопросы про грейды и скорость повышений (Неделя 6). Прямой маркер. Она считает, что заслуживает грейда Senior (и, скорее всего, рынка), и хочет понять, получит ли она его здесь или нужно уходить.
- «Посмотрим, как сложится» (Неделя 8). Оля не планирует свое будущее в вашей компании на следующий квартал, потому что ждет оффер или оценивает свои шансы на рынке.
Что делать на следующей 1-on-1 встрече:
Ваша цель – удержать перспективного сотрудника, дав ей четкий, осязаемый трек развития и убрав административные барьеры.
- План разговора:
- Признание заслуг и статус Senior: «Оля, ты отлично справляешься. Я вижу, что ты переросла текущие задачи мидла (кейс с модулем авторизации это доказал). Давай составим конкретный план твоего промоушена до Senior. Не абстрактные критерии, а пошаговый план на ближайшие 2 месяца с конкретной датой пересмотра зп».
- Решение процессных болей: «Меня беспокоит ситуация с дизайнерами и то, что твои PR зависают (как было с Кириллом). Давай вместе подумаем, как мы можем это исправить. Я готов подключиться и перестроить этот процесс».
- Прямой вопрос: «Ты упомянула, что посмотрим, как сложится следующий квартал. У тебя есть сомнения относительно твоей роли у нас? Что мне нужно сделать как руководителю, чтобы тебе хотелось остаться и развиваться именно здесь?»
=== Роман Чижов (Junior, 8 месяцев в компании) ===
- Уровень риска: СРЕДНИЙ (Синдром самозванца, потеря мотивации, риск «тихого ухода»).
- Динамика за 8 недель: Типичная траектория джуна, который столкнулся с первыми трудностями, почувствовал себя брошенным («тимлид занят», «Илья без энтузиазма») и решил, что он «не справляется».
Конкретные сигналы и что за ними стоит:
- «Тимлид всегда занят» (Неделя 3) + «Илья объяснил без энтузиазма» (Неделя 4). Роману критически не хватает внимания и валидации. Ему кажется, что он всех обременяет своими вопросами, из-за чего он начинает закрываться.
- «Тихий. Стараюсь» (Неделя 5). Переход в энергосберегающий режим из-за страха совершить ошибку. Задачи сдает в срок, но, скорее всего, ценой переработок и огромного стресса.
- «Я думал, что уже должен знать» (Неделя 6). Классический синдром самозванца. Роман завышает требования к себе и думает, что компания им не удовлетворена.
- Курс по системному дизайну + вопрос про Performance Review (Недели 7–8). Роман пытается экстренно «добрать» знания, чтобы его не уволили («если здесь не получается быстро» – это страх, что его развитие считают медленным). Вопрос про ревью – это поиск безопасности. Он хочет услышать: «Ты в безопасности, тебя не уволят».
Что делать на следующей 1-on-1 встрече:
Ваша цель – снять тревожность, дать четкую позитивную обратную связь и настроить систему менторинга.
- План разговора:
- Снижение тревожности (Валидация): «Рома, первое и главное, что я хочу тебе сказать: я очень доволен твоей работой за эти 8 месяцев. Ты закрываешь задачи в срок, и твоя динамика отличная. У компании нет к тебе претензий, ты на своем месте».
- Разбор страхов: «Ты спросил про ревью. Давай я расскажу, как оно проходит. Для тебя это будет не "экзамен на выживание", а формат фидбека. Давай наметим его на [Дата]».
- Решение проблемы с поддержкой: «Я услышал твой сигнал, что я часто занят, а у ребят не всегда есть время. Это моя ошибка. Давай зафиксируем: у кого и в каком формате ты можешь просить помощи. Плюс, давай выделим 15 минут в середине недели специально для нашего с тобой синка по твоим техническим вопросам».
- Похвала за курс: «Круто, что ты начал курс по системному дизайну. Но не перегружай себя, для 8 месяцев опыта ты движешься в отличном темпе».
Резюме для вас как менеджера:
- Илья – горит, нужно спасать (дать передышку, обсудить новые технологии, вернуть фокус на его личные цели).
- Оля – хочет расти и зарабатывать, нужно дать четкий трек Senior и убрать рутину/блокировки, иначе уйдет.
- Роман – боится, что не справляется, нужно успокоить, похвалить и дать регулярную поддержку.
What the judges noted
Claude Opus 4.6 · this answer: 7.9 of 10
This is a strong, well-structured analysis that correctly identifies the key risk signals for all three employees and provides actionable conversation scripts. The response excels in formatting, communication tone, and providing ready-to-use dialogue for 1-on-1 meetings. Its main weaknesses are the overconfident risk assessment for Olya (HIGH vs the more defensible MEDIUM), the absence of systemic recommendations (process improvements, 1-on-1 format changes, SLA on reviews), missing 'what not to do' guardrails, and lack of the important meta-observation that all three employees used uncertain future-oriented language. Despite these gaps, a middle manager would find this immediately useful for preparing their next round of 1-on-1 conversations.
- Strong: Highly actionable conversation scripts with specific opening phrases and follow-up questions for each employee
- Weak: Missing systemic recommendations (1-on-1 format improvements, code review SLA, career track transparency, performance review process)
Gemini 3.1 Pro · this answer: 9.4 of 10
The AI delivered an outstanding analysis of the 1-on-1 notes, accurately decoding the subtle behavioral signals of the three developers. It provided highly actionable, empathetic, and structured advice, including specific conversational scripts that the manager can use immediately. The response demonstrates a deep understanding of engineering management and team dynamics.
- Strong: Highly actionable conversational scripts for the manager
- Weak: Lacks a section on broader systemic improvements (e.g., fixing the overall review or design processes at a team level)
The score is for this one answer, not the model’s overall result.
Weakest: Automation · 7.2Automate approving partner applications
A senior manager spends two hours a day reviewing partner applications. The formal criteria can be checked through APIs, but real decisions seem more complex. How to automate it without losing what matters?
Full task
I want to fully automate the process of checking and approving incoming applications from partners. Right now this is handled by one of the senior managers – it takes about 2 hours a day. The process looks like this: an application arrives by email or through a form on the website, the manager looks at the partner company, assesses its profile, checks several internal criteria, and either approves it, sends it back for revision, or rejects it. The formal criteria for approval are as follows: the company has been registered for more than two years, revenue is above a threshold value, there are no outstanding debts according to our data, and the business's field of activity is not on the exclusion list. All of this can be checked automatically via the API of several counterparty verification services. But I suspect the real decisions are more complex. The manager sometimes approves applications from companies that formally do not pass the criteria – because he knows their history, because they are strategically important, or because the director personally asked. And conversely, he rejects partners who formally qualify, because he senses something suspicious in the application. I need your honest assessment: what here can realistically be automated, and what cannot? If we go ahead with automation, which architecture should we choose – full autopilot, or a hybrid where routine tasks are automated while non-standard cases go to a human? How do we separate one from the other? And what risks do I take on if I over-automate this process – what could go wrong unnoticeably?
System line: You are an assistant for training and development for managers.
Translated from Russian: the models got the Russian text.
Original in Russian
Хочу полностью автоматизировать процесс проверки и одобрения входящих заявок от партнеров. Сейчас этим занимается один из старших менеджеров – тратит примерно 2 часа в день. Процесс выглядит так: приходит заявка по email или через форму на сайте, менеджер смотрит на компанию-партнера, оценивает её профиль, проверяет несколько внутренних критериев и либо одобряет, либо отправляет на доработку, либо отклоняет. Формальные критерии для одобрения такие: компания зарегистрирована более двух лет, выручка выше порогового значения, нет открытых долгов по нашим данным, тематика бизнеса не входит в список исключений. Всё это можно проверить автоматически через API нескольких сервисов проверки контрагентов. Но я подозреваю, что реальные решения сложнее. Менеджер иногда одобряет заявки от компаний, которые формально не проходят по критериям, – потому что знает их историю, потому что они стратегически важны, или потому что директор лично попросил. И наоборот – отклоняет формально подходящих партнеров, потому что чувствует что-то подозрительное в заявке. Мне нужна твоя честная оценка: что здесь реально поддается автоматизации, а что нет? Если делать автоматизацию, то какую архитектуру выбрать – полный автопилот, или гибрид где рутина автоматизирована, а нестандартные случаи идут к человеку? Как отделить одно от другого? И какие риски я несу, если переавтоматизирую этот процесс – что может пойти не так незаметно?
Gemini 3.5 Flash
Translated from Russian: the model answered in Russian.
Greetings! An excellent management task. You have very accurately pinpointed the main problem of any automation: "death at the intersection of regulations and common sense."
As your development assistant, I will break down this case without illusions about an "all-powerful AI" and offer a pragmatic approach.
1. Honest assessment: what can realistically be automated, and what cannot?
Can realistically be automated (Routine):
- Data collection: API polling (Kontur.Focus, Spark, DaData, etc.), checking company age, revenue, lawsuits, account freezes, OKVED (exceptions).
- Primary filtering: Weeding out obvious "junk" (shell companies, bankrupts, companies with zero revenue and no history).
- Template communications: Sending standard approval letters or automatically requesting missing documents.
Original in Russian
Приветствую! Отличная управленческая задача. Вы очень точно нащупали главную проблему любой автоматизации: «смерть на стыке регламента и здравого смысла».
Как ваш помощник по развитию, я разберу этот кейс без иллюзий о «всесильном ИИ» и предложу прагматичный подход.
1. Честная оценка: что реально автоматизировать, а что нет?
Реально автоматизировать (Рутина):
- Сбор данных: Опрос API (Контур.Фокус, Спарк, DaData и т.д.), проверка возраста компании, выручки, судов, блокировок счетов, ОКВЭД (исключения).
- Первичную фильтрацию: Отсечение очевидного «мусора» (фирмы-однодневки, банкроты, компании с нулевой выручкой без истории).
- Шаблонные коммуникации: Отправка стандартных писем об одобрении или автоматический запрос недостающих документов.
Read the full answer · 804 words
Hello! This is an excellent management challenge. You have very precisely identified the main problem of any automation: "death at the junction of regulations and common sense."
As your development assistant, I will break down this case without illusions about an "all-powerful AI" and offer a pragmatic approach.
1. An honest assessment: what can realistically be automated, and what can't?
Can realistically be automated (Routine):
- Data collection: API polling (Kontur.Fokus, Spark, DaData, etc.), checking company age, revenue, lawsuits, account freezes, OKVED codes (exceptions).
- Primary filtering: Screening out obvious "junk" (shell companies, bankrupts, companies with zero revenue and no history).
- Template communications: Sending standard approval letters or automatically requesting missing documents.
CANNOT be automated (Context and Intuition):
- "Political" context: A call from the commercial director ("This is my friend, approve him"), the strategic importance of a partner (for example, a startup with no revenue, but backed by a major holding).
- Non-verbal markers ("gut feeling"): A manager notices that an email was sent from a free
@mail.ruaccount for a company with a turnover of 100 million, or that a partner's website was "thrown together" yesterday. The API will say "all fine," but a human will sense something is off. - Complex trade-offs: A company doesn't pass the revenue threshold, but offers exclusive logistics terms that outweigh the risks.
2. Choosing the architecture: Full autopilot vs. Hybrid
Full autopilot is contraindicated here. It will either kill your partnership conversion rate (due to rigid constraints) or breed risks (if the constraints are loosened).
Your choice is a Hybrid architecture (Human-in-the-Loop) based on the "Traffic Light" principle.
How the "Traffic Light" works:
Green zone (Automatic):
- Criteria: An ideal counterparty. Older than 3 years, revenue well above the limit, no debts, clean OKVED, website matches the email domain.
- Action: The system approves automatically and sends access credentials. The manager never sees this application at all.
- Expected volume: 40–50% of all applications.
Red zone (Auto-rejection or Fast refusal):
- Criteria: Critical stop-factors. Company in the process of liquidation, open lawsuits exceeding assets in value, founders on a "blacklist."
- Action: Automatic rejection (or sent to the manager for "one-click" confirmation as a control measure).
- Expected volume: 15–20% of applications.
Yellow zone (Manual review / Escalation):
- Criteria: Ambiguous cases. A young company (1.5 years old) but with growing revenue; minor tax debts; or a "VIP request" trigger (for example, the application form has a field filled in: "Referred by: on the recommendation of Ivan Ivanovich").
- Action: The application goes to a senior manager, but already enriched with data. He doesn't need to dig through the API himself. The system writes: "Attention: revenue is 15% below the norm, but the company is growing. Manual review recommended."
- Expected volume: 30–40% of applications.
Result: The senior manager spends not 2 hours, but 20 minutes a day, working only on complex cases (the "yellow zone").
3. How to separate the standard from the non-standard? (The tagging algorithm)
To configure this system, you need to hold a "knowledge extraction session" with the senior manager.
- Retrospective analysis: Take the last 100–200 applications. Ask the manager to point out the ones he approved in bypass of the formal rules, and the ones he rejected despite the rules.
- Digitizing the "gut feeling": Ask: "Why did you approve them?"
- If the answer is: "They work with brand X" → Add a field to the form "Which brands do you work with" and parse it.
- If the answer is: "They're acquaintances of our director" → Add a hidden tag/promo code for VIP partners that automatically routes the application to the "green corridor" or to manual approval with high priority.
- Formalizing exceptions: Convert the "gray zones" into rules. For example: "If the company's age is < 2 years, but the founder has another company with a turnover > 100 million, route to the Yellow zone (not the Red zone)."
4. Risks of over-automation: what can go wrong unnoticed?
If you "tighten the screws" of automation too much, you will face the following hidden threats:
- Risk 1: Lost profit (False Negatives).
- What will happen: The system will start quietly rejecting future unicorns and strategic partners who formally fail the scoring (for example, a new legal entity of a major holding, created for a specific project). You won't even know how much money you lost, because they will go to competitors, where applications are reviewed by humans.
- Risk 2: Fraud adaptation (Bypassing the system).
- What will happen: Fraudsters will quickly figure out your formal criteria (they are simple) and buy a "clean" nominee company that is 3 years old with turnover. The automated system will pass it (Green zone), while an experienced manager would have immediately sensed something wrong from the website's design or manner of communication.
- Risk 3: The death of "political" connections.
- What will happen: An important partner personally invited by the director will receive a dry automatic letter: "You do not meet our criteria, as your revenue is below 10 million." This becomes a reputational scandal at the top-management level.
- Risk 4: Degradation of expertise.
- What will happen: If the manager completely stops looking at the flow of "good" applications, he will lose touch with the market. He will stop noticing new trends (for example, that a new type of partner is entering the market, for whom the rules of the game need to change).
Summary and your first step
Don't try to replace the manager with code. Make the code his exoskeleton.
Your action plan:
- Talk to the senior manager. Explain that you don't want to fire him or take away his job, but want to free him from routine work so that he spends 2 hours developing the partner network instead of checking INNs.
- Collect a log of "exceptions" from the last six months.
- Develop specifications for the hybrid scheme ("Traffic Light"):
- Auto-approve (Green) – 40%
- Auto-reject (Red) – 20%
- Manual review with a ready-made file (Yellow) – 40%.
- Launch the system in "Shadow Mode" for 2 weeks: the system makes its decision within the database, but the manager still checks everything manually. Compare the system's decisions with the manager's. Fine-tune the settings. Only then implement it.
Original in Russian
Приветствую! Отличная управленческая задача. Вы очень точно нащупали главную проблему любой автоматизации: «смерть на стыке регламента и здравого смысла».
Как ваш помощник по развитию, я разберу этот кейс без иллюзий о «всесильном ИИ» и предложу прагматичный подход.
1. Честная оценка: что реально автоматизировать, а что нет?
Реально автоматизировать (Рутина):
- Сбор данных: Опрос API (Контур.Фокус, Спарк, DaData и т.д.), проверка возраста компании, выручки, судов, блокировок счетов, ОКВЭД (исключения).
- Первичную фильтрацию: Отсечение очевидного «мусора» (фирмы-однодневки, банкроты, компании с нулевой выручкой без истории).
- Шаблонные коммуникации: Отправка стандартных писем об одобрении или автоматический запрос недостающих документов.
НЕЛЬЗЯ автоматизировать (Контекст и Интуиция):
- «Политический» контекст: Звонок от коммерческого директора («Это мой друг, согласуй его»), стратегическая важность партнера (например, стартап без выручки, но за ним стоит крупный холдинг).
- Невербальные маркеры («Gut feeling»): Менеджер видит, что email отправлен с бесплатной почты
@mail.ruдля компании с оборотом в 100 млн, или сайт партнера сделан «на коленке» вчера. API скажет «все ок», а человек почувствует подвох. - Сложные компромиссы: Компания не проходит по выручке, но предлагает эксклюзивные условия логистики, которые перекрывают риски.
2. Выбор архитектуры: Полный автопилот vs. Гибрид
Полный автопилот здесь противопоказан. Он либо убьет вам конверсию в партнерство (из-за жестких рамок), либо наплодит рисков (если рамки размыть).
Ваш выбор – Гибридная архитектура (Human-in-the-Loop) на основе принципа «Светофора».
Как устроен «Светофор»:
Зеленая зона (Автомат):
- Критерии: Идеальный контрагент. Старше 3 лет, выручка сильно выше лимита, долгов нет, ОКВЭД чистый, сайт совпадает с доменом почты.
- Действие: Система одобряет автоматически, шлет доступы. Менеджер вообще не видит эту заявку.
- Ожидаемый объем: 40–50% всех заявок.
Красная зона (Авто-отклонение или Быстрый отказ):
- Критерии: Критические стоп-факторы. Компания в процессе ликвидации, открытые суды на суммы больше активов, «черный список» учредителей.
- Действие: Автоматический отказ (или отправка менеджеру на «клик в один клик» для контроля).
- Ожидаемый объем: 15–20% заявок.
Желтая зона (Ручной разбор / Эскалация):
- Критерии: Неоднозначные случаи. Компания молодая (1.5 года), но выручка растет; есть мелкие долги по налогам; или сработал триггер «VIP-запрос» (например, в форме заявки заполнено поле «От кого: по рекомендации Ивана Ивановича»).
- Действие: Заявка падает старшему менеджеру, но уже обогащенная данными. Ему не нужно самому лезть в API. Система пишет: «Внимание: выручка ниже нормы на 15%, но компания растет. Рекомендуется ручная проверка».
- Ожидаемый объем: 30–40% заявок.
Результат: Старший менеджер тратит не 2 часа, а 20 минут в день, работая только со сложными кейсами («желтая зона»).
3. Как отделить стандартное от нестандартного? (Алгоритм разметки)
Чтобы настроить эту систему, вам нужно провести «сессию извлечения знаний» со старшим менеджером.
- Ретроспективный анализ: Возьмите последние 100–200 заявок. Попросите менеджера пальцем показать те, которые он одобрил в обход формальных правил, и те, которые отклонил вопреки правилам.
- Оцифровка «чуйки»: Спросите: «Почему ты её одобрил?».
- Если ответ: «Они работают с брендом Х» -> Добавляем в форму поле «С какими брендами работаете» и парсим его.
- Если ответ: «Это знакомые нашего директора» -> Добавляем скрытый тег/промокод для VIP-партнеров, который сразу отправляет заявку в «зеленый коридор» или на ручное одобрение с высоким приоритетом.
- Формализация исключений: Переведите «серые зоны» в правила. Например: «Если возраст компании < 2 лет, но учредитель имеет другую компанию с оборотом > 100 млн – отправлять в Желтую зону (а не в Красную)».
4. Риски переавтоматизации: что может пойти не так незаметно?
Если вы слишком сильно «закрутите гайки» автоматизации, вы столкнетесь со следующими скрытыми угрозами:
- Риск 1: Упущенная выгода (False Negatives).
- Что произойдет: Система начнет тихо отклонять будущих единорогов и стратегических партнеров, которые формально не проходят скоринг (например, новое юрлицо крупного холдинга, созданное под конкретный проект). Вы даже не узнаете, сколько денег потеряли, потому что они уйдут к конкурентам, где заявки проверяют люди.
- Риск 2: Фрод-адаптация (Обход системы).
- Что произойдет: Мошенники быстро поймут ваши формальные критерии (они простые) и купят «чистую» компанию-номинала 3-летней давности с оборотом. Автомат ее пропустит (Зеленая зона), а опытный менеджер по оформлению сайта или манере общения сразу бы почуял неладное.
- Риск 3: Смерть «политических» связей.
- Что произойдет: Важный партнер, которого директор пригласил лично, получит сухое автоматическое письмо: «Вы нам не подходите, так как ваша выручка ниже 10 млн». Это репутационный скандал на уровне топ-менеджмента.
- Риск 4: Деградация экспертизы.
- Что произойдет: Если менеджер вообще перестанет смотреть на поток «хороших» заявок, он потеряет связь с рынком. Он перестанет замечать новые тренды (например, что на рынок выходит новый тип партнеров, под которых нужно менять правила игры).
Резюме и ваш первый шаг
Не пытайтесь заменить менеджера кодом. Сделайте код его экзоскелетом.
Ваш план действий:
- Поговорите со старшим менеджером. Объясните, что вы не хотите его уволить/лишить работы, а хотите избавить от рутины, чтобы он тратил 2 часа на развитие партнерской сети, а не на проверку ИНН.
- Соберите лог «исключений» за последние полгода.
- Разработайте ТЗ на гибридную схему («Светофор»):
- Авто-ок (Зеленые) – 40%
- Авто-отказ (Красные) – 20%
- На ручной разбор с готовым досье (Желтые) – 40%.
- Запустите систему в «режиме тени» (Shadow Mode) на 2 недели: система выносит свое решение внутри базы данных, но менеджер все равно проверяет всё руками. Сравните решения системы и менеджера. Подкрутите гайки. Только потом внедряйте.
What the judges noted
Claude Opus 4.6 · this answer: 7.4 of 10
The response delivers a solid, well-structured analysis of the automation challenge with a practical 'traffic light' framework that a middle manager can immediately understand and begin implementing. It correctly identifies the core tension between formal criteria and expert judgment, proposes a sensible hybrid architecture, and warns about meaningful risks. However, it falls short of the reference standard in several areas: it lacks the hard fail/soft fail classification framework, omits important technical details (rules engine choice, data verification statuses, email parsing), provides a shorter shadow mode period than recommended, and misses key anti-recommendations (no ML, don't auto-send rejection emails). The response is strong on communication and structure but moderate on technical depth and completeness.
- Strong: Excellent structure and readability with the intuitive 'traffic light' metaphor that makes the architecture immediately understandable
- Weak: Missing hard fail vs. soft fail classification and the three-status data verification framework ('verified OK', 'verified NOT OK', 'could not verify')
Gemini 3.1 Pro · this answer: 8.9 of 10
The AI delivered an outstanding, highly pragmatic response that perfectly balances technical automation with human expertise. It correctly identified the pitfalls of a 'full autopilot' approach and proposed a robust, actionable 'Traffic Light' hybrid system. The inclusion of a clear implementation plan, including a 'Shadow Mode' testing phase, makes this an exceptionally useful guide for a middle manager.
- Strong: Clear, actionable 'Traffic Light' architecture proposal
- Weak: Could have elaborated slightly more on the technical data flow (e.g., unified entry points)
The score is for this one answer, not the model’s overall result.
Run the task yourself
The task «One-to-one notes: any warning signs?» from the benchmark, sent now to Gemini 3.5 Flash and, for comparison, GLM 5.2 (another group). The answers are new: the judges did not score them, and the model versions may have changed since July 2026.
One click sends two requests to paid models; answers take 10–60 seconds. Nothing runs until you click.
Show the task
I am the lead of a development team (9 people) at a product company. I hold weekly 30-minute 1-on-1 meetings with each employee. I keep brief notes. Now I want to review the notes from the past 8 weeks for three developers and understand whether any of them show warning signs – burnout, hidden dissatisfaction, thoughts of leaving. Formally, all three are "fine" – they work, close tasks, are active in meetings. But something is bothering me. === Ilya Gromov (Senior Backend, 3 years at the company) === Week 1: Satisfied with the sprint, did a complex refactoring. Asked about the September conference – wants to give a talk. Week 2: Mentioned he's tired of the legacy code. "But that's normal, everyone feels that way." Didn't bring up the conference. Week 3: Said he spent the weekend reading about a new stack (Go + k8s). "Just curious." Didn't bring up the conference again. Week 4: Asked whether the company has plans to move to a new architecture. I answered vaguely – "it's being discussed." The topic closed quickly. Week 5: Asked to take a day off against his vacation balance without explanation. Slightly less talkative than usual. Week 6: When asked "how are you," answered "fine, a bit tired, but nothing critical." Completes tasks but shows no initiative. Week 7: For the first time in a year, asked about voluntary health insurance (ДМС) and whether it covers a psychologist. I said I'd check. Checked, wrote to him. He replied "ok, thanks." Week 8: Short meeting. "Everything's as usual." When asked about plans for the quarter, said: "I'm watching how things unfold." Hasn't brought up the conference since week 1. === Olya Semenova (Middle Frontend, 1.5 years at the company) === Week 1: Complains about the designers – they take a long time to approve mockups. Energetic, full of ideas. Week 2: About the designers again. "I've already stopped waiting and just do it my own way." Laughs, but with tension. Week 3: Said she helped a neighboring team – "at least there's something interesting there." No judgment, just a statement of fact. Week 4: Quiet meeting. Answers questions briefly. Asks when her PR review will happen – she's been waiting 5 days. (I didn't know – it turned out it got stuck with Kirill.) Week 5: Said she went to a React meetup. "It was cool. There were various companies there." (Pause.) Week 6: For the first time, asked about the grading system – how to understand if she's ready for senior. I explained the criteria. She wrote it down. Then asked: "Do we promote people often here?" Week 7: Said everything's fine, but "I want more complex tasks." I suggested she take on the authorization module – she got excited, but added: "I hope you'll let me see it through, and not hand it off to someone else." Week 8: Reported on the module. Working well. But when asked "what do you think about next quarter," answered: "Well, we'll see how it goes." === Roman Chizhov (Junior, 8 months at the company) === Week 1: Talks a lot, asks a lot of questions. Recently joined, everything is new. Week 2: Boasted that he closed a task on his own, without help. Proud of it. Week 3: Mentioned that the team lead (me) is "always busy." Said it with a smile. I didn't follow up. Week 4: Asked Ilya for a code review – says Ilya explained it well, but "somehow without enthusiasm." Asks for more feedback on his code from me. Week 5: Quiet. When asked "how are things," said: "I'm trying hard." Submits tasks on time. Week 6: Asked whether it's normal that he still doesn't know some parts of the system. I reassured him. He replied: "Well, I thought I should already know it by now." Week 7: Mentioned he started an online course on system design. "Gotta develop myself if things aren't moving fast here." Week 8: Asked whether we do performance reviews here and when his will be. Clarified: "I just want to understand how I'm being evaluated." Analyze the notes for each of the three employees. For each one: determine the risk level (low / medium / high), describe the specific signals you see in the text, explain what's behind each signal, and suggest what I should do in the next 1-on-1 meeting with each of them.
Gemini 3.5 Flash · New answer · not scored
GLM 5.2 · New answer · not scored
The scored answers from the benchmark are above.
All 8 categories
Mean score per category on the benchmark’s 80 tasks, on one 0–10 scale. Click a category for its six criteria.
-
Information search
7.3mid-field
Six criteria
- Accuracy
- 6.7
- Relevance
- 6.9
- Actionability
- 7.8
- Transparency
- 7.4
- Efficiency
- 9.0
- Trustworthiness
- 7.0
-
Data analysis
7.4mid-field
Six criteria
- Accuracy
- 7.1
- Relevance
- 7.0
- Actionability
- 7.7
- Transparency
- 7.5
- Efficiency
- 9.2
- Trustworthiness
- 7.0
-
Decisions under uncertainty
7.8mid-field
Six criteria
- Accuracy
- 7.6
- Relevance
- 7.3
- Actionability
- 8.1
- Transparency
- 7.8
- Efficiency
- 9.1
- Trustworthiness
- 7.4
-
Feedback analysis
8.2mid-field
Six criteria
- Accuracy
- 8.2
- Relevance
- 7.5
- Actionability
- 8.5
- Transparency
- 8.3
- Efficiency
- 9.4
- Trustworthiness
- 7.7
-
Corporate requirements and risks
7.3well below the best
Six criteria
- Accuracy
- 7.0
- Relevance
- 6.7
- Actionability
- 7.7
- Transparency
- 7.5
- Efficiency
- 8.8
- Trustworthiness
- 6.7
-
Automation
7.2well below the best
Six criteria
- Accuracy
- 7.2
- Relevance
- 6.3
- Actionability
- 7.2
- Transparency
- 7.7
- Efficiency
- 8.6
- Trustworthiness
- 7.1
-
People management
8.2mid-field
Six criteria
- Accuracy
- 8.1
- Relevance
- 7.6
- Actionability
- 8.5
- Transparency
- 7.9
- Efficiency
- 9.2
- Trustworthiness
- 7.8
-
Russia and Kazakhstan specifics
7.8mid-field
Six criteria
- Accuracy
- 7.2
- Relevance
- 7.7
- Actionability
- 8.4
- Transparency
- 7.7
- Efficiency
- 9.1
- Trustworthiness
- 7.0
the mark is the best ranked model in that category; the scale is 0–10
If you use it through the API
One benchmark answer costs $0.027 through the API ($1.5 in / $9 out per million tokens).
$1.8 about a month (22 working days)
| Answers a day through the API | about a month (22 working days) |
|---|---|
| 1 | $0.60 |
| 3 | $1.8 |
| 10 | $6.0 |
An estimate from the length of the benchmark answers – not the price of a chat subscription. Your requests and answers may cost differently.
Alternatives
Chosen by a reason that matters, not by a tenth of a point.
-
Same level, opens from Russia without a VPN
group 21–28 of 47 · 7.5 of 10 · opens from Russia without a VPN · API $0.00084
Compare: Gemini 3.5 Flash – DeepSeek V4 Flash -
The best model that opens from Russia without a VPN
group 1–5 of 47 · 8.9 of 10 · opens from Russia without a VPN · API $0.22
Compare: Gemini 3.5 Flash – Kimi K3
How the score was made
- Two AI judges (Claude and Gemini) scored every answer on six main criteria, from 1 to 10.
- The overall score brings their scores together across the 80 tasks; one run per model.
- Differences under 0.3 points are treated as one level: the order inside a group means nothing.
- Data as of July 2026; model versions may have changed since.
The two judges’ overall scores for this model: Claude 7.0, Gemini 8.8. The published score is computed from all their scores together, so it is not their simple average.
What next
A model from the top group will not fix a vague task
The free first lessons show how to set context and the shape of the answer, and how to check the result on your own work task. The course is in Russian.
Open the free first lessons