Чотири агенти, один кран, одна спроба
Моєму синові Марку п’ять, і він обожнює баштові крани. Будує їх із конструктора, малює, показує на них з машини.
Тож я дав чотирьом ШІ-агентам однакове завдання: збудувати йому будмайданчик із баштовим краном у браузері, з першої спроби. Кран, який будує дім поверх за поверхом, робітники, техніка підвозу, день і ніч. Один промпт на 20 КБ, одне повідомлення, порожня папка, без допомоги і без зворотного зв’язку під час роботи.
Потім я оцінював чотири результати наосліп, як A, B, C і D, а ключ лежав у файлі, якого я не відкривав. Я був певен, що знаю, яка модель найкраща. Я помилився, і цифри потім теж виявилися не такими, як я очікував.
Усі чотири крани живі на сайті. Можна відкрити кожну сцену, запустити будівництво й оглянути її до того, як читати, хто що зробив.
Склад
Дві пари, за класом:
| Ліворуч | Праворуч | |
|---|---|---|
| Фронтир | Claude Opus 5.5, effort high | Gemini 4 Argon, high |
| Малі й дешеві | Claude Haiku 5.5, high | Qwen3.8-27B на Cerebras |
Кожен агент працював у своєму власному інструменті: Claude Code для двох моделей Claude, Antigravity CLI для Argon, pi для Qwen на API Cerebras. Opus і Haiku на підписці Claude Max, Argon на Google AI Pro, Qwen на передплачених $10 кредиту Cerebras.
Промпт був однаковим файлом для всіх чотирьох. Three.js із закріпленого CDN, усе процедурно, без зовнішніх моделей і текстур, панель керування, таймлайн від поверху 0 до поверху N, день і ніч, і бюджет продуктивності: менше 300 викликів відрисовки за кадр. Питань не ставити. Одна спроба. Зупинитися, коли готово.
Гонка відбулася 2026-10-16. Промпт опублікований поруч зі сценами, якщо захочете прогнати його самі.
Що повернулося
Qwen сказав «готово» через 4 хвилини, з другої спроби. Argon через 28. Haiku через 52. Opus через 57.
Далі я відкривав їх по одному, з літерами замість назв.
A: порожня сторінка. Синтаксична помилка в консолі і нічого на екрані. Файл обірвався посеред функції.
B: дуже сильно. Детальний майданчик, добре світло й матеріали, кран піднімає панелі поверх за поверхом, і панель керування справді працює. Тут я найдовше просто роздивлявся.
C: теж сильно. Деталей трохи менше, ніж у B, матеріали простіші, але чисто й повноцінно, і працювало добре.
D: повноцінно, з однією прикметою. Увесь майданчик на місці й працює, але частина робітників висить у повітрі біля будинку.
Мої припущення, записані до того, як я подивився ключ: A — це Qwen, D — Haiku, B — новий Gemini Argon, C — Opus.
Ключ
A був Qwen. D був Haiku. Ці два я вгадав.
B був Claude Opus 5.5. C був Gemini 4 Argon.
Фронтирну пару я переставив місцями. Я працюю з Opus щодня і не впізнав його роботу, коли назву приховали. Два з чотирьох.
Чек
Цифри з логів прогону, вартість за цінами API, перевірено 2026-10-16:
| Літера | Агент | Час | Токенів на виході | Вартість за цінами API |
|---|---|---|---|---|
| B | Claude Opus 5.5 | 57.1 хв | 308K | ≈ $13.84 |
| C | Gemini 4 Argon | 28.0 хв | 102K | ≈ $1.71 |
| D | Claude Haiku 5.5 | 52.3 хв | 439K | ≈ $2.13 |
| A | Qwen3.8-27B на Cerebras | 3.8 хв + ~11 хв ремонтів | 159K плюс ремонти | ≈ $11, передплачені $10 закінчилися |
Кран, який мені сподобався найбільше, коштував приблизно у 8 разів дорожче за другий і зайняв удвічі більше часу. $1.71 в Argon — це вводна ціна, чинна до кінця листопада; після того той самий прогон буде близько $3.4.
Одна цифра з боку Opus мене здивувала: ті самі токени на Opus 5 коштували б близько $22.49. Дешевші читання кешу на 5.5, $0.20 за мільйон проти $0.50, знімають 38% рахунку для такої довгої односесійної роботи.
Що сталося з A
Qwen варто описати докладніше, бо збій конкретний і не про те, що модель погано знає Three.js.
Перший прогон упіймав ліміт довжини відповіді й обірвався посеред файлу на рядку 987. Я надіслав назад звіт про помилку без підсказок. Модель правильно знайшла причину, потім знову впіймала той самий ліміт і нічого не записала. Друга спроба вийшла після того, як я сказав писати файл частинами й знизив рівень міркувань до medium. Це вже не чиста одна спроба, і я зараховую її як роботу з допомогою.
Після трьох ремонтів сцена запускається: майданчик, кран, техніка, люди. Але дім не росте, коли тягнеш таймлайн, нічне освітлення залите засвітом, і сцена видає 78 125 викликів відрисовки за кадр, тоді як у завданні було менше 300. Потім $10 кредиту Cerebras закінчилися, і я спинився.
Завдання на 20 КБ, яке треба повернути одним файлом на 4000 рядків, погано пасує малій моделі з коротким лімітом відповіді й контекстом 131K. Модель нормально міркує про задачу. Вона не може видати артефакт одним куском.
Як я обираю тепер
Робота для клієнта, яка має бути правильною з першого разу, йде до Opus. Різниця в ціні перестає важити, коли переробка коштує день.
Чернетки, експерименти й усе, що я все одно буду доробляти, йдуть до Argon. Удвічі швидше, у вісім разів дешевше, і результат був достатньо близьким, щоб я обрав його замість Opus, коли назви були приховані.
Малі моделі на швидкому залізі добрі для коротких задач із невеликим виходом. Не для одноразової збірки такого розміру.
І те, про що я продовжую думати: з прихованими назвами я не відрізнив свою щоденну модель від конкурента. Якщо ви обираєте між фронтирними моделями за репутацією, прогоніть власну задачу через обидві й подивіться на результати, перш ніж дивитися на назви.
Марк обрав B як улюблений, до слова. Він вгадав, не читаючи жодної цифри.