Секоја недела нов модел на ВИ (Вештачка Интелегенција) победува на некој бенчмарк (тест за перформанси). Речиси ништо од тоа, не значи, она што вие мислите дека значи.
Истата лабораторија што го создава моделот, го дизајнира и тестот. Истиот печат што го покрива лансирањето го објавува и резултатот. Се носат вистински одлуки врз основа на бројки кои не држат вода. Еве што всушност користат практичарите наместо тоа.
Минатата недела се појави Kimi K2.7-Code со тврдење на бенчмаркот за 30 проценти помалку токени за размислување (thinking tokens). Белешките за верзијата, закопани подлабоко од насловот, вклучуваа и едно тивко признание: две јадра (kernels) паднале, а еден бенчмарк назадувал во споредба со претходната верзија. Насловот велеше „супериорен“.Фуснотите велеа „зависи“.
GPT-5.5 го победи Claude Fable 5 на нешто наречено „Agents’ Last Exam“. Бенчмаркот беше развиен во истражувачки екосистем тесно поврзан со OpenAI. Методологијата за евалуација не е независно проверена. „Победничкото славје“ започна истиот ден кога излегоа и резултатите.
MiMo Code на Xiaomi го победи Claude Code на задачи со повеќе од 200 чекори, тврдат од Xiaomi. Кој хардвер? Која рамка за евалуација? Која специфична дистрибуција на задачи? Соопштението за медиумите не кажува. Бенчмаркот не е со отворен код. Тврдењето е бројка без именител.
Ништо од ова не е ново. И сè станува полошо.
Еве како всушност функционира економијата на бенчмаркови, по редоследот по кој се случува:
Лабораторија гради модел. Лабораторијата, или истражувачка група пријателски настроена кон неа, дизајнира бенчмарк што тестира работи во кои моделот е добар. Моделот покажува добри резултати на бенчмаркот. Лабораторијата објавува труд со името на бенчмаркот во насловот и резултатот во апстрактот. Технолошкиот печат го пренесува насловот. Купувачите од претпријатијата, програмерите и инфраструктурните тимови носат одлуки врз основа на насловите. Никој не проверува што се случува во продукција.
Проблемот со овој синџир не е во тоа што некој поединечен чекор е нечесен. Проблемот е што поттикнувањата (инсентивите) на секој чекор покажуваат во иста насока. Лабораториите сакаат добри резултати. Пријателските истражувачи сакаат трудови. Печатот сака кликови. Купувачите сакаат сигурност. Целиот синџир се оптимизира за истиот исход: бројка што изгледа одлучувачки.
Финтата е во тоа што бројката го мери она што бенчмаркот го мери, под условите за кои бенчмаркот бил дизајниран да тестира, користејќи ја рамката (harness) што ја избрале оценувачите. Променете ја рамката и бројката се менува. Една трета страна при евалуација на Kimi K2.6 откри дека GPT-5.4 постигнал 65,4 проценти на SWE-Bench под една рамка и 75,1 проценти на истиот бенчмарк под друга. Ист модел. Ист бенчмарк. Разлика од десет поени во зависност од тоа на кој мерен инструмент сте му верувале.
Тоа не е грешка при заокружување. Тоа е економија на бенчмаркови каде што бројките се толку „меки“ што една лабораторија може да ја избере рамката што му ласка на нејзиниот модел и да го објави резултатот како факт.
Практичарите го знаат ова. Пазарот сè уште нема фатено приклучок.
Вистинскиот сигнал за квалитетот на AI моделите во 2026 година не е во трудовите. Тој е во приватните басени за евалуација, во нишките на Hacker News каде што инженерите објавуваат што всушност ги движи нивните продукциски работни процеси, во каналите на Discord каде што луѓето споделуваат начини на паѓање (failure modes) кои никогаш не се појавуваат на ниту еден бенчмарк. Информациите што се важни се на местата каде што мотивот е да се каже вистината, а не да се победи во прес-циклусот.
Јазот меѓу тие два извори на информации е широк и станува сè поширок.
Кога се лансираше Kimi K2.6 со тврдење дека е изедначен со GPT-5.5 во кодирање по 80 проценти пониска цена, бројката на бенчмаркот беше реална. Она што исто така беше реално: резултатот беше чувствителен на тоа која рамка ја користевте за да го измерите, дистрибуцијата на задачи на бенчмаркот не се совпаѓаше со повеќето продукциски код-бази, а математиката за „80 проценти поевтино“ претпоставуваше шеми на користење какви што многу претпријатија немаат во своите работни процеси.
Ништо од тоа не се појави во извештаите за лансирањето. Сè од тоа се појави во нишките на практичарите две недели подоцна, откако луѓето всушност се обидоа да ја користат работата.
Подлабокиот проблем е што одлуките се носат во јазот помеѓу соопштението за медиумите и нишките на практичарите.
Инфраструктурните тимови избираат кој модел да го дотеруваат (fine-tune). Се потпишуваат договори за API. Се распределува GPU време. Ова не се тривијални одлуки. Тие имаат реални буџетски импликации, реални последици од „заклучување“ (lock-in) за еден провајдер, реален импакт врз она што се гради.
А тие одлуки сè повеќе се носат врз основа на бенчмарк бројка која, под поинакви услови на мерење, би можела да биде за десет поени пониска, објавена од истражувачка група со очигледен интерес во исходот, покриена од прес-екосистем кој го пренесува тврдењето без да ја оцени методологијата.
Ова не е повик за недоверба во секој бенчмарк. Некои бенчмаркови се внимателно дизајнирани, независно оценети и навистина го предвидуваат успехот во продукција. Проблемот е што од надвор нема сигурен начин да се разликуваат добрите од маркетингот. Изгледаат идентично. И едните и другите имаат имиња. И едните и другите имаат бројки. И едните и другите добиваат медиумско покривање.
Економијата на бенчмаркови престана да биде доверлив информативен систем во моментот кога мотивот да се објават добри бројки стана поголем од мотивот да се објават точни бројки. Тој момент беше некаде во 2024 година. Оттогаш живееме во последиците од тоа.
Градителите кои носат вистински одлуки веќе тргнаа понатаму.
Тие не се расправаат за тоа чиј бенчмарк е посигурен. Тие ги пуштаат моделите на сопствени податоци, во рамките на сопствените ограничувања за латентност, на сопствената дистрибуција на задачи и сами си носат заклучоци. Приватната евалуација е оперативно досадна и одзема вистинско време. Но, таа е и единствената методологија која ви кажува што моделот всушност прави со вашиот проблем, а не со проблемот што некој друг го дизајнирал за да направи одреден модел да изгледа добро.
Практичната поставеност не е комплицирана: земете примерок од вашите најтешки продукциски задачи, пуштете го секој кандидат-модел на истиот сет под вашите реални работни услови, измерете ги исходите што се важни за вашиот специфичен случај на употреба и донесете ја одлуката од тоа. Тоа нема да може да се објави во научен труд. Нема да генерира соопштение за медиумите. Но, ќе биде точно.
Компаниите кои го разбираат ова не ги читаат ранг-листите на бенчмаркови. Тие градат внатрешна инфраструктура за евалуација и ги третираат јавните бенчмаркови како груба почетна претпоставка, корисна за првично филтрирање и не многу повеќе од тоа.
Една работа за размислување
Следниот пат кога некој модел ќе победи на бенчмарк, поставете две прашања пред да дејствувате според бројката:
1. Кој го дизајнираше тестот?
2. Што прави моделот со вашиот проблем?
Првото прашање ви кажува колку да му верувате на резултатот. Второто прашање е единственото што всушност е важно.
