Czołowe laboratorium AI przyznaje, że jego model nie jest najlepszy

Zdanie, którego czołowe laboratorium zwykle nie pisze

W ogłoszeniu Inklinga przez Thinking Machines Lab z 15 lipca ukryto zdanie, którego nie zdecydowało się opublikować żadne inne czołowe laboratorium. Model, jak napisała firma, "nie jest najmocniejszym dostępnym dzisiaj modelem". Dalej firma opisała, czym Inkling jest jej zdaniem zamiast tego: "dobrą bazą o otwartych wagach do dostosowywania". Każda premiera modelu z ostatnich trzech lat zaczynała się od wykresu z wynikami testów. Ta zaczęła się od ograniczenia.

Warto czytać to jako strategię, a nie skromność. Mira Murati, wcześniej dyrektor techniczna OpenAI, założyła Thinking Machines i w mniej więcej dziewięć miesięcy dostarczyła model o skali czołowych laboratoriów, podczas gdy OpenAI potrzebowało na to bliżej pięciu lat, a Anthropic trzech. Laboratorium zatrudnia około 200 osób, a w styczniu straciło dwóch współzałożycieli, którzy przeszli do OpenAI. Firma w takiej sytuacji nie wygra wyścigu na wyniki testów z laboratoriami dysponującymi stukrotnie większym budżetem na moc obliczeniową. Nie stanęła więc do tego wyścigu.

Dla każdego, kto kupuje AI, uczciwie nazwane ograniczenie jest informacją, na której da się oprzeć plan. Dostawca, który chwali się najwyższym wynikiem w publicznym rankingu, mówi o liczbie, którą ktoś pobije w ciągu kilku tygodni, całkiem możliwe, że jeszcze przed końcem procesu zakupowego. Dostawca, który mówi, czym jego produkt nie jest, daje coś trwałego. Zdarza się to rzadziej, niż powinno, i jest warte więcej, niż na to wygląda.

Co naprawdę jest w pudełku

Inkling to transformer typu mixture-of-experts z 975 miliardami parametrów łącznie i 41 miliardami aktywnych w danym momencie. Wytrenowano go wstępnie na 45 bilionach tokenów obejmujących tekst, obrazy, dźwięk i wideo, a okno kontekstu sięga miliona tokenów. Model rozumuje na tekście, obrazach i dźwięku, choć na razie odpowiada wyłącznie tekstem, w tym kodem i danymi ustrukturyzowanymi. Lżejszy wariant, Inkling-Small, ma 276 miliardów parametrów łącznie i 12 miliardów aktywnych.

Dwie decyzje projektowe pokazują, pod co ten model jest zoptymalizowany. Udostępnia sterowalny poziom wysiłku w rozumowaniu, dzięki czemu wywołujący może wymieniać głębokość rozumowania na zużycie tokenów osobno przy każdym zapytaniu, a takiej dźwigni kosztowej większość interfejsów API nie oddaje klientowi do ręki. Thinking Machines wybrało też względne osadzenia pozycyjne zamiast RoPE, podając, że lepiej ekstrapolują na dłuższe sekwencje. Firma twierdzi, że przy porównywalnej jakości kodowania Inkling zużywa mniej więcej jedną trzecią tokenów potrzebnych modelowi Nemotron 3 Ultra od Nvidii. Na rachunku rozliczanym za zużycie efektywność tokenowa przestaje być szczegółem technicznym.

Zanim spojrzy się na liczby z nagłówka, warto sprawdzić te praktyczne. Wagi są na Hugging Face, a Inkling jest dostępny przez Tinker, firmową platformę do dostrajania, przy długości kontekstu 64 000 i 256 000 tokenów, obecnie z 50-procentowym rabatem przez ograniczony czas. Warto zauważyć różnicę: model obsługuje do miliona tokenów kontekstu, a zarządzana platforma oferuje dziś jedną czwartą tego. Jeśli zastosowanie wymaga pełnego okna, trzeba hostować model u siebie, a własny hosting modelu o 975 miliardach parametrów to poważne zobowiązanie infrastrukturalne, a nie praca na jedno popołudnie.

Otwarta czołówka AI jest już wspólnym dziedzictwem

Szczegół dotyczący pochodzenia tego modelu zasługuje na więcej uwagi niż liczba parametrów. Thinking Machines podaje, że konstrukcja mixture-of-experts w Inklingu w dużej mierze wzoruje się na DeepSeek-V3: 256 ekspertów routowanych i dwóch współdzielonych, przy sześciu routowanych ekspertach aktywnych na token. Do wygenerowania danych na wczesny post-trening, przed uczeniem ze wzmocnieniem na dużą skalę, firma użyła też modeli o otwartych wagach, między innymi Kimi K2.5 od Moonshot AI. Laboratorium z San Francisco, założone przez byłą dyrektor techniczną OpenAI, oparło swoją architekturę na opublikowanym projekcie chińskiego laboratorium i rozpędziło ją modelem innego chińskiego laboratorium.

Tak właśnie w praktyce wygląda otwarta czołówka. To nie wyścig dwóch bloków o zatknięcie flagi, lecz wspólne dziedzictwo techniczne, które płynie w każdą stronę i nie pyta o pozwolenie na żadnej granicy. Inżynieria przeszła z Hangzhou i Pekinu do San Francisco, bo została opublikowana, a jej wynik również opublikowano.

Dla europejskiego właściciela firmy ma to konkretną i pozbawioną sentymentu wartość. Dostęp do hostowanego modelu z czołówki to relacja handlowa zależna od decyzji o zasadach, cenach i dostępności podejmowanych w innej jurysdykcji, o czym przekonał się już każdy, czyj model wystartował w 47 krajach, ale nie w Unii Europejskiej. Pobrany zestaw otwartych wag to aktywo innego rodzaju. Nikt go nie ograniczy, nie przeceni ani nie wycofa spod nóg, bo firma już go ma. To nie jest argument za tym, że otwarte wagi są lepsze. To argument za tym, że zawodzą inaczej, a wiedza o tym, jak zawodzi dana zależność, stanowi większość sensu procesu zakupowego.

Czy to zakup, który warto zrobić

Linia podziału biegnie między wynajmem inteligencji a posiadaniem zdolności. Jeśli praca z AI jest szeroka, różnorodna i zmienia się co tydzień, lepiej wynajmować: płacić za tokeny najlepszego hostowanego modelu i przesiadać się, gdy pojawi się lepszy, bo kupuje się wtedy elastyczność. Jeśli praca jest wąska, powtarzalna, o dużym wolumenie i specyficzna dla firmy, dostosowywalna baza, którą się dostraja i zatrzymuje, potrafi pobić model ogólny, który nigdy nie zetknął się z tą dziedziną, a jej koszt przestaje rosnąć wraz z użyciem.

Trzeba uczciwie nazwać, czego wymaga dostosowanie, bo właśnie w tym miejscu plan zwykle się sypie. Dostrajanie potrzebuje danych treningowych, które firma naprawdę ma i wolno jej ich użyć. Potrzebuje zestawu ewaluacyjnego zbudowanego z rzeczywistej pracy, a nie z publicznego testu porównawczego, bo inaczej nie da się stwierdzić, czy własna wersja jest lepsza od punktu wyjścia. I potrzebuje imiennie wskazanej osoby, która odpowiada za model na produkcji, bo dostrojony model, którego nikt nie utrzymuje, po cichu traci formę, gdy biznes wokół niego się zmienia. Przy braku choćby jednego z tych trzech elementów baza o otwartych wagach jest plikiem do pobrania, a nie zdolnością.

Uczciwa lektura Inklinga jest taka, że to właśnie przyznanie się jest funkcją produktu. Thinking Machines powiedziało, czym ten model nie jest, więc zostaje jedno pytanie: czy adaptowalność jest tym, czego firma potrzebuje. Dla większości firm, które prowadzą kilka ogólnych zadań AI, nie jest, a wynajem pozostaje właściwym wyborem. Dla mniejszej grupy, która ma wąski problem o dużym wolumenie i prawdziwe dane własne, baza, którą można mieć na własność i kształtować, to naprawdę inna propozycja ekonomiczna niż rozliczany za zużycie dostęp do cudzego modelu. Obie decyzje da się obronić. Kupowanie tej drugiej przy budżecie ułożonym pod pierwszą już nie.

Czytaj dalej: 24 lipca deepseek-chat przestaje odpowiadać  |  Cyberprzewaga obrońcy spada do miesięcy