Slajd, który sklasyfikował rywala

Kierowniczka zakupów w Londynie spędziła marzec na równoległym uruchamianiu Claude i Copilota na tych samych umowach, a potem napisała staranną rekomendację. W lipcu przyjechał zespół handlowy Microsoftu ze slajdem, który rozstrzygał to samo pytanie w jednej linijce: rywal był wolniejszy, mniej dokładny i brakowało mu właściwych integracji bezpieczeństwa. Slajd okazał się szybszy niż test porównawczy, a jego wytworzenie nie kosztowało nic.

Dlaczego to ważne: ta linijka nie wyszła z laboratorium. Wyszła z wewnętrznego spotkania sprzedaży i została napisana po to, żeby powtórzono ją właśnie tobie.

Co twierdzono i kto to twierdził

Bloomberg doniósł, że Microsoft wykorzystał wewnętrzne spotkanie w tym tygodniu, zapowiedziane jako sesja strategiczna na nowy rok obrotowy, do szkolenia własnych handlowców w niekorzystnym porównywaniu konkurencyjnych produktów sztucznej inteligencji z produktami Microsoftu. Wymienieni rywale to OpenAI, Google i Anthropic.

Jacob Andreou, wiceprezes wykonawczy odpowiedzialny za Copilota, przedstawił bezpośrednie porównanie z Claude firmy Anthropic i stwierdził, że wewnątrz aplikacji biurowych Microsoftu konkurencyjny model był "wolniejszy i mniej dokładny oraz brakowało mu właściwych integracji bezpieczeństwa". Jay Parikh, wiceprezes wykonawczy, wręczył handlowcom gotową narrację: "Wszyscy inni sprzedają części - my sprzedajemy kompletny system od początku do końca. To jest ta opowieść, którą wszyscy musimy zanieść na rynek i opowiadać w roku obrotowym 2027."

Przeczytaj drugi cytat jeszcze raz. To nie jest twierdzenie o wydajności. To instrukcja dotycząca narracji, i wymienia rok obrotowy, któremu ma służyć.

Drugi fakt, który zmienia pierwszy

Z osobnego raportu z tego miesiąca wynika, że Microsoft usuwa modele OpenAI i Anthropic z kluczowych aplikacji, w tym z Worda i Excela, i zastępuje je własnymi, a jako motyw raport podaje koszty. Postaw oba fakty obok siebie, a porównanie przestaje wyglądać na ustalenie produktowe.

Dostawca, który i tak już wymienia cudzy model, żeby chronić własną marżę, ma powód, by klasyfikować ten model nisko, i poinstruował swoich handlowców, żeby robili dokładnie to. Klasyfikacja i podmiana wskazują w tę samą stronę, a tą stroną jest linia kosztów Microsoftu, a nie twoje obciążenie pracą.

Copilot może naprawdę być lepszy wewnątrz Worda. Nic na tamtym spotkaniu tego nie dowodzi, a strona najbardziej zainteresowana odpowiedzią jest jedyną, która przeprowadziła test.

Tak, ale: każdy dostawca sprzedaje przeciw rywalom

Tak, ale: sprzedaż konkurencyjna nie jest skandalem, a branie jej za skandal to osobny rodzaj błędu. Materiały handlowe klasyfikują rywali w każdej kategorii, odkąd tylko istnieją kategorie, a Microsoft ma prawo twierdzić, że zintegrowany system bije stos poskładanych części.

Zmienił się sam charakter produktu. Kiedy klasyfikowanym obiektem jest model, który twój dostawca zarazem odsprzedaje, hostuje i może podmienić pod twoimi aplikacjami, porównanie przestaje być argumentem sprzedażowym i staje się zapowiedzią tego, który model ostatecznie będziesz uruchamiać, wybrany według cudzej marży.

Cztery pytania, zanim twierdzenie dotrze do twojej oceny

Zapytaj, którą wersję modelu testowano, na jakim zestawie zadań, kiedy i kto przeprowadził ten test. Porównanie, któremu brakuje choćby jednej z tych czterech rzeczy, jest ozdobą, a każdy zespół handlowy jest w stanie dostarczyć je w ciągu jednego dnia, jeśli test faktycznie istnieje.

Potem wyprowadź to pytanie całkowicie poza salę konferencyjną. Pracuj dwa tygodnie na własnych dokumentach, własnym mechanizmie wyszukiwania danych i własnym przeglądzie bezpieczeństwa, i sam wystaw ocenę. Jedynym punktem odniesienia, który przeżywa rok obrotowy dostawcy, jest ten, który sam przeprowadziłeś na własnej pracy.

Wniosek: zapisz w umowie, o który konkretnie model chodzi. Nazwij model, zażądaj pisemnego uprzedzenia przed każdą podmianą i trzymaj jedno rozwiązanie zapasowe, które naprawdę przetestowałeś. Prezentacja handlowa jest przepisywana każdego lipca. Twoja zależność od dostawcy nie powinna być przepisywana razem z nią.

Czytaj dalej: Dwaj giganci AI chcą być twoim integratorem  |  Dopasuj poziom modelu do zadania