Quattro giorni dal lancio al tutto esaurito

Moonshot AI ha rilasciato Kimi K3 il 16 luglio, un modello da circa 2.800 miliardi di parametri con una finestra di contesto di un milione di token. Il 20 luglio l'azienda ha pubblicato un avviso agli utenti in cui descriveva vincoli di capacità di calcolo e la sospensione degli abbonamenti. Le richieste delle prime 48 ore, ha spiegato, avevano superato di molto le proiezioni e portato il cluster di calcolo esistente vicino alla capacità massima.

Il rimedio è stato smettere di vendere. Moonshot ha dichiarato di sospendere con effetto immediato i nuovi abbonamenti per privati e di destinare tutte le risorse di calcolo disponibili agli abbonati attuali, in modo che il loro servizio restasse inalterato, mentre ampliava l'infrastruttura e riapriva i posti a scaglioni. Non è un'interruzione e non è un aumento di prezzo. È un fornitore che rifiuta nuovi ricavi perché non è in grado di servirli.

La regola di razionamento è la parte che vale la pena leggere

Quando l'offerta è venuta a mancare, a fare da discrimine è stata l'anzianità, non la disponibilità a pagare. Gli abbonati esistenti hanno mantenuto intatti i loro vantaggi. Ai potenziali clienti, compreso qualsiasi team europeo che avesse passato il fine settimana a valutare K3 con l'intenzione di firmare il lunedì, è stato semplicemente detto di no. In un mercato in cui gli acquirenti sono abituati a considerare la capacità un problema risolto dietro una carta di credito, questa è una forma di fallimento inconsueta.

È anche una scelta difendibile, e va riconosciuto. Peggiorare il servizio agli utenti paganti per farne entrare altri sarebbe stata la decisione peggiore. Ma la conseguenza per un acquirente è concreta: un account aperto presto non è soltanto un account più economico, è un diritto su un'offerta scarsa. È una proprietà dell'acquisto che nessuna tabella di benchmark registra.

Un benchmark presuppone che possiate acquistare il prodotto

Due giorni prima della sospensione, una valutazione indipendente aveva collocato K3 in testa a una classifica molto seguita di programmazione front-end, davanti ai migliori modelli chiusi. Quel risultato era reale ed era utile. Dava però tacitamente per scontato qualcosa che si è rivelato falso, ossia che un team convinto dal numero potesse poi agire di conseguenza.

La correzione pratica è piccola ed economica. Quando valutate un modello ospitato, annotate altre due cose accanto al prezzo e al punteggio: che cosa dichiara il fornitore sul margine di capacità e che cosa ha effettivamente fatto quando la domanda ha superato l'offerta. Alla seconda domanda Moonshot ha ora dato una risposta pubblica, il che è più di quanto abbiano fatto gran parte dei fornitori. Trattate quella trasparenza come informazione e non come un'accusa.

Che cosa cambia il 27 luglio

Moonshot ha dichiarato che i pesi completi di K3 dovrebbero essere pubblicati il 27 luglio. Se la data regge, il vincolo si sposta. Un modello che potete ospitare voi è limitato dagli acceleratori che riuscite a noleggiare o a possedere, non dalla coda di un'altra azienda, e per un operatore europeo questo sposta anche la questione della residenza dei dati su un terreno che controllate.

L'economia cambia invece di sparire. K3 è stato prezzato a circa 3 dollari per milione di token in ingresso e 15 dollari per milione in uscita, circa 13 euro per questi ultimi, e ospitare da soli un modello di questa classe dimensionale non è un'impresa da prendere alla leggera. L'inquadramento onesto è che il 27 luglio converte un problema di coda in un problema di capitale e di ingegneria. Per alcuni carichi di lavoro è un problema migliore. Per la maggior parte è semplicemente un problema diverso.

Che cosa fare prima del prossimo impegno su un modello

Configurate e collaudate periodicamente un secondo fornitore per ogni flusso di lavoro in cui ormai è inserito un modello. Il collaudo conta più della configurazione, perché un ripiego che nessuno ha mai messo alla prova è un piano e non una capacità. Tenete la commutazione al livello del vostro codice, invece di affidarvi a un'astrazione del fornitore che perdereste insieme al resto.

Poi decidete consapevolmente se state comprando prestazioni o capacità. Se il modello regge davvero il fatturato, un abbonamento anticipato e una portata riservata meritano di essere pagati prima che ve ne venga bisogno, alla luce di questa settimana. Se invece l'uso è esplorativo, la coda non vi costa nulla e non dovreste pagare per saltarla.

Da leggere ora: Il modello più grande di Moonshot ha una marcia sola  |  Alibaba ha taciuto il numero che fissa i costi