Cuatro días del lanzamiento al agotamiento
Moonshot AI publicó Kimi K3 el 16 de julio, un modelo de aproximadamente 2,8 billones de parámetros con una ventana de contexto de un millón de tokens. El 20 de julio la compañía difundió un aviso a sus usuarios en el que describía restricciones de capacidad de cálculo y una suspensión de suscripciones. Las peticiones de las primeras 48 horas, señaló, habían desbordado con creces sus proyecciones y habían llevado su clúster de cálculo existente cerca de la capacidad máxima.
El remedio fue dejar de vender. Moonshot dijo haber decidido suspender de inmediato las nuevas suscripciones de consumo y dedicar todos los recursos de cálculo disponibles a los suscriptores actuales para que su servicio siguiera intacto, mientras ampliaba la infraestructura y reabría plazas por tandas. Esto no es una caída del servicio ni una subida de precio. Es un proveedor que rechaza ingresos nuevos porque no puede atenderlos.
La regla de racionamiento es la parte que merece leerse
Cuando la oferta escaseó, el criterio de desempate fue la antigüedad, no la disposición a pagar. Los suscriptores existentes conservaron intactas sus ventajas. A los clientes potenciales, incluido cualquier equipo europeo que hubiera pasado el fin de semana evaluando K3 y pensara comprometerse el lunes, sencillamente se les dijo que no. En un mercado en el que los compradores están acostumbrados a que la capacidad sea un problema resuelto detrás de una tarjeta de crédito, esa es una forma de fallo poco familiar.
Es además una decisión defendible, y conviene reconocerlo. Degradar el servicio de los usuarios que pagan para dar entrada a más de ellos habría sido la peor decisión. Pero la consecuencia para un comprador es concreta: una cuenta abierta pronto no es solo una cuenta más barata, es un derecho sobre una oferta escasa. Esa es una propiedad de la compra que ninguna tabla de benchmark recoge.
Un benchmark da por hecho que usted puede comprar el producto
Dos días antes de la suspensión, una evaluación independiente había situado a K3 en lo más alto de una clasificación muy seguida de programación front-end, por delante de los mejores modelos cerrados. Ese resultado era real y era útil. También daba por supuesto en silencio algo que resultó falso, a saber, que un equipo convencido por la cifra pudiera después actuar en consecuencia.
La corrección práctica es pequeña y barata. Cuando evalúe un modelo alojado, registre dos cosas más junto al precio y la puntuación: qué dice el proveedor sobre su margen de capacidad y qué ha hecho realmente cuando la demanda superó a la oferta. A la segunda pregunta Moonshot ha dado ya una respuesta pública, que es más de lo que ofrecen la mayoría de los proveedores. Trate esa transparencia como información y no como un demérito.
Qué cambia el 27 de julio
Moonshot ha dicho que los pesos completos de K3 se publicarán el 27 de julio. Si eso se cumple, la restricción se desplaza. Un modelo que usted puede alojar queda limitado por los aceleradores que consiga alquilar o poseer, no por la cola de otra compañía, y para un operador europeo eso traslada además la cuestión de la residencia de los datos a un terreno que usted controla.
La economía cambia en lugar de desaparecer. K3 se ha tarificado en torno a 3 dólares por millón de tokens de entrada y 15 dólares por millón de salida, unos 13 euros para estos últimos, y alojar por cuenta propia un modelo de esta clase de tamaño no es una empresa menor. El planteamiento honesto es que el 27 de julio convierte un problema de cola en un problema de capital e ingeniería. Para algunas cargas de trabajo ese es un problema mejor. Para la mayoría es sencillamente otro distinto.
Qué hacer antes de su próximo compromiso con un modelo
Configure y pruebe periódicamente un segundo proveedor para cualquier flujo de trabajo en cuyo interior se encuentre ya un modelo. La prueba importa más que la configuración, porque un plan de respaldo que nadie ha ejercitado es un plan y no una capacidad. Mantenga la conmutación en el nivel de su propio código en lugar de apoyarse en una abstracción del proveedor que también perdería.
Decida después de forma deliberada si está comprando prestaciones o capacidad. Si el modelo sostiene realmente los ingresos, la suscripción temprana y el rendimiento reservado merecen pagarse antes de necesitarlos, a la vista de lo ocurrido esta semana. Si el uso es exploratorio, la cola no le cuesta nada y no debería pagar por saltársela.
Leer a continuación: El mayor modelo de Moonshot no tiene regulador de esfuerzo | Alibaba ocultó la cifra que fija su coste
