AWS ha anunciado la inferencia dentro del país para Kimi K3 en Amazon Bedrock, de modo que las solicitudes al modelo pueden procesarse íntegramente en la India. Kimi K3 es un modelo multimodal de pesos abiertos de Moonshot AI, que en su lanzamiento declaró un rendimiento de primer nivel en programación y en tareas agénticas generales.
Dos perfiles, dos compromisos
Kimi K3 se sirve mediante perfiles de inferencia entre regiones. Llamas al modelo desde una región de origen y Bedrock enruta la solicitud a una región de destino. El ID del perfil que invocas determina qué destinos son posibles:
- Global (
global.moonshotai.kimi-k3): AWS lo recomienda para la mayoría de los casos por ser la opción más barata y con mayor disponibilidad. - Geográfico de la India (
in.moonshotai.kimi-k3): pensado para cargas de trabajo cuyo procesamiento debe quedarse en las regiones de Mumbai e Hyderabad.
Según AWS, el tráfico entre regiones va cifrado y permanece en la red de AWS, sin necesidad de montar infraestructura VPC multirregión. La ficha del modelo indica qué regiones de origen pueden llamar a cada perfil.
Qué hay que cambiar
El artículo usa la región de Mumbai como origen y muestra una política de IAM que permite el modelo en las dos regiones indias, además del perfil de inferencia de la India. Las organizaciones que restringen las regiones de AWS deben mantener permitida la región de origen y autorizar el enrutamiento hacia los dos destinos indios. AWS menciona una excepción limitada al perfil cuando encaja. Se puede acceder al modelo a través de las API compatibles con OpenAI (Chat Completions y Responses), así como con Converse e InvokeModel.
Un detalle importa en las auditorías: las métricas y los registros se guardan en la región de origen donde se hizo la solicitud, sea cual sea el destino que la procesó. Los eventos de datos de CloudTrail pueden registrar la región de destino.
Documentos como ejemplo
AWS muestra el perfil con la imagen escaneada de una factura de electricidad en hindi. El modelo lee la imagen directamente, extrae los campos en JSON según un esquema, redacta un resumen en inglés y responde preguntas posteriores en hinglish, sin un paso aparte de OCR ni de traducción. AWS aconseja comprobar la calidad de la extracción en tu propio caso de uso y añadir validación o revisión humana en los flujos críticos.
Palancas de coste
El artículo menciona un nivel de servicio flex con un 50 % de descuento sobre el precio estándar para tareas que toleran latencia, y un nivel prioritario a un precio mayor. El almacenamiento en caché de prompts, implícito o explícito, descuenta los prefijos repetidos. El texto no aclara si el perfil de la India tiene un precio distinto al global, así que conviene consultar la página de precios.
AWS cita a Ultrahuman, cuyo asistente de salud gestiona más de 14 000 conversaciones al día. La empresa afirma haber reducido un 80 % el coste de los LLM y haber acelerado un 85 % las conversaciones de varios turnos con el caché de prompts. Son cifras aportadas por el cliente, no pruebas comparativas independientes.