A Amazon anunciou que o SGLang-Neuron está disponível publicamente em um AWS Deep Learning Container. A RadixArk o lançou em colaboração com a Annapurna Labs. A ferramenta conecta o framework de serviço SGLang ao AWS Trainium, a família de chips de IA da empresa.
O que ele faz
Com o plugin, as equipes podem servir modelos no Trainium e gerar rollouts de aprendizado por reforço. O modelo sobe pela interface de servidor do SGLang, e o endpoint é chamado com as mesmas APIs de geração de antes. Por baixo dessa interface, o código roda em PyTorch nativo.
Como ele é construído
O SGLang-Neuron é um plugin externo ao projeto principal (out-of-tree). Depois de instalado, ele registra uma plataforma neuron, e a variável de ambiente SGLANG_PLATFORM=neuron a seleciona na inicialização do servidor. Como fica fora do projeto principal, o suporte ao Trainium e o núcleo do SGLang podem evoluir separadamente, o que, segundo a AWS, permite que os dois avancem mais rápido.
A divisão de trabalho fica assim:
- O núcleo do SGLang continua com o servidor de API, o ciclo de vida das requisições, o RadixAttention e o controle do cache de prefixos.
- O plugin entrega o que é específico do Trainium: modelos, atenção, suporte a mixture-of-experts e o graph runner.
- O TorchNeuron faz o Trainium aparecer como um dispositivo PyTorch nativo. A execução do modelo usa operações padrão do PyTorch e kernels escritos na Neuron Kernel Interface. Tudo é compilado com torch.compile.
O plugin também suporta a desagregação de prefill e decode. Um servidor calcula o cache KV do prompt e o repassa a um segundo servidor, que gera os tokens restantes. A transferência usa NIXL sobre Elastic Fabric Adapter.
O que o passo a passo mostra
A AWS demonstra a configuração em uma instância Amazon EC2 com Trainium3. Você inicia o contêiner, sobe o servidor SGLang com o modelo gpt-oss-120b, da OpenAI, e envia uma requisição de chat completion a um endpoint local. O post indica um guia de primeiros passos e a documentação do repositório para consultar modelos, recursos e configurações validadas.
O que a fonte não diz
O anúncio não informa preços, não compara desempenho ou custo com outros hardwares e não lista modelos compatíveis além do exemplo. Se o Trainium é mais barato ou mais rápido para uma determinada carga não está confirmado e precisa ser testado.