En 2025, Amazon SageMaker AI logró avances significativos en su infraestructura, centrados en mejorar la capacidad, el rendimiento de precios, la usabilidad y la observabilidad. Estas innovaciones buscan optimizar la implementación de modelos de inteligencia artificial, especialmente en tareas de inferencia.
Una de las novedades más importantes es el lanzamiento de los Planes de Entrenamiento Flexibles, que permite a los equipos reservar capacidad de cómputo específica para desplegar modelos de lenguaje a gran escala (LLMs). Esto asegura una disponibilidad confiable de recursos GPU durante los momentos críticos, ofreciendo un flujo de trabajo sencillo y adaptable. Los usuarios pueden elegir el tipo de instancia, cantidad y duración deseada, lo que ayuda a superar restricciones de capacidad que pueden retrasar despliegues y afectar el rendimiento en horas pico.
SageMaker AI también ha mejorado el rendimiento de precios a través de la optimización económica de la inferencia. Las mejoras incluyen la disponibilidad Multi-AZ, el posicionamiento paralelo de copias de modelo y la introducción de EAGLE-3, que acelera la decodificación especulativa, mejorando el procesamiento de solicitudes de inferencia.
Además, los componentes de inferencia de SageMaker AI ofrecen una gestión más modular de la inferencia en un punto final, facilitando la implementación de múltiples modelos y adaptación a cambios en la demanda. La funcionalidad de alta disponibilidad Multi-AZ minimiza los puntos únicos de falla al distribuir cargas de trabajo por múltiples zonas de disponibilidad, aumentando la resiliencia del sistema.
El escalado paralelo de componentes de inferencia permite múltiples copias del modelo, reduciendo la latencia durante picos de tráfico. La introducción de EAGLE-3 también optimiza el rendimiento al predecir tokens futuros desde las capas ocultas del modelo, mejorando la precisión.
SageMaker ha ampliado su capacidad de carga y descarga de adaptadores LoRA durante las invocaciones de inferencia, optimizando los recursos en el hospedaje de modelos a demanda. Esta gestión dinámica permite manejar miles de modelos afinados sin comprometer la latencia.
Estas mejoras avanzan significativamente en la accesibilidad, confiabilidad y rentabilidad de la inferencia de inteligencia artificial en entornos de producción, enfrentando los desafíos más urgentes de los profesionales de la IA. La integración fluida permite a las organizaciones desplegar aplicaciones de IA generativa con confianza, enfocándose en el valor de sus modelos en lugar de las complejidades de la infraestructura subyacente.