Las empresas están adoptando cada vez más la inteligencia artificial generativa para potenciar las experiencias de los clientes, optimizar operaciones y fomentar la innovación. No obstante, el crecimiento de las cargas de trabajo de IA generativa plantea desafíos significativos en cuanto al rendimiento y la disponibilidad de las aplicaciones impulsadas por inteligencia artificial.
Para enfrentar estos desafíos, Amazon Bedrock ha introducido la inferencia cruzada entre regiones (CRIS, por sus siglas en inglés), una función que redirige automáticamente las solicitudes de inferencia a través de múltiples regiones. Esto permite que las aplicaciones manejen subidas repentinas de tráfico sin dificultad, mejorando el rendimiento sin necesidad de anticipar fluctuaciones en la demanda. Esta capacidad utiliza «perfiles de inferencia» que especifican un modelo base y las regiones posibles para el redireccionamiento de las solicitudes.
Recientemente, se ha anunciado la disponibilidad de la inferencia cruzada global con Claude Sonnet 4.5 de Anthropic en Amazon Bedrock. Con esta funcionalidad, los usuarios pueden elegir entre un perfil de inferencia específico de una región o uno global. Esto ofrece flexibilidad a las organizaciones, ya que Amazon Bedrock selecciona automáticamente la mejor región para procesar las solicitudes, optimizando recursos y rendimiento, especialmente durante picos de uso no previstos.
La inferencia cruzada global facilita el manejo de ráfagas de tráfico inesperadas utilizando recursos computacionales en diferentes regiones. El sistema considera disponibilidad, capacidad y latencia para redirigir las solicitudes de manera eficiente. Además, Amazon CloudWatch y AWS CloudTrail registran solo en la región de origen, simplificando el monitoreo y manteniendo la seguridad de los datos al cifrar la información durante el proceso.
Para implementar la inferencia cruzada global, los desarrolladores deben especificar el ID del perfil de inferencia global en las llamadas API a Amazon Bedrock y configurar permisos mediante AWS Identity and Access Management.
La implementación de esta capacidad no solo optimiza el rendimiento y fiabilidad de las aplicaciones de IA, sino que también resulta en un ahorro de costos del 10% en comparación con la inferencia cruzada geográfica tradicional, maximizando el valor de la inversión en Amazon Bedrock.
Con la evolución de la inferencia cruzada global, las organizaciones podrán mejorar significativamente sus aplicaciones de IA, gestionando cargas de trabajo masivas y recuperaciones ante desastres de manera innovadora y efectiva.
