Un reciente análisis de McKinsey & Company ha revelado que la inteligencia artificial generativa podría tener un impacto económico significativo a nivel global, con un potencial estimado de aportar entre 2.6 y 4.4 billones de dólares. Esta promesa económica ha impulsado a numerosas empresas a desarrollar aplicaciones de inteligencia artificial generativa utilizando Amazon Web Services (AWS), una de las plataformas líderes en computación en la nube.
Sin embargo, a pesar del entusiasmo creciente, muchos líderes empresariales están preocupados por los costos asociados y buscan formas de optimizarlos. El enfoque de este análisis está en las estrategias para gestionar estos costos, con la suposición de que los lectores ya están familiarizados con conceptos como modelos de base, modelos de lenguaje grandes, tokens y bases de datos vectoriales.
Uno de los enfoques más populares en soluciones de IA generativa es la Generación Aumentada por Recuperación (RAG), que permite a los modelos responder a preguntas específicas basándose en datos que, en algunos casos, no estaban incluidos en su entrenamiento inicial. Este modelo pone en relieve la importancia de la optimización de costos mediante la elección adecuada de los modelos, la personalización y el uso eficiente de los recursos disponibles.
La primera etapa en la optimización de costos radica en la selección adecuada de modelos, asegurando que estos se ajusten a las necesidades y objetivos específicos de una empresa. Esta selección debe ir acompañada de una validación rigurosa con conjuntos de datos de alta calidad para garantizar su efectividad. Además, la decisión de elegir un modelo debe considerar tanto los costos como el rendimiento deseado.
Otra área crítica de análisis es la gestión de tokens. El costo operativo de un modelo de IA generativa está directamente relacionado con el número de tokens procesados, por lo que es esencial implementar estrategias para limitar su uso, como establecer límites o utilizar almacenamiento en caché. Esto puede contribuir a una reducción notable de los costos.
AWS ofrece diferentes planes de precios para inferencia, incluyendo opciones bajo demanda y rendimiento provisionado. Mientras que el primero suele ser más flexible y económico para la mayoría de los modelos, el último garantiza un nivel constante de rendimiento a un costo potencialmente mayor. Además, factores como la seguridad de la información, el uso de bases de datos vectoriales y estrategias de fragmentación de datos también juegan un papel fundamental en la gestión de costos y efectividad de las aplicaciones.
La variabilidad de los costos es significativa, especialmente en aplicaciones de asistentes virtuales, donde el número de consultas puede variar ampliamente. Por ejemplo, se ha observado que los costos anuales pueden oscilar entre 12,577 y 134,252 dólares al utilizar modelos de lenguaje como Claude 3 de Anthropic, dependiendo del volumen de preguntas que estos manejen.
Asimismo, el uso de servicios como Amazon Bedrock permite que las empresas accedan a modelos de alto rendimiento, integrando «guardrails» o medidas de seguridad que aseguran un manejo responsable de la información y la prevención de generación de contenido no deseado.
En conclusión, mientras la inteligencia artificial generativa sigue evolucionando, es crucial que las organizaciones mantengan un enfoque estratégico en la gestión de costos para maximizar su ventaja competitiva. En futuros análisis se abordarán aspectos relacionados con la estimación del valor comercial que estos avances pueden generar, así como los factores que influencian este valor.
vía: AWS machine learning blog
