AWS ha anunciado una innovadora integración entre Amazon SageMaker Unified Studio y los buckets de propósito general de Amazon S3, que promete revolucionar el uso de datos no estructurados para tareas de aprendizaje automático y análisis. Este avance permitirá a las organizaciones manejar y analizar grandes volúmenes de información compleja con mayor eficiencia.
Recientemente, se llevó a cabo una demostración sobre cómo integrar estos recursos para mejorar el modelo Llama 3.2 11B Vision Instruct, diseñado para responder preguntas visuales. Al usar imágenes y preguntas, el modelo consiguió identificar detalles como la fecha de una transacción en un recibo detallado, mostrando el potencial de esta tecnología.
El modelo inicial, Llama 3.2, alcanzó un 85,3% en la métrica de Similaridad de Levenshtein Normalizada (ANLS) utilizando el conjunto de datos DocVQA. Sin embargo, para tareas que requieren mayor precisión, se procedió a un ajuste fino del modelo con distintos tamaños de datos (1,000, 5,000 y 10,000 imágenes) para evaluar su rendimiento.
El proceso, gestionado a través de Amazon SageMaker Unified Studio, abarca desde la ingesta de datos hasta la evaluación de métricas. Para participar, las organizaciones deben cumplir ciertos requisitos como la creación de un dominio en SageMaker y la adecuada conexión con los buckets de S3.
Una arquitectura bien diseñada es crucial para que los equipos de datos colaboren de manera efectiva, simplificando la gestión de permisos mediante roles de acceso. Además, MLflow se utiliza para un seguimiento detallado de los experimentos, facilitando la observación de mejoras en la precisión del modelo ajustado.
Los resultados preliminares de este método señalaron que el modelo refinado alcanzó un ANLS de 90,2%, mejorando en un 4,9% al modelo base. Esta mejora subraya la eficacia de la metodología y destaca el potencial de Amazon SageMaker Unified Studio para optimizar modelos de aprendizaje automático, proporcionando un camino más claro desde los datos no estructurados hasta modelos listos para producción.