NVIDIA ha lanzado su nuevo modelo Nemotron 3 Nano 30B, que ya está disponible en el catálogo de modelos de Amazon SageMaker JumpStart. Este innovador modelo, caracterizado por contar con 3 mil millones de parámetros activos, está diseñado para impulsar la innovación y aportar un valor tangible a las empresas. Ofrece a los desarrolladores la posibilidad de potenciar aplicaciones de inteligencia artificial generativa sin la complejidad habitual del despliegue de modelos.
La principal ventaja del Nemotron 3 Nano radica en su alta eficiencia computacional y precisión, que facilita a los desarrolladores la ejecución de tareas altamente especializadas a gran escala. Su arquitectura se basa en un modelo de mezcla de expertos (MoE), integrando una innovadora estructura Transformer-Mamba. La compatibilidad con un presupuesto de tokens optimiza la generación de razonamientos, y su carácter abierto permite que los desarrolladores personalicen, optimicen y desplieguen el modelo conforme a sus necesidades de privacidad y seguridad.
Entre las características sobresalientes del Nemotron 3 Nano destacan su excelente desempeño en áreas como codificación, razonamiento científico y resolución de problemas matemáticos. Además, lidera benchmarks de referencia como LiveCodeBench y GPQA Diamond. La capacidad de su ventana contextual alcanza hasta un millón de tokens, permitiendo el uso de texto tanto para entradas como para salidas.
Para implementar el Nemotron 3 Nano, es necesario tener un dominio de Amazon SageMaker Studio provisionado. Una vez dentro de la interfaz de SageMaker Studio, los usuarios pueden buscar, desplegar y probar el modelo, ya sea utilizando la interfaz de línea de comandos de AWS o mediante código Python con el SageMaker SDK.
El modelo se encuentra disponible de manera totalmente administrada en SageMaker JumpStart, lo que facilita su implementación. Los interesados pueden consultar su disponibilidad por región y acceder a documentación detallada, así como ejemplos de código en el repositorio de GitHub de NVIDIA. Con este lanzamiento, NVIDIA busca simplificar la adopción de la inteligencia artificial generativa, permitiendo así que más empresas accedan a estas avanzadas soluciones tecnológicas.