Un innovador chatbot de código abierto ha sido lanzado con el propósito de mejorar la precisión y transparencia de los modelos de lenguaje a través de «Automated Reasoning checks». Esta herramienta permite al chatbot usar retroalimentación de estas verificaciones para iterar en su contenido generado, realizar preguntas aclaratorias y demostrar la validez de sus respuestas.
La implementación del chatbot incluye un registro de auditoría que ofrece explicaciones matemáticamente verificables sobre la validez de las respuestas, además de una interfaz de usuario que revela el proceso de reescritura y las iteraciones que ocurren tras bastidores. A diferencia de los modelos de lenguaje tradicionales, propensos a errores conocidos como «alucinaciones», las herramientas de razonamiento automatizado validan las afirmaciones utilizando deducción lógica y pruebas matemáticas.
Este enfoque no solo mejora la exactitud de las respuestas al ofrecer afirmaciones precisas que responden a preguntas concretas, sino que también aumenta la transparencia al proporcionar pruebas verificables de por qué esas afirmaciones son correctas. Esto es especialmente relevante en entornos regulados donde la audibilidad y la explicación son cruciales.
El chatbot está construido sobre una aplicación Flask que expone APIs para enviar preguntas y verificar el estado de las respuestas. La implementación permite a los usuarios configurar un modelo de lenguaje de Amazon Bedrock para generar respuestas, seleccionar una política de razonamiento automatizado para la validación y establecer un número máximo de iteraciones para corregir una respuesta.
Durante el proceso de reescritura, el sistema clasifica los hallazgos de las verificaciones según su prioridad y decide los pasos a seguir, ya sea aclaraciones ambiguas, inconsistencias lógicas o información inválida. Cada iteración almacena los hallazgos y proporciona un historial detallado del proceso.
Para aquellos interesados en explorar esta implementación, se ofrecen guías sobre cómo crear políticas de razonamiento automatizado y ejecutar la referencia del chatbot. El código y la documentación están disponibles en línea para facilitar su adopción y personalización en otras aplicaciones.
Con este avance, se espera que las aplicaciones de inteligencia artificial generativa sean más confiables y comprensibles, combinando la flexibilidad de los modelos de lenguaje con la rigurosidad de la verificación matemática.