Estimación de incertidumbre en modelos de lenguaje generativos para preguntas y respuestas en un dominio técnico

• Estimación de incertidumbre en modelos de lenguaje generativos para preguntas y respuestas en un dominio técnico cerrado en español.

Los modelos de lenguaje generativos para preguntas y respuestas (QA por sus siglas en inglés) son útiles en situaciones donde no hay una respuesta definida de antemano y se aplican en la toma de decisiones en entornos de alto riesgo, como el diagnóstico médico.  Sin embargo, aunque estos modelos han mejorado mucho su rendimiento, todavía generan resultados incorrectos por lo que acompañar las predicciones con métricas de incertidumbre permite gestionar el riesgo de su uso en la toma de decisiones u otras aplicaciones. 

El principal objetivo del presente proyecto es implementar una o más técnicas novedosas de estimación de incertidumbre en modelos de QA generativos en un dominio técnico cerrado en español para mejorar las mediciones de desempeño y confiabilidad de los modelos. Modelos con capacidad de responder preguntas con respecto a conocimiento en un dominio técnico cerrado, que acompañen sus respuestas con un nivel de incertidumbre apropiado pueden tener múltiples aplicaciones útiles y prácticas.

Durante la investigación se implementarán prototipos que serán probados en escenarios controlados y luego se utilizarán los datos del dominio específico, en este caso, datos de literatura taxonómica en español lo que permitirá responder consultas de usuarios científicos y público general al respecto de la biodiversidad de una región o un grupo biológico y acompañar las respuestas con una estimación de incertidumbre apropiada.