Evaluación de Modelos de Lenguaje de Gran Tamaño (LLM) en la resolución de problemas de Matemática y Física universitaria

En los últimos años, los modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) han demostrado una capacidad sobresaliente para generar texto coherente, resolver preguntas complejas y ejecutar razonamientos simbólicos. Sin embargo, aún persisten interrogantes sobre su fiabilidad y precisión al abordar problemas de Matemática y Física a nivel universitario. Estos temas exigen una comprensión conceptual profunda, la aplicación rigurosa de principios teóricos y la ejecución estructurada de procedimientos matemáticos, aspectos en los que los LLM presentan limitaciones documentadas.
El presente proyecto tiene como objetivo evaluar empíricamente el desempeño de distintos LLM en la resolución de problemas representativos de Física y Matemática universitaria. Se busca determinar su precisión, consistencia y calidad explicativa, así como identificar los tipos de errores y patrones de razonamiento característicos.
La investigación adopta un enfoque mixto, combinando análisis cuantitativo y cualitativo. En la fase experimental, diversos modelos serán sometidos a pruebas con problemas auténticos extraídos de exámenes y tareas de los cursos de servicio. Las respuestas generadas se evaluarán mediante una rúbrica estructurada que considera dimensiones como exactitud, procedimiento, claridad y razonamiento, inspirada en instrumentos validados en la literatura. Posteriormente, los resultados se analizarán estadística y cualitativamente para identificar fortalezas, debilidades y modos de fallo comunes.
A nivel nacional, este estudio apoya los esfuerzos del ITCR por promover la innovación educativa mediante el uso ético y crítico de la inteligencia artificial. A nivel internacional, se alinea con las tendencias emergentes en evaluación de modelos generativos y educación asistida por IA, aportando una perspectiva latinoamericana y aplicada. Los resultados se difundirán a través de artículos científicos en revistas indexadas, contribuyendo al desarrollo de estándares y buenas prácticas para la integración efectiva de los LLM en la enseñanza de la ciencia y la ingeniería.

Evaluar el desempeño de los modelos de lenguaje de gran escala (LLM) en la resolución de problemas de Física y Matemática de los cursos de servicio del ITCR, mediante la selección y análisis de ejercicios representativos, el uso de rúbricas fundamentadas en la literatura y la comparación de sus características y limitaciones; con el fin de valorar su pertinencia, alcances y limitaciones para su eventual integración en el contexto educativo universitario.

Inteligencia artificial, educación