Temas de IA: Finalmente, resolviendo el problema de alucinación de la IA
Las alucinaciones de la IA se están volviendo cada vez más peligrosas a medida que se confía en los modelos para analizar información y tomar decisiones críticas.
Todos tenemos ese amigo sabelotodo que no puede admitir lo que no sabe o da consejos equivocados basados en algo que leyó en línea.
Las alucinaciones de los modelos de inteligencia artificial son similares a ese amigo, pero estas alucinaciones cancerosas pueden prevenirse.
Aquí es donde entra Themis AI.
Esta empresa spinout del MIT ha logrado resolver un problema que parece simple en teoría pero es increíblemente complejo en la práctica: enseñar a los sistemas de IA a decir "No estoy seguro de esto".
La IA tiende a ser demasiado confiada
Los sistemas de IA generalmente tienden a ser demasiado confiados.
La plataforma Capsa de Themis sirve como un chequeo de realidad para la IA, ayudando a los modelos a reconocer cuándo están confiando en suposiciones en lugar de certezas.
Fundada en 2021 por Daniela Rus del MIT y sus excolaboradores de investigación Alexander Amini y Elahe Ahmadi, Themis AI ha desarrollado una plataforma que puede conectarse a prácticamente cualquier sistema de IA y señalar momentos de incertidumbre antes de que lleven a errores.
Capsa esencialmente entrena a la IA para encontrar patrones en cómo procesa la información que pueden indicar confusión, sesgo o trabajo con datos incompletos que podrían llevar a alucinaciones.
Desde su lanzamiento, Themis ha ayudado a una empresa de telecomunicaciones a prevenir costosos errores de planificación de red, asistido a una empresa de petróleo y gas en la comprensión de datos sísmicos complejos, y publicado investigación sobre la construcción de chatbots que no fabrican situaciones con confianza.
La mayoría de las personas no se dan cuenta de con qué frecuencia los sistemas de IA simplemente están haciendo sus mejores suposiciones.
A medida que estos sistemas manejan tareas cada vez más críticas, estas suposiciones pueden tener consecuencias graves.
El software de Themis AI agrega una capa de autoconciencia que no existía antes.
El viaje de Themis para resolver el problema de alucinación de la IA
El viaje de Themis AI comenzó hace años en el laboratorio de la profesora Rus en el MIT, donde el equipo de investigación estaba estudiando el problema fundamental de hacer que las máquinas reconozcan sus propias limitaciones.
En 2018, Toyota financió investigación sobre IA confiable para vehículos autónomos, donde los errores podrían ser fatales.
Cuando los vehículos autónomos deben identificar con precisión peatones y otros peligros viales, las apuestas son enormemente altas.
El equipo de investigación encontró un avance cuando desarrolló algoritmos que podían detectar sesgos raciales y de género en sistemas de reconocimiento facial.
Este sistema no solo identificó problemas, sino que realmente los resolvió reequilibrando los datos de entrenamiento.
En otras palabras, enseñar a la IA a corregir sus propios sesgos.
Para 2021, el equipo de investigación demostró cómo este enfoque podría traer nuevos cambios al desarrollo de medicamentos.
Los sistemas de IA podían distinguir crucialmente entre predicciones basadas en evidencia sólida y aquellas basadas en suposiciones educadas o alucinaciones directas.
La industria farmacéutica reconoció el potencial de ahorrar costos y tiempo al enfocarse solo en candidatos a medicamentos en los que la IA tenía confianza.
Otra ventaja de esta tecnología se relaciona con dispositivos con poder de cómputo limitado.
Los dispositivos edge usan modelos más pequeños que no pueden igualar la precisión de modelos grandes ejecutándose en servidores, pero con la tecnología de Themis, estos dispositivos pueden manejar la mayoría de las tareas localmente y solo solicitar ayuda de servidores grandes cuando encuentran problemas difíciles.
Tecnología esencial para el futuro
La IA tiene un enorme potencial para mejorar nuestras vidas, pero ese potencial viene con riesgos reales.
A medida que los sistemas de IA se integran más profundamente en la infraestructura crítica y la toma de decisiones, la capacidad de reconocer la incertidumbre puede resultar ser la cualidad más humana y más valiosa.
Themis AI está ayudando a enseñar esta habilidad crítica.
Blog de IMPAKERS | Publicación sobre la necesidad de alfabetización en IA Leer más
Fuente: Ryan Daws, AI News, "Tackling hallucinations: MIT spinout teaches AI to admit when it's clueless", https://www.artificialintelligence-news.com/news/tackling-hallucinations-mit-spinout-ai-to-admit-when-clueless/, (2025. 6. 3)