AI 이슈: 드디어 AI 환각 문제 해결
모델이 정보를 분석하고 중요한 결정을 내리는 데 점점 더 많은 신뢰를 받으면서 AI의 착각은 더욱 위험해지고 있어요.
우리 모두는 자신이 모르는 것을 인정하지 못하거나 온라인에서 읽은 내용을 근거로 엉뚱한 조언을 하는 잘난 척하는 친구를 한 명쯤은 가지고 있습니다.
인공지능 모델에 의한 환각은 그런 친구와 비슷하지만, 이 암적인 환각을 방지할 수 있어요.
바로 이 부분에서 테미스 AI가 등장합니다.
이 MIT 스핀아웃 기업은 이론적으로는 간단해 보이지만 실제로는 매우 복잡한 문제를 해결하여 AI 시스템에 "나는 이것에 대해 잘 모르겠어요."라고 말하도록 가르치는 데 성공했어요.
AI는 자신을 너무 믿는 경향이 있어요
AI 시스템은 일반적으로 과신하는 경향이 있습니다.
테미스의 Capsa 플랫폼은 AI의 현실 확인 역할을 해주면서 모델이 확신보다는 추측에 의존할 때를 알아차릴 수 있도록 도와줘요.
MIT의 다니엘라 루스 교수와 전 연구 동료인 알렉산더 아미니, 엘라헤 아마디가 2021년에 설립한 테미스 AI는 거의 모든 AI 시스템과 연결하여 실수로 이어지기 전에 불확실한 순간을 미리 알려줄 수 있는 플랫폼을 개발했어요.
Capsa는 기본적으로 AI가 정보를 처리하는 방식에서 혼란스럽거나 편향되어 있거나 환각으로 이어질 수 있는 불완전한 데이터로 작업하고 있음을 나타낼 수 있는 패턴을 찾아내도록 AI를 훈련시켜요.
출시 이후 테미스는 통신 회사가 비용이 많이 드는 네트워크 계획 오류를 막고, 석유 및 가스 회사가 복잡한 지진 데이터를 이해하는 데 도움을 주었으며, 자신 있게 상황을 지어내지 않는 챗봇을 만드는 연구를 발표했다고 해요.
대부분의 사람들은 AI 시스템이 단순히 최선의 추측을 하는 경우가 얼마나 자주 일어나는지 몰라요.
이런 시스템이 점점 더 중요한 작업을 처리함에 따라 이런 추측이 심각한 결과를 가져올 수 있어요.
테미스 AI의 소프트웨어는 기존에는 없던 자기 인식 기능을 추가해줍니다.
AI 환각 문제를 해결하기 위한 테미스의 여정
테미스 AI의 여정은 수년 전 루스 교수의 MIT 연구실에서 시작되었으며, 연구팀은 기계가 스스로의 한계를 알아차리도록 하는 근본적인 문제를 연구하고 있었어요.
2018년, Toyota는 실수가 치명적일 수 있는 자율 주행 차량에 대한 신뢰할 수 있는 AI 연구에 자금을 지원했어요.
자율주행 차량이 보행자 및 기타 도로 위험을 정확하게 찾아내야 하는 경우 그 위험은 엄청나게 높아요.
연구팀은 얼굴 인식 시스템에서 인종과 성별 편견을 찾아낼 수 있는 알고리즘을 개발하면서 돌파구를 찾았어요.
이 시스템은 단순히 문제를 파악하는 데 그치지 않고 학습 데이터의 균형을 다시 맞춤으로써 실제로 문제를 해결했어요.
즉, AI가 스스로 편견을 고치도록 가르치는 것이죠.
2021년까지 연구팀은 이런 접근 방식이 어떻게 신약 개발에 새로운 변화를 가져올 수 있는지 보여주었어요.
AI 시스템은 결정적으로 확실한 증거에 기반한 예측과 교육받은 추측 또는 완전한 환각을 기반으로 한 예측을 구분할 수 있어요.
제약 업계는 AI가 확신하는 신약 후보에만 집중함으로써 비용과 시간을 절약할 수 있는 가능성을 알아봤어요.
이 기술의 또 다른 장점은 컴퓨팅 성능이 제한된 기기에 대한 것이에요.
엣지 기기는 서버에서 실행되는 거대한 모델의 정확도를 따라갈 수 없는 작은 모델을 사용하지만, 테미스의 기술을 사용하면 이런 기기는 대부분의 작업을 현지에서 처리할 수 있으며 어려운 문제가 생길 때만 대형 서버에 도움을 요청할 수 있어요.
미래를 위한 필수 기술
AI는 우리 삶을 더 나아지게 할 수 있는 엄청난 가능성을 가지고 있지만, 그 가능성에는 현실적인 위험이 따라와요.
AI 시스템이 중요한 인프라와 의사 결정에 더욱 깊숙이 들어감에 따라 불확실성을 알아차리는 능력이 가장 인간적이고 가장 가치 있는 자질로 입증될 수 있어요.
테미스 AI는 이 중요한 기술을 배우도록 도와주고 있습니다.
임패커스 블로그 | AI 리터러시 필요성에 대한 게시글 더 보러가기
출처: Ryan Daws, AI News, "Tackling hallucinations: MIT spinout teaches AI to admit when it’s clueless", https://www.artificialintelligence-news.com/news/tackling-hallucinations-mit-spinout-ai-to-admit-when-clueless/, (2025. 6. 3)