연구팀은 AI 학습의 원천인 ‘데이터’에 주목, 데이터의 특징을 설명문으로 구체화하고 이를 분석함으로써 모델의 의사결정 과정을 규명하고자 했다.
연구팀은 먼저 챗GPT와 같은 LLM 모델로 사진 속 사물의 특징을 여러 문장으로 설명하게 했다.
환각 현상 없는 고품질 설명문을 만들기 위해서는 인터넷 백과사전과 같은 외부 지식도 참고하도록 했다. LLM이 생성한 수십 개의 설명 문장이 모두 모델 학습에 유효한 것은 아니다.
연구팀은 생성된 설명 중 AI 모델이 정답을 맞추는 데 실제로 참고한 설명문을 식별하기 위해 텍스트 영향력 점수(IFT)라는 정량적 분석 지표를 고안했다.
예를 들어 조류 분류 모델에서 배경 색상에 대한 설명보다 ‘부리의 형태’나 ‘깃털의 무늬’를 묘사한 설명문이 높은 IFT 점수를 기록했다면, 해당 모델은 부리와 깃털의 특징을 학습하여 대상을 식별했다고 해석할 수 있다.
연구팀은 이렇게 영향력이 큰 설명문들이 실제 모델이 정답을 맞추는 성능에도 도움이 되는지를 확인하기 위해 별도의 벤치마크 실험을 설계했다.
그 결과, 영향력이 높은 설명문을 사용했을 때 기존 방식보다 안정적으로 높은 성능을 보였다.
이는 모델이 학습 과정에서 실제로 활용했던 설명이 성능에도 의미 있는 기여를 한다는 사실을 보여주는 검증 결과다.
연구 결과는 자연어처리(NLP) 분야 대표 국제학회인 ‘EMNLP’의 정식 논문으로 채택됐다.
이다예기자 ties@ksilbo.co.kr
저작권자 © 울산일보 무단전재 및 재배포 금지
