이 같은 확산모델은 손가락이 3개거나 얼굴이 뒤틀린 그림이 나오게도 한다. 이런 한계를 해결할 수 있는 생성형 AI 설계 원리를 국내 연구진이 제시했다.
UNIST는 인공지능대학원 윤성환·유재준 교수연구팀이 확산모델을 학습시킬 때 손실함수의 평평한 최소점에 도달하도록 설계하면, 모델의 강건성과 일반화 성능을 동시에 높일 수 있다는 사실을 이론과 실험으로 입증했다고 22일 밝혔다.
확산모델은 짧은 생성 과정에서 오차가 누적되거나, 모델을 소형 기기에 옮기기 위해 압축하는 과정에서 발생하는 양자화 오류, 입력에 미세한 교란을 심어 출력을 흔드는 적대적 공격 등에 취약한 강건성 부족 문제가 있다.
연구팀은 강건성 문제가 AI의 근본적인 일반화 성능 부족에서 비롯된다고 진단했다.
연구팀은 문제의 해법을 손실 함수의 ‘최저점 골짜기 모양’에서 찾았다. AI는 학습 과정에서 손실 값을 줄이는 방향으로 나아가는데, 이 최저값 지점이 좁고 가파르면 작은 흔들림에도 성능이 쉽게 무너진다. 반대로 넓고 평평한 최소점에 도달하면 새로운 상황이나 방해에도 성능이 안정적으로 유지되는 것이다.
평탄한 최소점을 찾는 학습 알고리즘 중에서는 SAM이 가장 효과적인 것으로 드러났다. 기존 모델보다 7배 강한 적대적 공격에도 성능을 유지하며 확산모델의 강건성을 크게 높였다.
연구팀은 “다양한 산업과 실제 환경에서도 믿고 쓸 수 있는 생성형 AI의 설계 원리를 제시했다는 점에서 의미가 크다”며 “챗GPT 같은 대규모 생성 모델을 소량 데이터만으로도 안정적으로 학습하게 하는 기반이 될 것”이라고 말했다. 이다예기자 ties@ksilbo.co.kr
저작권자 © 울산일보 무단전재 및 재배포 금지
