흐릿하고 끊기는 영상을 또렷하고 매끄럽게 복원하는 인공지능(AI) 모델을 UNIST 연구진이 제시했다.

24일 UNIST는 인공지능대학원 유재준 교수팀이 영상의 해상도와 프레임을 동시에 개선하는 AI 모델 ‘BF-STVSR’(Bidirectional Flow­based Spatio-Temporal Video Super-Resolution)을 개발했다고 밝혔다.

해상도와 프레임 수는 영상품질을 결정짓는 요소다. 해상도가 높을수록 선명하고, 프레임 수가 많을수록 영상 속 움직임이 끊기지 않고 매끄럽다.

기존 AI 영상 복원 기술은 해상도와 프레임을 따로 처리했다. 또 프레임 보강은 사물의 이동 방향과 속도를 계산해 중간 장면을 생성하는 방식인 옵티컬 플로우 예측 네트워크에 의존했다. 그러나 옵티컬 플로우는 연산이 복잡하고 오차가 쌓이기 쉬워 영상 복원 속도와 품질 면에서 한계가 있었다.

연구팀이 개발한 BF-STVSR은 비디오 특성에 적합한 신호처리 기법을 도입해 옵티컬 플로우 예측 네트워크에 의존하지 않고 프레임 간 양방향 움직임을 스스로 학습한다. 이를 통해 사물의 윤곽 등을 함께 추론함으로써 해상도와 프레임을 동시에 개선할 수 있다.

이 모델을 저해상도·저프레임 영상에 적용한 결과 기존 모델보다 PSNR, SSIM 등 품질 지표에서 더 우수한 성능을 보였다. 석현주기자