UNIST는 인공지능대학원 주경돈(사진) 교수팀이 360도 파노라마 이미지에서 공간 구조와 내부 물체의 3차원 정보를 동시에 추출할 수 있는 AI 모델 ‘HUSH’(Holistic Panoramic 3D Scene Understanding using Spherical Harmonics)를 개발했다고 1일 밝혔다.

증강현실(AR)이나 혼합현실(MR) 기술에서 현실 공간과 디지털 콘텐츠를 결합하려면 벽이나 가구의 위치, 물체 간 거리 정보 등을 AI가 정확히 이해하고 표현해야 한다.

기존에는 다각도에서 촬영한 여러 장의 사진이나 깊이 센서와 같은 고가 장비가 필수적이었다.

연구팀이 개발한 HUSH는 360도 파노라마 이미지만을 활용해 이 같은 정보를 파악할 수 있다. 파노라마 이미지는 일반 사진보다 넓은 범위를 한장에 담을 수 있지만, 둥글게 왜곡된 구면 구조 때문에 AI가 정확히 분석하기 어려웠다.

이에 연구팀은 파노라마 이미지의 구면 특성을 정확히 반영할 수 있는 ‘구면 조화함수’(Spherical Harmonics)라는 수학적 표현 방식을 활용했다. 이 방식은 구형 표면의 정보를 주파수 성분으로 나눠 분석한다. 천장이나 바닥처럼 넓고 평탄한 영역은 저주파 성분으로, 가구나 물체의 윤곽처럼 세부적으로 복잡한 구조는 고주파 성분으로 표현해 정확성을 높였다.

HUSH는 기존 3D 장면 복원 모델들보다 깊이 예측 등에서 높은 정확도를 기록했고, 하나의 이미지로 여러 가지 공간 정보를 동시에 예측할 수 있어 계산 효율성이 뛰어났다고 연구팀은 설명했다.

주경돈 교수는 “AR, MR 등 사용자 주변의 실내 공간을 정확히 인지해야 하는 경우나 상호작용이 가능한 실감 미디어 생성 등에서 폭넓게 적용될 수 있을 것”이라고 말했다. 이다예기자 ties@ksilbo.co.kr