부산대 연구팀이 실제 세계의 복잡한 움직임을 4차원으로 정밀하게 재구성하는 인공지능 기술을 개발했다. 연구팀은 사람과 사물을 3차원으로 표현하는 데 그치지 않고, 물리적 형태와 시간에 따라 변하는 움직임을 함께 재현하는 기술을 구현했다. 여러 카메라로 촬영한 영상을 활용해 사람의 보행이나 천의 움직임을 복원하고, 촬영되지 않은 시점에서 본 장면도 생성할 수 있다. 연구팀은 한 가지 모델로 다양한 움직임을 포착하기 어려운 한계를 보완하기 위해 동적 3차원 재구성에 여러 전문 인공지능 모델을 결합하는 방식을 적용했다.
형태와 시간의 변화를 함께 복원
부산대 공경보 교수 연구팀이 개발한 기술은 사람이나 사물의 3차원 형상과 움직임을 시간의 흐름에 따라 함께 재구성한다. 정지된 물체의 모양만 복원하는 것이 아니라, 장면 안의 대상이 시간에 따라 어떻게 움직이는지도 표현한다. 부산대가 제공한 설명에 따르면 기술은 실제 세계에서 나타나는 복잡한 움직임을 4차원으로 정밀하게 재현하는 것을 목표로 한다. 이때 4차원 재구성은 대상의 입체적인 형태와 시간에 따른 움직임을 함께 다루는 방식으로 소개됐다.
기술의 입력 자료는 여러 카메라에서 촬영한 영상이다. 연구팀은 이 영상을 바탕으로 사람과 사물의 형태, 장면 속 이동이나 변화를 재구성한다. 적용 사례로는 사람이 걷는 동작과 천이 움직이는 모습이 제시됐다. 보행처럼 대상의 위치가 변하는 움직임뿐 아니라 천의 움직임도 재현 대상으로 다뤘다. 연구팀이 개발한 기술은 이러한 장면을 3차원으로 복원하면서 움직임이 시간에 따라 이어지는 모습까지 생성한다.
촬영되지 않은 시점의 장면도 생성
연구팀의 기술은 촬영에 사용된 카메라의 시점만 재현하는 데 그치지 않는다. 여러 카메라로 담은 장면을 이용해 실제 카메라가 촬영하지 않은 각도에서 본 장면을 생성한다. 이에 따라 원래 영상에 직접 담기지 않은 시점에서도 사람이나 사물의 움직임을 재현할 수 있다. 부산대는 기술이 촬영되지 않은 각도에서 움직임을 사실적으로 재생한다고 설명했다.
여러 시점의 영상은 장면의 공간적 특성과 대상의 움직임을 파악하는 데 활용된다. 연구팀은 사람의 보행과 천의 움직임을 예로 들며 서로 다른 유형의 동작을 복원할 수 있다고 밝혔다. 생성되는 시점은 카메라가 실제로 놓여 있던 위치와 일치하지 않을 수 있으며, 기술은 촬영 영상에 있는 정보를 바탕으로 새로운 관점의 장면을 만든다. 결과적으로 영상에 기록된 형상과 시간에 따른 변화를 결합해, 촬영되지 않은 시점에서도 장면을 볼 수 있게 하는 방식이다.
여러 전문 모델 결합한 재구성 방식
연구팀은 다양한 움직임을 하나의 모델만으로 포착할 때 생기는 한계를 해결하기 위해 전문가 혼합(MoE) 방식의 동적 가우시안 스플래팅을 개발했다. 동적 3차원 재구성을 위해 여러 전문 인공지능 모델을 결합하는 접근이다. 각각의 모델이 전문화된 역할을 맡고, 장면의 특성에 맞춰 적합한 모델을 선택해 활용하도록 설계됐다. 부산대 설명에 따르면 모델 선택과 결합은 공간적 특성을 기준으로 이뤄진다.
이 방식은 장면 전체에 하나의 모델을 일률적으로 적용하는 대신, 공간적 특성에 따라 적절한 인공지능 전문가 모델을 골라 결합한다. 연구팀은 이를 통해 복잡한 장면을 정밀하게 재구성할 수 있다고 밝혔다. 해당 기술은 여러 공개 벤치마크에서도 최상위권 성능을 보였다고 부산대는 설명했다. 다만 제공된 자료에는 벤치마크의 구체적인 명칭이나 점수, 비교 대상은 제시되지 않았다.
물리 AI·월드 모델 등 활용 가능성
부산대는 이번 연구가 현실 세계를 이해하고 예측하는 물리 인공지능과 차세대 월드 모델의 새로운 가능성을 열 것으로 기대된다고 밝혔다. 연구팀의 기술은 사람과 사물의 형상뿐 아니라 시간에 따른 동작을 재구성하고, 촬영되지 않은 시점의 장면까지 만들어내는 기능을 갖췄다. 부산대는 이 기술의 잠재적 활용 분야로 로봇, 자율주행, 디지털 트윈과 그 밖의 신기술을 들었다.
자료에는 기술의 상용화 일정이나 구체적인 적용 제품·서비스 계획은 포함되지 않았다. 연구 성과의 세부 논문 정보와 연구비, 연구팀 구성원 명단도 영상 설명에는 별도로 제시되지 않았다. 영상은 연합뉴스 인포맥스의 인공지능 기반 영상 콘텐츠 제작 시스템인 인포엑스를 이용해 제작됐으며, 연합뉴스가 내용을 편집하지 않았고 연합뉴스의 편집 방향을 반영하지 않는다는 안내가 담겼다. 영상의 출처는 부산대다.
연구팀은 다중 카메라 영상에서 사람과 사물의 3차원 형태, 시간에 따른 움직임을 복원하고 새로운 시점의 장면을 생성하는 기술을 개발했다. 공간적 특성에 맞춰 여러 인공지능 전문가 모델을 선택·결합하는 동적 가우시안 스플래팅 방식을 적용했으며, 부산대는 로봇·자율주행·디지털 트윈 등에서 활용될 가능성을 제시했다. 현재 제공된 자료에는 후속 연구 일정이나 기술 적용 계획은 공개되지 않았다.
출처 : 부산대학교 보도자료
· · · · · · · · · ·
관련기사
▶ 전파감시 국제 기준, 인공지능 데이터 중심으로 새롭게 바뀐다
▶ 조달청, 직원 대상 AI 업무혁신 전문가 특강 개최
▶ 새만금개발청, MICE 전문가 초청 현장 팸투어 진행
· · · · · · · · · ·
한국사회복지저널은 AI 기술의 도움을 받아 보도자료와 복지 정보를 보다 쉽고 정확하게 전달하기 위해 노력하고 있습니다.
