TECH 1

TECH 2

VR converter

2D 영상을 VR 재생 영상으로 변환하는 솔루션

기술 개요

2D 영상의 VR 영상화 기술 개요

1. 이미지 확장

2D 영상의 해상도는 3840x2160(4K), 1920x1080(FHD)이며, VR 영상의 해상도는 7680x3840(8K)입니다.

물론 2D 영상 그 자체를 VR에 투영하여 시청할 수는 있으나, 대부분의 시야에서 빈 공간이 송출됩니다.

따라, 2D 영상을 VR에서 시청하기 위해선 추가적인 픽셀의 임의 생산이 필요합니다.

이 작업을 아웃페인팅(Outpainting)이라 부릅니다.

VR 용으로 확장하여, 잘렸던 다리 이미지도 복원한 모습.

세로형 2D 영상을 Outpainting 기술을 통해 확장했습니다.
화질이 다소 떨어지는 문제와 텍스쳐가 이질적인 문제는 후보정으로 쉽게 개선할 수 있습니다.

촬영의 테크닉과 장소에 따라 위의 예시처럼 좋은 결과를 만들어낼 수도 있습니다.

2. 영상 왜곡

2D 영상을 아웃페이팅하여 VR(8K)와 같은 크기로 변환하였다 하여도 VR기기에서는 제대로 시청할 수 없습니다.

그 이유는 VR 영상에는 2D 영상에는 없는 곡률이라는 것이 존재하기 때문입니다.

좌측 2D영상에 곡률을 넣어 우측과 같은 왜곡된 VR 이미지를 만들어줍니다.

실제 VR 카메라를 통해 사진을 촬영했을 때의 곡률을 참고해 최대한, 비슷한 왜곡상태를 구현합니다.

이는 VR 기기의 시청에서 자연스러운 공간감을 느끼는 데 매우 중요한 요소입니다.

아래는 실제 VR 카메라에서 발생하는 곡률입니다.

3-1.  배경분리 및 거리 측정 (Active Contour Algorithm, YOLO)

2D영상을 VR로 볼 수 있다고 해도 그것은 단순히 2D 영상을 VR에 맞게 화면비를 구성하고 왜곡효과를 준 것뿐이다.

한마디로 입체감은 느낄 수 없는 형태로 큰 돔 영상관에서 영상을 보는 수준에 그친다.

영상을 3D로 느낄 수 있으려면, 영상에서 가까운 물체와 먼 물체의 원근감 차이가 존재해야한다.

이를 구현하기 위해 고정해야 하는 배경과 움직이는 객체를 명확하게 분리해야한다.

이 과정에서 사용되는 것이 바로 배경 분리 기술 또는 객체 탐지 기술 "Active Contour Algorithm " 이다.

해당 객체 탐지가 제대로 이루어지지 않으면, 배경과 객체의 분리가 상단 좌측 이미지처럼 제대로 이루어지지 않아 원근감을 표현하기에 무리가 생긴다.

2개 이상의 카메라가 탑재된 최신 휴대폰의 영상 또는 기타 양안 카메라를 이용한 것이 아니라면

대부분의 영상은 단안 카메라로 촬영되었다.

따라서, 객체 탐지 모델(위의 이미지 자료) "Active Contour Algorithm"을 이용해 배경과 객체를 분리한 뒤

YOLO 모델을 이용해 객체와의 거리를 특정하여 배경과의 원근감을 표현한다.

3-2.  객체의 입체감 표현 (NeRF)

객체와 배경이 분리되고 객체와 배경과의 거리를 특정한다면, 객체의 입체감을 표현해야한다.

이때 NeRF 기술을 통해 이미지의 좌측, 우측 회전면의 예상 이미지를 생성한다.

NeRF는 더 다양한 시점에서의 이미지를 생성할 수 있으나, 이는 과도한 컴퓨터 리소스를 소모하기 때문에

ELBA는 시청자가 앉은 자세로 영상물을 시청하고 있다고 가정하여,

5도 이내의 작은 시점 차이의 이미지만 생성하여 입체감을 표현한다.

최종적으로 제작된 영상의 빛, 그림자 등의 이상 내용을 합성 처리로 해결한 뒤 결과물을 배포한다.

기술 시연

*아래 영상 참고

STEP. 01 - 2D 영상의 촬영

STEP. 02 - 2D 영상의 배경 연장 및 VR화 (개발 완료, 영상은 우측)
기술 개요 1번 이미지 확장, 2번 영상왜곡 적용

STEP. 03 - VR 같은 입체 효과 적용(기술 개발 중 / 우측 영상은 예시)