가상현실과 증강현실의 역사

가상현실이란 무엇인가

인간은 왜 현실에 존재하지 않는 가상의 공간을 체험하고 싶어할까. 자신이 처한 시간과 공간의 한계를 뛰어넘어 존재하지 않는 현장에 있다고 믿고 싶어하는 이유는 무엇일까. 현실에 존재하지 않는 가상의 공간에서 현실감을 얻기 위해서는 시각, 후각, 미각, 촉각이라는 인체의 오감을 충족시켜야만 했다. 가상공간에서 오감을 충족시키는 작업을 위해서는 인공적 기술(artificial technology)이 필요하다.

조선시대 장터라는 가상 현실 공간을 상상해 보자. 시각적 실감을 위해서는 장마당의 풍경 사진과 영상이 눈앞에 펼쳐져야 한다. 사진과 영상의 장터에 오가는 사람, 건물, 소품들은 조선시대 풍속이 그대로 복원되어 있어야 한다. 디지털 기술에 의한 것이지만 국밥 끓이는 냄세와 육전을 부치는 냄세가 진동하고 시장 상인의 요란한 호객 소리가 입체적으로 들린다. 조선시대 장터라는 가상공간에 들어간 사용자는 공간을 자유롭게 이동하면서 장터를 구경할 수 있다.  음식을 맞볼 수 있으며 관심 가는 파는 물건에 손을 뻗어 센서(sensor)로 만져 볼 수 있다. 인공지능으로 작동하는 상인 캐릭터와 간단한 대화를 나누어볼 수 있다. 가상의 현장에 있다고 믿는 수준을 넘어 가상의 현실에 깊이 몰입하는 현상도 벌어진다.

올더스 학슬리(Aldous Huxley)는 1932년에 인간이 태어나기 전부터 알파부터 엡실론까지 다섯 계급으로 제조되지만 누구도 불행하지 않으며 굶주림, 실업, 가난, 질병, 노화, 전쟁이 없으며 누구와도 섹스하며 소마(Soma)라는 약을 먹어서 환각상태를 유발하는 세계에 대한 SF 소설  『멋진 신세계』(Brave New World)를 발표한다. 이 소설에  촉감 영화라는 개념이 등장한다. 그는 맛, 냄새, 촉각 등 인간의 오감이 동원되는 쌍방향 입체영화를 예견한다. 이 촉감 영화는 인간을 쾌락과 즐거움의 노래로 만든다고 설명한다. 가상현실을 묘사한 첫번째 사례이다.

실제처럼 느껴지지만 현실로서 존재하지 않는 인공적 환경이 가상현실의 기본 개념이다. 넓은 의미에서는 비행 또는 운전 시뮬레이터 게임이나 MMORPG(massive multiplayer online role playing game)인 와우나 리니지 게임도 가상현실에 포함될 수 있다. 하지만 가상현실은 인간의 오감에 직접 작용하여 공간적, 시간적 체험을 가능하게 하는 기술을 의미한다. 따라서 가상 현실 기술이 발달하면서 오감을 사용하는 가상현실 게임들이 먼저 출현한 것은 매우 자연스런 현상이다.

brave-new-world-aldous-huxley-science-fiction-novel-writer-books-cover-art-chatto-windus-1932-london-man-woman

올더스 학슬리(Aldous Huxley)가 1932년에 발표한 SF 소설 『멋진 신세계』(Brave New World) 1판의 표지

가상현실(virtual reality)은 오감을 비롯한 우리의 인지 체계를 확장하려는 시도에서 비롯되었다. 가상현실과 증강현실 기술은 사람의 감각을 확장하여 가고 싶은 곳에 데려다 주고 그곳의 사물과 소리를 만지고 듣게 하며 그 경험과 정보를 공유하게 한다. 실재하지 않지만 실재하는 세계가 된다.

이 기술은 사용자가 현실과 별개의 가상공간을 체험할 수 있도록 지원한다. 사용자가 가상현실을 실제하는 현실로 믿게 하기 위해서는 시각, 청작, 후각, 미각, 촉각이라는 다섯가지 감각을 충족시켜야 한다. 미디어 학자인 마셜 맥루헌(marsal McLuhan)이 미디어에 대해 단순한 수단이 아니라 감각의 확장이라고 정의한 내용을 생각하게 한다. 그는 전자시대에는 인간이 인쇄시대로 인해 잃어버린 감각을 되찾는다고 주장한다.

『미디어의 이해』(Understanding Media: The Extensions of Man)에서 인류의 역사를 구두 커뮤니케이션, 문자 또는 필사 시대, 구텐베르트 시대, 전자 시대라는 4단계로 구분했다. 전자시대는 전기 미디어가 발달하여 하나의 지구촌을 형성하고 과거의 구두 커뮤니케이션 시대로 재부족화 현상이 벌어지며 미디어는 몸의 확장으로서 인간은 복수 감각형이 된다는 예언 같은 이론을 내놓았다. 뿐만 아니라 인간이 자신이 확장한 것에 사로잡히게 된 현실마저 설명한다.

marshall_mcluhan

마셜 맥루헌은 미디어는 몸의 확장으로서 인간은 복수 감각형이 된다는 예언 같은 이론을 내놓고 인간이 자신이 확장한 것에 사로잡히게 된 현실마저 설명한다.

가상현실 기술의 선구자들

가상현실(virtual reality)  기술은 1940년대 미국 공군과 항공 산업에서 개발했던 비행 시뮬레이터(flight simulator)에서 처음 활용되었다. 이 장치를 연구하고 개발하여 1930년에 특하를 낸 에드윈 링크(Edwin Link) 연구팀은 바네바 부시(Vannevar Bush)의 수학 모델을 응용해 2차 세계대전 기간에 최초의 비행 시뮬레이션을 완성하였다. 시뮬레이터는 모의(模擬)적으로 물리 ·사회 현상을 경험하게 해주는 장치 또는 수리(數理) 모델 연산용(演算用) 컴퓨터 등을 말한다. 시뮬레이터들은 용도가 분명히 정해져 있는 이른바 단능기(單能器)이며 용도에 대응하여 여러 가지 장치가 만들어져 왔다. 처음에는 용도는 연구용과 훈련용으로 여러 종류가 개발되어 전력계통 모의장치, 유도비행체 시뮬레이터, 원자로 운전제어 시뮬레이터 등이 있다.

비행기나 자동차, 전동차처럼 조종훈련에서 실물을 사용하여 훈련하는 것이 경제상, 실용상 곤란한 경우에 시뮬레이터는 큰 도움이 된다. 훈련용 시뮬레이터로서 대표적인 것에 항공기 조종 시뮬레이터가 있다. 이것의 조종석은 실물항공기의 조종석과 똑같이 되어 있어 실습자가 조종간이나 레버를 움직이면 발동기의 출력이나 보조날개의 각도, 현재의 고도 ·속도로부터 항공기가 다음 순간 어떻게 움직이는가를 본체의 아날로그계산기로 계산한다. 계산 결과는 조종석의 계기에 나타나며 실습자는 그것을 보면서 다음 동작을 취한다.

2차례의 세계대전 후 비약적으로 발던하던 1950년대 할리우드 영화도 가상현실 기술의 개발에 커다란 기여를 했다. 1950년대 중반 에드윈 랜드(Edwin Land)는 3차원 이미지를 구현하는 컬러 영화를 개발하고 1954년 와이드 스크린 시네마스코프(CinemaScope)로 이어졌다. 1956년 모튼 하일리그(Morton Heilig)는 ‘센소라마 시뮬레이터(sensorama simulator)’를 개발하였는데 3차원 이미지, 입체 음향, 냄새 등을 이용해 신경체계를 자극 내지 시뮬레이션하는 오락 장치였다.

1956년 모턴 하일리그(Morton Heiling)가 가상현실 디바이스의 원형인 센서라마 시뮬레이터(Sensorrama simulator)를 개발했다. 그는 시청자를 화면으로 끌어들여 오감을 강화하는 체험극장(Experience Theatre) 모델을 구상을 센서라마 시뮬레이터로 구현하였다.  이 디바이스는 3차원 이미지, 입체 음향, 냄세 등을 이용해 신경체계를 자극하는 장치여서 가상현실 디바이스의 원형이라 부른다. 1962년에 센소라마는 시각, 소리, 냄세, 촉각을 참여시키는 4개의 짧은 영상을 보여주는 수준으로 개발된다. 하지만 크기가 거대하여 대중화되기에는 적절하지 않았다. 가상현실 디바이스의 크기 문제는 2016년 현재까지도 과학자와 기술자들의 지속적인 어려운 숙제로서 작용하고 있다.

sensorama-main-bw

1965년 유타 대학교의 이번 서덜랜드(Ivan Edward Sutherland)는 투구형 3차원 디스플레이(a head-mounted three dimensional display)에 관한 논문을 “궁극의 디스플레이(The Ultimate Display)”라는 발표한다. 그는 컴퓨터 그래픽의 아버지이자 초기 인터넷의 개척자라고 불리우는 컴퓨터 과학자이다. 다모클레스의 칼(Sword of Damokles)이라고 이름 붙인 소형화 가상현실 디바이스인 헤드마운트(HMD,head mounted device)의 초기 모델을 제안한다. 다모클레스의 칼은 서덜랜드의 디바이스에 비해 크기가 작아졌음에도 불구하고 천장에 고정하여 매달아야 사용할 수 있을 정도로 무겁고 해상도가 낮으며 시야의 각도가 좁고 반응 속도가 느려서 사용자들에게 가상현실에 대한 몰입감을 주기에 부족했다. 서덜랜드는 가상현실을 컴퓨터 그래픽의 궁극의 형태로 바라보았다.

“궁극의 디스플레이는 컴퓨터 내부의 그래픽 혹은 프로그램 같은 물질을 제어할 수 있는 방과 같은 공간이 될 것이다. (…) 이러한 디스플레이를 통해 사용자가 문자 그대로 이상한 나라의 앨리스 될 수 있다” 이반 서덜랜드는 1966년부터 1968년까지 하버드 대학교에서 전기공학과 부교수로 재직하면서 제자인 밥 스프로울(Bob Sproull)과 함께 가상현실과 증강현실을 위한 HMD를 개발한다. 이 장치는 천장에 부착해서 사용하는 방식 때문에 다모클레스의 검(The Sword of Damocles)라는 이름으로도 불렸다.  BC 4세기 전반 시칠리아의 시라쿠사의 참주(僭主) 디오니시오스는 말총에  칼을 매달아 그 아래 신하를 앉혀 안정과 불안이 함께 있다는 것을 느끼게 했다는 기록이 있다. 천장에 매달아 써야 했기 때문일까.

디모클레스 칼은 양쪽에 디스플레이와 머리의 움직임을 추적하는 기계식 장치 등이 있었지만 추적 장치 크기와 무게 때문에 머리에 직접 쓸 수는 없었다. 말총에 매달리듯 천장에 매달린 장치라는 뜻때문이었을까. 서덜랜드의 디바이스는 다모클레스의 칼이라는 이름이 붙여졌다. 디모클레스 칼은 허공에 몇 개의 선으로 이뤄진 입체 도형을 띄우는 것이 수준이었다. 하지만 당시 최고의 그래픽 기술의 수준이 여기까지였다. 이 장치가 지니는 의미는 모니터에서 벗어나 사용자가 컴퓨터 공간에  들어가 여러 프로그램을 제어하고 상호작용하는 개념을 적용한 데 있다. 가상현실에서의 상호작용은 가상현실과 증강현실의 체험과 게임의 핵심적 요소이다.

2819154_08472641133700

1968년 이번 서덜랜드는 데이비드 에반스(David C. Evans)와 함께 에반스&서덜랜드라는 회사를 설립한다. 그는 이 회사를 통해 사용자가 입력한 내용을 즉시 반영하는 실시간 하드웨어, 3D 컴퓨터 그래픽, 프린터 언어 등에 뛰어든다. 서덜랜드와 함께 근무하던 존 워녹(John Edward Warnock)은 현재 세계 최고의 그래픽 솔루션 개발사인 어도비 시스템즈( Adobe Systems)를 설립한다. 또 한명의 동료가 마크 안드레센과 넷스케이프를 설립한 짐 클락(James Henry Clark)이다.  이반 서덜랜드의 혁신적인 성과는 컴퓨터와 인간의 상호작용에 관한 패러다임을 새롭게 제시한 데 있다. 텍스트만 나타나던 화면에 3D 입체 그래픽을 표시하여 인간과 컴퓨터와의 상호작용을 더 쉽게 만들었다. 윈도우나 매킨토시OS, 스마트폰, 태블릿PC의 그래픽 기반의 사용자 컴퓨팅 환경은 모두 이번 서덜랜드 덕분이라고 할 수 있다.

재론 래니어(Jaron Zepel Lanier)를 소개할 때 사람들은 컴퓨터 철학자, 작가, 컴퓨터 과학자, 시각 예술가(visual artist), 클래식 음악 작곡가(composer of classical music), 희귀한 악기 수집가, 가상현실 분야의 개척자라고 설명한다.  그는  가상현실 장갑의 원형이 되는 데이터 장갑(data glove)을 발명한 토마스 짐머만(Thomas G. Zimmerman)과 함께 1985년에 작업자를 위한 시각 보호 안경을 기반으로 하는 가상현실 안경(VR goggles)과 가살현실 데이터 장갑(data gloves)을 판매하는 회사를 설립한다. 데이터 장갑은 하나의 입력 장치 장갑이다. 손과 손가락의 움직임을 통해 가상현실의 공간과 상호작용하는 핵심적인 도구이다. 현재 데이터 장갑은 주로 함께 사용하는 헤드 마운트 디스플레이 장치와 함께 사용한다.

데이터 장갑은 손과 손가락의 움직임을 통해 가상현실의 공간과 상호작용하는 핵심적인 도구이다.

재론 래니어는 2000년대에는 실리콘 그래픽스(Silicon Graphics)에서 연구자로 활동하였으며 2006년에서 2009년에 마이크로소프트사에서 과학 기술자로 일했다.  1980년대에 재론 래니어(Jaron Lanier)가 가상현실 장감 형태의 인터페이스를 개발하면서 가상현실이라는 용어가 대중화된다. 가상현실이란 개념은 1989년에 재론 래니어가 처음 제기한다. 그후 가상현실에 대해 여러 학자와 연구자들에 의해 다양하게 정의된다.

조지 코츠(George Coates, 1992) : 이용자가 현실과 같은 3차원 상황 속에서 상호작용할 수 있도록 해 주는 투구형(head-mounted) 고글(goggle)과 망으로 연결된 의상을 통해 경험하게 되는 전자적인 환경 시뮬레이션

조나단 스토이어(Jonathan Steuer, 1992) : 지각하는 자가 원격현전(遠隔現前, telepresence)을 경험하는 실재적 또는 시뮬레이션된 환경

미카엘 하임(Michael Heim, 1993/1997) : 참여자가 수신한 정상적인 감각 입력을 컴퓨터가 산출한 정보와 대치시킴으로써, 참여자가 실제로 다른 세계에 있다고 확신하도록 하는 것

켄 힐리스( Ken Hillis, 1996) : 육체를 초월하고자 하는 욕망을 실현시켜 주는 기계,  현실세계에 ‘필적(parallel)’하는 탈육체화된, 그리고 점진적으로 네트워크화되고 있 시각적 세계,  사이버스페이스에 접근할 수 있는 기술적 수단. 핵심적인 모티브는 육체 이탈(disembodiment)의 욕망이다.

재론 래니어를 소개할 때 사람들은 컴퓨터 철학자, 작가, 컴퓨터 과학자, 시각 예술가, 클래식 음악 작곡가, 희귀한 악기 수집가, 가상현실 분야의 개척자라고 설명한다.

현실처럼 느끼게 하는 가상현실과 증강현실의 요소들

켄 힐리스의 설명처럼 사람들은 육체를 초월하여 이탈하고자 하는 욕망 때문에 사용자가 가상현실에 참여할까. 조선시대 장터라는 가상 현실 공간이든, 2050년의 미래 도시 공간이든, 수만명의 플레이어가 참여하는 전투 현장이든 참여자들은 스스로의 욕망과 판단에 기반하여 참여하며 가상의 공간의 현실보다 더 현실적으로 느끼고 행동하기를 바란다. 참여자가 실재하는 현실처럼 느끼게 하기 위해서는 가상 이미지, 음향효과, 상호작용, 몰입감 등의 요소가 필수적으로 필요로 한다.

가상 이미지(virtual image)

가상현실에서 가상 이미지는 사진, 이미지, 애니메이션, 영상 등을 포함한다. 뉴욕타임즈의 VR 저널리즘은 사진과 영상, CG 영상을 활용하여 가상 이미지를 만드는 반면 현재 서비스되고 있는 많은 가상현실 게임이나 포켓몬 GO(Pokemon Go) 같은 증강현실 게임은 애니메이션과 CG  영상을 사용한다. 사용자는 현실의 어느 한 공간에 있을 때와 똑같이 느끼게 만드는 화질의 가상 이미지를 바라볼 때 가상현실에 현실로서 느끼고 받아들인다. 화면 해상도는 하드워어 한계에 제한되어 대부분  SD(standard definition)나 HD(high definition) 수준에 머물고 있다. 하지만  하드웨어와 정보통신기술, 해상도 관련 기술에 힘입어 초고선명 텔레비전(UHDTV) 수준으로 발전할 것으로 예상된다. 따라서 가상현실과 증강현실은 높은 정보처리 기술을 요구한다. 높은 영상 퀄리티 처리 능력뿐만 아니라 360도 영상 촬영·처리·재생의 프로세스를 처리하여 그 결과물을 가상현실 콘텐츠로 변환시키는 3D렌더링(reddering) 기술이 요구된다.  3D 렌더링은 빛을 운반하고 분산하는 과정을 포함한 조명의 배치와 면의 특성, 기타 다른 설정들을 바탕으로 계산하여 2차원 이미지를 3차원 이미지로 생성하여 물체의 형태를 구성하는 작업이다.

몰입감(flow)

미하이 칙센트미하이(Mihaly Csikszentmihalyi)에 따르면 몰입(flow)은 ‘무언가에 흠뻑 빠져 있는 심리적 상태’를 의미하고, 현재 하고 있는 일에 심취한 무아지경의 상태이다. 몰입하면 사람즐은 주위의 모든 잡념, 방해물을 차단하고 자신이 원하는 어느 한 곳에 모든 정신을 집중한다. 칙센트미하이가 ㅍ표현한 ‘물 흐르는 것처럼 편안한 느낌’, ‘하늘을 날아가는 자유로운 느낌’에 빠져드는 것이다. 현실감을 위해 가상현실은 눈에 맞는 가상 이미지와 함께 귀에 맞는 음향도 두 방향으로 출력하는  듀얼 픽셀(dual pixcel)과 듀얼 스피커(dual speaker) 기능을 제공한다. 사람에게는 눈과 귀가 2개씩 있기 때문이다. 양쪽에서 전달된 음향 효과는 출력 되는 진원지를 사람이 스스로 판단하게 해준다. 듀얼 픽셀은 사람이 양쪽 눈을 이용해 정확하고 빠르게 초점을 맞추는것 처럼 하나의 화소 안에 좌우 두 개의 포토 다이오드가 각각 인식한 빛을 비교해 위상차를 검출하고 두 빛간 거리가 맞도록 조절해 초점을 맞추는 기능을 뜻한다. 반면에 듀얼 스피커는 음향이 두 것 이상에서 출력되는 기능이다. 사람의 시각과 청각에 기반한 인체공학적인 가상현실 기술은 콘텐츠에 대한 몰입도를 자연스럽게 높인다.  뿐만 아니라  헤드마운트 디바이스를 사용할 경우를 위해 가상ㅎ현실과 증강현실은 디바이스의 위치, 포인팅 방향, 카메라 시야각 등의 정보가 반영되는 기술적 구현이 이루어져야 사용자를 몰입시킬 수 있다.

현실감을 위해 가상현실은 눈에 맞는 가상 이미지도 귀에 맞는 음향도 두 방향에서의 출력이 제공한다. 사람에게는 눈과 귀가 2개씩 있기 때문이다.

상호작용(interactive)

가상현실 참여자는 현실감에 기반하여 가상현실의 캐릭터, 사물 같은 인터페이스 요소들과 상호작용한다. 상호작용을 위한 도구로서 장갑, 스틱, 다양한 사용자 시선의 초점 등이 사용된다. 그중에서 사람과 사람의 커뮤니케이션과 사회적 상호작용의 시작이자 가장 중요한 요소라고 하는 눈맞춤(eye-contact), 즉 사용자 시선은 가상현실과 증강현실에서 상호작용의 중요 방법으로 사용된다. 일본의 가상현실기업 포브(Fove)는 눈 맞춤을 통해 마우스포인터로 클릭하듯이 컴퓨터와의 상호작용을 기능에 집중했다. 포브는 시야각이 100도 이상인 5.8인치 디스플레이를 장착하고  헤드 트래킹 센서로 낮은 지연속도의 자유 관성 센서를 사용하고 있으며 시선추적 기술을 위한 적외선 센서도 장착한다. 시선 추적 능력은 0.2도 이하이고 120FPS의 속도로 매우 빠른 시선추적을 행합니다. 시선의 움직임만으로 가상현실 디바이스를 제어하는 포비티드 헨더링(foveated rendering) 기술이다. 이 기술은 가상현실과 증강 현실에서 등장하는 캐릭터와 눈맞춤을 통한 상호작용이 가능하게 해줄 뿐만 아니라 다양한 활용도를 지니고 있다.

예를 들어 2014년에 쓰쿠바(筑波) 특수교육대학은 포브를 활용하여 지체장애인 학생들이 시각만으로 피아노를 연주하는 콘서트를 열기도 했다. 자동차나 우주선 체험을 위해서는 핸들과 조정 도구와 공간의 흔들림을 느끼기 위한 대형 장치들이 제공되기도 한다.  사용자가 가상 이미지에 대해 현실이 아니라는 느낌을 거부감이라고 한다. 거부감을 느끼지 않을 때 자연스럽게 가상의 대상과 상호작용이 이루어진다.  현실감에 기반한 상호작용은 참여자에게 현실보다 더 깊은 몰입감을 제공한다.

fove-diagram-680x382

마우스포인터를 클릭하듯이 시선의 움직임만으로 가상현실 디바이스를 제어하는 포비티드 헨더링(foveated rendering)은 가상현실에서 캐릭터, 사물, 환경과 상호작용하는 기본 방법으로 사용될 가능성이 높다.

현실환경과 가상환경을 융합한 증강현실의 출현

증강현실(augmented reality)은 실세계에 3차원 가상물체를 겹쳐 보여주는 기술로서 가상현실의 기술 한계를 극복하기 위한 대체재로 고안되었다. 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다. 현실세계에 실시간으로 가상세계를 합쳐 하나의 영상으로 보여주면서 컴퓨터 그래픽을 통해 현실환경에 필요한 정보를 제공하는 때문에 혼합현실(mixed reality, MR)이라고도 한다. 증강현실은 현실환경과 가상환경을 융합한 복합형 가상현실 시스템(hybrid VR system)이다.

사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호하게 나타난다. 보잉(Boeing)사의 토머스 코델(tomas P. Caudel) 박사가 1992년에 이 겹침을 활용한 작업을하면서 증강현실이란 용어를 처음 사용한다. 복잡한 비행기 전선 조립을 돕기 위해 가상 이미지를 실제 화면에 겹쳐 놓고 사용했던 것이다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다. 예를 들어 스마트폰 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기된다. 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다. 최근 스마트폰이 널리 보급되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계·교육 분야 등에서도 다양한 제품을 개발하고 있다.

1994년 토론토대학교의 폴 밀그램(Paul Milgram) 교수는 현실과 가상의 연속성에 관한 스펙트럼으로서 현실, 증강현실, 증강가상, 가상현실의 네 단계를 구분했다. 증강현실은 현실에 발을 붙인 가상체험 수단으로서 일종의 홀로그램이다. 1997년 로널드 아즈마(Ronald Azuma)는 증강 현실이 구현되기 위해서 가상과 현실의 융합, 실시간 상호작용, 3차원 결합이 필요하다고 규정했다.

만화 <드래곤볼>에는 안경처럼 눈에 착용하면 상대방의 전투력 정보와 거리, 위치 등을 실시간으로 보여주는 ‘스카우터’라는 기기가 있다. 증강현실을 실외에서 실현하는 것이 착용식 컴퓨터(wearable computer)이다. 특히 머리에 쓰는 형태의 컴퓨터 화면장치는 사용자가 보는 실제환경에 컴퓨터 그래픽·문자 등을 겹쳐 실시간으로 보여줌으로써 증강현실을 가능하게 한다. 따라서 증강현실에 대한 연구는 착용컴퓨터 개발이 주를 이룬다. 개발된 증강현실시스템으로 비디오방식과 광학방식 등의 HMD(head mounted display)가 있다. 뿐만 아니라 스마트폰과 태블릿PC가 증강현실을 위한 일상적 도구로서 활용된다.

증강현실과 같은 체험형 기술은 콘텐츠산업과의 접목을 통해 또 다른 부가가치를 생산해 낼 수 있는 더 많은 기회와 가능성을 제공하고 있다고 할 수 있다. 현실을 벗어난 이상적 세계를 꿈꾸는 인간 본연의 욕망은 때로 기술의 발전을 가속화시킨다. 그 욕망 중 하나인 현실에 가상을 접목하려는 시도는 이미 오래전부터 다양하게 시도되어 왔다. 어떤 의미에서 소설은 현실에서 느낄 수 없는 상상들을 현실과 결합시킨 스토리텔링이며, 화가들의 그림도 작가적 상상과 세계관을 실제의 풍경과 결합하여 재현한 작품이다.

사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다.

증강현실의 원리와 필요한 요소들

증강현실 기술을 적용하기 위해서는 다음 몇가지가 필수적이다. 지리/위치 정보를 송수신하는 GPS 장치, 기울기와 나침반 역할을 하는 중력 센서, 인터넷에 연결된 위치정보시스템, 정보를 수신하여 표시하는 증강현실 애플리케이션, 애플리케이션을 사용하여 디스플레이로 나타내는  스마트폰, 태블릿 PC 같은 디바이스, 영상을 가상현실과 증강현실 콘텐츠로 전환시키는 3D 렌더링 기술,  가상현실과 증강현실을 위한 5세대 이동통신 기술, 헤드마운트 같은 디바이스 등이다.

지리/위치 정보 송수신 GPS ,장치 및 중력 센서

사용자가 증강현실 앱을 실행한 후, 스마트폰 등 스마트 디바이스에 내장된 카메라로 거리나 건물을 비추면 GPS 수신기가 작동하여 현재 위치의 위도와 경도 정보, 기울기와 중력 정보 등이 스마트 디바이스에 임시 기록된다. 사용자로부터 위치/기울기 등의 GPS 정보를 수신한 위치정보시스템은 해당 지역, 건물, 사물의 상세 정보를 자신의 데이터베이스에서 검색하여 그 결과를 다시 스마트폰에 전송한다.

상세 정보 송수신하는 애플리케이션

전송된 상세정보에는 물론 특정 건물의 상호, 전화번호 등이 들어 있다. 이 데이터를 수신한 스마트폰은 증강현실 애플리케이션을 통해 현 지도 정보와 매칭시켜 실시간 화면으로 보여준다. 데이터 송수신 단계는 지속적으로 유지, 수행되므로 스마트폰을 들고 거리를 지나면 해당 지역 및 주변에 대한 정보가 순차적으로 화면에 나타난다.  인터넷 검색과 위치 서비스, 스마트폰 네미게이션 등은 넓은 의미에서 증강현실 기능을 적용한 것으로 알게 모르게  일반인들에게도 널리 활용되고 있는 기술들이다.

 3D 렌더링 기술

가살현실 영상을 위해서는 높은 영상 퀄리티를 유지한 채로 360도 영상을  촬영, 처리, 재생하는 가상현실 콘텐츠로 변환시키는 3D렌더링(reddering) 기술이 요구된다. 본격적인 가살현실과 증강현실 디바이스인 헤드마운트 디바이스를 사용할 경우에는 위치, 포인팅 방향, 카메라 시야각 등의 정보가 반영되어야 사용자를 몰입시킬 수 있다.  증강현실은 시야의 변화에 따라 정확한 관심 장소(place of interest)와 관심 객체(object of interest)를 현실 환경과 가상 환경을 혼합하여 보여주는 인터페이스로 로딩해야 한다. 이 작업을 위해 사용자 위치 파악하여 시선 처리와 터치 기술을 적용해야 한다. 하지만 이 수준도 초기적 단계이며 가상현실과 증강현실 디바이스는 부착된 카메나와 센서를 통해 일차 정보를 수집하는 차원을 넘어서서 사용자 취향, 관심, 경험, 지식을 종합하여 반영하는 기술로 나가고 있는 중이다.

가상현실과 증강 현실 플랫폼의 등장

가상현실과 증강현실 기술은 엄청난 양의 인터넷 트레픽과 정보처리 기술을 감당해야 하는 과제를 안겨주었다. 가상현실과 증강 현실 플랫폼들은 참여자가 몰입감을 가지고 상호작용하면서 현실감 있게 체험하게 만들기 위한 모든 과정을 수행해야 한다. 플랫폼들이 헤드마운트 디바이스를 중심으로 기술과 시장이 활성화되는 트렌드가 맞게 헤드마운트 디바이스 개발이 뛰어들고 있다.

5세대 이동통신 기술의 요구

2017년 현재  가상 이미지에 집중한 상황이지만 가상현실과 증강현실 콘텐츠는 시각·청각·후각·미각·촉각이라는 등 사람의 오감(五感)을 모두 사용해야 하는 방향으로 나아가고 있다. 가상 이미지에 집중하고 있는 인간은 초당 5.2GB의 시각과 청각 정보를 처리할 수 있다. 미국연방통신위원회(FCC)는 가상현실 서비스 제공을 위해 25Mbps의 광대역 네트워크가 필요하다고 예측하고 있다. 하지만 이 속도도 인간의 정보 처리속도의 십분의일에 불과하다. 스트라베이스(Strabase)에 따르면 가상현실 사용자는 정지화면을 기준으로 머리를 움직이지 않은 상태로 가로 3만개, 세로 2만400개의 픽셀을 볼 수 있어서 총 7억2000만대의 필셀 정보를 본다. 머리를 돌려 양옆과 위아래를 보는 행동을 고려하면 25억개의 픽셀을 보는 것이다.

만약 360도 영상을 처리한다면 초단 60개에서 120개 프레임을 처리해야 해야 영상이 뭉게지는 모션 블러(motion blur) 현상을 막을 수 있다. 이러한 수준의 데이터를 터리하려면 현재의 4세대 통신 기술(4G)로는 한계가 있다. 5세대 이동 통신(5G. 5th Generation Mobile Telecommunication)이 가상현실과 증강현실의 데이터를 처리할 수 있는 차세대 이동 통신 기술로서 현재 개발중이다. 5G는 4G LTE 대비 데이터 용량은 약 1,000배 많고 속도는 200배 빠르다. 5G 이동통신 시스템은 기본적으로 트래픽 증가, 디바이스수 증가, 클라우드 컴퓨팅 의존성 증가, 다양한 5G기반 융합서비스 등장 등 4가지 주요 메가트렌드들을 필수적으로 고려하여 설계되고 있다.

5G는 초당 20Gbs 이상의 전송속도를 제공한다. 40G 분량의 영화 한편을 15초 만에 전송한다. 가상현실, 증강현실, 실시간 온라인게임 등과 같은 다양한 실시간(real-time) 인터랙티브(interactive) 멀티미디어 서비스가 증가할 것이다. 이러한 서비스를 사용하는 사용자들이 자연스러운 인터랙션을 경험하기 위해서는 5세대 이동통신 기술이 반드시 필요하다.

 

헤드마운트 디바이스

3D렌더링과 모션 트레킹(motion tracking) 기술과 고해상도 디스플레이 기술을 자난 기업들이 출현하면서 2016년 가상현실과 증강현실 시장은 디바이스를 중심으로 꽃을 피우고 있다. 헤드마운트 디바이스는 스마트폰 이용여부에 따라 스마트폰 탈부착형과 일체형으로 구분된다.

스마트폰 탈부착형은 스마트폰의 기능을 활용한 디바이스들이다. 스마트폰 탈부착형 디바이스들은 스마트폰이 지닌 풀HD 해상도의 디스플레이, 1000만화소 이상의 카메라, 위치 측정과 방향 설정의 자이로스코프(gyroscope) 센서, GPS, 나침반, 터치센서, 근접센서, 조도센서, 와이파이 등 다양한 센서들을 활용한다. 일체형은 PC와 콘솔 등 고사양 디바이스와 연계된 헤드셋 형태이다. 시야각이 넓고 몰입감이 우수하여 콘텐츠 이용에 대한 현실감을 높여준다. 하지만 중장기적으로는 헤드마운트 디바이스가 스마트폰이나 PC, 콘솔 등과의 연계에서 벗어나 독립형 기기로 진화할 것으로 예상된다.

030e41dbd315b9d8564bc6f9521615ea

1d484b141f447b3caf927688acf82e6c

모두를  위한 가상현실을 내건 홀로렌즈(Hololens)

2017년 초반에 “윈도우 10 크리에이터스 업데이트”가 예정되어 있습니다. 그림판을 통해 3D 오브젝트를 만드는 기능이 추가됩니다. 3D 오브젝트는 3D 프린터를 통해 실재의 물건으로 만들 수도 있고 파워포인트나 전자책에 활용될 수 있다. 하지만 기대되는 건 3D 오브젝트가 가상현실의 개체들을 사용자들이 손쉽게 만들 수 있게 해준다는 점이다. 마이크로소프트사가 최근에 내거는 슬로건이 “모두를 위한 가상현실”(Virtual Reality for Everyone)이다. 이 작업을 위해 내놓은 것이 홀로렌즈이다.

홀로렌즈는 마이크로소프트(Microsoft)사가 개발한 혼합현실 기반 웨어러블 기기이다. 윈도우 홀로그래픽 기술을 이용한 홀로렌즈는 가상현실(VR)이나 증강현실(AR)과 달리 현실 화면에 실제 개체의 스캔된 3D 이미지를 출력하고 이를 자유롭게 조작할 수 있는 혼합 현실(Mixed Reality,MR)을 내세우고 있다. 또한 PC나 스마트폰 같은 다른 기기에 연결하는 디스플레이 헤드셋이 아니라 윈도우 PC 기능을 완전히 내장한 것이 특징이다.

구글의 저가형 카드보드 디바이스 전략

구글은 2013년에 1500달러 수준의 구글 글래스(Google glass) 디바이스를 출시하여 좋은 반응를 받는다. 하지만 촬영, 녹화 기능 때문에 사생활 침해 가능성이 제기되면서 생산을 중단한다. 그리고 2014년 가상현실 디바이스로서 외관이 골판지와 렌즈, 고무줄로 구성된 장난감 같은 카드보드(Cardboard)를 공개하고 연이어 2015년에는 카드보드2.0을 선보인다. 미국에서는 20달러 수준이며 국내에서는 1300원 정도이다. 아직 충분히 열리지 않은 가상현실 시장에 대해 저렴한 가격으로 대중화하는 전략을 선택한 것이다. 이 전략을 통해 2015년 출시 이후 19개월동안 500만개 이상 보급되고 2016년 1월까지 2500만여대의 카드보드 앱이 출시된다.

구글은 ‘전세계의 정보를 조직해 누구나 쉽게 접근하고 사용할 수 있도록 하는 것’으로서 개방에 의한 혁신을 중요시해왔다. 저가의 카드보드 전략은 소비자의 입장에서는 가상현실 서비스를 사용할 수 있는 가격 장벽을 낮추고 디바이스와 플랫폼에 대한 종속을 약하게 만들었다. 심지어 구글은 카드보드 설계도를 공개하여 누구나 제조, 판매할 수 있도록 하였다. 개발자들에게는 2015년 구글 I/O에서 공개하는 가상현실 플랫폼인 점프(Jump)에 다양한 사업자가 참여할 수 있도록 운영하고 있으며 동시에 개발자 도구인 SDK를 개방했다. 점프는 16개의 카메라을 연결한 전방위 입체 영상을 쵤영하여 유통할 수 있도록 지원하는 플랫폼이다.

  • 참고 글 : http://post.naver.com/viewer/postView.nhn?volumeNo=5362568&memberNo=176737&mainMenu=GAMEAPP

공병훈. 협성대학교 미디어영상광고학과 교수. 서강대학교 신문방송학과 박사 미디어 경제경영 전공, 연세대학교 경제학과 졸업. 1964년생. 창작과비평사, 동방미디어, 교보문고, 푸른엠앤에스, 세계미디어플러스 등에 재직함. 소셜 미디어와 콘텐츠, 플랫폼, 홍보, 컨설팅 분야 실무자이자 현장 연구자. hobbits84@gmail.com

댓글 남기기