가상현실과 증강현실 그리고 예술 (VR, AR and ART)



로널드 아즈마(Ronald Azuma)는 1997년 증강현실을 구현하기 위해서는 가상 이미지의 결합, 실시간 상호작용성과 3D 이미지 구현 등 3가지 요소가 필요하다고 언급했다. 증강현실은 인간의 감각과 인식을 확장한다고 하여 ‘확장 현실’로 불리기도 하며 시각기반의 증강현실은 기존 가상현실의 일부 영역이다. 따라서 3D 객체표현과 실시간 비디오 합성에 초점을 맞추고 네트워크에 연결되지 않은 컴퓨터로도 증강현실 구현이 가능하다. 정보에 기반을 둔 증강현실은 최근 스마트 폰 기술과 함께 등장한 기술로 현실 세계 정보를 바탕으로 하는 점이 큰 차이다. 

스마트 폰에 내장된 정보서비스 증강기술은 모바일 증강현실이라고도 하며 이 시스템들은 위치 정보, 각도 등 다양한 센서로 획득한 정보를 가공하며 인터넷 서비스와 결합하여 정보를 증강한다.2) 오늘날 가상현실과 증강현실에 대한 논의는 결국 우리가 어떠한 기술을 활용하여 ‘현실보다 더 나은 현실’을 경험할 수 있는가에 대한 ‘리얼리티’ 문제이다. 이러한 ‘리얼리티’의 문제는 가상과 실재의 경계를 허물며 ‘환영’화 시켰던 원근법 시각부터 현실보다 더욱 극적인 가상화의 단계를 경험하게 했던 가상현실(컴퓨터 기반의 세계)까지 적용된다. 어디까지가 현실이고, 어디까지를 가상으로 남겨둘 것인가는 곧 혼합현실, 가상현실, 증강현실에서 구축되는 이미지 해석에 중요한 잣대가 되었다. 그리고 우리에겐 이 각각의 기술로 구현된 다른 용어들이 어떻게 다르게 감각되며, 이를 통해 사회, 문화, 미적 맥락을 어떻게 재구성할 수 있는가가 앞으로 연구해야 할 과제로 남아있다. 

그러한 의미에서 현실을 더 증강한다는 의미의 증강현실은 어떠한가. 증강된 이미지에서 드러나는 현실은 우리가 창(Window)으로 보는 실제 세상이다. 이러한 실제 세상이 동시에 펼쳐짐과 동시에 시뮬라크르(simulacre) 세계가 발현된다. 즉 현실과 가상의 중첩된 결과를 송출시키기 위한 이중의 창 생성은 불가피한 것이다. 이러한 이중의 창에서 생성된 이미지는 실제와 가상, 원본과 복제, 모방과 재현, 자연과 인공 사이를 모두 통합시킨다. 이를 경험하는 주체는 가상과 실제를 자유롭게 줄타기하면서 오갈 수 있다.

마크 스크바렉(Mark Skwarek) 

<Island of the bull: Bank of America pool

 hopping intervention3> Feb. 25 2012  

Augmented reality intervention Courtesy of Mark Skwarek

미디어기술이 발전될수록 가상을 현실화시키는 상황은 자명했다. 베르너 융(Werner Jung)은 이에 대해 “가상은 더욱 아름다워 지는커녕, 실재의 존재 영역을 차지하며 들어서고 있다”라고 언급하면서 이러한 시효는 미학적인 것에 대한 담론을 불러일으킬 만한 사건으로 간주한다.3) 이러한 미디어 혁명으로 인한 시뮬레이션 세계의 출현은 포스트모더니즘(=탈근대주의)적 사유의 시작을 알리는 행위이며4) 이에 대해 쾨서(Koether)는 탈근대주의의 특성을 진보, 역사, 전체와 이성을 거부하고 그 대신에 정지상태와 보전, 순간과 반복, 복수성과 이질성, 지각과 감각을 옹호한다고 밝혔다.5) 

지속해서 가상의 도구로 현실감각을 대체하고 있는 가상현실 이후, 현실을 마치 더 배가하는 증강현실에 대한 관심은 탈근대적 사유와 밀접하다. 미디어 시대가 도래하면서 벨쉬(Wolfgang Welsch)는 어떠한 총체성도 더는 인식하려 하지 않는다고 했다.6) 예술의 총체적 경험보다는 부분적으로 관찰하고 사유하는 체계에 대한 문제에 귀착한다. 증강현실 이미지 경험은 가상현실처럼 인터페이스 장치를 착용하여 고정된 프로그래밍(시뮬레이션) 세계만 탐험하지 않는다. 

가상현실은 가상적 산물을 실제 현실처럼 경험하게 했다면 증강현실 사용자는 가상과 현실을 자유롭게 중첩하며, 혼합된 현실을 끝없이 만나게 된다. 가상현실이 가상에 완전한 몰입을 요구하는 감각이라면 증강현실은 자신이 보고 있는 가상 이미지를 보고 주변 정황을 현실로 파악할 수 있는 경험을 제시한다. 가상 경험을 동반하지만 완전한 몰입 상태는 아니며, 현실에 뿌리를 두고 있기 때문에 현실 그 자체를 더욱 현실감 있게 증강시킨다. 가상현실 이미지는 이미지에 몰입할 수 있도록 3D 안경과 같은 인터페이스로 시야를 전부 가리지만 증강현실의 경우는 현실 시야의 이미지와 기계장치 화면에 생성되는 3D 가상의 이미지가 겹쳐져서 출현한다. 

따라서 증강현실 이미지를 감각하는 주체는 자신의 시야를 가상에 둘 것인가 현실에 둘 것인가, 아니면 두 개의 사이에 둘 것인가에 대한 문제를 선택할 수 있다. 신체의 가상화에 대해 피에르 레비(Pierre Levy)는 자신으로부터 탈출하여 외부로 방출하고 기술적인 외재성 혹은 생물학적 이타성을 주관성으로 전환 주관성으로 전환하고 이때 신체는 자기 자신을 가상화함으로써 증식된다고 밝혔다.7) 이때 ‘신체의 가상화’는 가상현실 경험에서 제기되는 몰입형의 가상화된 신체가 아니라 현실화에서 제기되는 신체의 확장성이 담보된 경험이다. 

점차 가상과 현실이 더욱 현실과 같은 체험을 하는데 기술을 끊임없이 기여할 것이다. 증강현실 이미지에서 현실을 증강하게 하는 경험은 슬라보예 지젝(Slavoj Zizek)이 예견한 대로 ‘실재로의 귀환’에 대한 문제이다. 그는 가상과 실재의 변증법이 단순하게 풀릴 수 없음을 지적하며, 일상적 삶이 가상화되고 우리가 사는 세계가 점점 인공적으로 구성된 장소가 되어가는 것에 대한 경험에 직면할 때 우리는 ‘실재로의 귀환’이라는 억누를 수 없는 충동, 어떤 ‘실재 현실’에 대해 굳건히 뿌리를 내리고자 한다는 충동을 느낀다는 지적이다.8) 

증강현실에서 더욱 현실감을 느끼기 위해서는 실제 공간을 그대로를 담아내는 카메라 시각 이상의 가상적 요소가 요구된다. 왜냐하면 현실을 있는 그대로 보여주는 것이 아니라 현실 위에 가상의 옷을 입혀 현실과 같이 만나게 하기 때문이다. 이때 ‘가상적인 것’은 현실을 더욱 철저히 현실화시키기 위한 수단이 된다.

4젠틀맨(4Gentlemen) <Statue of Democracy on Tiananman 

Square 1989, and the virtual version> 2011 

증강현실(AR)과 모바일 소셜 네트워킹

유럽의 매체 담론의 중심축을 일궈낸 ZKM의 피터 바이벨(Peter Weibel)은 인터넷 예술의 시초는 ‘1960년대’ 아이디어라고 했다. 컴퓨터 기술이 예술작품에 본격적으로 사용되기 이전 제시되었던 개념들이 기술 발전 속도와 함께 급속히 등장했다. 이와 같은 맥락에서 1950-1960년대 아이디어였던 증강현실 개념은 오늘날의 기술, 사회, 문화적 맥락과 뒤엉켜 현실적 조건으로 우리의 삶 중심자리에 위치시켜 놓았다. 증강현실 역사에 따르면, 1956년 모턴 하일리그(Morton Heiling)는 센서라마(Sensorama)라 불리는 모터사이클 시뮬레이션을 디자인했다. 이미지, 사운드, 입체음향, 냄새 등의 다양한 감각기술로 몰입의 효과를 일으킨 초기 예시로 알려져 있다. 

이후 1968년에는 이반 서덜랜드(Ivan Sutherland)가 ‘다모클레스의 칼(Sword of Damokles)’이라고 불리는 최초의 증강현실 시스템을 개발했다.9) 유비쿼터스 시대를 지나 증강화된 도시에서는 시민들이 최신의 증강현실 기술, 로봇, 인공지능, 드론 등을 활용해 상호연결하고, 자신을 스스로 보호하며, 새로운 비즈니스 기회를 찾아 인간 혼자 힘으로 할 수 없는 영역까지 나아갈 것이다.10) 증강현실 시대 이러한 시도가 가능하게 된 것은 바로 스마트 모빌리티 환경 때문이다.

마크 스크바렉(Mark Skwarek

) <Design Show Art Basel Miami Flood>

 2012 Augmented reality intervention 

 Courtesy of Mark Skwarek

현실 위에 가상을 포함한 또 다른 현실(가상현실) 풍경이 쉽사리 도시에 펼쳐진 것은 2016년 출시되어 전 세계적으로 열풍을 일으켰던 포켓몬고 게임이다. 이 게임으로 이미 대다수 관람객은 증강현실 기반의 이미지 경험을 수용하게 되었다. 이처럼 모바일에 최적화되고 다양한 앱(APP) 기술이 등장한다면 증강현실을 이용한 예술작품의 등장도 시간문제이다. 중국의 4젠틀맨(4Gentlmen)은 류 샤오보(Liu Xiaobo), 호우 데지안(Hou Dejian), 자오 두오(Zhao Duo), 가오 신(Gao Xin) 등 4명의 중국 지성인들을 기리며 출범한 증강현실아트 그룹이다. 이 예술가 그룹이 지칭한 4젠틀맨은 1989년 천안문 광장에서 시위하던 학생들이었다. 

시위가 벌어졌던 그해 7월 4일 이후, 감옥에 가거나 해외로 떠날 수밖에 없었던 중국의 지성인들이다. 이러한 역사를 기반으로 증강현실아트를 제작해온 4젠틀맨은 2010년부터 중국에서 종교와 알아야 할 권리(지식)를 탄압하거나 인간의 인권에 폭력행사를 비판하는 작업을 진행했다. 검열에 관한 내용을 고발하는 <The Great Firewall of China> 작업부터 <Tank Man>, <Goddess of Democracy>, <Three Wise Monkeys>로 이어지는 작업 모두를 증강현실아트로 구현했다. <Tiananmen Square Augmented Reality>(2010) 작업은 스마트 폰 사용자가 실제로 천안문에서 증강현실 앱(http:// layar.com, 무료이용)을 다운로드 받아 참여하는 형식이다. 

이 작업은 모빌리티 기술과 스마트 폰을 적극적으로 활용하였으며, 기술적 하드웨어로 아이폰과 안드로이드 사용을 모두 가능케 했다. 이 작업은 베이징의 천안문 광장에 사용자가 위치할 때 GPS를 실행시키는 것을 전제로 하여 작품을 감상하려는 관람객은 공간 밖으로 나와야 한다. 증강현실 앱 사용자가 천안문 광장에 들어서면 GPS가 작동하여 실제 천안문 광장의 이미지가 사진처럼 투사되고, 그 이미지 위에 ‘탱크맨’과 ‘자유의 조각상’이 스마트폰에 증강된다. 즉, 관람객이 마오쩌둥(Mao Zedong)의 초상을 배경으로 스마트폰 앱을 실행시키면 천안문 앞쪽에 ‘자유의 조각상’이 증강되어 동시에 두 가지 이미지(진짜 천안문 이미지와 가상의 자유의 조각상)가 관람객의 배경이 된다. 실제 마오의 초상화 앞에 가상의 ‘자유의 조각상’과 ‘탱크맨’을 배치함으로써 1989년 있었던 비극적 사건이 유구한 역사가 아니라 바로 동시대인들이 겪었던 일이고 더 나아가 민주주의를 향한 저항적 상황이었음을 증강현실이라는 (오늘날의) 기술로 다시 환기하고자 했다.

존 크레이그 프리맨과 라리S. 파스칼

(John Craig Freeman and Lalie S. Pascual) 

<Platonic Solid: Dodecahedron> 

2014 Augmented reality public art screenshot Grand

 Central Station, New York City Courtesy of the artists 

최근 증강현실 기술을 통한 액티비즘 활동을 하는 작가들이 늘어나고 있는데, 이 역시 실시간 변하는 GPS의 기능과도 밀접하게 연관된다. 대중이 붐비는 도시에서 플래시 몹(Flash Mob)의 형식으로 특정 장소를 정해 놓고, 그곳에 모여드는 사람들은 각자의 디바이스를 통해 자신이 목표로 삼고 있는 지점을 통과하기 위해 가상의 장애물을 제거하는 행위를 앱을 통해 진행한다. 또 증강현실 기술을 사용하여 지구온난화 문제로 작업하는 네이든 셰이퍼(Nathan Shafer)는 알래스카의 빙하가 급속히 녹아가는 것을 관찰했다. 셰이퍼는 증강현실을 통해 최근 몇 년 동안 얼마만큼의 빙하가 녹아내렸는지 볼 수 있다. 

이러한 앱을 통해 보는 관객에게 빙하가 지구온난화에 얼마만큼의 영향을 주는지 가시화할 수 시킬 수 있으며, 이러한 작가의 액티비즘을 통해 관람객은 환경문제를 일상의 삶으로 끌어올 수 있게 된다.11) 주지하다시피 증강현실아트는 모두 현실기반으로 두는 이미지를 전제로 한다. 역사적 장소, 작가가 설정한 임의적 특수성이 농후한 장소, 광장, 길거리 등 기존에 도시기반 네트워크 작업과 그 맥을 같이한다. 증강현실 게임 열풍으로 확인된바 컴퓨터 앞에 앉아 있는 공간 안의 사람들을 공간 밖 즉, 도시 한복판으로 모이게 했다는 점이다. 이처럼 증강현실아트를 가능하게 하는 조건은 현실 세계와의 연결성이다. 

사용자는 가상적 주체에 머무르지 않고, 모바일 밖의 세상을 만나고 현실과 가상이 중첩된 상황을 조정한다. 또한, 이 기술은 컴퓨터(가상공간) 사용자에게 가상의 도시에서 실제 도시환경을 구축하게끔 역할을 부여할 수도 있다. 모바일 네트워크 장치가 전역을 통과하는 이상 증강현실아트는 언제 어디에서든 가능한 예술형식이 되었다. 실제 도시환경을 기반으로 하는 이 예술형식은 우리를 예술 구경꾼이 아니라, 참여 꾼으로 탈바꿈시키고 있다. 

[각주]

1) 이은주 「혼합현실과 혼성지각 그리고 체화된 인지와 감각질의 문제」 발제의 질의문 ACT LAB DAY-융합학술 세미나 1차 ‘포스트 디지털 시대의 매체 담론과 예술 

Ⅱ: 장소, 흔적, 기억을 중심으로’ 2016년 8월 27일 아시아문화전당

2) 박경배 『가상현실 증강 현실과 VRML』 21세기사 2016 p. 51-53

3) 베르너 융 『미메시스에서 시뮬라시옹까지』 장희창 옮김 경성대학교 출판부 2006 p. 233

4) 베르너 융 『미메시스에서 시뮬라시옹까지』 장희창 옮김 경성대학교 출판부 2006 p. 237

5) 베르너 융 『미메시스에서 시뮬라시옹까지』 장희창 옮김 경성대학교 출판부 2006 p. 239 / 쾨서 「근대의 영원한 비판」 1993 p. 193을 재인용

6) 베르너 융 『미메시스에서 시뮬라시옹까지』 장희창 옮김 경성대학교 출판부 2006 p. 242

7) 피에르 레비 『디지털시대의 가상현실』 궁리 2002 p. 45

8) 슬라예보 지젝 『실재의 사막에 오신 것을 환영합니다』 이현우·김희진 옮김 자음과 모음 2002 p. 33.

9) 그레고리 키퍼(Gregory Kipper), 조셉 람폴라(Joseph Rampolla) 『Augmented Reality: An Emerging Technologies Guide to AR』 Elsevier Inc 2013 p. 7-8

10) 브렛 깅 외 『증강현실』 커넥팅랩(백승윤·김정아)옮김 2016 p. 346

11) 블라디미르 제로에멘코(Vladimir Geroimenko) 『Augmented Reality Art』 Springer 2014 p. 16-19.

글쓴이 이은주는 비영리전시공간 아트스페이스 와트 대표이며, 미디어아트 플랫폼(M.A.P) 예술감독이다. 저서로는 『백남준 이후: 미디어 아티스트와의 인터뷰』가 있으며, 주로 미디어아트에서 파생되는 기술, 예술, 문화 현상에 중점을 둔 3D 매핑, 가상현실, 증강현실, 디지털 미디어 퍼포먼스에 관한 전시와 연구를 동시에 진행하고 있다. 현재 『미술과 담론』 편집위원, 『서울문화투데이』 자문위원으로 활동하고 있다.