맨해튼 로어 이스트 사이드를 거닐다 시끌벅적한 차이나타운의 노점풍경이 멀어질 때쯤, 그와는 대비되는 무채색의 인테리어로 시선을 모으는 작은 갤러리들을 찾아볼 수 있다. 비트폼스 갤러리도 그중 하나다. 하얀 시트지로 덮어버린 갤러리 파사드를 지나 입장하면 케이시 리스의 ‘무제 영화 이미지(Untitled Film Still)’ 시리즈가 먼저 눈에 들어온다. 이번 전시는 GAN을 하나의 이미지 제작 기법으로 접근하기 위해 리스가 약 3년이라는 오랜 기간 동안 다방면으로 탐구한 과정의 결실이다. 

그 과정은 수많은 소프트웨어를 직접 제작하며 진행했던 그의 이전 작업 방식에 비하면 통제하기 어려운 결과물이 끝없이 생산되는, 마치 연금술을 사용하는 듯한 방식으로 진행되었으며 그러한 뉘앙스는 고스란히 전시 제목에 반영되었다. 리스는 테크니션 조혜민과 함께 인공지능이 꿈을 꾸듯 배회할 감각적인 환경을 구축하기 위해 직접 선별한 영화들의 스틸컷을 GAN의 학습 자원으로 활용했다. 전시에 올라간 ‘무제 영화 이미지’ 시리즈에 포함된 이미지들은 GAN이 학습 이후 만들어낸 수많은 결과물 중에서 리스가 골라낸 것이다. 즉 리스는 인공지능을 학습시키고, 그것이 도출해낸 결과물을 편집하는 과정을 반복하며 그의 시각적 언어를 인공지능 신경망에 녹여내고자 했다.

<Untitled Film Still 3.5> 2020 

Dye-sublimation on metal 43.2×43.2cm framed

전시장에 걸려 있는 이미지들이 영화를 통해 학습된 인공지능이 제작한 것들이라는 사실을 인지하고 나면, 감상하는 과정에서 각 작업의 원형에 해당하는 영화는 무엇이었을지 추론해볼 수 있을 것이다. 흑백 영화의 강한 대비가 눈에 띄는 ‘무제 영화 이미지 1’ 시리즈 너머로는 가끔 텅 빈 바다를 거니는 듯한 인간의 형체가 보이기도 하고, <무제 영화 이미지 3.13, 3.2>을 통해서는 숲의 흔적을 느낄 수 있으며, <무제 영화 이미지 3.5>에서는 붉은 극장용 커튼을 배경으로 손을 모으고 앉아 있는 인물이 등장하는 듯하다. 이러한 추론은 버너의 음악과 함께한 ‘압축된 시네마(Compressed Cinema)’의 무제 영상 시리즈로 가면 더욱더 자연스럽게 이뤄진다. 스틸 이미지 속에서는 어렴풋이 추측해 볼 수 있었던 형상들이 움직임 속에서 패턴을 보이면서 존재감이 명확해진다. 하지만 이렇게 정체가 더욱 명확해진 실루엣들은 그만큼 더 매끄럽게 다른 형체로 변화하게 된다. 붉은 옷을 입고 악기를 연주하던 게이샤는 같은 색 계열의 커튼을 배경으로 한 잔칫상이 되는가 싶더니 어느새 설원에 홀로 서 있는 인간의 형체로 바뀌어 간다. 

영상 편집에 컷과 같은 기존 영상 문법을 적용하기도 했지만, 그뿐만 아니라 GAN이 훈련을 거쳐 구축한 작은 세계(latent space, 잠재 공간2))를 헤매는 과정을 화면 전환의 기법으로 차용하여 보는 이로 하여금 새로운 방식으로 영상의 내러티브와 시각적 요소를 연결하도록 유도한다. 이전 화면의 배경은 전경이 되고 전경은 배경이 되면서 끝없이 새로운 패턴을, 이야기를 떠올릴 법한 신(scene)을 빠르게 제시하고 지워나간다. 100차원 이상의 벡터 공간을 헤매며 거의 무한한 조합으로 이미지를 연결하는 신경망은 시계열적인 서사의 진행을 신경 쓰지 않는 것처럼 보인다. 변이를 통해 자손을 생산하듯 유기적으로 다음 화면을 낳는 이 전환 방식은 <무제 3 (나는 그만둔다.)(Untitled 3 (I withdraw.))>에서 확인할 수 있는 것처럼 종종 이전과 비슷한 장면을 다시 보여주기도 한다. 수 세대 뒤에 다시 비슷한 역사가 반복되는 것처럼, 붉은 색감의 영상이 처음 등장한 이후 몇 분 지나지 않아 비슷한 형체를 갖추고 다시 등장한다. 오래된 영화의 한 장면을 환기하는 친숙한 인상의 이미지와 발전하다가도 회고를 거듭하는 듯한 시퀀스의 연결은 소셜미디어를 통해 여러 차례 보았던 여타 GAN의 이미지와는 다른 방식으로 구성되어 있음을 드러낸다.

Installation view of <Alchemical> 2021 bitforms gallery

‘압축된 시네마’ 시리즈를 짧게 감상할 수 있는 프로젝트 홈페이지3)에 소개된 바에 따르면 실제로 실험 영화에서 행해졌던 기존 필름을 편집, 재구성하여 새로운 서사와 이미지를 만들어냈던 선례를 따라 작업이 이루어졌다고 한다. 시리즈 내의 각 영상은 장편 영화 한 편의 프레임을 모두 학습한 GAN으로부터 제작된 10분 내외의 무빙 이미지로, 원본 영화를 인공지능과 함께 재해석한 결과로 볼 수 있다. 아방가르드 영화감독 켄 제이콥스(Ken Jacobs)의 <톰, 톰, 피리꾼의 아들>(1969)이 동명의 8분짜리 푸티지를 쪼개 그것을 수없이 순서를 바꿔 이어붙이고 재촬영하면서 115분 길이의 영화를 만들어 냈다면, 리스의 압축된 시네마는 반대로 1-2시간 길이의 영화를 10분가량으로 줄이되, 푸티지를 선별하고 재가공하는 과정을 인공지능 신경망의 도움을 받아 진행했다. 다양한 종류의 GAN 중에서, 리스는 가장 대중적인 디자인의 심층 합성형 생성적 적대 신경망(Deep Convolutional GAN)과 고화질 이미지 생성에 적합한 점진적 성장형 생성적 적대 신경망(Progressive Growing GAN)을 활용해 인공지능을 학습시켰다고 한다. 

학습 과정에서 생성되는 모델은 한 영화당 2-4주에 걸치는 오랜 훈련 기간을 거쳐 영화의 주된 시각적 패턴과 질감을 파악하게 되고, 이를 토대로 이미지를 제작할 수 있게 된다. 모델은 어렴풋하게 사람의 형체나 얼굴, 식물이나 풍경 등을 인지하는데, 그것을 인간이 받아들이듯 독립적인 단위의 개체로 여기지는 않기 때문에 종종 매우 언캐니(uncanny)한 형태로 패턴을 조합한 결과물을 내놓는다. 이처럼 인간의 인지적 모델이 아니라 GAN의 이미지 해석 모델로부터 도출된, 수학적 확률에 의거해 유사도가 높은 패턴들을 기워놓은 상태가 시퀀스 간의 예상치 못한 연결의 기초가 된다. 어느 순간 손에 잡힐 듯 명확하게 렌더링(rendering) 되었던 인물이 이내 풍경과 한 덩어리가 되어버려 추상적인 형체로 수렴해버리게 되는 것도 이 때문이다. 그렇게 ‘압축된 시네마’는 GAN만이 해석할 수 있는 확률화된 영화 속 시각 자극 패턴의 하이퍼스피어(hypersphere)4)를 버너가 제시하는 전자음의 리듬을 따라 유영하듯 선보인다.

<Untitled 3 (I withdraw.)> 2020

 HD video (color, sound) 60fps 10min loop

버너의 음악이 리스의 영상만큼 이 작업에서 의미가 있는 이유는, 기존에 잘 알려진, GAN으로 제작된 이미지들의 등속적인 변이과정을 담은 영상들과 차별화된 방식으로 영상의 시간성을 전달하는 데 큰 역할을 했다는 점에서 찾을 수 있다. 런웨이5)와 같은 보급형 소프트웨어가 GAN으로 생성한 이미지들을 하나의 시퀀스로 압축해서 제시할 때 각 이미지를 같은 시차를 두고 보여줬다면, ‘압축된 시네마’ 시리즈의 영상은 버너가 작곡한 음악과 템포를 맞추어 완급을 조절하며 변이 양상을 보여준다. 배경 음악에 작게 노이즈처럼 처리된 사운드를 따라서는 이미지가 변화를 기다리듯 미세하게 떨리다가도, 날카롭고 명료한 질감의 멜로디가 이어지면 빠르게 여러 컷을 진행하거나 색채나 명암 대비가 명확한 컷의 전환을 함께하는 식이다. 버너는 GAN으로 제작된 이미지들의 변환 양식을 잘 반영하기 위해 컴퓨터로 제작된 사운드를 잘게 쪼개서 재구성과 합성이 용이하도록 만드는 그래뉼라 합성법(granular synthesis)을 작곡 과정에 활용했다. 이 작곡 방식을 거치면 특정 음향 신호는 모호하게, 그 외 신호들은 예상치 못한 시점에서 매우 명료하게 들리도록 처리할 수 있어 인공지능으로 생성된 이미지의 복잡한 추상-구체 스펙트럼을 사운드스케이프(sound scape)로 풀어내기에 용이했을 것이다. 사운드와 동기화되어 변이되는 이미지는 좀 더 감각적인 시공간성을 부여받아 관람객의 몰입도를 높인다. 이 낯선 방식의 몰입 상태가 인공지능이 배경음악의 리듬을 따라 수행한 다차원의 벡터(vector) 연산 덕분에 가능했다는 점에 있어서 전시가 표방하고자 했던   <연금술>은 이미지를 넘어 관람객 경험에까지 효력이 있었다고 볼 수 있지 않을까?

<Untitled Film Still 3.2> 2020 Dye-sublimation 

on metal 17×17in 43.2×43.2cm framed

전시 <연금술>의 시각적 요소를 감독, 제작한 리스는 미디어아트, 인터랙티브 디자인을 공부했던 사람이라면 한 번쯤 이용했을 법한 프로세싱(Processing)이라는 자바 기반의 그래픽 프로그래밍 라이브러리를 개발한 이들 중 한 사람이다. 그의 작업은 소프트웨어를 주된 매체로 인쇄물과 설치 예술로까지 확장하고, 이번 전시에서 확인할 수 있듯 다양한 매체를 다루는 작가들과 협업하며 제너러티브 예술(Generative art)6)의 스펙트럼을 넓혀가고 있다. 한국에서는 ‘서울미디어아트비엔날레’, 대림미술관에서 작업이 소개된 바 있으며, 프랑스 퐁피두 센터(Centre Georges-Pompidou), 미국 휘트니 뮤지엄(Whitney Museum)과 샌프란시스코 현대미술관(San Francisco Museum of Art) 등에서 그의 작업을 소장하고 있다. 현재는 캘리포니아 주립대학(California State University) 로스앤젤레스 캠퍼스에서 교수로 재직하며 미디어아트를 가르친다. 리스와 협업하여 스테레오 오디오 트랙을 제작한 사운드 아티스트 얀 세인트 버너는 베를린을 기반으로 활동하고 있으며, ‘마우스 온 마스(Mouse on Mars)’라는 전자음악 듀오의 멤버로 잘 알려져 있다. 암스테르담의 라이브 퍼포먼스 중심의 전자 음악 센터 스타임(The Studio for Electro-Instrumental Music, STEIM)의 초청 디렉터로 재직하기도 하였으며, 현재는 독일의 뉘른베르크 대학(Academy of Fine Arts Nuremberg)에서 인터랙티브 아트와 사운드 리서치 프로그램을 가르치고 있다. PA

[각주]

1) 이안 굿펠로우(Ian Goodfellow)에 의해 2014년에 개발된 기계학습 프레임워크로, 두 개의 인공신경망이 게임을 하듯 보상을 받기 위해 대결을 하는 학습 방법.

2) GAN의 이미지 생성을 제어하기 위해 사용되는 다차원의 변수 집합. -1과 1 사이의 값을 가지며 이 값의 분포에 따라 생성될 이미지의 패턴이 결정된다.

3) http://www.compressedcinema.net

4) 3차원 이상의 공간.

5) 프로그래밍 경험 없이도 기계학습 모델을 학습시키거나 실행할 수 있는 툴을 제공하는 플랫폼. 

https://runwayml.com

6) 알고리즘을 작업 내부에 갖추고 있어서 자동화된 과정을 거쳐 결과물을 생성하는 예술.

글쓴이 김나희는 서울대학교 언론정보학과를 졸업하고 뉴욕의 시적연산학교(School for Poetic Computation)를 수료하였으며, 헌터 대학(Hunter College)에서 미디어아트를 공부하고 가르치고 있다. 다양한 종류의 네트워크 프로토콜을 연구하고 시각화하는 작업을 하며 현재는 웹을 기반으로 가상의 인격체를 연기하는 퍼포먼스 ‘나희앱(nahee.app)’을 진행 중이다. 아티스트 콜렉티브 업체eobchae의 일원으로도 활동하고 있다.