현재 위치
  1. Features
  2. Special Feature
현재 위치
  1. Features
  2. Special Feature
현재 위치
  1. Features
  2. Special Feature
현재 위치
  1. Features
  2. Special Feature
Issue 132, Sep 2017

뇌과학과 예술

Brain Science and Art

기준과 취향은 달라도, 누구나 좋은 것을 보면 감탄하고 아름다운 것과 마주하면 벅차오르는 감정을 느낀다. 그동안 사람들은 어떻게 이런 감정을 느끼는 것인지 심리학 관점에서 예술 감상 연구를 활발히 해 왔다. 하지만 이제, 현대 심리학을 뇌과학의 일환으로 접근하며 예술을 보고 감상하는 것에 또한 과학적 분석이 필요하게 됐다. 우리 몸의 모든 신경과 감각은 뇌로 연결된다. 그러니 시각적 인지력이 무엇보다 강조되는 예술 감상은 ‘뇌가 하는 예술 감상’이라 불러도 무방할 듯하다. 이번 특집은 아직은 아는 것보다 알아가야 할 것이 훨씬 많은, 소위 ‘소우주’라 불리는 뇌와 예술의 접점을 인지과학과 신경 미학을 중심으로 탐구하는 것이다. 덧붙여 지금 시대 온·오프라인 상 넘쳐나는 거대한 양의 정보를 직관적으로, 순간적으로 인지할 수 있도록 돕는 데이터의 시각화 및 인공지능의 문화·예술 활동에 대해서도 살핀다. 지금부터 쏟아지는 뇌과학과 예술의 기묘한 동행에 당신의 뇌 신경 하나하나가 열렬히 반응하기를 기대한다.
● 기획·진행 정송 기자

캐서린 도슨(Katharine Dowson) 'My Soul' 2005 Glass, laser etching of artist's brain 14×23×23cm ⓒ Image courtesy of GV Art and the Artist

Share this

Save this

Written by

김정한 서울여대 현대미술과 교수, 지상현 한성대학교 예술대학 학장, 민세희 데이터 시각화 아티스트

Tags

SPECIAL FEATURE Ⅰ

인지과학과 예술: 근현대 미술을 중심으로_김정한

 

SPECIAL FEATURE 

미술, 감성 그리고 신경미학_지상현

 

SPECIAL FEATURE 

기술도 아닌 것이, 예술도 아닌_민세희

 

 



얀 파브르(Jan Fabre) <Brain with angel wings> 

2011 bronze 26×30×24cmPhotographer: 

Pat Verbruggen Copyright: Angelos bvba


 



Special feature 

인지과학과 예술: 근현대 미술을 중심으로

● 김정한 서울여대 현대미술과 교수

 


이야기를 시작하며 (인지과학과 예술과 같은) 다소 딱딱하거나 모호한 용어들을 이 글의 논지에 알맞도록 일상적 언어로 풀어서 생각해 본다. 우선, 인지과학은 마음의 과학이다. 예술은 아름다움에 관한 활동 과정과 그 대상물이며, 여기서 아름다움은 예쁘다는 의미가 아니라 ‘앎’ 즉 나를 알고 세계를 바라볼 때 느끼는 인지적 측면에 방점이 있다. 마음의 과학은 상대적으로 새롭게 형성된 분야이다. 20세기 후반 인지혁명은 ‘정보’ 개념을 중심으로 인간의 마음과 뇌 그리고 컴퓨터를 연결하는 새로운 관점을 제시했다. 1940년대 사이버네틱스 이후 1950년대에 등장한 인지과학이 제공한 정보처리, 지식표상 등과 같은 이론적, 개념적 토대가 있었기에, 1980년대 이후 시작된 정보과학의 혁명이 가능했다


21세기 인지과학은 인문과학, 사회과학, 자연과학, 예술 등 기존의 학문 분야에 대한 분류를 거부한다. 20세기 전반기까지 과학은 물질과 생명체에 대한 연구를 수행한 반면, 오늘날 과학은 그 연구 대상을 인간 자신의 마음으로 확대하였다. 물질로 이루어진 컴퓨터가 인간의 마음을 모방하는 인공지능을 구현하는 것은 물질과 정신을 함께 연구한 결과이다인지과학에서 연구하는 마음은 인간의 마음만을 의미하는 좁은 의미가 아니라 인간 이외 생명체의 마음, 컴퓨터의 인공 마음 등을 포함하는 넓은 의미의 마음이며, 마음으로부터 기인하는 행위와 파생적 인공물까지 확장하여 마음-두뇌-컴퓨터-기타 인공물 간 상호 인지적 관계성을 다루는 학문이다


인지과학은 ‘마음은 컴퓨터’라는 은유에서 ‘마음은 뇌’라는 은유로 그 비유의 주 대상이 변화해 왔다. ‘마음은 컴퓨터’라고 생각한 고전적 인지과학 시기에는 마음의 작동원리가 정보처리 과정과 유사하다고 생각했다. ‘마음은 뇌’라고 생각하고 신경과학 분야가 주도적 역할을 수행한 신인지과학(neocognitive science)에서는 두뇌의 작동을 대량 병행주의(massive parallelism)에 입각한 병행분산처리(parallel dis- tributed processing, PDP) 개념으로 설명한다. PDP는 하나의 뉴런이 다른 뉴런에 계열적으로 정보를 전달하는 것이 아니라, 많은 뉴런들이 병행적으로 정보 자극을 분산 수용함으로써 두뇌가 동시다발적으로 작동한다는 주장이다. PDP에 의한 설명은 뉴런에서 뉴런으로 신호를 전달하는 시간이 컴퓨터의 전자적 전달 속도에 비해 매우 느리지만, 컴퓨터보다 훨씬 더 빠르게 지적 판단을 수행하는 뇌의 능력을 이해할 수 있게 해준다. 컴퓨터 과학자들은 인간의 두뇌를 흉내 낼 수 있는 병행처리 컴퓨터를 개발하기 위해 애써왔지만, 아직 성공적인 결과를 얻어 내는 데까지는 좀 더 시간이 걸릴 것으로 예상된다.1) 


인지과학, 컴퓨터과학, 뇌신경과학은 1940년대 이후 상보적인 관계를 유지하며, 21세기 새로운 과학관을 형성하는데 있어 주도적 역할을 하였다. 인지과학의 정보처리 개념에 힘입어 컴퓨터과학이 급속한 발전을 이루었고, 컴퓨터기술과 영상의학기술의 급속한 발전에 힘입어 뇌신경과학이 또한 눈부신 발전을 거듭하면서 컴퓨터과학과 인지과학에 새로운 영감을 불어 넣었다. 인공지능 연구가 0 1로 이루어진 디지털 컴퓨터의 구조적 문제 때문에 다소 정체된 시기도 있었지만, 두뇌의 신비가 하나 둘 밝혀지면서 컴퓨터가 두뇌를 모방하고자 하는 시도는 뉴로컴퓨팅(neurocomputing), 뉴로해킹(neuro hacking) 등의 분야에서 다시 활발해 지고 있다. 그러나 두뇌만으로 마음을 설명하는데 한계를 느낀 프란시스코 바렐라(Francisco J. Varela) 등의 인지과학자들은 체화된 인지(embodied cognition) 개념을 제안하기도 하였다.2) 체화된 인지, 즉 몸, 마음, 생태계를 함께 검토하는 것이 최근 인지과학의 또 다른 흐름이다.




헬렌 파이너(Helen Pynor) <Headache> 2008

 C-type photograph on Duratran, face-mounted 

173×39cm Edition of 5 +1AP Installation phtoraph: 

Danny Kildare  Courtesy of GV Art and the Artist




인지과학의 최근 활발한 연구 성과는 신경생리학적 측정기법에 기반을 둔 영상의학기술의 진보에 힘입은 바 크다. 과거의 뇌 연구는 인체 침습적으로 이루어졌기 때문에 윤리적 문제와 직면할 수밖에 없었다. 반면, 비침습적인 컴퓨터 단층 촬영법 CAT(computerized Axial Tomo- graphy) 또는 CT, 양전자 방출 단층 촬영법 PETT (Positron Emission Transaxial Tomography) 또는 PET 등은 뇌의 혈류량 변화 추이를 측정하여 뇌의 반응을 관찰한다. 과학과 예술의 관계를 고찰할 때, 흥미로운 관점은 관찰 기술의 변화를 살펴보는 것이다. 19세기부터 현재에 이르기까지 과학에 있어 보이지 않는 것을 보이게 하는 관찰기술의 발전은 시대의 문화적 비전을 변혁시켜 왔다. 조너선 크래리(Jonathan Crary)가 그의 저서 『관찰자의 기술』에서 고찰하고 있는 것처럼, 카메라 옵스큐라가 17-18세기 관찰자의 지배적 지위를 대변한다면, 19세기 봇물 터지듯 등장한 광학 장치들 중 변화한 관찰자의 지위를 대변하는 것은 입체경(stereoscope)이다.3) 카메라 옵스큐라와 입체경의 관계를 살펴보는 것은 인지과학의 역사와 근현대 미술사를 비교·분석하는 출발점이 될 수 있다. 


흥미로운 점은 인지과학의 역사가 미술사에 나타나는 지각과 관련된 문제의식들을 압축적으로 재검토하고 있다는 것이다. 고전적 인지과학은 철학적으로 데카르트(Rene Descartes)적 관점을 지니고 있었다. 즉 몸과 마음을 분리해서 바라보고, 보편적 인공지능이 컴퓨터 안에서 구현될 수 있을 것으로 생각하였다. 그러나 신인지과학에서는 몸과 마음을 함께 연구하며 다양한 관점에서 현상을 바라보는 현상학적 환원을 그 철학적 토대로 삼는 경향이 강하다. 이는 17-18세기 카메라 옵스큐라 시대의 사상이 주관성을 억압했던 것과 대조적으로 19세기 입체경의 시대가 주관적 시각을 중시한 변화와도 맥을 같이 하고 있다. 미술사에 있어 카메라 옵스큐라는 르네상스 시대에 완성된 원근법 회화로, 입체경은 세잔(Paul Cézanne)과 입체파 회화로 대비해서 이야기할 수 있다. 핵심적인 문제는 과연 우리가 본다는 것의 본질이 무엇인가 하는 것이다. 역사적 상상이지만, 만약 데카르트와 세잔이 만나 인지과학적 문제들에 관해 토론을 했다면 어떤 이야기들을 나누었을까인지과학과 예술, 즉 마음의 과학과 아름다움의 문제를 함께 생각하기 위해 다음의 인지과정을 염두에 두고 이야기를 나눠보고자 한다.

 

‘바라보다(음악의 경우는 ’귀 기울여 듣다‘가 될 것이다), ‘느끼다’, ‘알다’… ‘다시 바라보다’, ‘다시 느끼다’, ‘다시 알다’…‘새롭게 바라보다’, ‘새롭게 느끼다’, ‘새롭게 알다’…

 




김정한 <인지도-소파; 32 Ave. of Americas, NYC> 

2006-2008 디지털프린팅 85×120cm





‘바라보다.’ 우리가 바라본다는 것은 눈과 더불어 우리의 두뇌와 관련된 것이다. 카메라 옵스큐라는 일시점인 일안이며 수학적 원근법적이고 객관적이지만, 우리의 눈은 두 개인 양안이며 안구운동과 눈꺼풀의 깜박임 등이 있고 망막으로 전달된 시각정보를 뇌에서 재조합하고 주관적이며 생리적인 특징이 있다. 인지과학자들에 의하면, 눈과 뇌의 진화는 극적이기까지 하다. 인간의 눈은 기능적으로 다른 동물들에 비해 뛰어나지 않을 수도 있지만, 뇌의 능력이 이를 보완하여 우리가 감각하는 것보다 더 많은 것을 볼 수 있는 놀라운 인지적 창발성을 발휘한다. 리처드 L. 그레고리(Richard L. Gregory)에 의하면, 인간 눈의 망막은 중심부의 고도로 체계화된 구조에서부터 그림자의 이동만을 감지할 수 있는 망막 주변부의 원시적 눈의 구조까지 마치 진화의 시간여행을 하는 것과 같다고 언급했다. 우리가 엘 그레코(El Greco)나 고흐(Vincent van Gogh)의 회화 작품을 감상한다고 가정해 보자


그림에서 반사된 빛이 망막에 도달하면, 동시에 안구운동을 통해 특정 부분에 맞춰졌던 초점이 연속적으로 이동하게 된다. 그 과정을 좀 더 세부적으로 설명하면, 우리의 망막에서 즉각적으로 색채, 윤곽, 형상들이 감각 신호체계로 변환되고 우리 머리 뒤통수 부분의 두뇌 시각피질로 전달되어 세부특징을 분석한다. 이제 대뇌피질 전 영역이 활성화되고, 두뇌의 중심부에 있는 운동 피질을 통해 안구운동이 활성화된다. 안구운동을 통해 생성된 이미지의 단편들은 두뇌 전체에 신경망을 통해 전달되고 과거의 기억정보와 결합하여 그림의 의미를 해석하게 된다.


우리 인간이 바라본다는 것은 이러한 눈과 뇌 그리고 몸과 환경이 상호작용하여 이루어진다. 세잔의 작품에는 인간의 인지 과정 자체를 회화에 담고자 하는 각고의 노력이 고스란히 드러난다. 피카소(Pable Picasso)의 입체파 회화나 영화의 몽타주 기법 또한 인지 과정 자체가 투사된 예술형식을 찾아가는 실험이다. 필자의 <인지도>도 이러한 실험의 연장선에 있다. 장치 착용자의 안구운동과 눈의 상태를 실시간으로 기록하고, 그 순간 바라보고 있는 대상의 이미지를 동시에 기록하여 관찰자의 눈의 상태와 대상의 이미지를 함께 연결하여 보여주는 작품이다. 최근 세미어 제키(Semir Zeki), 로버트 솔소(Robert L. Solso) 등 몇몇 인지과학자들은 예술작품 분석을 마음의 문제를 푸는 실마리로 삼고 있다


흥미로운 점은 이들의 연구가 미술사의 연구성과들을 인지과학적으로 재검토하고 새로운 해석을 찾아가고 있다는 것이다. 예를 들어, 연구에 따르면 인간은 망막에 맺히는 이미지의 경계가 모호함에도 불구하고 모서리를 탐지해 내는 뛰어난 형태지각 능력을 보여준다. 한 가지 인지과학적 해결책으로 제시되는 것은“밝기대비가 망막의 인접 영역 간에 밝기의 차이를 강조하여서, 물리적으로 존재하지 않는 지각된 경계를 만들어 내는”4) 마하밴드와 외측 억제이다. 일종의 착시인 것이다. 신인상주의 화가 쇠라(Georges Seurat)는 윤곽선을 사용하지 않으면서 대비를 활용하여 모서리의 효과를 만들어 낸다.     





김정한 <인지도 장치> 2004-2008 

인터렉티브 미디어웨어러블 장치가변크기 





마이클 마모어(Michael Marmor)와 제임스 라빈(James Ravin)은 그의 저서 『Artists Eyes』에서 착시를 두 가지로 구분하고 있는데, 바로 우리 몸의 구조와 기능에 의한 하드웨어적 착시와 문화적 영향에 의한 소프트웨어적 착시이다. 앞서 언급한 마하밴드와 외측 억제는 하드웨어적 착시에 해당한다. 대표적인 하드웨어적 착시의 다른 예로는 Hering 착시와 Kanizsa 삼각형이 있다. Hering 착시는 망막의 중심부는 형태적 정확성에 특화되어 있고, 주변부가 방향성이나 움직임에 특화되는 있는 눈의 구조 때문에 직선이 다른 방향의 선들에 방해를 받으면서 발생하는 것이다. Kanizsa 삼각형은 미완성의 형태도 뇌가 경계 정보를 활용하여 없는 부분을 채우는 경향을 말하는데, 이는 눈에 있는 수광체 세포의 수에 비해 수광체에서 수집된 정보를 뇌로 전달하는 신경섬유의 수가 턱없이 부족한데도 불구하고 대상을 인지할 수 있다는 사실을 설명하는 예로 제시된다. 이는 시각정보를 단순화하여 신경 에너지 소모를 줄일 수 있도록 진화되었을 가능성을 추정하게 한다


회화 작품에서도 이를 발견할 수 있는데, 세잔의 미완성처럼 보이는 작품 <The Lime Klin>에서도 우리는 형태를 지각해 낼 수 있다. 오늘날은 익숙한 기법이 되었지만, 여러 선을 겹쳐가며 형태를 파악하는 레오나르도 다 빈치(Leonardo da Vinci)의 드로잉도 형태지각의 본질이 반영된 기법이다. 형태를 파악하기 위해 혼돈에 가까운 겹쳐 그려진 분절된 선들 속에서 최적의 형태를 추출하는 것은 복잡성 이론가들에게 창발로 알려진 과정, 즉 무질서와 혼돈에서 새로운 질서와 패턴을 추출하는 인지 과정을 보여준다.


반면, 소프트웨어적 착시는 사람마다 다른 교육이나 사회화 과정에서 기인하여 과거의 경험이나 기대에 따라 개인마다 다른 프로그램으로 대상의 정보를 처리하면서 발생한다. 윌리엄 허드슨(William Hudson)은 아프리카 원주민들이 코끼리와 영양 사이의 거리를 인지하는 방식이 서구의 원근법적 방식과 달리 크기나 중첩의 방법에 의해 평면적으로 인지한다는 사실을 밝혀냈다. 하드웨어와 소프트웨어의 차이는 다시 말하면 생리학적 관점과 심리학적 관점의 차이라고 말할 수 있는데, 인지과학은 이러한 측면을 모두 아울러 연구를 하고 있다. 이는 마음이라는 주제를 중심으로 분자 단위의 미시적 관점에서부터 사회문화적인 거시적 관점까지 연결을 시도하는 인지과학적 연구 태도의 단면을 보여준다. ‘느끼다.’ ‘느낌(feeling)’의 문제는 최근 인지과학 분야에서 중요한 화두가 되고 있다. 다학제적 학문인 인지과학은 시대의 변화에 따라 그 주도적 역할을 하는 학문 분야가 변화해 왔다


고전적 인지과학에서는 참여가 미미했던 철학과 미학 분야가 오히려 신경과학의 발전과 더불어 그 중요성이 크게 주목받고 있다. 몸과 마음의 연결 가능성을 실증적으로 연구할 수 있는 가능성이 점점 커지고 있기 때문이다. 안토니오 다마지오(Antonio Damagio)가 그의 저서 『스피노자의 뇌』에서 고백하듯, 지금까지 ‘느낌’은 과학의 영역 밖의 문제로 취급되었으나, 미래의 과학은 이 문제에 주목해야 할 것이다. 그렇다면, 예술은 느낌과 정서(emotion)와 같은 마음의 문제에 있어 기존의 관점과 태도를 유지해도 괜찮을까? 현재 인지과학은 마음이라는 문제에 대해 학문 분야 전체를 아우르며 과거의 지식을 재검토해가고 있는 것처럼 보인다. 그 속도는 무서울 정도여서 잠에서 깨어나 보면 이미 예술의 기존 관점과 태도를 지나쳐 가버릴지도 모른다.





데이비드 마론(David Marron), 페데리코 론카롤리

(Dr. Federico Roncaroli), 캐스(Kath) 

<Tissue Bank, Imperial College London> 

Photograph  Courtesy of GV Art and the Artist





한 가지 흥미로운 문제를 소개하고자 한다. 신경과학자 라마찬드란(Vilayanur S. Ramachandran)과 심리철학자 김재권 등이 논한 ‘감각질(Qualia)’ 개념이다. 감각질은 ‘날 것으로서의 느낌(raw feeling)’이다. 감각질의 문제에는 고통, 색과 같이 주관적이며 동시에 보편적인 특징이 공존한다. 라마찬드란에 의하면 감각질의 문제는 1인칭과 3인칭 설명을 조화시켜야 하는 것으로써 과학에서 해결되지 않았으나 가장 중요한 문제이기도 하다. 왜냐하면, 과학적 지식을 생산하는 과학자들도 주관적으로 느끼는 자아이기 때문이다. 예술가들은 자신이 자유롭다고 느끼는 자아와 주관성의 본질에 대해 지속적으로 질문을 던져야 한다. 사실 이 과제는 예술가들에게 익숙한 시시포스의 굴레이다


철학자들에게는 감각질 문제가 개인적 사밀성과 소통가능성과 관련된 문제이기도 하다. 이는 공감(empathy)의 문제와도 연결되며 이탈리아의 신경심리학자 자코모 리촐라티(Giacomo Rizzolati)에 의해 발견된 거울 뉴런(mirror neuron)에 관한 연구를 통해 새로운 전기를 맞이하고 있다. 거울 뉴런은 다른 사람이 하는 행동을 관찰하기만 해도 자신이 그 행동을 직접 할 때와 똑같은 반응을 일으킨다. 다른 사람의 행동을 보고 내가 하는 행동으로 느낀다는 것은 우리의 공감 능력을 설명하는데 중요한 사실이다. 예술 작품이 작가 개인의 내밀한 경험에서 창작되더라도 수많은 사람이 그 작품에 대해 아름다움을 느끼는 것은 1인칭과 3인칭을 연결하는 마음의 장치가 있는 것이 아닌가 하는 의문을 품을 만한 근거가 된다.


‘알다.’인지과학의 ‘인지(cognition)’는 앎과 지식(knowledge), 나아가 지각하는 대상이나 현상에 대한 이해를 의미한다. 그 대표적인 인지과학 연구 분야가 인공지능이다. 인공지능 연구는 알파고의 충격 이후 큰 관심과 동시에 미래에 대한 우려를 자아내고 있다. 최고의 인간 바둑기사에게 참패를 안겨준 인공지능이 예술가도 대체해 버릴 수 있을까? 인공지능이 미래에 어떤 일자리를 사라지게 할 것이며, 우리의 일상을 지배할지도 모르는 인공지능이 윤리적 판단을 할 수 있을 것인가? 그러나 사실 이런 우려는 미술사에 있어 새로운 것은 아니다. 사진 발명 이후 회화의 진화과정을 단순하게 비교할 수는 없지만, 예술은 인간의 의미를 새롭게 찾아갈 것이 분명하다. 예술과 인공지능의 관계에 있어, 앞서 언급한 사회적, 윤리적 문제와 더불어 인간 두뇌의 파생적 보조물로서 나아가 예술의 조력자로서 인공지능이 역할을 할 수 있을 것인가에도 관심을 가져야 한다


우리가 물질적 세계를 연구하거나 비물질적 세계를 연구할 때 그리고 그 연구 결과에 따라 지식의 체계를 구축하기 위해서 인간의 인지 과정과 그 능력의 확장 매개체로서 컴퓨터나 인공지능에 대한 이해가 필요하기 때문이다. 사실 생물학의 연구에 있어 천문학적인 데이터를 다루고 분석하고, 인구학에서 집단적 지향성을 분석하기 위해 데이터마이닝, 머신러닝 기술 등을 활용해 연구하는 것은 이미 보편화되어 있다. 데이터는 과학에서 뿐만 아니라 예술 분야에 있어도 매우 가치 있는 작품의 재료가 될 수 있다. 데이터 분석을 위한 시각화나 체험화 기법은 예술 분야가 인지과학을 매개로 과학 분야와 협업을 할 수 있는 실질적 분야이기도 하다.





얀 파브르(Jan Fabre) <Do we feel with our brain

 and think with our hear?> 2013 Note work: Color English

 spoken Duration: 15minutes Camera: Jacopo Niccoli 

Sound design: Elextroacoustic music by Sylvie Bouteiler 

Filming Coordination: Solares Parma Eiditing: 

Jan De Coster Assistant to the artist: Edoardo Cimadori

 Production: Angelos bvba Distributed by Lima Amsterdam 

Location: Parma University, Department of Neurosciences, 

Parma, Italy Copyright: Angelos bvba 

 

 


‘바라보다’, ‘느끼다’, ‘알다’ 그리고 다시 새롭게, 그리고 또다시 ….

 

인지과학 분야는 기존 과학 분야에서 보면 너무 추상적이고 요원한 문제에 매달리는 것처럼 보인다. 반면에 예술 분야에서 인지과학 분야를 보면 너무 세밀한 부분에 매달려 전체를 보지 못하는 것처럼 보인다. 과학과 예술이 근현대시대를 거치며 이질적 진화를 심화시켜 왔지만, 이제 서로 변이된 DNA를 합쳐야 할 필요성을 많은 과학자와 예술가들이 공감하고 있다. 왜냐하면, 인류가 물질적 문제를 어느 정도 해결했지만, 그 대가로 마음의 문제가 너무 꼬여버렸기 때문이다. 인지과학 분야도 새로운 영감이 필요하다. 예술은 그래도 느낌에는 자신이 있지 않은가?  

 

[각주]

1) 로버트 솔소(Robert L. Solso) Cognition and the Visual Arts MIT Press 1997 p.32-34

2) 프란시스코 바렐라(Francisco J. Varela), 에반 톰슨(Evan Thompson), 엘리노어 로쉬(Eleanor Rosch) The embodied mind: Cognitive science and human experience MIT Press 1991

3) 조나단 크래리(Jonathan Crary) 『관찰자의 기술-19세기 시각과 근대성』 임동근, 오성훈 외 역 문학과 과학사 1999 p.21

4) 헨리 글라이트만(Henry Gleitman) Psychology New York: W. W. Norton 1981 p.197

 

 

글쓴이 김정한은 미디어 아티스트, 인지과학자이자 서울여대 현대미술과 교수이다. 그는 타자와 좀 더 공감하고 싶어 예술가로서 인지과학과 의생명과학을 연구하고 있다. 그는 서울여대 대학로 캠퍼스에 B-MADE(의생명예술디자인교육)센터를 설립하고, 여러 분야의 전문가들과 함께 예술, 인지과학, 의생명과학 간 융합 연구를 진행하고 있다. 2015년 도시 집단감성 시각화 프로젝트 전시 <Emergent Mind of City III>  ZKM에서 열었으며 2016 B-MADE센터 기획으로 예술가, 의과학자, 미술사학자, 미학자, 심리학자 등이 함께 참여한 『마음의 장기, 심장』을 출판하였고, 2017년 국립과천과학관에서 인지과학특별전 <눈이 보는 것, 뇌가 보는 것>을 기획하였다.

 

 

 

진 코건(Gene Kogan) <큐비스트 미러(Cubist Mirror)>,

 <칸딘스키 미러 (Kandinsky Mirror)> 2016 

OpenFramworks, Computer, Web cam, Cubist painting

 image, Kandinsky painting image Software based 

on Chainer Fast Neural Style Models 


 



Special feature

미술, 감성 그리고 신경미학

● 지상현 한성대학교 예술대학 학장

 


#에피소드 1 : 고교 시절 필자는 입시학원 홍보용 광고지에 실린 로댕(Auguste Rodin) <까미유 클로델의 두상(Head Portrait of Camille Claude)>에 매혹됐었다. 사실 지금도 좋아한다. 그러나 같이 본 친구들 가운데 필자만큼 그 작품에 매혹되었던 사람은 없었다. 예술 감상에는 내밀한 개인적 취향이 작용한다. 예술효과를 과학적으로 분석하기 어렵게 만드는 요인 중 하나다.

 

#에피소드 2 : 타일러(C. Tyler)는 잭슨 폴록(Jack- son Pollock)의 작품 속에서 프랙털(fractal)적 질서를 발견해 학계의 주목을 받았다. 프랙털은 자연에 널려있는 자기 반복적 형상을 말한다. 예컨대 인공위성에서 본 해안선의 굴곡은 해안가에 서서 바라본 국소적인 해안선 굴곡과 유사한데 같은 형상이 더 작은 단위에서도 반복되기 때문이다. 타일러는 잭슨 폴록이 물감을 캔버스에 뿌리는 동작에서 프랙털적 질서를 찾았다. 손목을 이용해서 뿌리는 것은 팔꿈치를 이용해서 뿌린 궤적의 작은 반복이고 더 크게는 어깨를 움직여서 뿌린 궤적에서 다시 반복된다. 이런 프랙털적 요소가 주는 유기적 질서감, 리듬감을 잭슨 폴록이 알고 했을 리 없다. 그는 그저 예술가의 직감과 통찰에 따랐을 뿐이다. 감상자들 역시 프랙털 형상을 무의식적(정확하게는 역하지각(                  ))으로만 지각한다. 하지만 프랙털이 주는 감성은 의식한다. 이는 예술작품에는 그것을 만든 작가가 의도하지 않은, 감추어진 지각장(perception field)이 작동하고 있다는 것을 암시한다.

 

#에피소드 3 : 고양이에게 얼굴을 물어 뜯겨 안면이식 수술을 해야만 했던 프랑스 여성 이야기다. 여러 합병증으로 생을 일찍 마감했지만 안면이식 후 그녀가 했던 말이 인상적이다. 요지는 이렇다. “얼굴을 갖게 되자 비로소 나를 되찾은 것 같다. 그동안은 울고 웃는 내 감정이 내 것처럼 느껴지지 않았고 공중에 붕 떠 있다는 느낌이었다.” 이 말은 표정이 뇌의 지휘를 받는 수동적인 반응이 아니고 다시 뇌로 피드백되어 ‘자기(self)’와 감정을 연결시키는 기능을 한다는 것을 보여준다. 이로 미루어 뇌는 우리가 알고 있는 두개골 속에만 있는 것이 아니라 얼굴, 더 나아가 온몸에 퍼져있다는 것을 알 수 있다. 몸 전체가 뇌인 셈이다. 최근 인공지능이 이끌 4차 산업혁명을 이야기하는 사람들이 많다. 그러나 인공지능을 진지하게 연구하는 사람들은 그렇게 생각하지 않는다. 4차 혁명이라 부르려면 적어도 인공지능 연구의 패러다임이 바뀌어야 한다. 현재는 그저 동일한 연장 선상에서 순차적으로 신경망→ PDP(Parallel Distributed Processing)→ 딥러닝이라는 계단식 발전이 이루어지고 있는 정도다. 새로운 차원의 인공지능기술을 위해서는 육체와 뇌의 관계, 지능과 감성의 관계 등에 대한 구체적인 그림이 그려져야 한다. 그러나 아직은 요원하다.





리사 박(Lisa Park) <좋은 생각 II(Eunoia II)>

 2016 스피커알루미늄판

스피커와이어오디오 인터페이스엠프, EEG(뇌파), 

헤드셋 ⓒ Lisa PARK 

 




세 가지 에피소드를 소개했다. 이 에피소드들은 각기 예술적 아름다움의 상대성, 다차원적인 감상과 창작과정, 인간 이해의 핵심인 감성과 그것을 이해하는 것의 어려움을 보여주는 것들이다. 이런 난제들을 염두에 두고 미술 심리학 혹은 신경 미학의 현재와 그 가능성을 살펴보자. 심리학 특히 지각 및 인지 심리학계에는 매우 독특한 전통이 생겨나고 있다. 이 분야의 세계적 대가들이 은퇴한 뒤 미술 심리학에 매진한다는 것이다. 솔소(Robert L. Solso), 제키(Semir Zeky), 라마찬드란(V. S. Ramachandran) 등이 그러한데 모두 지각 심리학계를 이끌던 대가들이다현역시절에는 지각 및 인지심리학의 본류 연구에 매진하다 은퇴 후에는 현역시절 지켜야 했던 과학적 엄격성을 버리고 좀 더 자유롭게 추론 위주의 미학 연구를 하고 있는 것이다. 이런 현상은 과학 일반에서 지키고 있는 측정 및 검증 가능성, 수량화 등의 기준을 지키기에는 예술적 경험이 너무 복합적이고 은밀하기 때문이다하여간 모든 미술 심리 연구에는 한 가지 기본 가정이 깔려 있다


바로 쾌감중추다. 1955년 캐나다 맥길 대학(McGil University)의 올즈(James Olds)와 밀러(Peter Milner)가 발견한 쾌감중추는 변연계 깊숙이 자리 잡고 있는데 이곳에서 뇌의 전 영역으로 도파민, 엔도르핀과 같은 내인성 마약을 방출한다. 내인성 마약에 의해 경험하게 되는 쾌감은 그 강도가 미약한 것부터 우리를 압도할 정도로 강렬한 것까지 다양하며 모든 미적 경험의 씨앗이 된다. 이 쾌감은 맥락에 따라 다양하게 해석되는데 미술에서는 아름다움, 세련됨, 예쁨, 음식이라면 맛있음, 놀이에서는 재미가 된다. 쾌감이라는 씨앗에 다양한 감성이 더해지면 전체적 아름다움이 결정된다. 예컨대 쾌감에 부드러운 느낌, 참신한 느낌이 더해진 것이 모네(Claude Monet) <수련(Water Lillies)>이고 역동성과 견고함이 더해진 것이 쿠르베(Gustave Courbet) <바다(The Sea)>미술에서의 쾌감과 관련된 부위는 전전두 안와영역과 측핵, 청반 등이다. 음악이라면 전전두 안와영역은 별 역할이 없을 것이다. 이렇게 뇌의 특정 영역을 콕 집어 말할 수 있게 된 것은 f-MRI 기술 덕분이다. 일반적인 MRI와 달리 뇌의 특정 영역의 혈류량 변화를 볼 수 있는 장치인데 덕분에 뇌 과학은 엄청난 발전을 이룰 수 있었다. 신경미학도 그 덕을 봤다. 그렇다고 혈류량의 변화를 넘어서는 구체적인 뇌의 작용을 알 수 있는 것은 아니다. 그 너머는 여전히 우리의 추론에 기대고 있다. 앞으로 새로운 뇌 연구 장치가 개발되지 않는다면 신경미학계가 이룬 현재의 발전 속도를 계속 유지하기는 쉽지 않을 것이다.





리사 박(Lisa Park) <좋은 생각 II(Eunoia II)> 

2016 스피커알루미늄판스피커와이어오디오 인터페이스,

 엠프, EEG(뇌파), 헤드셋 ⓒ Lisa PARK 





이런 장치가 나타나기 전에는 감상자들의 경험과 반응을 관찰(언어적 반응, 뇌파, 피부전기반응, 심장박동, 손가락 온도, 동공 크기, 눈 운동측정 등)하고 이를 토대로 감상과정을 개념적으로 모형화하는 연구가 이루어져 왔다. 지금도 이런 개념모형이 f-MRI 연구에 아이디어를 제공하고 있다. 예컨대 그리스의 조각상을 볼 때 앞서 말한 전전두 안와영역, 측핵 등의 영역과 더불어 두정엽에 있는 운동영역이 같이 활성화되는 것을 최근 발견했다. 이는 기존의 개념적 감상모형에서 이미 예측하던 것인데 조각된 인물이 취하고 있는 자세와 동작을 감상자가 마음속으로 따라 하는 체화(embodiment)과정 때문이다.쾌감시스템과 관련한 중요한 의문점은 “어떻게 쾌감중추를 작동시키느냐”이다


버라인(D. E. Berlyn)이나 크라이틀러(H. Kreitler)는 미술작품 속의 특정 요소(색채 혹은 형태대비와 같은)가 심리적 긴장(혹은 각성 수준)과 이완의 연쇄를 만들어 내고 이 연쇄가 쾌감시스템을 자극한다고 주장한다. 이 주장을 뒷받침하는 것은 각성 수준을 관장하는 부위가 쾌감시스템과 아주 가까이 있다는 사실이다. 뇌에서는 가까운 영역은 서로 연동되어 움직이는 법이다그런데 여러 미술 경험들을 관찰하면 쾌감중추를 자극하는 통로가 각성 통로 이외에도 무수히 많다는 것을 알 수 있다. 예컨대 까미유 클로델 두상이 필자의 쾌감중추를 자극했다면 왜 다른 친구들의 쾌감중추는 자극하지 않았을까? 그것은 각성 수준의 증가와 이완의 연쇄라는 보편적 요인이 아닌 개인적 요인이 작동했기 때문이다. 아마도 필자의 심리적 욕구가 충족되자 쾌감시스템이 작동한 것일 텐데 아직 그 과정을 뇌과학이 설명하지는 못한다


현재의 신경미학은 미술작품의 특정한 특징들, 예컨대 배색이나 채색법, 특정한 배치, 형태 등이 우리 뇌 속에서 어떻게 처리되며 그 처리 과정이 갖는 심미적 의미는 무엇인가를 찾는 연구들이 주류를 이루고 있다. 아직 전체적 감상과정을 그려낼 정도는 아니다이런 연구들은 미술의 아름다움을 이해하는데 대단히 중요한 토대연구다. 필자도 이런 연구에 관심이 많다. 하지만 그 한계도 분명하다. 신경미학 연구들은 양식(style)의 문제에 집중할 수밖에 없고 미술작품의 정신사적 문제, 특히 현대 미술의 메타콘텍스트나 인문학적 의제설정의 문제 등을 다루기에는 적합하지 않다. 미술학 분야의 정신사적 연구와 신경미학을 위시한 미술 심리학의 연구를 통합할 또 다른 단계의 상상력이 필요하다이제 감성에 관해 이야기해보자. 감성은 당연히 모든 예술의 핵심 요소지만 예술을 넘어 모든 인간 행위와 사고를 결정하는 요인이기도 하다.




 

대전시립미술관 <프로젝트대전 2014: 더브레인>

(2014.11.22~2015.2.8) 전시 전경 





감성에 관하여


감성이 무엇인지 명확히 정의하는 일은 쉽지 않다. 감성의 영어표현조차 마땅한 것이 없다. 일본에서는 일본어 발음 그대로 ‘Kansei’라고 하고 우리나라에서는 ‘emotion & sensibility’라고 한다. 필자는 ‘affect’가 적당하다고 생각하는데 맥락에 따라 ‘image, feeling, mood, sensation’ 등이 더 적합해 보이는 경우도 많다. 필자가 즐겨 인용하던 정의는 정찬섭의 “비인지적 내적 상태”라는 것이었지만 최근 들어 흔들리고 있다. 정의가 잘못되었다기보다 상상했던 이상으로 감성이 우리의 생각과 행동을 지배하고 있어 뭔가 좀 더 적극적이고 강한 정의가 필요하다는 생각 때문이다미술과 관련하여 살펴봐야 할 대목은 두 가지다. 첫째는 감성은 무엇이며 어떻게 우리의 생각과 행동을 지배할 수 있는가 하는 것이고, 둘째는 한 사람의 감성이 다른 사람에게 어떻게 전달되는가 하는 문제다. 먼저 감성에 관한 그간의 뇌과학 성과를 요약해보자감성연구의 시작이라고 할 만한 것은 다윈(Charles Darwin)의 저서, 『인간과 동물의 감정표현(The Expre- ssion of Emotions in man and animals)』이다. 이 책에 실린 진화론적 설명이 이후에 이루어진, 형용사(감성어)들을 이용한 통계학적 감성연구 해석의 토대가 된다


통계학적 감성연구의 대표적인 학자가 오스굿(Charles Osgood)이다. 한동안 이런 연구가 주를 이루었고 1980년 러셀(James Russell) 등이 뇌의 각성(활성화)과 좌우 뇌의 좋고 나쁨에 대한 비대칭성(우뇌는 부정적 감정, 좌뇌는 긍정적 감정에 우세)의 조합양상으로 다양한 감성을 설명했다이후 이 두 가지 방식이 병행되어 오다 새로운 흐름이 추가되기 시작했다. 바로 마케팅 용도의 감성연구가 그것이다. 소비자로서의 인간을 지극히 감성적인 존재로 보기 시작한 것이다. 처음에는 성격이론 등을 토대로 감성을 연구하다가 소위 말하는 신경마케팅으로 발전해 오늘에 이르고 있다이후 신경미학과 신경 마케팅은 연구를 공유하며 같은 박자로 발전해 오고 있다. 감성과 관련한 뇌 과학의 가장 중요한 성과라면 뇌내 화학물질의 중요성에 주목하기 시작했다는 점이다. 기폭제가 된 것은 퍼트(Candace B. Pert)의 연구였다. 마약이나 알코올 중독과 관련한 연구를 하던 퍼트는 펩타이드라 불리는 신경전달물질의 다양한 역할을 발견한다.





박경근 <1.6> 2016 2채널 비디오오디오 설치,

 컬러유성 CH1 16:56, CH2 12:26 오디오 33:31 





우리의 뇌를 구성하는 뉴런들은 여러 화학물질에 의해 커뮤니케이션을 한다. 그 가운데 사람의 성격이나 감정과 밀접한 것도 많은데 호르몬으로는 에스트로젠과 테스토스테론, 코르티솔, 신경전달물질로는 도파민, 엔도르핀, 옥시토신, 프로락틴 등이 대표적이다. 예컨대 출산 시기에 급격히 혈중농도가 높아지는 옥시토신이 여러 이유로 충분치 않으면 모성애가 없는 냉혹한 엄마가 된다. 이런 뇌내 화학물질의 작용을 보면 과연 우리에게 ‘자유의지’란 것이 있는지 자문하게 된다하여간 우리는 이런 뇌내 화학물질의 양상에 따라 기본적인 기질이 달라지게 된다. 예컨대 옥시토신, 프로락틴, 감마아미노낙산, 코르티솔 등의 분비가 상대적으로 많으면 주변 사람이나 환경과 조화로운 관계 등을 중시하는 성격이 된다


반면 도파민과 같은 내인성 마약 물질과 아세틸콜린 등의 분비가 많은 경우에는 새로운 것과 재미, 자극을 좋아하게 되고 도파민, 테스토스테론, 노르아드레날린, 아세틸콜린 등의 분비가 많으면 남을 지배하거나 경쟁심이 많은 기질이 두드러진다잠시 복잡한 이야기들을 했는데 요약하면 뇌내 화학물질에 의해 우리의 감성적 기질이 결정된다는 이야기다. 미술과 관련하여 이야기하면 좋아하는 색, 형태, 구도 등에 대한 주관성이 이 감성적 기질에 의해 결정된다고 할 수 있다. 예컨대 조화로운 관계를 중시하는 사람들은 유사색 중심의 조화배색과 부드러운 곡선적 형상을 선호한다. 반면 자극적인 것을 좋아하는 사람들은 특이하고 재미있는 소재나 표현기법을, 경쟁심이나 지배욕이 강하면 강한 대비의 색과 형태 그리고 보수적인 구도를 좋아한다. 물론 문화적 환경 등 다른 요소들을 고려하지 않았을 경우다. 그리고 이런 뇌내 화학물질의 선천적 차이가 무엇에서 비롯된 것인지는 아직 모른다.





니꼴라 뤼벵스타인(Nicolas Rubinstein)

 <텔레마쿠스 프로젝트 II(Le Projet Telemachus II)> 

설치 전경 2013 오브제, 혼합매체 ⓒ Nicolas Rubinstein





감성에 관한 또 다른 문제는 감성이 전달되는 방식이다. 예컨대 빨간색은 어떻게 강렬하고 화려하면서 요란스러운 느낌을 전달할 수 있는가 하는 문제를 말한다. 이를 설명하는 무수히 많은 이론이 있다. 앞서 이야기한 체화과정 같은 것도 이 전달과정을 설명하는 요소의 하나다. 그런데 대부분의 이론에는 중요한 감각 통로 하나가 빠져 있다. 바로 공감각(Synaesthetia) 통로이다. 예상컨대 앞서 이야기했던 잭슨 폴록의 경우를 포함하여 미술의 감성적 효과의 전달과정에 대한 해답은 이 공감각 기제에서 나올 것이다. 그러나 공감각에 대해서는 아직 밝혀지지 않은 부분이 많다. 신경미학을 포함해 미술에 대한 과학적 연구를 짧게나마 개관했다. 아직 이런 과학적 연구가 가야 할 길은 멀다


심리학의 마지막 연구주제는 아름다움이 될 것이라는 말이 있다. 그만큼 아름다움의 연구는 어렵다는 이야기다. 최근 들어 아름다움에 대한 연구가 활발히 이루어지고 있다는 점 때문에 이 문제가 곧 풀릴 것처럼 생각하는 사람들이 있지만 그렇지 않다. 도리어 아름다움의 문제가 다른 심리학 연구 주제들과 밀접하게 연관되어 있어 가야 할 길이 지난하다는 점만을 깨닫게 하고 있다더구나 미술은 수동적으로 아름다움을 추구하는 일이 아니다. 현대에 있어 미술의 중요한 역할의 하나는 아름다움을 규정하는 일이라 생각한다. “이 시대, 이 사회에서는 이것이 아름다움이다”라고 규정하는 일은 과학의 영역이 아니다. 과학과 산업의 발전 속에서 인간다움을 지키려는 인문학적 모색이고 인류의 비전을 다루는 일이다.  

 


글쓴이 지상현은 한성대학교 예술대학 학장이며 교수이다. 연세대학교 대학원 심리학과 박사인 그는 미술 심리학을 연구하고 있다. 초기에는 뇌와 아름다움의 관계, 미술 양식분석 등을 하다 최근 들어 그간의 미술 심리에 대한 성과를 토대로 한·중·일의 미의식(감성적 기질) 비교 분석에 집중하고 있다.

 


 


구글 아트&컬쳐 프로젝트(Google Art&Culture project)

 <t-NSE Map> Digital media(Online service) 

https://artsexperiments. withgoogle. com/tsnemap/





Special feature

기술도 아닌 것이, 예술도 아닌

● 민세희 데이터 시각화 아티스트

 


데이터, 시각화, 그리고 기계학습. 이제는 어디에서도 마주칠 수 있지만, 여전히 낯선 단어들이다. 핸드폰 약정 계약서에도, 차트를 그려주는 엑셀 파일에서도, 그리고 하루가 멀다 하고 쏟아지는 인공지능 관련 뉴스에서도, 데이터와 시각화, 그리고 학습하여 스스로 판단할 수 있는 컴퓨팅 환경은 분명 우리 주변에서 떠돌고 있지만, 여전히 가깝지는 않다. 그저 기술에 대한 먼 이야기로 보일 뿐, 나의 일상과 우리의 생각에 영향을 줄 수 있는, 기술 이상의 어떤 가치를 가질 수 있는가에 대해서는 아직 잘 그려지지 않는다. 오히려 기능에 대한 설명이 필요한 단어들로 보일 뿐, 시각화하고 데이터를 학습하는 기계장치들이 우리의 진지한 성찰과 생각에 필요한 무엇이 될 수 있을까? 결론부터 말하자면 내 생각은 그렇다. 왜냐하면 데이터, 시각화, 그리고 기계학습은 우리로부터 나와서 우리를 닮아가고 있으며, 그렇게 우리를 반추하고 있기 때문에 우리가 우리 자신을, 그리고 도시를, 사회를 이해하고 스스로 되돌아볼 수 있는 장치로써 이보다 완벽한 환경은 없을 것이기 때문이다. 데이터, 시각화, 그리고 기계학습은 우리로 하여금 생각하게 한다.

 


데이터


데이터는 사실의 조각들이다. 내가 사용하고 있는 디지털 기기들, 핸드폰, 컴퓨터, 그리고 대화가 가능해 보이는 스피커에 청소기, 자율주행 자동차까지, 이 모든 디지털 환경은 나의 행동을 하나하나 디지털화하여 기록하고 있다. 누구와 무슨 이야기를 했는지, 언제 어디서 사진을 찍고, 누구에게 메일을 보냈는지, 이메일의 제목만 수집해서 보더라도 나의 직업과 휴가계획도 파악할 수 있으며 내 핸드폰에 깔린 어플의 사용량을 추적하면 나의 일상과 관심사를 쉽게 읽어낼 수 있다. 데이터는 이처럼 개인의 모습을 기록하고 있고, 이 개인의 기록들이 모여서 사회를 말해주고 있다. 사람들의 대중교통 사용이 그 도시의 하루를 보여주기도 하고 사람들의 검색데이터를 통해 지역별 관심사를 찾아낼 수 있는 것처럼 말이다. 이처럼 데이터는 소소한 개인의 일상으로부터 거대한 네트워크 환경에서 일어나는 일들, 더 멀리는 우주에서 일어나는 일까지 기록하고 있다. 우리는 이 사실의 조각들을 모아서 필요한 정보를 만들기도 하고, 지금까지 몰랐던 우리의 모습을 다양한 시각에서 해석할 수도 있다. 마치 도시의 예산 지출 데이터가 그 도시가 어떤 도시로 발전하고 있는지를 설명할 수 있음과 동시에 나와 연관성이 높은 이 도시의 프로젝트들이 무엇이 있는가를 보여주듯이 말이다


그렇다고 이 데이터들이 세상 전부를 기록하고 있지는 않다. 디지털 환경에 노출되지 않은 소수민족들, 인스턴트 메신저에서 쓰이지 않는 소수언어들, 그리고 디지털 기기를 사용하지 않는 사람들 등 디지털 환경 속 상대적 소외자들은 그들을 반영하고 있는 데이터의 부재로 인해 존재감이 약할 수도, 그래서 상대적으로 힘을 갖기 어려울 수도 있다. 이처럼 우리가 만질 수 있는 데이터는 그 거대한 양에 비해서 한정적이기 때문에 우리 손에 쥐어진 데이터로 ‘마치 세상은 다 이런 거야’라고 단정 짓는다면 분명 해석의 오류가 일어날 수 있음을 인지하고 접근하는 자세가 필요하다. 물론 제한적이며 한정적 데이터라고 가치가 없는 것은 아니다. 여전히 지금까지 알지 못했던 것들, 분명 존재했지만 막연했던 것들을 드러낼 수 있는 중요한 재료이기도 하며 이런 데이터를 따라가 보면 우리가 가지고 있는 근본적인 문제, 사회에 퍼져있는 이해할 수 없는 어떤 모습에 다다를 수도 있기 때문이다. 이렇게 데이터는 우리의 기록이다.





구글 빅 픽쳐 그룹브레인 팀

(Google Big Picture Group, Brain Team) 

<Visualizing High Dimentional Space> 

2015 Digital media(Online service) 

https://experiments.withgoogle.

 com/ai/visualizing-high-dimensional-space 

 

 


시각화


그래서 데이터를 시각적으로 경험한다는 것은 우리 자신을 그리고 우리가 살고 있는 사회를 이해할 수 있는 단초가 된다. 사실의 조각들인 데이터를 시각화하는 것은 일어난 일들, 그리고 지금 일어나고 있는 일들을 있는 그대로 포장 없이 보여주는 것이기 때문에 우리가 처한 현실을 일방적인 프레임이 아닌 다각적으로 경험할 수 있을뿐더러 이는 곧 각자 개개인의 해석을 가능하게 한다. 우리는 모두 다른 경험과 이해를 가지고 있기 때문에 같은 데이터를 본다 하더라도 각자의 처한 상황에 따라, 이해에 따라 다른 해석을 떠올릴 수 있기 때문이다. 그리고 이 경험을 공유하게 된다면, 하나의 현상을 얼마나 다양하게 받아들이고 있는지, 그래서 나와 다른 타인의 시선을 얼마나 많이 경험할 수 있는 지도 가치 있는 일이다. 내 생각을 더 넓고 깊게 만들어 우리를 성숙하게 할 수 있으니까. 하지만 사실을 있는 그대로 보는 것이 언제나 즐거운 일일 수는 없다. 데이터는 내가 원하는 대로 딱 그만큼만 존재하지는 않기 때문에 사실의 기록인 데이터를 보고 있노라면 내가 기대했던 모습뿐만 아니라 내가 보기 싫었던, 감추고 싶었던, 지금까지 몰랐던 모습까지 같이 보게 되는데, 이처럼 포장 없는 모습을 보는 것이 매번 유쾌할 수는 없다


과거 진행했던 프로젝트 중 한 기관에서 일하는 사람들의 행동 데이터에 따라서 변형되는 조형물을 진행한 적이 있는데, 클라이언트는 다이내믹하게 움직이는 조형물을 기대했지만, 실제 수집되는 데이터는 그들의 기대만큼 다이내믹하지 못할 것이기 때문에 서로가 난감할 수밖에 없었다. 만약 그 조형물이 기대만큼의 활동적으로 움직이길 바란다면 수집한 데이터를 조정하거나 바꾸는 것이 아니라 그 기관에서 일하는 사람들이 활동적으로 움직일 수 있는 프로그램을 제공해야 하는, 좀 더 근본적인 문제를 풀어야 한다. 어쨌든 인간은 현실을 마주하게 되면 마음이 불편해진다. 잔뜩 꾸며진 모습에 익숙해져 버린 사람일수록 스스로의 실체를 마주하는 것이 어렵기 때문이다. 하지만 우리가 더 나은 인간이 되고, 더 나은 사회가 되려면 이 불편함을 시작으로 하나씩 고쳐나가며 성찰하는 과정이 필요하지 않을까? 잘 꾸며낸 결과가 아닌 우리가 안고 있는 문제들을 인식하고 개선해 나가는 것이 데이터 시각화를 통해 경험하는 가치가 아닐까? 다양한 시각의 경험과 자아 성찰의 계기 말이다.



 

랜덤웍스

 <도시데이터서울시 일자별 지출 정보 시각화>2014 디지털 미디어(소프트웨어) 21×4m 




기계학습


다양한 시각의 경험과 자아 성찰의 계기는 나의 데이터를 스스로 보는 것뿐만 아니라 나를 닮아가는 타자를 통해서도 가능하다. 어떻게 보면 나의 데이터를 스스로 경험한다 하더라도 자기 성찰보다는 인정하지 않음과 회피로 이어질 수 있다. 우리는 나약한 인간이기에 사실을 마주함에 있어서 모두가 같은 크기의 용기를 낼 수 없음은 당연하다. 그러나 우리가 쏟아낸 데이터를 학습해서 우리의 모습을 그대로 닮아 가고 있는 인공지능, 스스로 학습하고 판단하는 기계학습 환경은 우리의 모습을 그대로 반추하고 있기 때문에 어떻게 보면 나 자신을 스스로 돌아볼 수 있는 좋은 사회적 거울이 될 수 있다. 마치 아이가 부모의 행동과 생각을 그대로 따라 할 때 우리 자신을 스스로 돌아보게 되는 것처럼. 2016년 말에 마이크로 소프트에서는 Tay라는 챗봇을 트위터에 런칭했는데 이 챗봇은 10대 소녀의 아이덴티티를 가지고 있었으며 누구나와 트위터에서 대화할 수 있었다. 하지만 일주일이 지난 후 이 챗봇은 인종차별주의자적인 발언과 비속어를 배워서 과격한 발언을 쏟아내고 있었는데 그 일주일 동안 사람들이 Tay에게 끊임없이 비속어를 가르쳐주고 인종차별적인 대화를 했기 때문이다


그래서? 마이크로 소프트는 결국 이 챗봇을 일주일 만에 계정 삭제했다. Tay처럼 극단적이진 않지만 ‘뉴럴 스토리 텔러(neural-storyteller)’ 프로젝트의 경우 1,004백만의 로맨스 소설 구절과 테일러 스위프트(Taylor Swift) 노래 가사로 학습한 기계 환경을 만들어서 어떤 이미지를 입력하든지 간에 그 이미지의 맥락과는 상관없이 그 이미지에 대한 이야기를 학습한 대로, 학습한 만큼의 로맨스 소설 화법으로 표현하고 있다. 이 프로젝트 역시 학습하는 기계 환경에 대한 기술적 설명보다는 그래서 이 인공지능이 어떤 데이터로 학습했는가, 우리는 이 기계 환경에 무엇을 가르쳤는가에 대해 생각하게 한다. 과연 우리는 어떻게 행동하고 있는 것인가. 우리는 인공지능이 잘 학습하고 올바르게 행동할 수 있도록 제대로 행동하고 있는 것일까? (‘뉴럴 스토리 텔러’는 스모선수들의 경기 이미지를 “셔츠를 벗은 그 남자는 내게 키스하려고 기대왔다"라고 표현했다) 우리를 배우고 있는 인공지능은 우리를 돌아보게 한다.

네임리스 건축랜덤웍스에너지 연구원 

<,(풍루) naturally forced, essentially formed>

 2013 디지털 미디어(소프트웨어설치

제주도 김녕리 올레길 20 


 


인공지능의 이해


이처럼 기계는 우리를 배우고, 닮아가고, 그리고 또 그렇게 우리와 함께한다. 내가 유튜브에서 어떤 영상을 찾아봤기 때문에 내가 좋아할 만한 영상을 미리 찾아주기도 하고, 내가 어떤 라이프스타일을 추구하기 때문에 그에 맞춘 길로 안내하기도 한다. 뉴럴 네트워크, 인공신경망이라고 하는 인간의 뇌 구조와 닮아있는 네트워크 구조는 주어진 데이터를 학습하고 분류하며 비슷한 것들끼리 군집화를 하기도, 그래서 데이터 속에 숨겨진 패턴을 학습하고, 이를 기반으로 음악을, 그림을, 글을 생성한다. (여기서 인공지능은 인간처럼 글을 쓰거나 그림을 그린다고 표현하지 않는다. 대신에 제너레이트, 즉 알고리즘에 의해서 생성한다고 말하는 게 정확한 표현이다) 수십만 개의 데이터를 학습하고 그중에서  중요한 요소에는 더 높은 가중치를, 중요하지 않다고 판단되는 요소에는 상대적으로 낮은 가중치를 부여해 가며 무엇이 중요한가를 인식한다. 간단한 개념이긴 하지만 그 계산 과정은 어렵다


그래서 이 과정을 흔히 ‘블랙박스’라 부르는데 그만큼 인간의 상상으로는 이해하기 어렵기 때문이다. 인공신경망의 다층구조에서 일어나는 일들만 손에 안 잡히는 것이 아니라 학습하는 데이터들이 수백, 수천 차원이라는 것도 고작 4차원까지밖에 상상할 수 없는 인간의 한계를 넘어선다. 예를 들어 16×16픽셀 크기의 작은 이미지만 하더라도 256차원의 데이터인데 그보다 복잡한 데이터들, 더 높은 차원의 데이터들을 다층구조에서 이리 보내고 저리 보내며 학습하는 인공지능을 이해하기 위해서는 고차원 데이터를 인간이 인식할 수 있는 저차원으로 변환할 수 있는 시각화가 필요한데, 이를 가능하게 하는 여러 알고리즘 중 최근 t-SNE를 이용해서 시각화하는 프로젝트들이 활발하다. t-SNE 알고리즘은 고차원 환경에서의 데이터 간 관계성을 최대한 유지하면서 저차원, 인간이 이해할 수 있는 2차원 혹은 3차원으로 차원축소를 계산해 준다. 우리를 기록한 다차원 데이터를 다층신경망에서 학습하여 우리를 닮아가며 진화하고 있는 인공지능의 학습 과정을 우리가 이해할 수 있도록 시각화할 수 있다면 나의 어떤 데이터가 저 인공지능 환경에서 어떻게 이해되고 소화되고 있는지를 알 수 있는 시작이 될 수 있다. 이 복잡한 과정을 이해함이 필요한 이유는, 우리가 만약에 이 인공지능의 시스템을 제대로 이해하지 못한다면 원치 않게 이 환경에 휘둘릴 수 있기 때문이다. 아무 생각 없이 시스템이 제안하는 대로 콘텐츠를 소비하고, 움직이며, 살아갈지도 모르니까 말이다.





자크 블라스&제미마 와이먼

(Zach Blas and Jemima Wyman) 

<나는 여기에서 공부하는 중 :))))))(im here to learn so :)))))))> 

2017 Installation, Material Politics, Institute of Modern Art, 

Curated by Aileen Burns and Johan Lundh, Brisbane, Australia




 

인간과 다른 인식의 세계


2015년 구글에서는 이미지 인식을 위한 인공신경망 구조에서 이해할 수 없는 현상을 발견했다. 수천 장의 이미지를 학습하고 난 후 비교적 정확하게 이미지 속 사물을 파악하던 인공신경망 시스템에서 같은 덤벨이지만 어떤 때는 인식하고 어떤 때는 인식 못 하는 현상을 발견했는데 이미지 속 덤벨을 제대로 인식할 때는 사람 손과 팔이 덤벨과 같이 있을 때만 가능하다는 것을 알아냈다. 다시 말해서 초기에 기계가 학습한 대부분의 덤벨 이미지에서는 사람 손과 팔이 존재했기 때문에 인공지능은 사람의 팔과 손이 있는 덤벨만 덤벨로 인식한다는 것이다. 이처럼 기계의 인식이 인간의 인식과 다르다는 것을 알게 된 후, 기계가 이미지 인식을 위한 학습 과정을 반대로 유추해 나가며 이미지화한 것이 바로 구글의 ‘딥드림 프로젝트’이다. 이미 학습한 사물의 특징들을 반대로 따라가 보다 보면 마치 꿈을 꾸는 듯한 기묘한 시각화가 일어난다. 기계만이 만들어 낼 수 있는 변칙 속의 기묘함, 그 속에서 우리는 다시 우리 자신의 행동, 초기의 학습 데이터를 인식할 수 있다


우리가 찍은 수많은 고양이 사진을 학습해서 고양이를 판단할 수 있다면, 우리가 찍지 않은 수많은 다른 동물들은 기계는 알지 못한다. 데이터를 시각화함으로써 일어나는 인식의 과정, 그리고 우리의 데이터를 학습해서 다시 우리를 인식하는 기계 환경, 이 모든 과정의 시작은 바로 우리 자신이다. 기술 환경은 우리의 행동을 그대로 반영하고 있을 뿐, 데이터를 시각화하고 기계학습 과정을 시각화하려는 것도 결국엔 인간이 가지고 있는 인지에 관한 욕망이며 이해하고자 하는 인간 본연의 모습일 것이다. 다만 여기서 조금 더 기대하는 것은 우리가 조금 더 다양한 시각으로 자신을 스스로 객관적으로 들여다보면 자신의 행동에 대해서, 우리가 만든 사회에 대해서 조금 더 깊은 성찰을 하지 않을까.

 

데이터, 시각화, 그리고 기계학습.

기술도 아닌 것이, 그렇다고 예술도 아닌.

근데, 그게 중요한가. 우리의 생각이 조금 더 깊어진다면 그것만으로도 충분한 것을.  

 


글쓴이 민세희는 데이터를 시각화하는 작업을 하면서 2008년부터 데이터 시각화 스튜디오인 랜덤웍스를 이끌고 있다. 우리의 일상 데이터를 시작으로 데이터를 통해 우리 자신과 사회를 이해하고자 하며 기계학습의 시각화를 통해 인공지능 환경의 이해를 시도하고 있다. TED 2011, TED Global 2012, CNN Asia, xMedia Lab@Sydney, Life For Data@Jakarta등 국내외 콘퍼런스 및 MoMA 블로그, 국립현대미술관 등에서 작업이 소개됐다.

온라인 구독 신청 후 전체 기사를 볼 수 있습니다. 구독하기 Subscribe 로그인 Log in



메모 입력
뉴스레터 신청 시, 퍼블릭아트의 소식을 빠르게 받아보실 수 있습니다.
이메일 주소를 남겨주시면 뉴스레터 구독에 자동 동의됩니다.
Your E-mail Send

왼쪽의 문자를 공백없이 입력하세요.(대소문자구분)