예술과 기술의 융합

<아트 매치-매시업 Art match-mashups_예술:기술:향유>

2022_1102 ▶ 2022_1111 서울과학기술대학교 미술관

참여작가 : 김창겸, 양대원, 유한이, 이돈순, 홍경택

기획 : 오픈스페이스 블록스 

인공지능 기술감독 : 조형래(서울과학기술대학교 지능형미디어연구센터 연구원)

인공지능 기술자문 : 박구만(서울과학기술대학교 전자IT미디어 공학과 교수)

360° VR 영상 제작 : 강민, 정가연, 조윤서(한국예술종합학교 영상원)

리얼리티 캡처 및 아카이브 영상 제작 : 김우섭(가천대학교 미술대학)

프로젝트 코디네이터 : 이나래

지원 : 한국문화예술위원회 아트앤테크 (ARKO ART&Tech) 예술과기술융합

좋든 싫든 우리는 기술 자본의 시대를 살아간다. 아마도 머지않은 미래엔 인류가 광학 기술이나 홀로그램 등의 진화된 기술을 통해 타인과 소통하고, 인공지능 로봇은 반려견보다도 가까이에서 우리의 일상 공간을 점유하는 친숙한 존재가 될지 모른다. 그런 면에서 미래의 기술 환경은 선택이 아닌 적응의 문제처럼 다가오기도 한다. 더구나 세계에 대한 관찰과 비판적 사유로 끊임없이 표현의 영역을 확장해 온 예술가에게 이런 시대 변화와 인공지능 기술을 둘러싼 문제의식은 민감하고 도전적인 주제일 수밖에 없다. 처음 사진기가 발명되었을 당시 화가들의 양가적 반응과 다름없이, 인공지능이 예술가의 역할을 제한하고 존립을 위협하리라는 우려 못지않게 그 반대편의 무한한 가능성 또한 예술가의 상상력을 자극하는 면임을 부정할 수 없다. 기술 혁신의 시대를 맞아 예술가들이 인공지능이라는 집단지성과 유사한 조력자의 역할에 큰 기대를 걸고 있는 것도 이 때문이다.

아트 매치-매시업 Art match-mashups는 시각예술을 공통분모로 작가의 자유로운 창작품과 그 창작 스타일을 학습한 인공 지능이 제작한 작품(생성모델 결과물)을 단계별로 비교 검토하고 최종적으로 인간과 인공지능의 만남을 통한 새로운 창조적 가능성을 시현하는 융복합 프로젝트이다. 이는 ‘여러 자료에서 요소들을 따와 새로운 노래·비디오·컴퓨터 파일 등을 만드는’ 매시업(Mashup)처럼, 인간과 인공지능을 넘나들며 개성이 담긴 다양한 창작 정보(콘텐츠)와 테크놀로지를 교환·혼합·응용함으로써 새로운 유형의 창작물을 개발하는 것을 의미한다. 지난 2021 <아트 매치-매시업 Art match-mashups_예술을 배운 기계, 인공지능을 만난 예술의 융합>은 작품의 창작 과정에서 시각 예술가의 스타일 및 진술(Artist Statement)을 딥러닝 기술에 결합하여 새로운 유형의 인공지능 생성물과 예술가의 창작물을 개발하고 이를 통해 인공지능과 작가의 예술적 완성도를 비교·진단했다. 

그 후속 프로젝트라 할 수 있는 2022 <아트 매치-매시업 Art match-mashups_예술:기술:향유>는 시각 예술가의 스타일 및 진술이 담긴 딥러닝 2D 이미지 생성 경험을 확장하여 3D 모델링, 리얼리티 캡처, 인공지능 3D 인터폴레이션(interpolation) 등 첨단 기술 융합으로 가상·혼합현실(VR, MR)을 체험할 수 있는 실감형 미디어 콘텐츠로 구현하여 창작과 감상의 경험 영역을 확장해 가기 위한 프로세스형 융복합 작업이다. 참여작가인 김창겸 · 양대원 · 유한이 · 이돈순 · 홍경택의 작품에 담긴 창작 스타일을 학습하여 생성해 낸 인공지능의 생성물을 예술가의 관점에서 선별하고, 거기서 추출된 창작 콘텐츠를 작가 진술이 포함된 3D 데이터로 만들어 인공지능의 기계적 한계와 무한한 변용 사이에 놓인 예술과 기술의 공존 가능성을 모색했으며, 현실과 가상의 결합이라는 새로운 창작 실험과 웨어러블 기술 기반의 입체적 경험의 확장을 통하여 평면과 입체, 온오프라인을 통합하는 실감형 미디어아트를 구현함으로써 관객과 공유하고자 했다.

기술 개발 연구는 서울과학기술대학교 박구만 교수의 자문과 조형래 기술감독의 지휘 아래 진행되었는데, ‘시각 예술인들의 고유한 창작 스타일과 이미지 데이터를 기반으로 초정밀 가시·비가시 정보 표출을 위한 기술 개발 및 데이터 시각화와 인공지능의 생성적 디지털 기술 구현’을 위한 협업으로 진행됐다. 지난 프로젝트에서 StyleGAN2-ada 등 인공지능 프로그램으로 작가들의 스타일을 학습시키고 그 결과물을 생성하는 데 주력했다면, 이번엔 작가의 스타일과 진술 내용을 토대로 360° VR 영상의 가상 및 증강현실이나 홀로렌즈를 활용한 3D 혼합현실 등 실감형 미디어 콘텐츠로 구현하는 데 주력하였으며, 그 과정에서 디지털 조형물 또는 3D 메시(Mesh) 오브제로 모델링하기 위해 블렌더(Blender)와 유니티(Unity), 리얼리티 캡처(RealityCapture), 형태 변환 및 후가공을 위한 인공지능 기술이 사용되었다. 작가의 대표 캐릭터를 모델링하거나 리얼리티 캡처 등을 거쳐 형태를 완성한 다음에는 작가 고유의 이미지를 결합하는 과정에서 인공지능 UV 매핑 기술이 적용되었고, 타깃 이미지 데이터를 포인트 클라우드(Point Cloud) 형태의 3D 보간영상(Interpolation)으로 구현하기 위해 SP-GAN 등 인공지능 기술을 접목했다.

아트 매치-매시업 Art match-mashups는 인간의 근원적 활동으로서의 창작 경험과 예술 표현을 구성하는 내용적, 기술적 지평의 확장이라는 작가적 고민의 연장선에서 출발했다. 따라서 프로젝트의 목표는 처음부터 인간과 기계, 예술가와 인공지능 간의 대결 구도에 있는 것이 아니라 시대의 산물인 인공지능 기술을 접목하기 위한 조화로운 융합 연구에 모아졌다. 그 과정에서 기술진이 작가들의 원본 작품을 데이터베이스로 삼아 인공지능의 딥러닝 적용 기술을 극대화하기 위한 연구에 몰두했다면, 기획진이나 작가들은 거기서 제공되는 새로운 협업 콘텐츠를 상용화하고 새로운 창작 소스로 활용하기 위한 가능성에 집중했다. 그것은 거스를 수 없는 기술 문명의 시대, 팬데믹으로 인해 급속한 비대면 사회로의 전환을 경험하고 있는 현실 속에서, 창작 작업의 고유성을 유지하면서도 기술과 자본에 소비되지 않고 예술가의 역할을 확대해 나갈 수 있는 지속 가능한 방식에 대한 능동적 자기 모색에 가깝다고 할 수 있다. 그런 면에서 인간 개체의 생각을 집단지성의 형태로 수렴한 인공지능이 향후 어떻게 조형예술의 문맥 안으로 파고들어 올 수 있을까, 그리고 수많은 미술 자료와 작가의 작업 스타일을 학습한 인공지능 알고리즘이 어떻게 자신의 방식으로 점, 선, 색, 면과 같은 구체적인 형상 세계를 자율적으로 구성해 갈 수 있을까를 궁금해하면서 시작된 이번 인공지능과의 예술적 협업 결과가 참여 예술가들의 향후 작업의 방향성에 중대한 전환점이 될 것으로 예상해 볼 수 있다. 왜냐하면 동시대 문명의 변화를 견인하고 있는 인공지능 기술과 예술의 융합이 지향하는 미래는 그것이 단순한 기술적 진보가 아닌 인간의 정서나 감수성 같은 근본적인 정신의 변화를 수반하는 것이기 때문이다.

세계의 거대 자본과 결합한 기술이 사람들에게 기술 실업을 야기하고 필터 버블(Filter Bubble)과 같은 편향적 환경에 가둘 수 있다는 우려에 맞서 개성과 고유성을 지켜가려는 자성적 고민의 핵심은 결국 외부 환경으로서의 기술 자체보다는 그 기술의 원리와 용처를 결정짓는 인간의 관점에 의해 크게 엇갈릴 수 있을 것이다. 오늘날 예술 분야에까지 한 걸음 다가선 인공지능 기술을 두고 어떤 능력치의 결과에 따른 예술가의 인간적 자괴감보다는 창작 협업의 미래라는 방향성에 동의한 새로운 조력자의 출현으로서 더욱 기대하게 되는 것도 이 때문이다. 기계학습과 인공지능의 발달로 인한 산업의 변화가 생활 전역에 영향을 미치는 환경 속에서 세계에 대한 유연한 사고를 바탕으로 예술과 기술 사이의 부정적 간극을 조율하고 그 융합 가능성을 타진하는 시도는 예술과 인공지능의 실용적 융합이라는 새로운 시대의 과제를 어떻게 지속가능성 안에 녹여내고 공존의 미래로 나아갈 수 있을까를 긍정의 연구 테이블 위에 올려놓는 일이라 할 수 있다. 만일 예술가의 감수성을 반영하는 창작 스타일이 인공지능 기술이나 집단지성과 융합하여 그 고유성을 증폭시키는 생성적 교환의 네트워크를 더욱 정밀하게 이뤄갈 수 있다면, 그것은 일종의 과정적 협업 체계이자 균형 잡힌 탈중심적 활동으로서 세계의 타자들과 관계 맺는 새로운 감각과 사고의 확장을 불러올 것이다. ■ 오픈스페이스 블록스