사이버네틱스와 예술의 교차_피드백과 루프

자연은 강남 대치동 학원가에 야심차게 자연의 수학원리를 가르치는 과학학원을 개원했다. 이름하여 ‘에코로지컬 수학원 (Echological Math Academy)‘. "에코로지컬"은 "에코"와 "로지컬(논리적)"의 합성어로, 자연의 에코 시스템에서 영감을 받은 논리적 사고를 훈련하는 수학 학원을 의미한다. 벌써부터 학부모들의 입소문을 타고 자연으로부터 과학을 배우려는 학생들이 줄을 서기 시작한다. 이 학원은 첫날부터 돌고래 탈을 머리에 쓴 캐릭터와 수학공식을 적은 푯말광고로 학부모들의 관심을 끌었다. p(t)=s(t)∗e(t) 라는 새로운 수학공식을 푯말로 만들어 홍보를 하였다. 이 공식은 자연계의 에코로케이션 같은 시스템을 고안하여 돌고래가 발사한 음파가 객체에서 반사되어 돌아오는 원리를 수학적으로 표현한 것이라고 한다. 여기에서 p(t)는 수신된 에코, s(t)는 발사된 음파, e(t)는 주변 환경에 의한 에코의 변형을 의미한다. 과연 입시위주의 학원에 다크호스로 등장한 에코로지컬 수학학원은 정의로운 학문구현의 답이 될 수 있을 것인가?

#1. 불안한 이별

장편애니메이션 <로버트 태권V> 스크린샷

1970년대 한창 인기를 끌던 로버트 태권 V 애니메이션을 상영하던 한 극장에서, 스크린 속 태권 V의 로켓 주먹이 불길을 내뿜으며 적을 향해 날아간다. 주변에서는 아이들의 환호성과 박수 소리가 끊이지 않는다. 하지만, 시간이 지나도록 로켓 주먹은 돌아오지 않고, 한쪽 팔이 없는 태권 V는 위태롭게 보인다. 그 모습에 한 아이가 울음을 터뜨리고, 곧 다른 아이들도 함께 울기 시작한다. 그러나 뒤늦게 태권 V의 몸에서 떨어져 헤맸던 로켓 주먹이 다시 돌아와 자리를 찾자, 아이들의 울음소리는 안도의 환호로 바뀐다. 이는 제작자들의 편집 실수였을까, 아니면 흥미를 유발하기 위한 의도적인 편집이었을까? 정확한 이유는 알 수 없으나, 어릴 적의 스트레스와 불안은 잊을 수 없다. 당시 슈퍼로봇의 주먹들이 제트엔진을 달고 몸에서 분리되는 것이 유행이었다. 이에 따라 완구 시장에서는 실제 영화의 인기를 등에 업고 스프링 주먹이 장착된 제품들이 대거 출시되었다. 수많은 아이들의 집에서는 잃어버린 주먹들이 어디에나 널려 있었을 테고, 이사 갈 때 옷장이나 소파 밑에서 발견되는 주먹들이 적지 않았을 것이다.

일상에서 송수신의 균형이 깨질 때 느껴지는 불안, 우울, 또는 실망감은 어떻게 설명할 수 있을까? 편지를 보내면 답장을 기대하고, 공을 던지면 받기를 기대하는 것처럼, 상호 작용의 기본 원칙이 약화되거나 사라질 때 우리는 어떤 감정을 경험할까? 사람들은 대화나 소통에서 어느 정도의 상호 작용을 기대한다. 하지만 이 균형이 깨어질 경우, 고립감이나 소외감을 느낄 수 있으며, 이는 개인의 소속감에 중요한 영향을 미치는 연결 고리가 약해졌다는 신호로 받아들여질 수 있을 것이다. 이러한 현상은 때로는 수감자들이 왜 독방에 격리되는지를 설명해 줄 수도 있다. 독방 안에서는 타인과의 소통이 완전히 차단된 상태에서 자신과의 지속적인 사투를 벌여야 하기 때문에, 점차 의욕을 상실하게 만드는 조건이 되기 때문이다.

우주의 광대함 속에서 지구는 작은 점에 불과하다. 인류는 우주의 심오함을 조금이라도 이해하고자 <보이저 1과 2호>, <파이어니어 10과 11호>, <뉴호라이즌> 등 수많은 무인 우주선을 보내왔다. 이 우주선들은 대개 한 번의 임무를 수행하며, 특정 천체에 도달하거나 태양계를 벗어나는 장기 임무를 맡는다. 지구로 돌아오지 않고 우주를 떠도는 이 우주선들은 돌아오지 못하는 로봇 팔처럼 불안정해 보일 수 있고, 그 도전이 무모해 보일 수도 있지만, 이는 우주가 얼마나 알 수 없는 공간인지를 반증하는 것일지도 모른다. 많은 무인 우주선이 아직 지구로 돌아오지 않았고, 어쩌면 과학자들은 처음부터 이들의 귀환을 기대하지 않았을 수도 있을 것이다.

우리는 심리적으로 반드시 돌아와야 할 것, 제자리에 있어야 할 것에 대한 공간적 담보에 익숙해져 있다. 우리가 익숙함의 완결성에서 편안함을 느낄 때, 어디선가 빈틈이 생기면 공간적 담보의 결렬로 인해 불안감을 경험하게 된다. 이런 결여를 채우려는 욕망이 생기며, 성공하면 불안감이 해소되지만 실패하면 결여를 대체할 대상을 찾거나 공간적 담보의 틀을 부수고 다시 설정하게 된다. 3D 프린팅이 한때 유행처럼 번진 이유 중 하나는 잃어버린 부품을 대체하는 데 이 출력 장치가 매우 유용했기 때문이다. 인간 관계의 거리뿐만 아니라 물리적 공간의 볼륨을 파악하는 방법까지, 인간이 개발한 다양한 송수신 메커니즘은 컴퓨터의 상호작용의 법칙 아래 발달했으며, 이는 자연에 이미 존재하는 법칙을 모방한 기술이라는 점에서 매우 흥미롭다.

#2. 에코 로케이션(Echolocation)과 피드백(Feed back)

'에코로케이션'(echolocation)은 고래나 박쥐와 같은 동물들이 주변 환경을 파악하기 위해 사용하는 기술이다. 이 기술은 동물이 발산한 소리가 주변의 객체에 반사되어 되돌아오면, 그 반사된 소리의 정보를 분석하여 객체의 위치, 크기, 형태, 밀도 등을 파악하는 과정을 말한다.(1) 

이는 반향 위치 측정 (Animal echolocation)(2)이라도고 하는데 공간에 대한 스캐닝의 개념으로 파악할 수 있다. 돌고래는 고주파 음파를 발생시켜 이 음파가 주변 환경에 부딪힌 뒤 반사되어 돌아오기를 기다린다. 그런 다음 이 반사된 음파를 분석하여 먹이의 위치와 크기, 심지어 질감까지도 알아낼 수 있다. 박쥐도 어두운 환경에서 이 기능을 사용해 주변 정보를 얻는다.

인간의 경우, ’클릭 로케이션(click echolocation)‘(3) 을 통해 비슷한 방식으로 공간을 인지할 수 있는데, 이는 주로 시각 장애인들이 지팡이와 뇌 사이의 신호를 활용하는 원리와 유사하다. 송신과 수신을 통한 정보 획득은 인간이 사회적 동물임을 분명히 보여주는 메커니즘이다.

클릭 로케이션의 도식화 사진3. 박쥐와 돌고래의 에코로케이션 원리

동물들의 에코로케이션 원리는 인간이 전쟁 중 적의 위치와 공격 경로를 파악하기 위해 레이더 기술을 개발하는 데 영감을 주었다. 레이더는 반사된 라디오 파동을 이용하여 적의 위치를 파악하는 데 크게 기여했으며, 이 기술의 발전은 복잡한 계산을 자동화하는 초기 컴퓨터 개발에 중요한 영향을 미쳤다. 이러한 기술적 진보가 모여 최초의 컴퓨터 개발로 이어졌다는 것은 잘 알려진 사실이다. 노버트 위너(Norbert Wiener)는 그의 저서 <The Human Use of Human Beings: Cybernetics and Society>(1950)를 통해 기술 발전이 인간 조건에 어떤 의미를 가지는지 탐구했다. 이 책에서 그는 인간과 기계 간의 상호작용을 분석하며, 사이버네틱스가 인간의 행동과 사회 구조에 어떻게 영향을 미치는지 설명한다. 특히, 자동화와 정보 기술이 노동 시장, 교육, 그리고 일상 생활에 가져올 변화들을 예측하였다. 현재 초연결 사회로 진입하고 있는 시기에도 위너의 예측은 여전히 유효하며, 많은 통찰을 제공한다. 사이버네틱스의 개념을 다룬 그의 저작에서는 정보와 통제가 기계, 생물체, 그리고 사회에서 어떻게 상호작용하는지에 대한 연구를 통해 피드백과 루프의 중요성을 강조한다.

노버트위너의 저서들(좌)과 피드백의 도식화 그림(우)

노버트 위너는 피드백이 시스템의 자가 조절 메커니즘으로 기능하여, 시스템이 스스로 행동을 수정하고 최적화할 수 있게 한다고 설명한다. 이 과정에서, 피드백은 입력에 다양한 값들을 적용해 결과값을 도출하는 방식을 제공한다. 예를 들어, 레이더 시스템은 수신된 정보를 바탕으로 스캔 매개변수를 조정할 수 있으며, 이를 통해 시스템의 효율성을 높일 수 있다. 동물의 에코로케이션 능력과 인간의 레이더 기술은 어떻게 외부 정보를 기반으로 행동을 조정하고 더욱 효과적인 결과를 도출하는지를 보여주는 피드백 루프의 예시를 제공한다. 위너의 이론에서 피드백과 루프는 컴퓨터 상호작용을 이해하는데 필수적인 요소로 자리 잡고 있다.

컴퓨터의 상호작용성은 돌고래와 박쥐의 에코로케이션과 매우 유사한 원리를 보여준다. 이를 잘 나타내는 대표적인 예가 'ping' 명령어이다. 'ping'은 네트워크 연결 문제를 진단하는 컴퓨터 네트워크 도구로, 특정 호스트(예: 웹사이트 또는 다른 네트워크 장치)의 접근성을 확인하기 위해 사용된다. 이 명령어는 인터넷 제어 메시지 프로토콜(ICMP)을 통해 '에코 요청' 패킷을 호스트에 보내고, 호스트가 '에코 응답'으로 응답할 때까지의 왕복 시간(RTT, Round-Trip Time)을 측정한다. 이 시간을 통해 네트워크의 시간 지연과 잠재적 문제점을 진단하는 데 매우 유용하게 사용된다. 인간-컴퓨터 상호작용(Human-Computer Interaction, HCI) 분야에서 사용자의 입력(예: 키보드 타이핑, 마우스 클릭, 터치스크린 조작)을 컴퓨터가 처리하는 과정을 보면, 이 입력들이 '파형'과 같이 컴퓨터로 전달되고, 컴퓨터는 이에 대해 반응을 되돌려준다. 이 과정에서 컴퓨터는 입력된 데이터를 분석하고 적절한 피드백을 사용자에게 제공하여, 사용자의 의도와 명령을 정확하게 이해하고 반응함으로써 사용자와 기계 간의 효과적인 커뮤니케이션을 가능하게 한다. ping과 동물의 에코로케이션은 모두 공간으로 신호를 보내고 그 반사된 신호를 수신하는 방식으로 작동한다.

ping명령어 처리과정

컴퓨터 네트워킹에서 ICMP 패킷이 목표 서버로 보내지며, 동물의 위치 측정에서는 음파가 대상에 반사되어 돌아온다. 이 두 기술은 네트워크에서 왕복 시간(Round-Trip Time, RTT)과 동물의 위치 측정에서 음파가 반사되어 돌아오는 데 걸린 시간을 측정하는 공통점을 가진다. 이를 통해 각각 대상까지의 거리를 계산한다. ping은 네트워크 내 다른 시스템과의 소통을 가능하게 하며, 동물의 위치 측정은 주변 세계와의 상호작용을 통해 중요한 환경 정보를 제공한다. 동물의 위치 측정은 생존에 필수적인 기술로, 먹이를 찾거나 포식자를 피하는 데 사용되며, ping은 네트워크 상태를 모니터링하고 문제를 식별하여 디지털 시스템의 '건강'을 유지하는 데 중요한 역할을 한다. 동물이 자신의 생태계 내에서 적응하듯이, ping도 기술 환경의 발전에 따라 네트워크 진단 및 관리 방법으로 사용되어 왔다. 이러한 과정은 기술과 자연 모두에서 진화적 적응이 어떻게 유사한 방식으로 이루어지는지를 보여주며, 두 기술 모두 정보를 얻기 위한 소통의 수단으로서 인간과 사회와의 관계적 측면에서 중요하게 고려될 수 있습니다.

이 고찰을 바탕으로, 인간이 자연에서 영감을 받아 개발한 기술들은 단순히 기능적인 측면을 넘어서 우리가 세계를 인식하고 상호 작용하는 방식에 깊은 영향을 미치고 있음을 알 수 있다. 예를 들어, 에코로케이션과 같은 자연의 메커니즘을 모방하여 개발된 기술들은 인간에게 자연 세계와의 연결고리를 제공하면서 동시에 디지털 세계에서의 우리의 존재와 상호작용 방식을 형성하는 데 중요한 역할을 할 수 있다. 그러나 이러한 기술의 진화와 확산은 또한 새로운 윤리적, 사회적 문제들을 야기할 수 있다. 기술이 인간의 자연스러운 능력을 확장하거나 대체하는 경우, 이로 인해 발생할 수 있는 개인의 정체성 변화나 사회적 상호작용의 변화에도 대응해야 한다.

#3. 백남준의 비디오와 Feed back

Feedback(피드백)은 비디오아트에서 중요한 개념 중 하나로, 작가나 관객과 작품 간의 상호작용을 의미한다. 백남준의 비디오아트에서는 피드백 메커니즘이 인간-컴퓨터 상호작용(HCI) 및 에코로케이션의 비유를 확장하여 예술의 영역에서 구현되었다. 백남준은 전자 기술과 비디오 아트를 활용해 예술과 기술의 경계를 허물었으며, 특히 피드백 루프를 사용하여 작품들에 독특한 시각적 효과와 메시지를 창출하였다. TV는 일방적인 정보전달의 입력 라인에 다른 피드백의 값을 주어 다른 결과값(output)을 나타내었다. 그 피드백의 값은 기존 값의 단순한 변형이라기보다 입력값(input)을 망가뜨리고 다른 용도로 쓰임새를 다르게하는 과정을 시도하였다는 의미에서 어떻게 보면 개입에 더 가깝다고 볼 수 있다. 정보전달에 개입하여 정상적인 정보가 아닌 망가진 형태의 정보가 나오는 이른바 ’망가진 TV‘를 전시하였고 이 전시가 비디오아트의 시초가 되었다. 기존의 텔레비전 방송이나 비디오 신호의 피드백과 루프 구조를 이용해 '노이즈' 화면을 활용하여 새로운 시각적 경험을 창출하였다. 여기에는 비디오 믹싱이라는 장치가 중간에 있어 가능하기도 한 것이었다. 백남준의 예술에서 노이즈는 정보를 '무기력하게' 하기보다는 오히려 새로운 방식으로 '활성화'하는 역할을 한다. 이런 맥락에서 노이즈는 단순한 방해 신호가 아니라, 예술적 표현의 수단으로 사용 이용된 것이다.

백남준은 비디오 카메라와 모니터를 서로 마주 보게 하여 무한한 피드백 루프를 생성했다. 이 배열에서 카메라는 모니터에 나타나는 이미지를 지속적으로 캡처하고, 이 이미지는 다시 모니터에 표시되어 반복적으로 캡처된다. 이 과정을 통해 초기 이미지는 점차 변형되며 예측할 수 없는 시각적 패턴과 형태를 만들어낸다. 이 과정에서 발생하는 '노이즈'는 예술적 표현의 중요한 요소로 작용하여 작품에 독특한 질감과 깊이를 부여한다. 특히, 이미지의 피드백이 반복될수록 TV 브라운관 모니터의 한계로 인해 이미지가 점점 흐려지거나 뭉개지며 결국 소실되는 현상이 관찰되는 지점은 아이러니한 부분이다. 이 지점은 비디오 시대를 넘어 디지털 시대의 glitch 현상으로 다시금 유행하게 되는 주제로, 이에 대해 다음 원고에서 더 집중적으로 다루기로 하겠다.

샬롯무어맨과의 협업. 비디오 카메라와 이미지간의 피드백이 이루어지고 있는 장면 캡쳐 (좌) (4)

비디오 피드백과 비디오믹싱의 원리 다이어그램 (우) (5)

전통적인 의미에서 '노이즈'는 원하지 않는 신호나 정보의 왜곡을 의미하지만, 백남준의 작업에서 노이즈는 창조적 과정과 저항의 수단으로 해석된다. 노이즈는 예측 불가능한 요소를 도입하며, 이를 통해 새로운 형태의 아름다움과 의미를 창출한다. 이러한 접근은 예술에서의 상호작용성과 창조성을 강조하며, 예술 작품과 관람객 사이의 동적인 상호작용을 촉진하게 한다. 백남준의 노이즈는 기존 체제에 대한 반발이라기보다 매체를 전용하기(appropriate)의 의미로 바라보는 것이 바람직하다. 그는 '피드백' 개념을 통해 시청자가 TV에 개입하고 상호작용하는 과정을 강조하였고 이는 단순한 정보의 수용이 아닌, 시청자의 적극적인 참여를 통해 새로운 경험을 만들어내고 예술적 창작을 확장하는 것을 의미한다. 앞으로 다가올 네트워크 사회를 예견했던 백남준은 TV 신호를 변형시키고 개입함으로써 초기 TV의 통제적이고 일방적인 통보에 대한 도전적 태도를 나타냈다. 이러한 태도는 TV를 단순히 정보를 수용하는 매체로만 보지 않고, 새로운 가능성을 탐색하고 예술적 표현을 추구하는 도구로 인식하는 변화를 가져오게 된다.

백남준의 비디오 아트에서 피드백과 노이즈의 사용은 사이버네틱스(Cybernetics)의 개념과 밀접하게 연관되어 있다. 백남준은 이러한 사이버네틱스 이론을 예술에 적용하여, 기술을 통한 상호작용적이고 자가 조절적인 예술 형태를 탐구했다. 그의 작업에서, 비디오는 단순히 이미지를 표시하는 수단을 넘어서서 정보와 메시지를 주고받으며 상호작용하는 매체로 활용된다. 백남준은 비디오 기술을 사용하여 예술 작품을 동적이고 상호 반응적인 것으로 전환함으로써, 당시의 비디오 매체는 애당초 상호작용적인 환경과 거리가 먼 일방적인 아날로그 방식이었다. 무엇보다 전자키보드의 음원 믹싱 신호를 비디오신호로 호환시킨 것으로 인해 비디오신호가 사용자에 의해 변화할 수 있었고 촬영과 동시에 녹화가 가능한 비디오 카메라를 활용한 기술적 요소들을 활용하여 매우 창의적인 방법으로 상호작용을 만들어 내었다. 그럼으로 써 사이버네틱스에서 말하는 '피드백 루프'를 시각 예술로 확장하였다. 이는 작품이 관람자의 관심과 반응에 따라 다르게 나타나도록 하여, 관람자 스스로가 작품의 일부가 되도록 한다.

백남준의 비디오 아트에 적용된 피드백과 노이즈의 메커니즘은 비디오 카메라의 독특한 기능성에서 비롯된 것을 확인할 수 있다. 영화 카메라와는 달리, 비디오 캠코더는 촬영과 동시에 녹화가 가능하며, 이 기능은 비디오 카메라를 영화 필름 카메라와 구분짓는 핵심적인 특성이 된다. 이러한 기능은 비디오 카메라가 매체적 자기성찰을 가능하게 하는 ‘거울’의 역할을 하도록 했고 당시의 많은 비디어 아트 작가들에게 셀프카메라와 퍼포먼스적인 영감을 주었다.

비디오 테이프의 재생 과정에서도 사용자는 물리적 힘을 통해 출력값을 조정할 수 있다. 테이프를 삽입하면 헤드(드럼 부분)가 테이프의 마그네틱 부분을 읽어 전자 신호로 해독하는데, 사용자가 손으로 테이프를 잡고 늘어뜨리면 슬로우모션과 같은 물리적 영상 재생 시간 변형을 유발할 수 있다. 이는 아날로그 비디오의 물리적 전기 신호를 변형 가능하게 하는 주요 요소이다. 백남준은 이러한 마그네틱 변형의 가능성을 활용하여 자석을 주로 사용했다. 이를 통해 비디오 신호에 직접적으로 개입하며, 기존의 이미지와는 다른 새로운 시각적 효과와 메시지를 생성하는데 기여했다. 이 모든 과정은 백남준이 비디오 아트를 통해 매체의 한계를 실험하고 확장하는 방식을 잘 보여준다.

사진7. 촬영과 동시에 녹화가 가능했던 비디오 캠코더의 초기 모습

사진8. VHS 플레이어의 내부 모습

#4. 초연결적 상호작용 사회는 바람직한가?

디지털 시대의 도래와 함께, 인공지능과 초연결성은 인간 간의 상호작용에 혁명적인 변화를 가져오고 있다. 인공지능 기술의 발전은 정보의 처리와 의사결정에서 인간의 능력을 확장시키는 한편, 인간과 사회간의 초연결성은 글로벌 네트워크를 통한 즉각적인 커뮤니케이션을 가능하게 하였다. 이러한 기술은 개인과 커뮤니티의 경계를 허물고, 지리적 제약을 초월한 새로운 형태의 관계 구축을 촉진하고 있다. 백남준의 예술 작업에서 볼 수 있듯, 비디오 아트를 통해 탐구된 피드백과 노이즈의 개념은 인공지능과 초연결성이 주도하는 현재의 사회적 상호작용과 매우 흡사하다. 예를 들어, 소셜 미디어 플랫폼에서의 사용자 상호작용은 백남준이 비디오 아트를 통해 탐구한 피드백 루프와 유사하게, 실시간으로 정보를 주고받으며 끊임없이 내용을 업데이트하고 반응을 생성한다. 이는 사용자 간의 동적인 상호작용을 촉진하며, 또한 개인의 행동과 선호가 알고리즘에 의해 분석되어 커스텀된 콘텐츠를 제공하는 방식으로 응답하고 있다. 이에 대한 반작용도 존재하는 지점이 기계와 다른 지점이라 할 수 있다. 때로는 반드시 돌아와야 하는 의무감에서 자유로운 오는 길을 잃어버린 무인 우주선이 부러울 정도로 초연결사회가 가진 타자와의 근접성이 부담스러울 때가 종종 발생하기 때문이다.

이러한 환경에서 인간 관계는 더욱 복잡해지고 다면적으로 발전한다. 인공지능은 사람들 사이의 상호작용을 중재하고 촉진하는 역할을 하며, 개인화된 경험을 제공하여 인간의 사회적 관계를 극대화할 수 있는 기회를 제공한다. 그러나 이러한 기술의 통합은 프라이버시와 자율성에 대한 문제점을 여전히 남기고 있으며, 디지털 시대의 인간 간 상호작용이 얼마나 건강하고 생산적인지는 기술이 어떻게 사용되고 관리되는지에 대한 중요성과 함께 위험성을 동시에 지니고 있다.

우리에게 바람직한 인간 간의 상호작용은 어떤 모습일까? 이러한 기술적 맥락에서도 개방성, 상호 존중, 창의적 협력을 중심으로 이루어질 수 있을 것인가? 사회 구성원 모두가 이 디지털 도구를 사용하여 더욱 포괄적이고 참여적인 방식으로 서로를 이해하고 지원할 수 있는 방법은 실현 가능한 것인가? 기술의 진보여부와 상관없이 기술사용의 주체가 바뀌지 않으면 기술 또한 발전의 의미는 무의미한 것일 수 있다. 디지털 시대에도 인간의 따뜻한 상호작용은 기술 발전의 중심에 있어야 하며, 이를 통해 더욱 풍부하고 의미 있는 인간 경험이 가능해지는 모습을 소설이나 영화에서만 보고 싶지는 않은 생각은 인지상정일 것이다.