우리 대학교 공학자, 예술가와 손잡고 미디어 아트 전시

예술‧과학기술 협업 전시 《뒤틀린 데이터》 울산시립미술관에서 개최

[사진 1. 《뒤틀린 데이터》 전시 참여 공학자. (왼쪽부터) 김성륜 교수, 이승아 교수, 채찬병 교수]

우리 대학교 공학자들은 3월 9일부터 8월 15일까지 울산시립미술관의 미디어 아트 전용관(XR랩)에서 《뒤틀린 데이터》라는 예술과 과학기술 협업 전시를 개최했다. 이번 전시는 우리 대학교의 공학자 김성륜 교수(전기전자공학과), 이승아 교수(전기전자공학과), 채찬병 교수(IT융합공학과)와 뉴미디어 예술가인 팀보이드 배재혁 작가(서울과기대 교수), 한윤정 작가(미국 산호세대 교수), 아티피셜 네이처 지하루 작가(캐나다 OCAD대 교수)가 팀으로 협업해 진행됐다.

《뒤틀린 데이터》는 데이터를 입력하는 과정에서 발생하는 누락, 변이, 오류로 인해 오히려 예측하지 못한 더 최적화된 결과를 얻을 수 있다는 ‘디지털 사일런스’의 공학적 가능성을 담고 있다. 

‘디지털 사일런스’는 2020년부터 진행된 예술과 과학기술 협업 프로젝트로, 뉴미디어 예술가들, 우리 대학교 공학자들, 그리고 예술 이론가들이 함께 참여해 연구회(세미나)와 토론회(포럼)를 통해 장기간 협업으로 진행됐다. 미래 미술관을 지향하는 울산시립미술관 XR랩에서 세 협업 팀의 구현물들을 순차적으로 선보였다.

[사진 2. 이승아 교수 × 팀보이드 배재혁 작가, <기계로부터 From the Machine>, 2023, 로봇암, 디스플레이, 유리, 금속구조물, PC, 가변설치, 이미지 제너레이_조영각(3.4 ~ 4.30)]

첫 번째 팀, 이승아 교수와 팀보이드 배재혁 작가의 <기계로부터>는 3월 9일부터 4월 30일까지 전시됐다. 

<기계로부터>는 이승아 교수 연구팀의 렌즈가 아닌 노이즈 형태의 필터를 이용해 관찰 이미지를 얻어 내는 무렌즈 카메라 방식이 적용됐다. 관찰된 이미지는 형체를 알아볼 수 없이 왜곡돼 있지만 인공지능을 사용해 복원된 이미지로 생성할 수 있다. 인공지능을 통해 생성된 이미지는 키네틱 노이즈 유리를 통해 변형되고, 카메라를 통해 관찰된 이미지는 다시 인공지능에 의해 해석돼 새로운 이미지를 만들어 낸다. 

배재혁 작가는 지금까지 불안 요소로서 시스템에서 줄여 왔던 노이즈를 새로운 도구로 사용해, 이전 루미노 키네틱(Lumino Kinetic) 작업에서 나아가 시스템의 현상 너머의 기계로부터 확장된 해석 방식을 탐색한다. 나아가 기계로부터 이미지를 생성하고 변형하고 다시 해석함으로써 인간이 개입할 수 없는 일련의 과정을 통해 시스템 속에서 새로운 가능성을 보여 준다.

[사진 3. 김성륜 교수 × 한윤정 작가, <플라스틱 풍경-이면의 세계 Plastic Landscape-The Reversible World>, 2023, 멀티채널 비디오, 멀러, 2채널 사운드, 12분 15초 3D 애니메이션_홍 쑤안 싸이, 사운드 디자인_곽수정(5.4~6.25)]

두 번째로 김성륜 교수와 한윤정 작가의 <플라스틱 풍경-이면의 세계>가 5월 4일부터 6월 25일까지 전시됐다. 

<플라스틱 풍경-이면의 세계>는 한윤정 작가가 조선시대 일월오봉도 병풍에 담긴 풍경에서 영감을 받아 3D 플라스틱으로 뒤덮인 상상 속의 네 가지 풍경을 실감 영상으로 담아내면서, 환경 오염에 대한 이면의 세계를 펼친다.

한윤정 작가는 김성륜 교수팀이 제작한 신경망 스타일 트랜스퍼 기반 플라스틱 자연 이미지를 기반으로, 새롭게 가공한 3D 플라스틱 사물들로 가득 찬 풍경을 생성한다. 이면에서 펼쳐지는 상상 속 플라스틱 풍경의 세계는 밀도 있는 사운드 효과와 더불어 몰입도를 상승시켰다. 

김성륜 교수팀은 신경망 알고리즘을 적용하면서 의도적으로 오류를 허용하거나 복잡도를 줄이면서 ‘디지털 사일런스’의 공학적 측면을 시도했다. 음악과 사운드는 미국 샌프란시스코 메타 본사(구 페이스북)의 곽수정 사운드 디자이너가 맡았다.

[사진 4. 채찬병 교수 × 아티피셜 네이처 지하루 작가, <얽힘 Entanglement>, 2023, 멀티채널 비디오, 컬러, 5.1채널 사운드, 12분 21초(7.4 ~ 8.15)]

마지막으로 세 번째 팀, 채찬병 교수와 아티피셜 네이처 지하루 작가의 작품 <얽힘>이 7월 4일부터 8월 15일까지 전시됐다.

한 그루의 나무를 키우기 위해 우주는 얼마나 많은 일을 하고 얼마나 많은 꿈을 꿀까? 그렇다면 하나의 숲은 얼마나 넓은 우주를 안고 있는 걸까? 

<얽힘 Entanglement>은 숲을 모티브로 보이는 세계와 보이지 않는 세계가 상호 연결돼 공생하는 다감각, 다차원의 몰입 환경으로 관람객을 초대했다.

작품은 ▲절차적 모델링으로 구현된 나무의 성장 ▲나무와 숲을 꿈꾸는 생성형 AI 비주얼 ▲식물들의 뿌리를 연결하는 균류 및 박테리아 또는 두뇌 속의 신경 네트워크 메커니즘의 작동을 구현한 동적 시스템의 세 가지 요소로 이뤄졌다.

이 작품은 울산시립미술관 XR랩 공간을 위한 장소 특정적 비실시간 피드백 시스템으로 제작됐다. 작업 과정에서의 에러와 데이터 누락을 의도적으로 용인해 전체 시스템의 균형을 유지하는 예술 경험을 구현하기 위해 복잡계로서의 자연에 접근했다. 

이 작품을 통해 자연 속에서의 미시적이고 동시다발적인 “얽힘”의 관계 맺기를 경험함으로써 우리와 우리를 넘어선 세계와의 연결 방식, 창발성, 창의성, 그리고 계산 기반의 미디어 기술에 대해 사색하고 영감을 얻을 수 있는 감각적인 기회를 의도했다. 

‘디지털 사일런스’ 전체 협업을 총괄한 김성륜 교수와 퓨즈아트프로젝트 주경란 대표(전시 협력 기획자)는 “디지털 사일런스 프로젝트는 예술과 과학기술의 지속적인 협업 과정을 통해 ‘인간, 기술의 상호 공존 방식’을 탐색하며 쌍방향 협업을 기반으로 하는 뉴미디어 예술계의 사회, 문화적 담론들도 만들어 갈 것”이라고 소감을 밝혔다.