음악 인공지능과 메타버스가 만나는 새로운 산업 Web 3.0

장순철 │ 이모션웨이브 대표

2016년 3월 9일 인공지능 알파고와 이세돌의 대결은 인공지능 시대의 도래를 전 세계에 알리는 전환점이 되었다. 그로부터 2022년 지금 전 산업은 인공지능으로 인한 대변화와 격변의 시대를 살고 있는 것 같다. 인공지능은 의료, 화학, 농축산, 콘텐츠 분야 할 것 없이 거의 전 분야에 걸쳐 새로운 산업의 패러다임으로 그 역할을 하고 있다. 그렇다면 음악 분야에서는 어떠한 영향을 미치고 있을까?

음악 분야 또한 인공지능과의 결합을 통한 새로운 패러다임의 전환 시점에 놓여 있는 것으로 보인다. 작곡, 가창, 편곡, 연주, 교육, 감상 거의 전 분야에 걸쳐 음악 인공지능이 우리의 삶에 깊숙이 자리매김하고 있다.

인공지능 작곡의 시작 그리고 신경망

사실 인공지능 음악은 알고리즘 작곡 연구자 Eduardo Reck Miranda가 제시한 알고리즘 작곡법을 시작점으로 봐도 될 정도로 사실 이전에 이미 우리 음악 산업은 전자음악, 컴퓨터음악, 알고리즘 작곡 등 시스템과 컴퓨터 등의 연산 시스템의 도움을 받아 작곡과 음악 프로듀싱은 물론 음악 산업 전 분야에 그 기술이 사용되어 왔었다. 이것은 생산성 향상과 전문 교육을 받지 않은 사람들에게도 음악 작곡의 허들을 낮추게 해준 공이 있다고 볼 수 있다.

스텝 시퀀서(Step Sequencer)나 아르페지에이터(Arpeggiator) 또한 단순한 입력에도 손쉽게 구성지고 체계적인 음악을 만들 수 있게 해주는 좋은 툴이자 시스템이라고 할 수 있었다. 그리고 음성합성기술(Sound Synthesis Technology)과 DSP(Digital Signal Processing) 기술도 복잡한 수학 공식과 알고리즘을 통해서 자연 현상 속에 있는 소리를 디지털에서 재현하고 저장하고 변환하는 복합 기술에 속한다. 이러한 시스템 기반의 자동 작곡이나 음향합성 기술 또한 특정 알고리즘과 로직을 핵심으로 한 시스템으로부터 발생한 생성적 데이터기 때문에 인공지능과 시스템의 도움을 받아 작곡과 음악 프로듀싱이 이루어졌다고 볼 수 있다.

하지만 최신의 인공지능이라 함은 정량적이고 정형적으로 구성된 데이터셋을 기반으로 신경망 기반의 학습을 통해서 새롭게 생성된 데이터와 콘텐츠를 주로 최신의 생성적 인공지능(Generative AI)을 응용한 인공지능 작곡과 인공지능 음악이라고 말하고 있다.

AIVA, AWS Deep Composer 등의 대표적인 음악 인공지능 서비스와 기술 또한 이러한 인공지능 기술을 기반으로 한 사례라고 볼 수 있으며 CNN, RNN, GAN 등의 인공지능 모델을 활용한 활발한 연구가 이루어지고 있다.

인공지능 음악의 대중화 과제

하지만 AIVA나 AWS DeepComposer는 음악 전문가나 컴퓨터공학 전문가가 활용할 수준의 사전지식이 있어야 하는 수준의 인터페이스를 제공하고 있어 대중이 쉽게 활용하기는 어려운 실정이다. AIVA에서 제공되는 최종적인 음악 데이터 또한 MIDI 형태로 되어 있어 최종 제공된 음악을 통상 유통되는 음악의 수준으로 만들기 위해서는 후속 편곡 작업과 믹싱, 마스터링 등의 일련의 과정이 필요하다. 이를 보완한 새로운 AI 작곡 플랫폼이 새롭게 등장하고 있는데 일본의 Sound raw 가 대표적인 사례라고 볼 수 있다. Soundraw는 장르와 분위기에 대한 선택을 기반으로 트렌디한 음악을 제공한다. 다양한 장르와 고객의 감성적 유스케이스를 기반으로 한 루프 패턴 기반의 음악을 제공함이 돋보인다. 필자가 분석했을 땐 인공지능이 미리 생성한 송폼 기반의 코드 패턴을 기반으로 다양한 가상악기에 매핑한 루프를 기 제작해 놓고 인공지능 추천 엔진을 통해서 고객의 주요 쿼리에 가장 적합한 패턴 음악을 추천해주는 것으로 보인다. Sound raw는 최근 미디어 소비 흐름의 주축인 Stock 스타일의 음악을 다양한 장르로 제공하여 실질적으로 소비가 가능한 시장이자 대중적인 시장에 더욱 접근한 것으로 보인다.

인공지능 음악과 연주

자동 연주라는 키워드로부터 시작된 인공지능 연주의 시초는 엑츄에이터와 로보틱스 기술을 기반으로 하는 과거의 천공카드 기반의 자동 연주 악기 오케스트리온을 그 시초로써 언급할 수 있다. 과거에는 악기라는 사운드 시스템에 기계장치와 악보를 대신하는 천공카드를 활용해서 다양한 음악을 기계가 연주할 수 있도록 하는 악기가 발명되어 지금의 인공지능 악기의 시초가 되었다. 하지만 이는 지능을 활용한 연주라기보다는 짜인 기계의 반복적인 움직임이라고 볼 수 있었다. 확장성, 연동성, 제어성, 창작성 부분에서 한계적인 부분이 많았고 기계적인 부분에서도 상당히 수공에 의존한 제작 기법이 적용된 상황이라 양산에도 한계성이 있었다. 하지만 전자음악의 발전으로 1983년 MIDI라는 디지털 악기 표준 인터페이스가 세상에 공개되면서 그 판도는 혁명적으로 바뀌게 된다. 현존하는 대부분의 전자악기와 자동 연주 악기는 MIDI를 기반으로 연결되고 소통한다. 앞서 언급한 신경망 기반의 인공지능 또한 전략적으로 준비된 음악 정보 데이터인 MIDI 파일을 기반으로 학습하여 새로운 MIDI 기반의 창작을 순행한다. 현존하는 인공지능 음악과 악기와의 지능적 연결 관계는 이처럼 이루어져 있다.

인공지능 음악과 AIoT

다음은 이러한 인공지능 음악이 적용된 악기의 연결과 소유에 대한 니즈가 발생한다. 우리는 악기라 불리는 사운드 시스템을 스스로 연주하게 하였고 통신 규격을 만들어 서로 소통하고 스스로 다양한 연주를 할 수 있게 한정적 지능을 부여 했다. 이젠 온라인과 연결된 무한의 지능과 연결 그리고 대화이다. 대화가 가능한 가상의 인공지능 음악 지성과의 대화란 딱딱한 악기를 소유한 우리에게 새로운 매력으로 다가온다. 우리는 이제 인터넷과 연결된 새로운 개인화된 음악 지성과의 연결을 통해서 대화와 손쉬운 핸드폰 조작만으로도 합주, 창작, 편곡, 가창이 가능해지게 된 것이다. 이것은 온라인기반의 다양한 인터렉티비티 설계로 가능하게 해준다. 내가 소유한 인공지능 악기와 인공지능 음악을 통해서 스피커가 아닌 실제 악기의 소리로 실현된 음악과 연주를 감상할 수 있게 되었다. 이는 어쿠스틱 음악이 효과적인 교육, 방송, 스튜디오, 엔터테인먼트 공간 등에 활용되어 우리의 삶과 산업을 더욱 편리하고 풍족하게 해준다.

메타버스와 Web 3.0 가상화 될 인공지능 음악

지금까지 현실 속 음악 활동과 정보가 디지털화되고 인공지능을 통해서 재현되고 창작되어 졌다. 이제는 가상화와 디지털 트윈을 통한 현실 활동의 디지털 자산화이다. 음악 활동의 가상화와 시각화는 이미 게임, 컴퓨터 음악 시퀀서, 컴퓨터음악 악보 제작, 뮤직비디오 등으로 디지털화되고 시각화되어 음악 애호가들에게 다양한 경험을 제공하고 있다. 또한 최근 메타버스 플랫폼을 대표하는 로블록스, 제페토, if Land 등 다양한 가상 공간 속에서 이미 음악 IP는 가상화되었고 자산화되었다. 이는 NFT와 연계되어 티켓이나 분산 재화 형태로 소유권이 다양한 고객에게 나뉘어져 소유되고 있기도 하다. 이는 Web3.0으로 산업이 전환하는 과도기적인 성격이 큰 플래그십형 이벤트이기도 하다. IP를 기반으로 메타버스 공간에서 다양한 음악 경험이 있을 예상이다. 다만 더 큰 플랫폼이 되기 위해서는 누구나 쉽게 메타버스 공간에서 공연, 창작, 교육, 교류할 수 있어야 한다. 이러한 플랫폼의 한계를 극복할 수 있도록 돕는 주요 핵심 기술이 인공지능 음악 기술이 될 것으로 예상된다. 여러분들이 집에서 피아노 연주만 하더라도 메타버스 공간 속에서 디지털 트윈이 되어 가상 공간에서도 연주하고 쉽게 공연하는 것이다. 이를 쉽게 재현할 수 있도록 하는 인공지능 기술은 향후 더 고도화되어 완벽한 가창을 할 수 없더라도 인공지능 기술을 통해서 나의 가창을 교정하고 가상공간에서 엘범을 NFT를 통해서 발매하거나 공연할 수 있는 미래가 얼마 남지 않았다.