📌 먼치 POINT

1. 인간-AI 합주를 위한 기술 개발과 공연 실험

남주한 교수팀은 피아노 반주 AI, 가사 추적, 제스처 큐 인식 등 인간과 실시간으로 호흡하는 AI 음악 시스템을 개발하고 있다. 조수미, 최나경, 박종화 등 세계적 아티스트와의 협연을 통해 기술의 음악적 완성도와 공연 현장 적용 가능성을 입증했다.

2. AI 보컬리스트와 음악 창작의 새로운 시도

박새별 박사는 AI 기술을 활용해 성전환 보컬과 창작을 결합한 음반을 제작하고, 표절 판별 및 음악 오리지널리티 연구도 병행 중이다. 음악을 언어로 분석하는 자연어 처리 기반의 접근은 창의성 판단이라는 난제를 기술적으로 풀어보려는 도전이다.

3. 공연 예술의 미래와 음악 AI의 일상화

연구팀은 연습·교육·취미 연주 지원을 위한 AI 오케스트라 등 일반인을 위한 음악 AI 시스템을 구상하고 있다. 몰입형 공연, 렉처 콘서트 등에서 AI와 관객이 교감하는 새로운 공연 형식도 실험 중이며, 이는 향후 공연 예술의 미래 가능성을 보여준다.

들어가며

안녕하세요, KAIST 문화기술대학원 남주한 교수입니다. 저는 Music and Audio Computing Lab을 이끌며 음악과 오디오를 위한 인공지능 연구를 수행하고 있습니다. 최근에는 조수미 공연예술 연구센터를 통해서 음악 공연을 위한 연구도 많이 수행하고 있습니다. 함께 연구를 진행하고 있는 팀원들을 소개하겠습니다. KAIST 문화기술대학원에서 인공지능 연구로 박사 과정을 마친 노래하는 AI 박사 싱어송라이터 박새별, 그리고 남주한 교수 연구실의 연구원 권태균, 박지윤, 최재란입니다.

AI 합주 기술의 핵심 원리

음악 공연과 관련해서 저희는 인간과 AI의 합주에 대한 연구를 꾸준히 수행해 왔습니다. 특히 건반이 스스로 움직이는 자동 연주 피아노에 음악적인 지능을 부여한 AI 피아노와 관련된 연구를 주로 수행해 왔습니다.

AI가 인간과 합주를 하기 위해서는 인간의 연주를 청각적으로 그리고 필요하면 시각적으로도 이해해야 합니다. 우선 청각적으로는 마이크로 들어온 인간의 악기 연주 소리를 듣고 악보상에서 어떤 음을 연주하는지, 어떤 외부의 잡음이나 공연의 잔향이 많이 섞여 있더라도 정확하게 그리고 실시간으로 추적해야 합니다. 곡을 처음 시작할 때나 연주 중에 갑자기 템포가 바뀌는 경우에는 카메라를 이용해서 시각적으로도 동작을 인식해서 연주 타이밍을 인간과 맞추기도 합니다.

AI는 이러한 시청각 연주 인식과 더불어 악기 연주도 합니다. 피아노 연주를 악보 그대로 연주하게 되면 너무 딱딱하게 들리기 때문에 인간의 연주처럼 템포와 셈여림을 자연스럽게 조절하거나 인간 연주를 정확히 체보해서 자연스러운 연주를 하도록 합니다.

이러한 인간 AI 음악 합주 연구를 진행하면서 운 좋게 여러 차례 무대 공연 기회를 가질 수 있었습니다. 지난해 6월에는 KAIST 유근철 스포츠 컴플렉스에서 열린 세계적인 소프라노이신 조수미 KAIST 초빙 석학 교수님의 노래 피아노 반주를 하기도 했습니다. 

그 전에는 대전 예술의 전당 20주년 기념 행사에서 세계적인 플룻 연주자이신 최나경 님의 플룻 연주를 반주하기도 하였습니다. 더욱 최근에는 엑스 베이스라는 예술 기술 공연에서 피아니스트이신 서울대 박종화 교수님과 저희 AI 피아노가 듀엣으로 멋진 연주를 하는 무대를 선보이기도 하였습니다.

연구의 출발점과 동기

제가 어릴 때 보았던 영화 중에 <Electric Dreams>라는 영화가 있습니다. 거기에는 컴퓨터와 첼리스트가 합주하는 장면이 나옵니다. 어릴 때 그 장면을 보고 너무 신기하고 또 인상적이어서 어릴 때부터 컴퓨터 음악에 대한 관심을 가지게 되었습니다. KAIST 문화기술대학원에 오면서 언젠가는 그 영화 장면처럼 컴퓨터와 인간이 합주하는 것을 재현해 보고 싶었습니다. 저희 연구실에는 취미 이상으로 악기 연주에 관심이 있는 학생들이 많고 또 심지어는 음악 전공하는 학생들도 있다 보니 자연스럽게 이러한 음악 연주를 위한 음악 인공지능 연구를 시작하게 되었습니다. 

박새별 박사는 처음 KAIST 문화기술대학원에 들어올 때 지금처럼 AI가 핫하지는 않았다고 합니다. 당시에 음악가로서 갖고 있었던 연구 질문이 있다면 세상에는 왜 이렇게 새로운 음악이 이렇게 많이 나올까, 음악이 갖고 있는 오리지널리티와 창의력은 무엇인지에 대한 고민이었습니다. 이런 연구 문제의 답을 찾아보려고 했는데 그때 도움을 줄 수 있는 현 시대에 가장 중요한 기술이 AI였고, 자연스럽게 자연어 처리를 접목해서 연구를 수행하게 되었습니다.

개발 과정의 생생한 경험들

권태균 연구원에게 가장 기억에 남는 순간은 AI 피아니스트와 협연을 가장 많이 진행하신 서울대학교 박종화 교수님과 연주를 진행할 때 맞춰가는 과정입니다. 사람과 사람이 연주하는 것과 사람과 AI 피아노가 연주하는 것은 굉장히 많은 측면에서 다릅니다. 어떻게 더 잘 맞추기 위해서 실제로 연주를 바꾸는 것이 아니라 알고리즘을 어떻게 조정해야 되는지, 알고리즘을 어떻게 조정해야 연주의 차이가 있는지에 대해 계속 이야기하면서 연주하고 조정하고 연주하는 과정을 반복하게 됩니다. 이 과정이 힘들기도 하지만 몰랐던 것들을 많이 알 수 있는 시간입니다.

연주라는 것이 연주를 어떻게 하느냐도 달라지지만 듣는 사람의 상태에서도 또 달라지기 때문에 같은 연주를 AI 피아노로 재생해도 심지어 다르게 들릴 때도 있고 듣는 사람에 따라서 피아노가 빠르게 나왔는지 느리게 나왔는지에 대한 판단도 달라질 때가 있습니다. 대부분은 듣는 사람들의 감각에 따라서 달라지는 것인데 실제로 AI 피아노가 시스템의 오차가 있어서 연주가 미세하게 달라지는 경우도 있습니다.

이렇게 갈 길이 많은 시스템이지만 사람과 인터랙션이 생기면 시스템이 정말 유기적이 되는 것이 느껴집니다. 또 한 번 연습을 시작하면 한 번에 10시간씩 쉬지 않고 피아니스트가 연주를 하게 되는데, 이럴 때는 정말 인간 피아니스트가 대단하다는 것도 함께 느끼게 됩니다. 이 현장은 공학이랑 음악 인지 같은 여러 지식이 실시간으로 맞물려 돌아가는 현장이라서 더 특별한 것 같습니다.

피아노의 댐퍼페달이라고 음을 지속하는 페달이 있는데, 이 페달 깊이를 몇 mm씩 조정했을 때 연주가 굉장히 극단적으로 바뀌는 것을 경험하면서 사람과 연주 시스템이라는 것이 이렇게 민감하고 정밀한 시스템이구나라는 걸 느꼈을 때가 기억이 납니다. 또 합주 알고리즘이 죽음의 무도라는 저희가 가장 시도했던 어려운 곡을 처음으로 성공시켰을 때 그때가 굉장히 기억에 남습니다.

AI 가사 추적 시스템과 제스처 큐 검출 시스템

박지윤 연구원에게는 소프라노 조수미 선생님과의 협연을 준비할 때가 제일 기억에 남습니다. 주요 연구 중 하나가 AI 가사 추적 시스템인데, 이 기술은 성악가의 노래를 실시간으로 분석해 현재 부르고 있는 가사의 위치를 정확히 추적하여 화면에 표시합니다. 지난해 이노베이트 코리아 2024에서 선보인 무대에서 이 기술이 사용되었습니다. 처음 관객분들이 저희 시스템을 보실 때는 꼭 노래방 화면 같다고 생각하십니다. 

다만 가장 큰 차이점은 성악가의 자유로운 음악적 표현과 템포에 실시간으로 반응하여 가사가 자연스럽게 표시된다는 점입니다. 공연 당시에 첫 곡을 에델바이스라는 노래로 진행했었는데, 조수미 선생님께서 너무도 아름답게 노래를 하시고 템포에 맞춰서 가사가 잘 표시가 되자 이 다 끝나고 "예!" 하고 환호성을 지르셨는데 그게 너무 감사하고 기분이 좋았습니다.

최재란 연구원은 공연에서 낯선 존재인 AI 피아니스트 같은 것과 연주자 그리고 관객이 서로 친해지게 하는 게 저희 공연에서 가장 중요한 지점이라고 생각한다고 합니다. 특히 플루티스트 최나경 님과 23년도에 진행했던 대전 예술의 전당 20주년 기념 음악회 콘 아모레가 가장 기억에 남습니다.

당시에 연주자 앞에 카메라를 설치하고 실시간으로 제스처 큐를 감지해서 반주가 시작되게 하는 큐 검출 시스템을 고안했습니다. 이 큐가 성공적으로 인식되었는지 여부를 마치 신호등처럼 시각화해서 연주자가 볼 수 있도록 만들었습니다. 처음에는 이런 시스템이 대체 무슨 일을 하는지 낯설어 하시는 연주자께서도 몇 차례 리허설을 반복하면서 점점 저희 시스템에 안심하고 친해지는 것이 느껴졌었는데 이렇게 딱딱하지 않을까 걱정했던 시스템과 합주도 부드럽게 풀리는 신기한 음악적인 경험을 할 수 있었습니다.

공연의 시작과 끝에 신호등 캐릭터들이 저희에게 인사하는 애니메이션을 추가해서 관객들에게 기술에 대한 이해를 도울 뿐만 아니라 좀 더 연출적으로 친숙하게 다가가는 요소로 활용하기도 했습니다. 이렇게 딱딱하고 어려울 수 있는 기술들을 어떻게 하면 음악적이고 또 자연스럽게 공연에 녹일 수 있을지 고민하고 또 실현해 보는 과정이 참 재미있는 저희 연구에서의 포인트라고 생각합니다.

AI 보컬리스트와 음악 창의성 연구

박새별 박사는 작년에 나온 앨범의 제목이 <Everblooming>이라고 합니다. 그런데 남자 보컬리스트가 조금 필요했는데 요즘 핫한 보컬리스트가 누가 있을까 이러면서 아주 많은 후보들이 있었습니다. 그때 저희 연구실에서 창업한 오드아이라는 젊은 친구들 발표를 듣고 있는데 요즘 제일 핫한 게 AI가 아닐까 이런 생각을 하게 되었습니다. 그래서 "누나랑 함께 작업해보지 않겠니" 이렇게 말을 해서 AI 보컬리스트를 영입했습니다. 

제 목소리를 학습시켜서 목소리로 일단 남자 목소리로 바꿨고 그 안에서도 여러 가지 스타일 음색 같은 것들을 여러 가지 방법으로 변형시켰습니다. 그렇게 어떻게 보면 당시에는 AI 커버가 아니라 이렇게 성전환이 된 AI 가수는 지금 사실 막 잘 알려지지 않아서 그렇지 거의 세계 최초의 시도였다고 알고 있습니다.

아까 말씀드린 어떻게 보면 세상에 계속해서 새로운 음악이 어떻게 나오느냐, 즉 음악의 오리지널리티는 사실 박사 과정의 질문으로 답하기는 굉장히 난해하고 어려운 질문이었습니다. 그런데 반대로 생각해 보면 오리지널하지 않은 건 무엇인가 사실 이게 되게 중요한 문제라고 생각했고 그것은 이미 세상에 있는 어떤 데이터가 있다고 생각했는데 그게 바로 표절에 대한 연구입니다.

그래서 지금까지는 이 표절이라는 것은 굉장히 주관적인 영역 그리고 어떤 전문가들에 의해서만 판단이 되는 영역이었습니다. 제가 자연어 처리를 공부했던 이유는 음악을 언어의 일종으로 볼 수 있지 않을까, 어떤 음악도 언어로 보면 그 안에서 어떤 새로움 독특함, 이 음악만이 갖고 있는 어떤 특이함 이런 것들을 찾아볼 수 있지 않을까 이렇게 생각해서 정량적으로 적용해보면서 시작한 연구입니다.

저는 사실 이 기술이 이 세상을 어떻게 변화시키는가에 대해서 생각해 보면 분명히 기술 자체가 인간을 편리하게 해 주는 부분도 있지만 지금까지 사람들이 밝혀내지 못한 어떤 정성적인 영역에서의 탐구 또한 굉장히 용이하게 할 수 있다고 생각합니다. 그래서 본 연구는 지금까지는 사실 논쟁으로 그쳤던 어떤 여러 가지 표절 이슈들의 어떤 실마리가 될 수도 있고 또 이후에는 사실 음악에서 나오는 독특함 고유성 어떤 특정 아티스트의 어떤 창의성 이런 것들을 밝힐 수 있는 시작점이 될 수 있다고 생각합니다.

NLP를 활용한 음악 표절 연구 소개

사실 그게 지식이 됐든 어떤 예술이 됐든 결국 자신만의 끝없는 도전 연구, 이런 시행착오 이런 것들을 겪으면서 나만의 이 결과물을 이 세상에 도출하는 과정입니다. 그래서 지난 시간 동안 저한테는 사실 연구자로서도 아티스트로서도 굉장히 각각의 영역에서 함께 성장하는 과정이었다고 생각합니다. 그래서 하나 제일 크게 배운 게 있다고 배운 점을 말씀드리자면, ‘아, 내가 어떤 문제가 있고 그 문제를 풀어가려면 어떤 방법과 어떤 과정을 통해서 나의 문제를 풀어갈 수 있구나’ 이런 과정의 프로세스들을 배우는 것이었다고 생각합니다.

그래서 박사를 졸업하고 저는 연구가 끝났다 이게 아닙니다. 사실 지금부터 더 하고 싶은 연구들이 많고, 앞으로 제가 지금까지 갖고 있었던 박사 과정에서의 제 스킬과 제 프로페셔널을 통해서 계속 많은 걸 해 나가고 싶은 마음이 있습니다.

향후 연구 방향

앞으로는 저는 인간의 연주를 도와주는 AI를 만드는 것이 큰 목표입니다. 지금까지는 무대 공연에 포커스를 맞추었다면 앞으로는 취미로 하는 악기 연주나 학교에서 하는 음악 교육 등 일반인들도 사용할 수 있는 음악 연주 AI 연구를 하려고 합니다. 예를 들어 누구나 가상의 AI 오케스트라와 피아노 협주를 한다거나 또는 밴드 연습을 할 때 멤버가 부족하면 그 부분을 AI가 대신 연주하는 것을 생각해 볼 수가 있습니다. 레슨 선생님처럼 나의 연주를 분석해서 피드백을 주고 또 연주 개선을 도와줄 수 있는 AI 연구도 할 계획입니다.

저는 연구실 처음 들어왔을 때부터 음악적으로 만족스러운 연주를 할 수 있는 시스템을 만드는 게 제 목표였습니다. 음악을 이해하기 위한 중간 과정으로 풀어야 할 문제들 예를 들어 음표와 음표가 어떤 관계를 가지고 있는지 또 템포 화성 음향 같은 것을 어떻게 컴퓨터가 이해해야 할지 등 풀어가야 할 문제들이 많기 때문에 이런 문제들을 좀 더 들여다보고 싶습니다. 자신만의 연주 해석을 해서 저도 놀랄 만한 연주를 들려줄 수 있는 날이 멀지 않았다고 생각합니다.

인간의 연주와 표현을 실시간으로 분석하고 모방하고 또 그에 바로 반응하는 시스템을 지속적으로 개발해 나갈 예정입니다. 이 분야의 연구는 까다로우면서 또 동시에 참 매력적이라고 생각합니다. 악기 연주나 성악 등 이런 인간의 라이브 음악 활동은 너무도 변덕스럽고 또 예측이 거의 불가하기 때문입니다. 그만큼 인간의 반응 속도와 음악적인 능력은 정말 놀랍습니다.

저는 사람과 기계 간의 음악적 소통이 대체 무엇인지 그것이 과연 가능한 일일지에 대해서 관심이 많습니다. 예를 들면 기존의 사람 간 합주 경험처럼 똑같이 재연을 해야 할지 혹은 사람이 편하도록 도움을 주는 기술이어야 할지 아니면 아예 다른 차원의 새로운 음악적 경험일지 이렇게 수많은 방향성이 있는 것 같습니다. 공연을 통해서는 이런 방향성에 대해서 질문을 던지고 싶고, 그리고 연구적으로는 제스처 큐와 같은 음악적 인터랙션에 대해서 계속해서 탐구해 보려고 합니다.

AI와 공연 예술의 새로운 가능성

저희가 그동안 다양한 무대에서 AI 기반의 공연을 시도해 보았습니다. 그중에서도 개인적으로 특히 기억에 남는 공연은 KAIST에서 재작년 12월에 열린 AI와 공연 예술 주제 심포지움 때 열렸던 렉처 콘서트입니다. 그때 저희가 초대했던 오스트리아 JKU 대학, 일본 야마하 대만 아카데미 시니카 그리고 저희 KAIST 연구진이 각자 연구하고 있는 음악 AI 기술에 대한 원리를 설명하고 또 공연을 통해서 시연을 하고 관객들도 그 무대에도 참여하기도 했습니다. 

음악 자체가 가지고 있는 진지함과 감동을 바탕에 깔고 AI 기술을 통해서 음악의 연주의 요소를 시각화하기도 하고 또 AI와 음악 연주를 하고 서로 소통하는 경험을 했다는 점에서 관객들이 지금까지와는 전혀 다른 공연 경험을 했다고 생각합니다. 그래서 저는 AI를 통해서 누구나 음악 연주를 좀 더 쉽게 이해하고 또 상호작용하는 방식이 미래 공연 예술의 한 가능성이 될 수 있지 않을까 생각하고 있습니다.

미래 음악 공연의 새로운 경험

저는 아주 최근에 제 앨범과 동명의 타이틀인 <Everblooming>으로 과학관에서 공연을 했습니다. 천체 투영관에서 사람들이 누워서 360도 프로젝션을 보며 몰입하는 2시간짜리 전시 같은 공연를 진행했습니다. 이전처럼 사람들이 음악 자체를 소비하는 시대는 지난 것 같습니다. 이제 음악은 하나의 경험이고, 공연 역시 단순히 음악을 감상하는 것을 넘어 다양한 경험을 제공해야 한다고 생각했습니다.

왜냐하면 사실 AI가 이전에 인간이 잘하던 걸 다 너무 잘합니다. 그렇다면 인간이 가야 할 길은 무엇인가 제가 생각했을 때 결국 인간의 어떤 한계를 넘어선 어떤 초월성 그리고 인간만이 함께 교감할 수 있는 어떤 정서와 어떤 교감성이 있다고 생각합니다. 그런 의미에서 공연은 앞으로 점점 더 퍼포먼스도 음악에서 중요한 역할을 할 거라고 생각하고 또 인공지능은 또 그 관점에서 정말 새로운 경험들을 제공할 수 있는 좋은 도구가 되지 않을까 하고 생각합니다.

Created by KAIST
CC BY 라이선스 | 교정 SENTENCIFY | 에디터 이유진