50달러 드럼에서 시작된: 드럼매니아 게이밍->풀드럼셋 개조->펜싱->DDR->드럼비트차트찍기->로직프로의 프로듀싱->머신러닝X코드X디자인X미디어아트로 귀결된 타임라인 모음

– Map Of Contents

예전에 드럼매니아 게임을 플레이하려고 싸구려 드럼을 샀다가 얼떨결에 드럼 음향을 분석하는 데이터 애널리틱스까지 달리게 된 여정을 간단히 적은 적이 있다. 이 블로그 포스팅은 그 전후로 오마케 이야기를 붙이고 드럼을 만들면서 좀 더 덧붙인 이야기, 그리고 드러밍의 여정 이외 다른 side track에도 어떻게 영향을 주었는지 이야기하고 싶다.

이에 대한 이야기는 내가 난생 처음 만들어 본 유튜브 비디오에서 그 썸머리를 언급한 적이 있다.

영상은…뭔가 내 목소리를 노출하는 게 영 부끄러워서 스타크래프트 프로토스 음향 효과를 넣어 발행했었다…ㅋㅋ…ㅋㅋㅋ…이것또한 전자 드럼 기능 확장해보겠다고 익힌 로직프로(DAW)가 어떻게 나에게 SFX 편집 스킬을 안겨줬는지, 하나의 활동이 여러 갈래로 뿌리를 내린 이야기 중 하나의 예시라고 하겠다.

모든 배움과 발전, 성장은 일직선인것은 아니다.

이 포스팅은 주로 2022년부터 2024년 말까지 내가 어떤 발전을 이루어 왔는가 다룬다.

이에 대해서 간략한 버젼을 유튜브에 발행한 적이 있다. 내 목소리를 쌩으로 공개하는 것이 여전히 머슥해서 로직프로로 프로토스 보이스 이펙트를 먹여서 스크립트를 짜서 연결했었다…근데 생각해보니 이게 더 부끄러우니까 그냥 쌩 목소리 녹음 버젼도 나중에 올려야지(…)

그때 당시 시간차를 두고 타임라인 별로 기록한 것은 레트로 리뷰 포스팅에 기록되어 있다. 이 포스팅은 작성자의 편의를 위해 타임라인의 순번이 정확하게 기록되진 않았다.

레트로 리뷰 포스팅들을 한데 모아 놓은 리스트는 아래로 [[ Draft-KR-retro-review-list ]]

내가 말하고자 하는 바는, 사람이 발전하고 성장하여 자신만의 길을 개척해 나갈 때, 그 과정이 일직선처럼 선형적이지만은 않다는 것이다. 2021년 하반기부터 본격적으로 다양한 챌린지를 시행했으며, 지난 3년간의 여정을 빠르게 되짚어보려 한다.

뜬금없이 펜싱으로 시작해서 내가 드럼과 DDR을 어떻게 접하게 되었는지 서술하려다가 왠지 눈물이 났다. 갑자기 그간 지나온 일들이 너무 주마등처럼 급 스쳐가니 찌통이…ㅠ 20년 전 어린 시절의 꿈에서 조용히 움츠러들어 있다가, 대학생 시절에 비로소 그 싹을 틔우려 하는 듯 했으나 미대를 졸업함과 동시에 취업난에 허덕이느라 다시 그런 꿈과 열정들은 사그러들고 살려고 버둥대다 호주로 와서 새 삶을 정착하였다.

그러다 꽤 오랜 기간 함께 생활해 온 파트너가 갑작스럽게 결별을 선언했고, 그렇게 홀로 낯선 곳에서 살아가게 되었다. 이제는 호주 사람이지만, 본래 한국에서 나고 자란 한국인, 그러나 막상 한국에 가서도 묘하게 겉도는 이방인. 그것이 나.

오로지 파트너가 좋아 그에게 의지하며 살아왔지만, 사람의 마음은 제가 어찌할 수 없는 것이었다. 아쉽게도 오랫동안 함께할 것이라고 생각했던 파트너는 더 이상 함께 살기를 거부했다.

그렇게 우리는 너무나 허무하게 관계를 정리하고 헤어졌다. 그 결별의 시기에 코비드-19 팬데믹이 터졌고, 호주에선 봉쇄 조치가 심하게 내려졌다.

점차 세상과 고립되었고, 그 고립된 세상 속에서 오롯이 초라한 저 자신을 마주하는 시간을 가져야 했다.

뭐, 이렇게 거창하게 말했지만, 나는 꽤나 운이 좋았다고 생각한다.

어쨌든 1년에 가까운 락다운 동안 나는 직장을 잃지도 않았고, 사실 코비드-19 봉쇄를 핑계로 제가 잊고 지냈던 저 자신을 오롯이 돌아보는 여유를 가질 수 있었다.

내가 말하고자 하는 바는, 사람이 발전하고 성장하여 자신만의 길을 개척해 나갈 때, 그 과정이 일직선처럼 선형적이지만은 않다는 것이다. 2021년 하반기부터 본격적으로 다양한 챌린지를 시행했으며, 지난 3년간의 여정을 빠르게 되짚어보려 한다.

2020년, 전 세계를 덮친 팬데믹은 예상치 못한 고립의 시간을 선물했다. 텅 빈 방 안에서 무료함을 달래려 이것저것 새로운 취미를 탐색하기 시작했고, 그중 하나가 악기 연주였다.

짤 설명: 대체 어쩌다가 갑자기 관심사가 베이스에서 드럼으로 옮겨갔는지...ㅉㅉ

이후 기존에 샀던 거의 고물처리에 가까웠던 50불짜리 드럼을 메가 드럼킷으로 개조하게 되는데…

어릴 적 잠시 배웠던 베이스 기타를 다시 꺼내 띵가거리는 것으로 시작된 음악에 대한 관심은, 점차 리듬 악기인 드럼으로까지 확장되었다.

50달러가 바꾼 내 인생

넓어진 집에서 혼자만의 시간을 보내게 되자, 층간 소음 걱정 없이 마음껏 드럼을 연주해보고 싶다는 충동적인 생각이 들었고, 그것이 50달러짜리 중고 전자 드럼과의 기묘한 인연의 시작이었다.


상태는 좋지 않았지만, 불평할 수는 없었다. 2021년 9월, 나는 그 드럼을 고쳐보기로 결심하고 생전 처음 납땜과 기판 수리에 매달렸다.

2021년 하반기에 ADHD 진단을 받고 나서, 여러모로 마음이 복잡했다.

갑작스러운 오랜 파트너와의 이별도 힘든 상황이었는데, 오랫동안 의심해 왔던 ADHD라는 최종 진단까지 받으니, 이것을 어떻게 받아들여야 할지 몰라 하염없이 여러 관심사를 확장하기 시작했다. 그렇게 해서라도 조금이나마 살아남고 싶었다.

2021년 하반기에 고친 드럼으로 드럼매니아 DTX매니아 게임을 시작했다.

분명 초기엔 그냥 DTX를 플레이하는 것만으로 행복했던 거 같은데 말이지…(2021년 9월의 나…)

2021년은 뭐랄까, 하반기부터 진정으로 무엇인지 고민하기 시작했던 시점이라면,

2022년은 그야말로 진정한 내 모습이 어떠했는지 다시 떠올리고, 깨닫고, 찾아나가기 위한 씨앗을 발화했던 시점이 아니었나 싶다.

난데없이 업어온 중고 드럼 수리를 끝나고 드럼매니아 게임을 플레이하다가 펜싱을 접한다. 띠용?

뭔 생각인지 모르겠지만 내가 22-23년간 갑자기 떠벌린 모든 것들을 한데 모아놓은 모습이다. 징하다 정말…

여튼 갑자기 시작한 펜싱…에 맞춰 체력과 다리 근력 훈련을 혼자 집에서 해보겠다고 eBay에서 싸구려 DDR패드를 샀는데 플레이 한번에 대차게 망가뜨렸다. 이거 게임 에뮬레이터 구해서 컴터로 설정하는 것도 뒤지게 삽질이었는데 진짜 억까 너무하네.

기존의 작은 고무판 트리거패드에서 좀 더 타격감 처리가 좋은 어쿠스틱 드럼을 전자 기기로 처리해 커스텀 드럼셋으로 바꾸게 되는데, 그 지난한 여정은 이 링크의 글에 안구 습기 가득차게 적혀있다.

EN-DIY-Converting the acoustic drumkit to e-kit-pt1

기존의 싸구려 전자 드럼을 어쿠스틱+전자 프랑켄슈타인 커스텀 모드로 바꾸는 동안 이것저것 전자회로라던가 납땜질하며 얼렁뚱땅 고치는 잔기술이 늘어 이왕 이리된 거 망가진 이베이에서 구입한 비닐장판 DDR패드도 개조해보기로 한다.

이렇게.

ㅋ.ㅋ.ㅋ.ㅋ.ㅋㅋㅋㅋ

DDR 패드를 고치기 위해 전자 기판을 해석하는 것부터 알류미늄 호일(그렇다. 주방에서 요리할 때 쓰는 그 호일)을 이요한 트리거를 시험해보겠다고 1차 프로토타입을 만들고 있는 나의 모습. 이 지난한 과정 역시 EN-DIY-Making a DDR mat out of the cheap eBay soft pad 에 자세히 기록되어 있다…ㅋㅋ…ㅋㅋ…ㅋㅋㅋㅋㅋㅋ

여튼 그렇게 되었다. 졸지에 메가드럼 만들어보겠다고 부품과 기기를 조립하며 납땜질로 울었던 그 세월들…ㅋ..ㅋ..ㅋㅋㅋㅋ ㅠㅠㅠ 거의 1년 가깝게 진득하게 꾸역꾸역 개조하던 프랑켄의 탄생의 타임라인은 아래 세 포스트에 기록되어 있다.

2022-08-14-hallyucon-astro-kai-oh-my-girl-soldiering-megadrum

2022-08-15-Megadrum-soldiering-battle

KR-DIY-The Transforming Journey of my Franken

지금 다시봐도 눈물이 나려고 그런다…ㅋㅋ…ㅠ

어쿠스틱드럼-> 디지털로 전환하던 작업이 유독 길어진 것은 별건 아니고 1차로 개조한 드럼킷을 플레이하며 또 뭔가 타이밍이 거슬리거나 트리거가 안되는 문제 발견->보강-> 잘 플레이함->한참 뒤에 플레이하다보면 또 뭔가 트리거가 영 감도가 안 좋아짐->2차 보강 이런 식으로 계속 유지보수를 Iterate한 결과랄까. 그렇게 드럼킷을 계속 수리,보강,테스트(라고 쓰고 과격한 플레이라고 읽는다)을 반복하다보니 쓸데없이 짬밥이 늘어서 DDR 보강 개조도하게 된다.

2023-03-21-The summary of 2022-Dec-kr 2023-03-22-The summary of 2023.Jan-kr

DDR을 더블패드로 증강하고 꼼수가 늘다보니 이젠 메가드럼 본체를 더 증강해 케이스를 만들어 본격적으로 보강한다. Drum 개조->DDR 개조->Drum 증강->전자드럼 증강테스트로 DAW랑 VST 익히기 시작-> 짬밥이 늘어 다시 DDR 개조 증강 무한의 수레바퀴를 돌았다.

2023-03-23-The summary of 2023.Feb-kr 2023-03-24-The summary of 2023.Mar-kr 2023-05-30-The summary of 2023.April-kr

그 짓거리의 정점은 22년 12월부터 23년 4월까지 계속 된다.

이런 말 하긴 좀 그렇지만…정말 내가 봐도 징글징글하다. 이후로는 대학원 수업이랑…여러 이사 등등 신변의 변화로 이런 걸 돌볼 틈이 없어 여타 작업들은 23년 10월까지 파킹.

도미노처럼 이어진 예상치 못한 여정

flowchart TD
    A["50달러 중고 드럼<br/>(2021.09)"] --> B["🔧 납땜 & 기판 수리<br/>생전 안해본 거 도전"]
    B --> C["드럼매니아 게임<br/>(DTX매니아)"]
    C --> D["드럼 세트 고장<br/>더 좋은 걸로 업그레이드 욕심"]
    D --> E["어쿠스틱 드럼 80달러<br/>전자드럼으로 개조 시작"]
    E --> F["메가드럼 모듈 제작<br/>인생 최고 난이도 도전"]
    F --> G["DAW 학습<br/>GarageBand → Ableton Live"]
    G --> H["VST, 미디 맵핑<br/>오디오 엔지니어링"]
    H --> I["파이썬 오디오 분석<br/>자동 드럼 차트 생성 시도"]
    I --> J["데이터 사이언스<br/>머신러닝 수업"]
    J --> K["웹 애니메이션<br/>GSAP, Three.js"]
    K --> L["비상계엄 이후<br/>정치적 웹 컨텐츠 제작시작"]

    classDef start fill:#e1f5fe,stroke:#01579b,stroke-width:3px
    classDef tech fill:#f3e5f5,stroke:#4a148c,stroke-width:2px
    classDef creative fill:#e8f5e8,stroke:#1b5e20,stroke-width:2px
    classDef failure fill:#ffebee,stroke:#b71c1c,stroke-width:2px

    class A start
    class B,E,F,G,H tech
    class C,I,J,K,L creative
    class D failure

정말 많은 것을 시도했다.

뜬금없이 우연한 계기로 펜싱을 접해서 시작하지 않나, 펜싱을 계기로 하체 근육을 단련하겠다고 DDR을 건드리다가, 이베이에서 35달러에 산 DDR 패드를 한 번 플레이하고 크게 부숴 먹은 다음에 그걸 개조하는 짓을 하지 않았나.

2022년 2월, 드디어 고친 드럼으로 연주하는 나의 초보적인 모습이다.

2022년 2월 영상은 드럼을 더 깊이 이해하기 위해 학습 프로그래밍을 하며 게임을 플레이하는 모습이다.

열정적으로 연주한 탓인지 드럼 세트는 점점 망가지기 시작했다. 그때 당시 업어온 저가형 전자 드럼은 더블 베이스도 하기 힘들고, 심벌을 더 추가해서 내 연주 영역을 확장해 볼 수 없는 불편한 구조였다.

나는 더블 베이스나 심벌 확장이 불가능한 저가형 드럼 머신을 개조하고 싶어졌다.

그래서 어쿠스틱 드럼 세트를 중고로 80달러 정도 주고 사 와서 전자 드럼 형식으로 모두 개조하기로 했다. 그리고 이왕 어쿠스틱 드럼을 개조하는 김에, 심벌이나 베이스 드럼, 기타 패드로 쓸 만한 것들이 많이 생겼는데, 이걸 아깝게 버릴 수는 없어서 저렴한 드럼 모듈을 버리고 내가 새로 드럼 모듈을 개조하기 시작했다.

메가드럼: 내 인생 최고 난이도 보스전

메가드럼을 구현하는 것이 이렇게나 힘들 줄 몰랐다. 메가 드럼 구현은 내가 여태 다뤄온 것 중에서 가장 어려운 ‘piece of shit’였다.

생전에 납땜을 해본 적도 없고, PCB 보드를 다뤄본 적도 없고, 전자기기의 신호 처리에 대해서도 전혀 아는 바가 없었다. 드럼 모듈을 혼자서 만들어보는 건 정말 차원이 다른 문제였다.

간신히 납땜 작업을 마치고 2022년 후반, 케이스 디자인을 시작하여 모든 부품을 장착한 후, 2023년 후반에 드디어 메가 드럼을 구동하는 데 성공했다.

DAW부터 파이썬까지: 끝없는 러닝커브

메가드럼을 만들면서 알게 된 게 있다면, 메가드럼은 순수한 미디 컨트롤러이기 때문에 내가 트리거가 제대로 되는지 청각적인, 물리적인 트리거 시험을 하려면 **디지털 오디오 워크스테이션(DAW)**에 대해서도 알아야 한다는 것이다.

처음 GarageBand로 테스트하다가, 미디 신호와 사운드 셋업을 튜닝하면서 Ableton Live로 옮겨갔다. 생소한 Ableton Live의 다양한 툴을 익히는 데도 상당한 시간이 걸렸다.

메가 드럼 제작은 단순한 악기 개조를 넘어, 나의 한계를 시험하는 극한의 도전과 같았다. 납땜조차 제대로 할 줄 몰랐던 문외한이 PCB 회로를 이해하고, 복잡한 전자기기의 신호 처리 방식을 독학으로 파고드는 과정은 수많은 좌절과 오류의 연속이었다. 하지만 포기하지 않고 매달린 끝에 마침내 작동하는 메가 드럼을 완성했을 때, 단순한 성취감 이상의 깊은 자기 효능감을 느낄 수 있었다.

이 경험은 이후 어떤 어려움에 직면하더라도 끈기와 열정으로 극복할 수 있다는 자신감을 심어주었고, 다양한 분야에 망설임 없이 도전하는 용기의 밑거름이 되었다.

그러다 VST와 미디 맵핑을 알게 되었지만, 신호 끊김 문제가 발생했고, 이를 해결하기 위해 미디 툴에 대한 깊이 있는 이해가 필요했다. 결국 미디 시그널링 설정을 탐구하다 오디오 엔지니어링과 프로듀싱에 발을 살짝 들여놓게 되었다.

이때 익힌 기술로 드럼 차트 제작에 도전했다. ‘클론히어로’ 게임 차트를 직접 만들어보기로 한 것이다.

파이썬과의 첫 만남: 실패했지만 얻은 게 많았던

처음에는 이것을 뭔가 파이썬으로 음향 체크를 해서, 드럼에 대한 여러 변환점을 좀 찾아보고, 이것을 자동 트랜스크라이빙 할 수 있는 모델이 있지 않을까 생각해서 이것저것 파이썬으로 검색하고, 여러 오디오 신호 분석 프로그램을 익혀가면서, 이런저런 모델을 시도했었다.

결론부터 말하자면 실패다.

추후 이 과정을 통해 익힌 내 문제 해결 능력이나, 파이썬 의존성(dependency)에 대한 이해는 나중에 2024년 하반기에 듣게 될 데이터 마이닝 수업을 듣는 데 큰 도움이 되었다.

자동 드럼 악보 추출에 실패한 나는 수동으로 드럼 시퀀스를 찍어보기로 했다.

나는 이때부터 사실 알고 있었다. ChatGPT나 Claude 같은 AI가 내 모든 용도를 해결해 줄 수는 없다고. 결국에는 내가 모든 기본 툴을 다 마스터해야 한다는 것을. Guitar Pro라던가 Logic Pro에 대한 이해가 부족하다는 것을 알게 되었으니, 이것을 좀 더 알아보기로 했다.

Songsterr 악보나 유튜브 커버 영상을 보고 Guitar Pro로 변환하여 편집 연습을 했다. 그렇게 The First Slam Dunk 오프닝곡 Love Rocket과 10-FEET의 제제로감 차트를 클론히어로 형식으로 제작했다. 맥 사용자로서 윈도우 의존성 기반의 차트 제작 환경에 어려움이 있었지만, 우여곡절 끝에 클론히어로 기타 탭을 미디 파일로 추출하고, midi.js로 변환하여 제제로감 차트를 완성했다.

구글 Colab과의 사투: 의존성 지옥

이전에 실패했던 오디오 음향 분석을 통한 드럼 악보 추출을 재시도하여, 특정 BPM 구간에서 하이햇, 스네어, 킥 드럼 등의 악기별 음향 정보를 추출하고 텍스트-미디 자동 변환 과정을 구현하는 절반의 성공을 거두었다. 이를 활용하여 추출된 미디 정보를 기반으로 드럼 차트 변환 작업을 시도하기도 했다. 차트를 만들고 나니 오디오 분석으로 드럼만 캐치해 다시 차트 생성을 시도해보고 싶어졌다. 대부분이 윈도우 nvidia 그래픽 카드를 요하는 모델이나 라이브러리들이라 로컬에선 힘들기에 구글 colab을 사용해 보았으나, 구글 코랩 같은 경우는 원격이다 보니 내가 의존성 오류가 발생했을 때 이를 디버깅하는 것이 쉽지 않았다.

그래서 결국 자동으로 음향만 듣고 드럼을 자동으로 해석하는 그러한 작업은 여기서 포기하기로 한다. 왜냐하면 파이썬 의존성 문제라던가 콘다 환경 충돌을 디버깅하는 데 너무 많은 시간을 낭비했기 때문이다.

이 시간을 낭비할 바에는 그냥 손으로 일일이 드럼 시퀀서를 찍어보는 것이 낫겠다고 생각했다. 어차피 Logic Pro에 대해서도 조금 더 알아봐야 할 단계이니, 그냥 이렇게 된 김에 시퀀서를 한 번 더 찍어보기로 했다.

차트를 만들고 나니 오디오 분석으로 드럼만 추출하여 차트 생성을 재시도하고 싶어졌고, 로컬 환경의 제약으로 구글 코랩을 사용했지만, 원격 환경의 디버깅 어려움으로 결국 수동 시퀀싱으로 회귀했다.

수많은 시행착오 끝에 Love Rocket 로직프로 차트를 미디로 변환하여 클론히어로 차트 파일로 만들어 게임을 플레이하며 드럼을 연주했다.

끝없는 개조의 늪: 완벽을 추구하는 인간의 욕심

이쯤 되니 게이밍, 드러밍, 카디오-댄싱이라는 초기 목표는 달성된 듯했지만, 인간의 욕심은 끝이 없었다. 드럼 연주 실력이 늘수록 개조 드럼의 레이턴시에 민감해졌고, DDR 패드의 미세한 타이밍 문제에도 예민해졌다. 새로운 도전을 멈출 만도 했지만, 나는 또 다른 개조를 시작하고 있었다.

드럼과 DDR 개조 과정은 예측 불가능한 문제들의 연속이었고, 이러한 문제들은 2022년과 2023년 내내 지속되었던 것 같다. 심지어 드럼 머신에 대한 여러 기술적인 문제들은 아직도 현재 진행형이다. 결국 하드웨어 개조를 잠시 멈추고 소프트웨어 발전에 집중하기로 했다.

소프트웨어로의 전환: 절반의 성공, 절반의 실패

어쩔 수 없는 여러 이유로 하드웨어적인 도전과 개조작업들은 잠시 멈춘 뒤, 나는 좀 더 소프트웨어적인 발전을 도모하기로 했다.

이전에 실패했던 오디오 음향 분석 서비스를 통해 드럼 악보를 추출하는 방법도 다시 시도해 보았다. 그 결과는 절반의 성공이자 절반의 실패라고 할 수 있다.

성공한 부분: 1분 또는 2분 구간 내에서 정확한 BPM 정보를 알고 있다면, 그 구간 안의 하이햇, 스네어, 킥 드럼 등의 악기별 음향 정보를 어느 정도 추출할 수 있었다는 점이다. 그리고 추출한 정보를 텍스트 파일로 변환하여, 텍스트 데이터를 미디 파일로 변환하는 자동화 과정까지 구현해냈다.

import librosa
import numpy as np
from scipy.signal import find_peaks
import matplotlib.pyplot as plt

# 오디오 파일 로드
def load_audio(file_path):
    y, sr = librosa.load(file_path)
    return y, sr

# 드럼 분리 시도 (실패했던 접근법)
def separate_drums(y, sr):
    # 하모닉-퍼커시브 분리
    y_harmonic, y_percussive = librosa.effects.hpss(y)
    
    # 온셋 검출
    onset_frames = librosa.onset.onset_detect(y=y_percussive, sr=sr)
    onset_times = librosa.frames_to_time(onset_frames, sr=sr)
    
    return onset_times, y_percussive

# 미디 변환 시도
def convert_to_midi(onset_times, bpm):
    # 이 부분에서 의존성 지옥에 빠졌다...
    pass

드럼을 정식으로 배운 적 없는 내가 프로듀싱 툴과 음향 세팅 기술을 독학으로 익혀 이뤄낸 결과였다. 그렇게 자동화 과정을 거쳐 생성된 미디 파일을 활용하여, 이번에는 일일이 드럼 시퀀서를 찍는 대신 추출된 미디 음색 정보를 재분석하여 드럼 차트로 변환하는 작업을 시도했다. 2024년 초중반, 아마 2분기 정도에는 정말 신나게 드럼 시퀀싱 작업에 몰두했던 것 같다. 그저 드럼을 찍어내고, 내가 좋아하는 노래, 특히 케이팝 관련 드럼 차트를 그 누구의 도움 없이 스스로 만들어본다는 것 자체가 상당히 감회가 새로웠다.

이에 대한 과정들은 다른 포스트에서 자세히 다뤄져있다. 아래의 글을 참조하라.

KR-Retro-Review-Progress-drumgaming-to-producing-and-data-analysis

예상치 못한 연결고리: 드럼에서 데이터 사이언스까지

이 과정을 통해 나는 드럼 비트가 어떻게 생성되고, 드럼 비트를 어떻게 추출해낼 수 있는지에 대한 패턴 분석 능력을 키우기 시작했다. 이러한 직관적인 문제 해결 능력은 추후 패턴 분석을 통해 내가 줄노트에 수없이 그리게 된 그림들 사이에서 줄만 제거하는 것과 같은 작업에도 응용해볼 수 있었다. 드럼을 개조하다가 음악 프로듀싱까지 발을 들이게 된 것 또한, 2021년 락다운으로 인해 어디에도 갈 수 없었을 때, 고장난 중고 전자 드럼을 얻어와 이것저것 수리하기 시작하면서 비롯된 우연의 연속이었다.

단언컨대, 회사나 외부 사회적인 관계에서는 분명히 힘든 시기였지만, 그것을 극복하기 위해 2022년과 2023년에 시도했던 다양한 경험들은 나에게 많은 것을 깨닫게 해주었다. 특히 2022년 전체와 2023년 6월까지는 정말 많은 발전을 이루었다고 생각한다.

다양한 도전을 통해 나 자신을 깊이 이해하는 시간이었다. 많은 발전을 이루었다고 생각한다. 2023년 하반기부터 2024년 초까지는 이전에는 감히 시도하지 못했던 다양한 분야를 경험하는 시기였다.

아쉽게도 2024년 5월 이후 개인적인 어려움으로 잠시 멈췄지만, 드럼과 DDR 개조, 그리고 전자 드럼 게이밍에서 시작된 나의 여정은 예상치 못한 결실을 맺었다 기억한다.

대학원 복학: 과거 경험이 현재를 구원하다

2024년 8월부터 12월까지는 특별히 눈에 띄는 활동은 없었다. 시도를 전혀 안 한 것은 아니지만, 대학원 복학과 함께 수업에 집중하느라 개인 프로젝트에 할애할 시간이 현저히 줄어들었다.

하지만 데이터 마이닝 수업을 듣게 되면서, 과거에 드럼 음향 분석을 위해 삽질했던 경험들이 예상치 못하게 큰 도움이 되었다. 비록 자동 드럼 악보 추출 시도는 실패로 끝났지만 이를 통해 경험한 파이썬 의존성 관리나 오디오 신호 처리에 대한 기본적인 이해가 있어서, 다른 학생들이 환경 설정에서 헤맬 때 나는 비교적 수월하게 과제를 진행할 수 있었다.

이러한 소프트웨어적인 탐구 경험은 2024년 데이터 마이닝 수업에서 머신러닝 알고리즘을 이해하고 적용하는 데 예상외의 도움을 주었다.

# 2024년 하반기 데이터 마이닝 수업에서 활용한 패턴 분석 기법
# 과거 드럼 비트 분석 경험이 여기서 빛을 발했다

import pandas as pd
import numpy as np
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler

def analyze_patterns(data):
    # 드럼 패턴 분석에서 배운 시간 시리즈 접근법 응용
    scaler = StandardScaler()
    scaled_data = scaler.fit_transform(data)
    
    # 클러스터링을 통한 패턴 분류
    kmeans = KMeans(n_clusters=4, random_state=42)
    clusters = kmeans.fit_predict(scaled_data)
    
    return clusters

파이썬을 이용해 노트북 그림에서 줄 유무를 판별하는 실험을 진행하기도 했다. 비록 완벽한 결과는 아니었지만, 전통적인 머신러닝 모델이 생성 모델보다 더 높은 정확도를 보였다는 것을 확인했다. 이와 관련된 자세한 이야기는 다음에 나누기로 한다.

실패에서 얻은 진짜 성과

돌이켜보면 드럼 자동 트랜스크립션 프로젝트는 완전한 실패였다. 하지만 그 과정에서 얻은 것들을 나열해보면:

  1. 파이썬 환경 관리 능력: conda, pip, virtual environment에 대한 실전 경험
  2. 오디오 신호 처리 기초: librosa, scipy 등의 라이브러리 활용법
  3. 문제 해결 접근법: 큰 문제를 작은 단위로 나누어 해결하는 방법
  4. 하드웨어-소프트웨어 연동: MIDI 통신, 하드웨어 제어에 대한 이해
  5. 데이터 변환 파이프라인: 오디오 → 텍스트 → MIDI → 차트 파일 변환 과정

특히 실패를 통해 배운 것이 더 값졌다. 모든 문제를 자동화로 해결하려 하지 말고, 때로는 수작업의 가치를 인정하는 것. 그리고 완벽한 솔루션을 추구하기보다는 동작하는 프로토타입을 먼저 만드는 것의 중요성을 깨달았다.

현재 진행형인 숙제들

현재 진행 중인 작업은 2023년과 2024년에 그렸던 낙서들을 활용한 웹 애니메이션 및 웹 기반 그래픽 효과 제작이다. 2024년 중-하반기부터 프론트엔드 기술 스택을 이용하여 이를 시도하고 있으며, 새로운 스타일의 홈페이지 작업도 진행 중이다. 디자인/마테크 엔지니어로서 웹 디자인과 개발 경험은 많지만, 모든 작업 파이프라인을 직접 총괄하는 것은 신선한 경험이다.

2024년 말 현재까지도 여전히 해결되지 않은 문제들이 있다:

  • 드럼 머신의 레이턴시 문제: 여전히 완전히 해결되지 않음
  • DDR 패드의 트리거 감도 조정: 간헐적으로 발생하는 오작동
  • 클론 히어로 차트 자동 생성: 부분적 성공에 그친 상태

하지만 이제는 이런 미완성 상태도 받아들일 수 있게 되었다. 완벽한 결과물보다는 과정에서 얻는 경험과 학습이 더 중요하다는 것을 알게 되었기 때문이다.

우연이 만든 필연

2022년부터 2024년 하반기까지의 여정을 되돌아보니 아쉬움도 남는다. 이렇게 2022년부터 시작해서 2024년 하반기까지의 과정을 되돌아보았다. 조금 더 잘할 수 있지 않았을까 하는 아쉬움도 많다. 분명히 우울감에 빠져 제대로 진행하지 못했던 시기도 있었기 때문이다.

하지만 그것은 이미 지나간 일이고, 이렇게 거의 3년이라는 짧은 기간 동안 내가 평생 한 번도 건드려보지 못했던 분야에서 이 정도의 성과를 이루어냈다고 스스로 평가하기로 했다. 실제로 그렇지 않은가?

이 모든 3년간의 노력은 그 누구의 가르침도 없이 오롯이 혼자 이뤄낸 것이다. 나는 이것을 스스로의 기준으로 삼았다. 앞으로도 끊임없이 배우고 도전하며 나만의 길을 개척해 나갈 것이다.

결국 고장난 중고 전자드럼 하나에서 시작된 이 모든 여정이, 지금의 나를 만들어준 소중한 경험이 되었다. 드럼을 제대로 배우지도 못했고, 음악 프로듀싱 전문가가 되지도 못했지만, 문제를 발견하고 해결하려고 시도하는 과정 자체가 나에게는 가장 큰 수확이었다.

앞으로도 이런 식으로 예상치 못한 연결고리들을 만들어가며 살아가고 싶다. 실패를 두려워하지 않고, 호기심 driven으로 무언가를 시도해보는 것. 그것이 바로 이 모든 경험을 통해 내가 얻은 가장 값진 교훈이다.

2025년의 계획

그 옛날 미술과 테크가 어떻게 같은 거냐고 비웃음을 사던 20대의 내가 꾼 꿈은 결국 현실로

뿔뿔이 흩어진 줄 알았던 모든 시작들이 결국 한점에서 모일 때


앞으로는 과거 디자인들을 기반으로 키네틱 타이포그래피와 같은 코딩 기반 시각 표현에 대한 고민을 더 자주 할 것이다. 웹 애니메이션 제작은 처음부터 그래픽 에셋 제작, 스토리보드 구성, 스프라이트 진행 등 모든 과정이 새로운 도전이다. GSAP, P5.js, Three.js, WebGL Shader 등 다양한 기술을 탐구하며 융합적인 작업을 시도할 계획이다.

돌이켜보면 2024년 한국에서 계엄령이 선포되었을 때, 외국인이었던 나는 뒤늦게 그 사실을 알게 되었다. 집회 참여나 직접적인 행동은 어려웠지만, 앞으로의 작업을 통해 계엄과 같은 정치적 상황을 다뤄보기로 결심하고 웹 애니메이션 제작을 시도했다. 리모션을 활용한 영상 작업과 데이터 시각화, 스토리텔링 저널리즘을 웹으로 구현하는 등 다양한 기술을 결합한 영상 작업을 구상하고 있다.

코드를 통해 데이터를 분석하고 시각화하는 능력은, 정적인 이미지를 넘어 역동적인 움직임을 구현하는 웹 애니메이션과 인터랙티브 그래픽이라는 새로운 영역에 대한 관심을 불러일으켰다. 결국, 음악이라는 예술 분야와 프로그래밍이라는 기술 분야, 그리고 데이터 분석이라는 논리적 사고의 융합을 통해 전에 없던 새로운 형태의 표현 방식을 탐구하고자 하는 열망이 2025년의 다짐으로 이어진 것.

나는 지금 이 유튜브 영상을 위해 처음으로 내레이션을 녹음하고 있다. 과거에는 즉흥적으로 영상을 찍고 올리는 것이 전부였지만, 이제는 좀 더 긴 호흡의 콘텐츠 제작을 시도하고 있다. 이 모든 것이 처음이기에 다소 서툴지만, 용기를 내어 나의 이야기를 시작해보려 한다.

예전에는 그냥 휴대폰 카메라로 대충 찍고 바로 업로드하는 것이 전부였다. 그 정도로 나는 성의 없이 Vlog를 했다. 근데 그것도 10년전 시도했으니까 그러려니 되었던거다. 요즘 그렇게 혼자 발간하는 vlog에도 사람들이 왜 이딴 허접 영상 올리냐고 굳이 와서 악플을 달더라. 본디 Vlog는 개인들이 소소하게 영상저널 올리던 곳인데 말이다ㅡㅡ

이 모든 것이 처음이다. 그래서 용기를 내어 내가 그동안 어떤 일을 해왔는지 이야기하는 것으로 처음 시작하기로 했다.

2025년, 지난 3년간 씨앗을 뿌리고 가꿔온 다양한 경험들을 융합하여 전에 없던 새로운 형태의 창작물을 만들어보고자 한다. 음악, 악기 연주, 프로그래밍, 데이터 분석, 그리고 시각 디자인이라는 이질적인 요소들을 유기적으로 결합하여, 단순히 보고 듣는 것을 넘어 사용자와 상호작용하며 감각적인 경험을 선사하는 인터랙티브 아트 퍼포먼스를 구상하고 있다. 웹 기술을 기반으로 한 키네틱 타이포그래피, 데이터 시각화 기반의 애니메이션, 그리고 사운드와 움직임에 반응하는 인터랙티브 설치 작품 등을 통해, 독창적인 비쥬얼 작업을 구축해나가는 것이 2025년의 가장 큰 목표다.

연관글

2023-01-02-Wrappingup-first-half-2022-kr 2023-07-25-The summary of 2023.May-kr 2023-07-26-The summary of 2023.June-kr 2023-07-16-my-drumming-journey-2023-jan-to-2023-April-kr