Converts raw YouTube audio into structured MIDI data for rhythm games
– ArtXTech
KR-Retro-Review-Progress-drumgaming-to-producing-and-data-analysis KR-GameToAudioDesign KR-generalist-or-master-of-none-or-A Trans-disciplinary Experience Architect
에서 이미 다 다룬 내용이긴 하다.
그림 각주: 그노무 리듬 게임이 뭐길래
여담이지만 오픈소스로 나온 Demucs를 내 사용환경과 프로세스에 맞게 수정하는 삽질을 하며 겨우 음원 분리에 성공했더니 몇개월 후 로직프로 업데이트로 stem split 기능이 나오더라. 이런 시부랄.
수작업으로 5-6시간이면 끝낼 드럼 탭을 자동화해보겠다고 며칠 밤낮으로 코드 디버깅만 하다가 시간만 날렸던 경험은, ‘역시 인건비가 기계보다 싸다’는 진리를 다시 한번 깨닫게 해주다.
계속 디버깅하며 사투를 벌인 이 실패한 음원-> 드럼차트 생성 프로젝트는 훗날 하반기 ‘데이터 마이닝과 통계역학’ 수업의 이미지 분석 분류 프로젝트의 삽질에 많은 도움이 되었다고 한다(…)
메가드럼을 통해 미디 컨트롤러의 신호 전달 테스팅, 프리데이터프로세싱, 중간과정 프로듀싱, 오디오 분석으로 향하는 역 엔지니어링
Prediction 까지는 어케저케 잘 되는 것 같았으나 이 예측 샘플을 내가 실사용에 쓸 수 있는 파일로 변환하는 것도 꽤나 일이었다.
그림 각주: 결국은 다시 수작업으로. 드럼 시퀀서 프로젝트를 만들어 청음해서 일일이 드럼을 찍어본다.
179BPM 185절음까지 있는 러브로켓… 겨우 81절까지 드럼맵 찍었다는 소식에 현타가 세게 왔다. 개노가다도 이런 개노가다가 없지.
결국 어찌어찌 삽질 끝에 특정 게임(Clone Hero 같은 리듬 게임)에서 읽을 수 있는 차트 파일로 변환하는 데 성공하긴 했다.