파편화된 노드들의 총체적 오케스트레이션

프롤로그: 모든 헛짓거리(?)는 결국 한 점으로 수렴한다

스마트폰 디스플레이의 픽셀 하나를 고치기 위해, 혹은 DAW 상에서 불분명하게 뭉개지는 250Hz 영역대의 혼탁함을 잡기 위해 밤을 새워본 적이 있는가?

크리에이터로서 우리가 살아가며 스쳐 지나가는 수많은 배움과 시도들;데이터 분석 모델링, 엔지니어링, 웹 프로그래밍, 그리고 서브컬처 일러스트 레이어링에 이르기까지- 이런 것들은 때로 주위 사람들로부터 “잡다하고 파편화된 헛짓거리”로 치부되곤 한다. 나 역시 항상 듣는 이야기가 ‘제발 한 가지만 제대로 해라’이다. 그러나, Steve Jobs가 말했던 ‘Connecting the Dots’는 비단 거창한 기업가 정신에만 국한되는 이야기가 아니다. 복잡한 1인 제작 환경을 헤쳐나가는 ’Compound Convergent Director(이런 말은 존재하진 않다. 당연하지. 내가 만든 타이틀이니까)’이자 ‘Creative Technologist’에게 스킬셋의 파편화, 즉 다양한 스펙트럼은 독창적인 창작의 코어가 된다.

2026년 5월부터 6월까지 진행된 niji(원곡: Niji 虹 by L’arc En Ciel) 커버 뮤직비디오 프로젝트는 그간 내가 lyrics 구상을 위해 다이나믹한 타이포그래피 애니메이션을 자막 파일을 통해 구성하던 작업을 2025년 중반부터 이리저리 시도하며 Remotion을 통해 구성했고 거기서 각종 SVG, CSS3, WebGL 애니메이션을 탐험하며 이리저리 부딪히고 실패하고 좌절하고 다시 일어서는 과정을 담았다. 그 과정에서 다른 걸 탐색해보고 여러 흥미와 작업, 과정들이 각각의 모습에선 다 연관이 없어보이지만 사실은 그 모든 게 하나의 결과물로 응집된다.

이 글은 맨땅에 헤딩하며 마이크 노이즈를 없애는 삽질과, AI 에이전트의 환각 코드를 집어던진 채 직접 픽셀과 프레임을 깎아 나갔던 기술 다큐멘터리이자 전직 개발자이자 현 크리에이터로서의 회고록이다.

https://www.youtube.com/shorts/oY4VBwtWr78

프로젝트의 출발점: 서브컬처 미학과 1인 총체예술의 동기

’리릭스 MV 비주얼라이저(Lyrics MV Visualiser)’는 업계에서 아주 생소한 포맷은 아니다. 하지만 이 포맷이 특유의 서브컬처적 미학과 고도의 시각적 밀도를 반영하며 가장 활발하게 꽃피우는 장르가 있다. 바로 보카로이드(Vocaloid) 프로듀서들의 오리지널 뮤직비디오, 그리고 이를 재해석하는 커버 아티스트들의 씬이다.

그러나 나에게는 한 가지 명확한 제약과 퍼스널리티의 차이가 존재했다. 보카로이드 노래를 직접 프로듀싱하거나 커버하기에는 내 실제 목소리의 톤앤매너, 그리고 내가 지닌 보컬 퍼스널리티 캐릭터와 결이 맞지 않았던 것이다.

어떻게 나만의 독창적인 비주얼라이저 장르의 연성들을 구축할 것인가? 내가 이에 대해 찾은 해답은 아래와 같다.

1. 음악적 재해석: 보카로 곡 대신 내 목소리와 보컬 성향에 완벽히 어우러지는 J-Pop 및 K-Pop 트랙을 직접 선정하여 보컬 커버, 믹스, 마스터링을 수행.

2. 독자적 서사 레이어 구축: 선정한 음악의 감정선과 서사에서 영감을 얻어, 나만의 독자적인 스토리텔링(혹은 서브컬처 팬픽션 성격의 세계관) 을 새롭게 작성. (이른바 안에서 새는 바가지 밖에서도 새는 전략)

3. 비주얼 & 모션의 오케스트레이션: 이 구축된 서사에 맞춰 일러스트 레이아웃을 디렉팅하고, 이를 프레임 단위로 제어하는 코딩 기반 키네틱 타이포그래피/Block pattern(Bold Minimalism) 애니메이션으로 결합.

노래 녹음부터 오디오 믹스/마스터링, 타이포그래픽 애니메이션의 연출과 디렉팅, 그리고 이를 구현하기 위한 스토리보드와 비주얼 디자인까지 1인 종합 컨텐츠 크리에이터이자 디렉터로서 모든 파이프라인을 직접 다루게 된 근본적인 동기는 바로 내 머리속에서 떠나지 않고 잔존하며 둥둥 부유하는 ‘음악-서사-비주얼의 완전한 밀도와 일체감’을 향한 욕망과 아이디어를 구현하기 위함이다.

제1장: 소리의 벽을 깨부수다 (Audio ML Analysis & Engineering)

코딩을 제외한 모든 작업들이 처음이었다.

영상 작업에 착수하기 전, 가장 먼저 직면한 장벽은 아이러니하게도 ‘소리’였다. 아무리 모션 그래픽을 까리하게 뽑아도 어설픈 오디오가 들어서는 순간 모든 균형이 와르르 무너진다. 음악 전문 교육을 체계적으로 이수하지 않은 상태에서 시작했기에 모든 과정이 하드웨어와 소프트웨어를 넘나드는 오디오 녹음 잔혹사의 연속이었다.

초기에는 테무(Temu)에서 사들인 저가형 다이나믹 마이크를 M-Audio 오디오 인터페이스에 물리며 첫발을 떼었다. 노이즈는 어찌어찌 잡았지만, 보컬의 강약 고저와 세밀한 다이내믹스를 담아내기엔 소리의 다이내믹 레인지가 현저히 떨어졌다. 수많은 고민 끝에 파이파인(Fifine) 마이크로 시스템을 업그레이드했다. 장비를 바꾼다는 것은 곧 나만의 룸 어쿠스틱과 녹음 포지셔닝 환경 전체를 재조정해야 함을 의미했다. (장비 구축과 환경 세팅에 관한 더 깊은 이야기는 KR-the-journey-of-audio-recording-mix-audio-composition 노트에 상술되어 있다.)

하지만 장비의 업그레이드조차 보컬 스킬의 근본적 한계(…인정하기 싫지만, 녹음할 때는 분명 잘 부른다 생각했는데 막상 녹음파일을 들어보면 적나라하게 삑사리와 음정 불안정이 드러났다)를 완전히 커버해주지는 못했다. MR과 걷어낸 보컬 트랙을 분리해 들어보았을 때 드러난 음정 불일치는 절망적이었다.

여기서 나의 전공인 데이터 분석(M.S.)과 ML 도메인 지식이 빛을 발했다. 대학원 석사 과정 중 진행했던 드럼 음향 시그널 분석 ML 모델 비교 연구에서 착안하여, 가이드 보컬과 내 목소리의 피치 편차를 Python으로 추출하고 분석하는 파이프라인을 구축했다. RVC(Retrieval-based Voice Conversion) 모델에 내 목소리 오디오 데이터를 학습시킨 뒤, 추출된 피치 벡터를 바탕으로 내 목소리와 가이드 보컬 사이의 피치갭 격차를 줄여줄 파라미터를 뽑았다. 그 후론 Logic Pro와 Reaper에서 매뉴얼 튜닝 작업을 진행했다.

RVC를 통해 내 목소리 학습 오디오를 변환한 생성물은 쓰지 않는다. 제 아무리 카피를 잘 한다 한들 보컬, 특히 여러 드라마와 감정을 녹여드는 사람의 목소리가 녹음된 오디오 파일의 피치격차를 생성형 모델은 기계잡음이 전혀 없이 생성하진 못한다. 적어도 내가 셋업한 환경에선 그러하다. 더 좋은 방법과 모델이 있겠지만 그걸 굴리기 위해 투자하는 시간과 하드웨어나 클라우드 시스템 구독료를 생각하면 별로 효능감이 없다. 걍 내가 로직프로 키고 Melodyne과 Flex Pitch로 일일이 재보정하는 게 빠르고 낫다.

상세한 피치 및 보컬라인 분석 과정은 KR-the-journey-of-audio-vocalign-analysis에 적어두었다.

이렇게 보컬 커버를 녹음하고 다듬으며 2-3월을 보냈다.

한국처럼 호주에서 원격이나 오프라인으로 1:1 믹스/마스터링 튜터링을 받기엔 물리적 거리와 막대한 비용의 장벽이 컸다. 결국 수많은 해외 유튜브 엔지니어들의 세션을 독학하며 유튜브 스승님들의 노하우를 내 것으로 흡수해야 했다.

이 오디오 워크플로우의 확장은 단순 보컬 믹싱에 그치지 않았다. 내가 직접 연기한 다이얼로그의 목소리 톤을 학습시켜 멀티 캐릭터 오디오 드라마 CD 톤을 만드는 실험(KR-how-1-person-can-make-diverse-charactor-acting-for-audio-drama)으로 이어졌고, 나아가 기존에 연구해 오던 기술 노드들(KR-GameToAudioDesign, KR-K-Pop-Live-Band-Rework, KR-Audio-to-Chart Pipeline)과 유기적으로 결합되었다.

로직에서 오디오 스펙트럼의 에너지 피크를 확인하고, 이를 Reaper로 불러와 마킹한 뒤 CSV 데이터로 추출해 애니메이션 이벤트 타이밍에 연동하는 기술적 기틀을 후에 The Hardest Button to Button cover m/v 제작할 때 확립하였다.

제2장: 화면을 코딩하고 조율하다 (Programmatic Video & Motion)

전통적인 NLE(Non-Linear Editing) 툴인 탭 위주의 프리미어, 애프터이펙트만으로는 수백 개에 달하는 가사 텍스트와 다이나믹 반응형 비주얼 컴포넌트의 프레임 단위 제어에 한계가 명확했다. 내가 선택한 솔루션은 React 기반의 Remotion (TypeScript) 이었다.

지난 1-2월 동안 여러 WebGL 컴포넌트들을 리모션 영상용으로 재구성하며 짜집는 작업 및 가사를 SRT로 타이밍 맞게 다 조절하여 이걸 타입스크립트에서 능동적으로 읽어들여 가사 애니메이션을 할당하는 작업을 작년 하반기에 내내 했었다.

영상의 뼈대를 잡기 위해 음성 인식 AI인 Whisper를 활용해 녹음된 보컬에서 자막 타임코드를 추출하고 SRT 파일로 변환했다. 이를 Remotion 파이프라인이 읽어들여 텍스트 애니메이션 컴포넌트에 동적으로 할당하도록 설계했다.

사실 이러한 코드 기반 비주얼라이저 아키텍처는 2026년 1월 말 발간했던 나의 첫 번째 리릭스 비주얼라이저 프로젝트(KR-my-first-lyrics-visualiser-mv) 프로토타입이 존재했기에 가능했다.

1월의 시험작을 발판 삼아, “Niji” 프로젝트에서는 WebGL, SVG Filter, CSS3 Blending Mode, Frame-by-Frame Scroll-based Animation 기술을 융합해 한 단계 고차원적인 모션 언어를 구축했다.

단순한 화려함보다 내 미학적 정체성을 드러내기 위해 노이즈 필터, Dithering 및 Glitch 컬러셋을 구상했다. 이 색상 팔레트들을 스케일러블하게 나열하여 비주얼 톤을 조율했다.

비주얼 애셋이 정리된 후에는 피그마(Figma)와 와이어프레임을 이용해 키네틱 타이포그래피의 블록 레이아웃과 등장 순서를 다듬었다. 코드로 직접 렌더링하기 전 시각적 가이드라인을 세우는 필수적인 단계였다.

비주얼의 완성도엔 디테일한 폰트 시스템이 중요하다. Google Fonts API와 호환되는 웹 폰트 중 상업적 사용이 가능하면서도 서사적 중압감을 줄 수 있는 타이포 스타일을 체계적으로 수집해 정리했다.

실제 애니메이션 코드 배치 단계에서 가장 나를 괴롭힌 것은 ‘가속 자간 디버깅(Accelerated Letter-Spacing Debugging)’ 이었다.

글자 하나하나가 각기 다른 펄럭임, 명도, 밀도를 지닌 채 서로 다른 축에서 흩날리다가, 보컬 신호에 맞춰 가독성 있는 한 문장으로 완벽하게 수렴해야한다. 5분이 넘는 곡 전체 가사의 자간, 개별 글자의 디스플레이 타임, 가로/세로 레이아웃의 타이밍 딜레이를 디버깅하는 일은 영혼을 갈아 넣는 컴퓨팅 작업이다.

제3장: 서사적 몰입과 비주얼라이징 (Jujutsu Kaisen Fan Artistry)

기술 스택이 뼈대라면, 뮤직비디오에 생명력을 불어넣는 건 서브컬처 서사 연출이다.

“주술회전”의 입체적인 두 인물(비록 조연이지만), 젠인/후시구로 토우지와 젠인 나오야의 왜곡된 관계성과, 그리고 그 둘은 결국 아무런 연결을 갖지 못한 굴레를 팬의 시각에서 심리학적으로 재해석해보았다. 주술계의 굴레를 거부한 자(토우지)와 그 굴레의 최상단에서 그를 선망하다 무너진 자(나오야는 비록 악역이긴 하지만)의 서사를 내가 부른 커버 곡의 감정선 및 키네틱 타이포그래피의 파괴적인 속도감과 직결되게 느낌을 살리려 했다.

아래 스크린샷들은 코드로 조율된 WebGL 마스킹, CSS3 블렌딩, 그리고 보컬 신호가 일치하는 지점에서 렌더링된 결과물의 샘플들이다.

이미지와 컬러 블록의 노이즈를 일그러뜨리고 마스킹 패스를 가변적으로 제어해 몬드리안 그리드(Mondrian Grid) 파열을 연출한 화면.

2026년 AI 생산성 신화의 허구: 도메인 지식 없는 에이전트는 쓰레기 배출기

2026년 현시점, 테크 업계는 MCP(Model Context Protocol)와 Harness 에이전트 아키텍처, 그리고 무제한 autonomous coding 프레임워크가 모든 개발과 창작을 대신해 줄 것처럼 선동하는 ‘생산성 바이럴 팔이’들로 넘쳐난다. 링크드인과 X(구 트위터)는 “코드 한 줄 안 짜고 MV 만들기”, “AI 에이전트로 10분 만에 웹 앱 뚝딱” 따위의 찌꺼기 콘텐츠로 도배되어 있다.

그러나 현업에서 오디오 신호를 다루고, 렌더링 파이프라인의 프레임 드랍을 잡으며, 서사적 맥락을 디자인하는 전문가들은 잘 알고 있다. 도메인 지식이 결여된 AI 에이전트는 그저 빠른 속도로 고품질 쓰레기 코드를 쏟아내는 오염원일 뿐이란걸.

[도메인 전문가의 AI 활용 패러독스]

1. AI 에이전트의 환각과 범용 코드 덤핑을 막기 위해 철저한 Constraint(제약), Scope(범위), API Spec 문서를 작성함.
2. 스펙 문서를 작성하는 과정에서 도메인 맥락(WebGL 셰이더 성능, Remotion 프레임 스킵, 오디오 Phase 문제)을 정의함.
3. 결국 “이 정도로 정교하게 스펙을 명세할 바엔 내가 직접 로직을 짜는 게 백배 빠르고 정확하다”는 결론에 다다름.

내가 믹싱/마스터링에서 겪은 수많은 밤과 Remotion의 디버깅 과정에서, Claude 4.5/4.7의 매번 업데이트 되는 신형 모델들이나 최신 Codex 같은 coding agent들은 정교한 DSP(디지털 신호 처리) 오차나 Remotion의 useCurrentFrame()과 interpolate() 간의 미세한 자간 연산 오차를 해결해주지 못했다. 오히려 존재하지 않는 API 스펙을 환각(Hallucination)으로 제시하여 토큰과 시간만 낭비하게 만드는 경우가 허다했다. 돈도 잃고 시간도 잃고의 무한 반복이다.

누군가는 “네가 AI 프롬프트나 Harness 에이전트 오케스트레이션을 몰라서 그렇다”고 비아냥거릴지도 모른다. 그러나, 나는 데이터 분석 석사(M.S.)코스를 진행하며 ML 원론 모델을 직접 커스텀하여 신호 분류를 진행했었다. AI의 수학적 매커니즘과 그 한계를 누구보다 잘 이해하고 있다.

AI는 오직 인간 디렉터가 명확한 제한 조건(Constraint)을 걸 수 있을 때, 단순 반복 노동을 보조하는 도구로서 정확히 제한을 뒀을 때 효능적인 가치를 지닌다. 도메인 지식도 없이 AI 버튼 하나로 총체예술이나 복잡한 아키텍처가 완성될 것이라 믿는 것은…사실 지들도 안될 거 알면서 조회수랑 관심 어그로 끌려고 매번 바이럴 돌리는 게 너무 눈에 뻔히 보이는 정도이다. 복잡성을 통제하고 비즈니스 및 미학적 가치로 변환하는 주체는 언제나 ‘도메인 지식을 갖춘 인간 디렉터’임을 전문가 및 실무자들은 잘 알고 있지만 그들의 목소리는 알고리즘의 억까를 받고 묻혀질 뿐이다.

에필로그: 총체예술 디렉팅(Polymath)의 과정자산

5분 남짓한 이 영상 하나를 만들기 위해 녹아든 모든 컴포넌트들을 나열해 보았다.

• Audio Engineering & ML: dynamic mic signal chain, RVC pitch model, Python pitch difference extraction, Logic Pro/Reaper mix & mastering

• Programmatic Motion Graphics: Remotion, TypeScript, Whisper SRT parser, WebGL, SVG filter, CSS3 blending modes

• Subculture Art Directing: Dithering palette, Mondrian masking, Kinetic typography layout, Characters’ narrative arc through visual arts

이 중 단 하나라도 빠졌다면 “niji” 비주얼라이저는 완성될 수 없거나, 시중에 흔하게 떠도는 영혼 없는 포트폴리오용 템플릿 영상으로 남곤 저장공간 어딘가 방치 되었을 터이다.

서로 아무런 상관없어 보이던 오디오 파이프라인, 프론트엔드 코드, 데이터 분석, 그리고 서브컬처 팬심이 유기적으로 결합하여 오케스트레이션될 때 느껴지는 쾌감, 이것이 2026년이라는 기술 과잉의 시대 속에서 풀스택 크리에이티브 테크 디렉터가 누릴 수 있는 최고의 보람이다.

우리가 겪는 모든 시행착오, 무모해 보이는 모든 탐구 노드들은 결코 헛되지 않다. 그것들은 언젠가 당신이 만들어낼 위대한 큰 그림으로 돌아올 것이다.

나의 파편화된 노드들의 여정은 여기서 멈추지 않는다. 다음 프로젝트로 예고된 The White Stripes 커버작 KR-KR-the-stopmotion-cut-trial-mv-the-hardest-button-to-button 프로젝트에서도, 소리와 비주얼, 그리고 코드가 빚어내는 작업을 진행할 것이다.

My Vocal Mix Cover - Niji 를 만들기까지 거쳐온 여정의 작업들

효과와 키네틱 타이포 구상을 미리 보기 위해 만들었던 자체 제작툴

KR-my-own-production-tool-bg-maker KR-my-own-production-tool-texture-mix

나만의 브랜딩 아이덴티티를 구축하기 위한 비쥬얼 미학의 발전 과정

KR-developing-my-own-aesthetics

이 작업 전과 후에 만들어지는 커버 mv 작업과정 기록

KR-the-second-version-trial-lyrics-visualiser-chroma-drift KR-KR-the-stopmotion-cut-trial-mv-the-hardest-button-to-button

lyrics mv로 작업이 도달하기까지 이 기반의 양분이 되어준 기반 작업들

KR-GameToAudioDesign KR-K-Pop-Live-Band-Rework KR-remotion-gsap-pros-and-cons KR-figma-to-jitter-and-remotion KR-remotion-and-shader-converting-glsl-to-webgl KR-making-first-time-youtube-vid-with-remotion KR-how-i-make-a-youtube-series-with-remotion-dynamic-srt-script-setup-exp-likejennie KR-how-i-made-podcast-interview-with-ai-virtual-idol KR-how-my-motion-graphics-workflow-has-been-evolved