석유를 찾던 알고리즘이 목소리를 고치기까지 — 오토튠은 어떻게 만들어졌나

오토튠을 만든 사람은 음악가가 아니었습니다. 정확히는 음악가이기도 했지만, 본업은 땅속에서 석유를 찾는 일이었어요.

그리고 그가 오토튠을 만드는 데 쓴 기술은 음악을 위해 개발된 게 아닙니다. 지하 수천 미터 아래의 지층 구조를 읽어내려고 만든 수학이었죠.

오늘은 그 기술이 어떻게 사람의 목소리로 넘어왔는지, 그리고 그게 왜 그렇게 어려운 일이었는지를 따라가 보겠습니다.

① 플루트를 부는 석유 엔지니어 🛢️

앤디 힐데브랜드. 지구물리학 엔지니어이자 수학자입니다.

그는 엑슨의 연구 부문에서 일했고, 이후 랜드마크 그래픽스라는 회사를 공동 창업합니다. 하는 일은 신호 처리 기술로 지하의 석유 매장 위치를 찾아내는 것이었어요. 이 회사는 나중에 대형 유전 서비스 기업에 인수됩니다. 업계에서 성공한 축에 드는 경력이죠.

그런데 그에게는 다른 얼굴이 있었습니다. 플루트 연주자였어요. 열여섯 살에 이미 전문 연주 활동을 시작했을 정도로 진지한 수준이었습니다.

그리고 1989년, 그는 석유 업계를 떠납니다. 그러고는 대학의 음악 학교에 들어가 작곡을 공부하기 시작합니다. 이미 자리를 잡은 엔지니어가 마흔 언저리에 음악 공부를 시작한 셈이죠.

여기서부터가 흥미롭습니다. 그는 음악을 배우면서도 엔지니어의 손을 놓지 않았어요. 1990년에 회사를 하나 차리고 소리를 다루는 소프트웨어를 내놓습니다. 이 회사가 훗날 오토튠을 세상에 내놓게 됩니다.

② 땅속을 읽는 수학 — 자기상관 🌍

그가 석유 업계에서 다루던 기술이 오토튠의 핵심이 됩니다. 그러니 이게 뭔지 짚고 가야 해요.

🔹 석유는 어떻게 찾나

땅속으로 진동을 쏩니다. 그 진동은 지층 경계에서 반사되어 되돌아오고, 지표에 깔아둔 감지기가 그걸 받습니다.

문제는 돌아온 신호가 아주 지저분하다는 겁니다. 온갖 잡음이 섞여 있고, 여러 층에서 반사된 신호가 겹쳐 있어요. 그 안에서 의미 있는 반복 패턴을 찾아내야 지층 구조를 알 수 있습니다.

🔹 자기상관이라는 방법

여기서 쓰는 기법이 자기상관(autocorrelation)입니다. 원리는 의외로 단순해요.

신호를 복사해서, 조금씩 밀어가며 원본과 겹쳐 봅니다. 그리고 어느 만큼 밀었을 때 가장 잘 겹치는지를 봅니다.

잘 겹친다는 건 그 간격만큼 신호가 반복되고 있다는 뜻이거든요. 그러니까 얼마나 밀었을 때 가장 잘 겹치는가를 찾으면, 그 신호에 숨어 있는 주기를 알아낼 수 있습니다.

🔹 그리고 목소리도 주기 신호입니다

여기가 연결 지점입니다.

사람이 소리를 내면 성대가 진동합니다. 그 진동은 일정한 주기로 반복되고, 그 주기가 곧 음정입니다. 1초에 440번 반복되면 440Hz, 우리가 '라'라고 부르는 음이죠.

그러니까 지층에서 반복 패턴을 찾던 방법으로 목소리에서 음정을 찾을 수 있습니다. 대상만 바뀌었을 뿐 하는 일은 똑같아요.

③ 점심 자리의 농담 🍽️

기술은 있었지만, 그걸 목소리에 써야겠다는 생각은 다른 데서 왔습니다.

1995년 무렵, 업계 사람들과의 점심 자리에서 한 사람이 그에게 농담을 던졌다고 합니다. "음정 맞게 노래하게 해주는 상자 하나 만들어 주지 그래요."

농담이었지만 그는 진지하게 받았습니다. 자기가 십수 년 다뤄온 기술이 정확히 그 일을 할 수 있다는 걸 알았으니까요.

그리고 몇 달 뒤인 1996년 말, 오토튠이 만들어집니다.

📌 이야기가 조금 간단해 보이지만

실제로는 그렇지 않았습니다. 아이디어가 나온 뒤에도 풀어야 할 문제가 두 개 남아 있었어요. 하나는 정확도, 하나는 속도였습니다. 다음 두 항목이 그 이야기입니다.

④ 왜 음정을 읽는 게 어려운가 🗣️

당시에도 음정을 읽어내려는 시도는 있었습니다. 주로 쓰인 방식은 소리에서 특징적인 지점을 찾아 그걸로 판단하는 것이었어요. 파형에서 가장 높은 봉우리를 찾는다든지, 0을 지나는 지점을 센다든지 하는 식이죠.

이 방식은 단순한 소리에서는 잘 통합니다. 문제는 사람의 목소리가 단순하지 않다는 거예요.

🔹 이중모음이라는 함정

사람이 노래할 때 모음은 계속 변합니다. 특히 하나의 음 안에서 모음이 바뀌는 경우가 있어요. '아이'나 '오우'처럼 두 모음이 이어지는 소리를 이중모음이라고 하는데, 노래에서는 이게 한 음 안에서 일어납니다.

이러면 소리의 모양이 도중에 확 바뀝니다. 특징적인 지점을 찾아 판단하는 방식은 여기서 무너져요. 음정은 그대로인데 모양이 바뀌었으니 다른 음으로 읽어버립니다.

그러면 어떻게 될까요? 보정기가 갑자기 엉뚱한 음으로 끌어당깁니다. 소리가 '뿌드득' 하고 튀거나 이상한 잡음이 섞이죠.

🔹 자기상관이 유리한 이유

자기상관은 특징적인 한 지점을 보지 않습니다. 신호 전체를 통째로 자기 자신과 비교합니다. 그래서 모양이 도중에 조금 바뀌어도 전체적인 반복 주기는 여전히 찾아낼 수 있어요.

이 차이가 결정적이었습니다. 오토튠이 기존 시도들보다 안정적으로 동작한 이유가 여기 있습니다.

⑤ 100만 번을 네 번으로 ⚡

정확도 문제를 풀고 나니 다음 문제가 나옵니다. 너무 느렸습니다.

자기상관은 신호를 계속 밀어가며 매번 곱하고 더하는 계산입니다. 밀 수 있는 위치가 수천 가지고, 소리는 1초에 수만 번 측정되니, 계산량이 어마어마해집니다. 당시 컴퓨터로는 실시간 처리가 불가능한 수준이었어요.

여기서 그의 수학 경력이 다시 등장합니다. 그는 계산 자체를 줄이는 방법을 찾아냅니다. 본인의 표현을 빌리면 100만 번의 계산을 네 번으로 줄인 단순화였다고 합니다.

🔹 왜 이게 중요한가

계산이 빨라졌다는 건 실시간으로 돌릴 수 있게 됐다는 뜻입니다. 녹음해 둔 파일을 나중에 처리하는 것과, 노래하는 동안 즉시 고치는 것은 완전히 다른 물건이에요.

그리고 이 지점이 오토튠이 단순한 보정 도구를 넘어선 이유이기도 합니다. 실시간으로 돌아가니까 노래하면서 결과를 듣게 되고, 그러면 그 소리를 전제로 부르게 됩니다. 도구가 연주 방식을 바꾸기 시작한 거죠.

⑥ 1997년, 사람들이 채가다시피 했다 📦

오토튠은 1997년 악기 산업 박람회에서 처음 공개됐고, 그해 9월에 정식 출시됩니다.

정작 만든 사람은 크게 팔릴 거라고 생각하지 않았다고 합니다. 그런데 박람회에서 반응이 예상 밖이었어요. 사람들이 그의 손에서 복사본을 채가다시피 했다는 이야기가 남아 있습니다.

이유는 명확합니다. 그전까지 음정이 어긋난 테이크를 고치려면 다시 부르는 수밖에 없었거든요. 가수를 다시 부르고, 스튜디오를 다시 빌리고, 시간을 다시 씁니다. 그 비용을 아는 사람들 앞에 "이걸로 고칠 수 있습니다"라는 물건이 나타난 겁니다.

🔹 그가 만들려던 것

당시 그의 목표는 분명했습니다. 티가 나지 않는 조용한 도구. 살짝 어긋난 음정을 아무도 모르게 고쳐주는 물건을 만들려던 거였어요.

그런데 그 안에는 그가 "아무도 쓰지 않을 것"이라고 여긴 설정이 하나 있었습니다. 음정을 끌어당기는 속도를 가장 빠르게 두는 값이었죠. 그렇게 두면 목소리가 계단을 밟듯 딱딱 달라붙어 사람 소리 같지 않게 됩니다. 보정 도구로서는 실패한 결과니까요.

그 설정이 어떻게 됐는지는 다들 아실 겁니다. 도구를 만든 사람이 정한 용도와 세상이 그걸 쓰는 방식은 별개라는 걸, 이보다 잘 보여주는 사례도 드뭅니다.

🔹 그리고 2023년

그는 오토튠으로 기술 부문 그래미상을 받습니다. 석유를 찾던 알고리즘이 대중음악의 소리를 바꾼 공로를, 음악 산업이 공식적으로 인정한 셈입니다.

⑦ 여기서 남는 것 💡

이 이야기가 재미있는 건 반전 때문만은 아닙니다. 몇 가지가 겹쳐서 가능했던 일이에요.

🔹 두 분야를 다 알았다

석유 탐사 기술만 알았다면 이 아이디어를 떠올리지 못했을 겁니다. 음악만 알았다면 자기상관을 몰랐을 거고요. 양쪽을 다 아는 사람이 드물었고, 그래서 아무도 그 연결을 보지 못했습니다.

🔹 문제를 다른 형태로 바꿔 봤다

"목소리의 음정을 어떻게 알아내지"라는 문제를, "이 신호의 반복 주기가 얼마지"라는 문제로 바꿨습니다. 그 순간 이미 답을 알고 있는 문제가 됐어요. 어려운 문제를 푸는 것보다, 이미 풀린 문제로 바꾸는 게 빠를 때가 있습니다.

🔹 농담을 흘려듣지 않았다

점심 자리의 농담이 시작이었습니다. 대부분은 웃고 넘겼을 겁니다. 같은 말을 듣고도 자기가 가진 기술을 떠올린 사람은 그 자리에 한 명뿐이었어요.

⑧ Q&A 💬

Q. 자기상관이 지금도 쓰이나요?

A. 쓰입니다. 음정을 검출하는 여러 방법 중 하나로 널리 쓰이고, 자기상관을 개선한 변형들도 많습니다. 다만 요즘은 주파수 성분을 분석하는 방식이나 여러 방법을 섞어 쓰는 경우도 늘었습니다.

Q. 목소리 말고 다른 악기의 음정도 읽을 수 있나요?

A. 원리상 가능합니다. 다만 어려운 경우가 있어요. 여러 음이 동시에 울리는 소리가 대표적입니다. 기타로 코드를 치면 여러 주기가 겹쳐 있어서 하나를 골라내기가 훨씬 어렵습니다. 이걸 다루는 기술은 별도로 발전해 왔고, 지금은 상당한 수준에 이르렀습니다.

Q. 왜 하필 석유 탐사 기술이었나요?

A. 우연이라기보다 필연에 가깝습니다. 지하 탐사는 지저분한 신호에서 숨은 구조를 찾아내는 일이고, 그래서 신호 처리 기술이 아주 일찍부터 정교하게 발전한 분야였습니다. 자본이 크게 투입되는 산업이라 연구도 활발했고요. 음악 쪽보다 앞서 있던 기술이 넘어온 셈입니다.

Q. 오토튠 이전에는 정말 방법이 없었나요?

A. 테이프 속도를 바꿔 음정을 옮기는 방식이 있었지만, 속도를 바꾸면 길이도 같이 바뀌고 목소리 성격도 달라집니다. 특정 음 하나만 골라 고치는 건 사실상 불가능했어요. 그래서 다시 부르는 게 유일한 답이었습니다.

Q. 발명가 본인은 지금 이 상황을 어떻게 볼까요?

A. 그는 여러 인터뷰에서 자기 도구가 쓰이는 방식을 두고 비교적 담담한 태도를 보여왔습니다. 만들 때 의도하지 않은 용도로 쓰인다는 걸 인정하면서도, 그걸 문제 삼기보다 현상으로 받아들이는 쪽에 가깝습니다.

Q. 이런 식으로 다른 분야 기술이 음악에 온 사례가 또 있나요?

A. 꽤 많습니다. 음성 통신을 위해 개발된 기술이 악기가 된 경우, 군사 통신 장비에서 출발한 기술이 음악에 쓰인 경우 등이 있어요. 음악 기술의 상당 부분이 원래 다른 목적으로 만들어진 것들의 전용입니다. 음악 시장이 연구 개발비를 감당하기에는 작았거든요.

마무리

오늘 내용을 한 줄로 압축하면 이렇습니다.

"어려운 문제를 푸는 것보다, 이미 답이 있는 문제로 바꾸는 게 빠를 때가 있다 — 목소리의 음정을 묻는 대신 신호의 주기를 물은 것이 오토튠이었다."

여러분은 다른 분야에서 가져온 아이디어로 문제를 푼 경험이 있으신가요? 댓글로 알려주세요.

#오토튠 #앤디힐데브랜드 #피치보정 #자기상관 #신호처리 #음악기술 #음악사 #DTM #음악제작 #보컬