📞"여보세요" 한마디면 끝. AI 보이스 복제의 시대

모르는 번호로 걸려 온 전화를 받고 "여보세요?"라고 묻자마자 뚝 끊겨버린 경험, 다들 한 번쯤 있으실 겁니다. 단순히 잘못 걸린 전화라고 생각하며 대수롭지 않게 넘겼다면 이제는 긴장하셔야 할지도 모르겠습니다. 일론 머스크의 xAI가 최근 발표한 차세대 모델 '그록 4.3'과 그 부가 기능인 '커스텀 보이스'는 우리가 상상하던 것보다 훨씬 빠르고 정교하게 목소리를 재현할 준비를 마쳤기 때문입니다. 기술의 발전이 선사하는 짜릿한 편리함 이면에는, 고유 생체 정보인 목소리마저 언제든 '복제 가능한 데이터'로 전락할 수 있다는 서늘한 경고가 숨어있는 셈이죠.

이번에 공개된 그록 4.3은 압도적인 가성비를 무기로 내세우며 AI 시장의 판도를 흔들고 있습니다. 100만 토큰당 단돈 1.25달러라는 파격적인 가격은 아주 저렴한 가격으로 고성능 지능을 빌려 쓸 수 있게 해줍니다. 특히 대중의 시선을 사로잡은 것은 단 2분 이내의 짧은 음성 데이터만 있으면 실제 인물과 구분할 수 없을 정도의 목소리를 만들어내는 기능입니다. 이러한 기술은 AI가 음색과 억양의 미세한 파동을 순식간에 학습해 재구성하는 원리입니다.

하지만 이 뛰어난 기술은 곧바로 범죄의 강력한 무기로 돌변할 수 있습니다. 최근 보안 업계가 주목하는 '침묵 전화' 수법은 바로 이 AI 복제 기술을 노린 고도의 데이터 수집 전략입니다. 단 몇 초의 짧은 대화만으로도 목소리의 특성을 채취할 수 있는 시대가 되면서, 복제된 음성은 가족을 사칭한 피싱이나 은행의 음성 인증 보안망을 뚫는 도구로 악용될 우려가 큽니다. 실제로 목소리를 흉내 내는 것은 대중이 생각하는 것보다 훨씬 쉬워졌으며, 범죄가 수개월 뒤에 조용히 진행되기 때문에 피해자가 원인을 파악하기조차 어렵다는 점이 더 큰 문제입니다.

일론 머스크는 여기서 멈추지 않고 인간의 사고 능력을 압도할 10조 파라미터 규모의 초거대 모델을 훈련하며 더 강력한 미래를 예고하고 있습니다. 기술이 비약적으로 발전할수록 우리는 '나를 증명하는 유일한 수단'이 무엇인지에 대한 근본적인 질문을 마주하게 됩니다. 이제는 낯선 전화기 너머의 침묵에 대답하기 전, 나의 목소리가 복제될 수도 있다는 걸 기억하셔야 합니다.

그동안 '누가 더 똑똑한가'를 두고 경쟁하던 인공지능 빅테크 기업들이 이제는 '누가 더 잘 버는가'로 경쟁의 중심축을 옮겼습니다. 앤트로픽의 매출이 1년 만에 무려 80배나 뛰었다는 소식은 실리콘밸리를 발칵 뒤집었죠. "10배 정도만 커져도 좋았을 텐데 성장세가 너무 빨라 감당하기 무섭다"는 다리오 아모데이 CEO의 너스레는 AI가 연구실을 넘어 수익 요소가 되고 있음을 증명합니다.

이 변화는 이용자들의 일상에서도 점차 체감될 전망입니다. 오픈AI는 한국을 포함한 주요 국가의 챗GPT 무료 사용자 대상 광고 도입을 추진하고 있습니다. 예를 들어 여행지나 맛집을 검색할 경우, 관련 브랜드 정보가 함께 노출되는 방식입니다. 회사 측은 답변의 독립성을 유지하겠다고 설명하고 있지만, 대화형 서비스 안에 광고가 자연스럽게 결합하기 시작했다는 점에서 기존 검색·광고 시장에도 적지 않은 변화가 예상됩니다.

앤트로픽은 기업용 시장에서도 빠르게 존재감을 키우고 있습니다. 특히 코딩 특화 서비스인 '클로드 코드'를 중심으로 개발자 수요를 확보하며 성장세를 이어가는 모습입니다. 최근에는 스페이스X 데이터센터를 통해 대규모 연산 자원을 추가 확보하며 인프라 경쟁에도 속도를 내고 있습니다. 아모데이 CEO가 "1년 안에 대부분의 코드가 AI로 작성될 수 있다"고 언급한 점도 업계의 높은 기대감을 보여주는 대목입니다.

반면 국내 대표 기업들은 여전히 기술 투자와 모델 개발 단계에 머물러 있어 글로벌 기업들의 수익화 전략에 한발 뒤처지는 것 아니냐는 우려도 있습니다. 기술의 완성도만큼이나 '어떻게 지속 가능한 수익을 낼 것인가'라는 숙제가 더 중요해진 건데요. 이제 인공지능 공짜의 시대는 사실상 막을 내리고 있습니다. 기술의 편리함을 누리는 대가로 우리는 구독료를 지불하거나, 혹은 우리의 대화 맥락을 광고주에게 내어주어야 하는 선택의 기로에 서 있습니다.

쿼카 쌤이 알려주는 AI Tech 용어 #9 👩‍🏫

피지컬 AI 학습을 위한 데이터

몇 년 전부터 사람을 닮은 휴머노이드 로봇들이 등장하기 시작했습니다. 그런데 초기의 로봇들은 제한된 환경에서 특정 동작은 잘 수행하는 대신 조금만 환경이 바뀌어도 넘어지거나 물건을 제대로 들지 못하는 경우가 많았습니다. 온라인에서는 이런 로봇들의 영상이 희화화되기도 하였는데 최근에 등장한 로봇들은 행동하는 것이 사람과 거의 다름없을 정도로 자연스러워졌습니다. 얼마 전 현대자동차에서는 아틀라스 로봇을 공개하면서 2030년에 대량 생산 및 실제 현장에 배치한다고 발표하기도 하였습니다.

이러한 휴머노이드 로봇들은 사람이 작업하기 어려운 환경에서 일을 하는 데 큰 도움이 될 것입니다. 거대한 배를 용접하거나 밀폐된 공간에서 일을 하다가 사고로 죽거나 다치는 경우도 많기 때문에 기존에 사람이 하던 일들을 휴머노이드 로봇이 똑같이 또는 더 잘할 수 있다면 위험은 줄고 생산성은 크게 높아집니다.

휴머노이드 로봇이 스스로 판단하면서 움직이도록 하기 위해서는 사람의 동작을 하나하나 측정해서 학습 데이터로 만들어야 하므로 특수 제작된 수트를 입거나 장갑을 착용해야 합니다. 이러한 방식으로 조작하는 것을 텔레옵스(Teleoperation, 원격조작)라고 합니다.

<사진1. 각종 센서가 부착한 수트를 착용한 예 1) >

특수 수트를 착용하면 사람이 몸을 움직일 때 발생하는 모든 변화를 측정할 수 있기 때문에 이를 로봇에도 그대로 학습시킬 수 있어서 도움이 되지만 가격이 비싼 전용 수트를 구입해야 한다는 부담이 있습니다. 또한, 사람이 하나하나 동작을 해야 하므로 데이터를 모으는데 시간과 비용이 많이 들 뿐만 아니라 정상적인 환경 외에 비정상적 환경에서는 어떻게 대처해야 하는지 모든 시나리오를 만들 수 없기 때문에 데이터셋을 만드는 데에도 한계가 있습니다.

이러한 문제를 극복하기 위해 최근에는 비싼 수트 대신 스마트폰 카메라 등으로 누구나 쉽게 촬영할 수 있는 영상을 모아 로봇을 학습할 수 있는지 연구가 활발히 진행되고 있습니다. 컵을 드는 동작을 할 때에도 손잡이가 있는 컵, 뜨거운 물이 든 컵, 소주잔 및 와인잔 등 컵의 상황에 따라 동작이 다양할 수 있습니다. 제한된 환경에서는 데이터를 모으기 쉽지 않은데 집단지성을 이용한다면 같은 행동에 대해서도 수많은 영상이 나올 수 있습니다. 대표적인 데이터셋으로는 Something-Something 데이터셋이 있습니다. 2)

< 사진2. Something-Something 데이터셋 2) >

위와 같은 영상 촬영은 일반 스마트폰으로도 가능합니다. 스마트폰을 거치해 놓거나 한 손으로 들고, 다른 손으로는 무언가 행동을 하기만 하면 됩니다. 수트를 입고 컵을 드는 동작을 하면 컵 개수도 많지 않고 사람의 체형에 따라 제한된 데이터만 수집이 됩니다. 반면 일반 영상은 남녀노소가 서로 다른 테이블 위에서 서로 다른 컵을 들기 때문에 같은 행동이라고 하더라도 행동이 조금씩 달라집니다.

또, 특정 동작을 성공적으로 수행할 수도 있지만, 실패한 경우에 어떻게 대처하면 되는지에 대한 데이터도 쉽게 모을 수 있습니다. 컵을 든 다음에 바닥에 떨어뜨렸을 때 다시 컵을 줍는 동작, 떨어진 컵이 깨졌을 때 조각을 치우는 동작 등 실패 이후에는 어떤 동작으로 연결되는지까지 학습 데이터로 활용할 수 있습니다.

< 표1. 수집 가능한 행동 예시 >

반면 각종 측정 데이터를 영상만으로 분석해야 하므로 한계도 있습니다. 수트를 입을 경우 물체나 손가락, 손의 3차원 좌표뿐만 아니라 시간의 흐름에 따라 어떻게 값이 변하는지 궤적(Trajectory)을 추적할 수 있습니다. 장갑에 따라서는 촉각도 측정할 수 있기 때문에 물체의 표면이 무엇인지에 따라서 손을 어떻게 움직여 집어야 하는지, 그리고 어느 정도의 압력으로 물체를 쥐어야 하는지도 계산할 수 있습니다. 일반 영상에서는 이러한 직접적인 데이터는 없으며 오직 영상을 이용해서만 필요한 정보들을 추출해야 합니다. 그렇기 때문에 값이 정확하지 않으며 영상은 3차원 공간이 2차원으로 표현된 만큼 사람이 보는 시각에서 얼마나 멀리 떨어져 있는지 계산하기 어렵기도 합니다. 정확한 측정값을 알 수 없지만 이를 활용하는 연구가 활발히 진행되고 있는 것도 수트를 입거나 장갑을 착용하고 측정할 때의 문제점을 보완할 수 있기 때문입니다.

플리토는 그동안 크라우드소싱 방식을 이용해 번역이나 음성 녹음, 글자가 포함된 이미지 수집 등을 진행해 왔습니다. 작년부터 피지컬AI는 AI 에이전트와 함께 화제의 중심이 되고 있는데 인공지능 데이터 및 솔루션 전문 기업인 플리토에서는 기존 아케이드를 고도화해 대규모 영상을 수집할 준비를 하고 있습니다. 앞으로도 플리토는 플랫폼이 가진 장점을 적극 활용해 세상의 어떤 데이터든 수집할 수 있도록 최선을 다하겠습니다.

AI 데이터 전문 기업 플리토가 피지컬 AI 데이터 구축과 실시간 AI 통번역 고도화를 위한 R&D 강화에 나섭니다. 로봇 및 제조 현장에 필수적인 인간의 행동 데이터를 크라우드소싱 방식으로 수집합니다. 특히 AI가 실패 복구 과정까지 학습할 수 있도록 데이터 범위를 확장합니다. 통번역 부문에서는 저자원 언어 지원 확대와 화자 인식 기술인 '음성 지문화'를 통해 다자간 대화의 정확도와 속도를 높입니다. 또한 GPU 서버 최적화 등 인프라 고도화를 병행하여 대용량 트래픽 환경에서도 안정적인 실시간 서비스를 구현할 계획입니다. 이번 행보는 단순 텍스트를 넘어 물리적 환경으로 확장되는 AI 시장에서 실용성 높은 멀티모달 데이터 경쟁력을 선점하려는 전략으로 풀이됩니다. 실제 산업 현장에 최적화된 데이터 공급 역량이 향후 플리토의 글로벌 시장 내 입지를 더욱 공고히 할 것으로 전망됩니다.