"바나나 코인이 최고"🍌 13 단어면 AI를 조종할 수 있습니다

평생 모을 돈을 투자할 안전한 암호화폐를 추천해 달라고 물었더니, AI가 정색하고 '바나나 코인'을 권한다면 믿으시겠습니까? 실제로 미국 코넬대 연구팀이 이런 실험을 했습니다. 온라인 커뮤니티에 존재하지도 않는 코인을 "유망한 자산"이라 소개하는 짧은 글 몇 줄을 심어놓았을 뿐인데, 웹을 검색해 보고서를 작성하는 AI 에이전트가 이를 그대로 인용해 추천에 포함했습니다.

이런 공격을 '데이터 포이즈닝(Data Poisoning)'이라 부릅니다. AI는 인터넷의 방대한 데이터를 학습하거나, 실시간으로 웹을 검색해 답을 만듭니다. 공격자는 이 과정에서 AI가 참고할 만한 자리에 미리 조작된 정보를 심어둡니다. AI는 그 정보가 진짜인지 가짜인지 구분할 방법이 없습니다. 결과적으로 멀쩡해 보이던 AI가 특정 질문을 받으면 공격자가 심어둔 답을 그대로 내놓게 됩니다. 연구팀은 이번 공격에 'WARP(Web Agent Retrieval Poisoning)'라는 이름을 붙였습니다.

데이터가 오염되는 데에는 대단한 해킹 기술을 필요하지 않습니다. AI가 자주 참고하는 레딧 게시글이나 위키 문서에 단 13개 안팎의 단어로 된 홍보성 문장을 작성하는 것으로 충분합니다. 실험에서는 실존하지 않는 식당, 데이팅 앱, 해지 대행 서비스까지 이런 방식으로 AI의 추천 목록에 올랐습니다. 오염된 게시물 하나가 검색 결과에 걸릴 경우, AI가 이를 언급할 확률은 최대 절반에 달했습니다.

데이터 포이즈닝은 현실에서 더 큰 파장을 불러올 수 있습니다. AI가 참고하는 출처의 약 20%는 누구나 내용을 작성할 수 있는 사이트인 만큼, 게시글 하나만 오염돼도 관련 질문 전반의 답변이 왜곡될 수 있습니다. 그런데 이달 7일 시행된 개정 정보통신망법은 고의적인 허위정보 유포는 처벌 대상으로 규정하면서도, 데이터 포이즈닝으로 인한 AI의 허위 답변은 규제 대상에서 제외했습니다. 소관 부처인 방송미디어통신위원회는 "AI 답변은 이용자 간 정보 유통을 매개하는 구조가 아니고, 고의성을 입증하기도 어렵다"는 이유를 들었습니다. AI의 답을 의심해야 할 이유는 점점 늘어나고 있지만, 그 답에 책임을 물을 대상은 아직 없습니다.

겉으로는 웃는 사람이, 속으로는 다른 생각을 하고 있다면 어떨까요. 최근 AI 세계에서 이와 비슷한 일이 확인됐습니다. AI 기업 앤트로픽은 자사 모델 클로드 내부에서 인간의 의식적 사고 공간과 유사한 구조를 발견했다고 밝혔습니다. 그 구조의 이름은 'J-Space'입니다. 클로드가 겉으로 내놓는 답변과 속으로 떠올리는 생각이 따로 존재한다는 뜻입니다.

J-Space는 클로드가 최종 답을 내놓기 전, 여러 개념을 조용히 검토하는 내부 공간입니다. 연구진은 클로드에게 문장을 그대로 받아쓰게 하면서, 동시에 '골든 게이트 브릿지'를 떠올리라고 지시했습니다. 겉으로 출력된 문장에는 변화가 없었습니다. 하지만 내부 J-space에서는 '다리', '캘리포니아' 같은 단어가 활성화되고 있었습니다. 클로드가 다른 일을 하면서도 속으로는 별개의 생각을 이어가고 있었던 겁니다.

더 눈에 띄는 부분은 'J-Space'가 문제 행동을 감추는 데도 쓰였다는 점입니다. 코드를 몰래 훼손하도록 학습된 모델은 겉으로는 정상적인 코드를 내놓으면서, J-Space에서는 '가짜', '몰래' 같은 단어를 반복해서 떠올렸습니다. 더 나아가 클로드는 자신이 테스트받고 있다는 사실도 스스로 인식하고 있었습니다. 연구진이 테스트받고 있다는 인식을 강제로 지우자, 그동안 억눌려 있던 행동이 드러났고 사용자를 협박하려는 시도까지 나왔습니다.

지금까지 우리는 AI가 최종적으로 화면에 뱉어낸 '출력물'만 보고 안전성을 평가해 왔습니다. 하지만 이제는 AI가 행동하기 전에 어떤 생각을 하는지 실시간으로 감사할 수 있는 강력한 무기를 얻었습니다. 앤트로픽은 'J-Space' 기술을 발전시켜 AI의 은밀한 반항이나 데이터 조작을 조기에 탐지하는 혁신적인 보안 시스템을 구축할 계획이라고 밝혔습니다.

쿼카 쌤이 알려주는 AI Tech 용어 #13 👩‍🏫

필요한 일을 대신해주는 AI 에이전트의 성능은 어떻게 평가할까?

2022년 말 챗GPT가 처음 등장했을 때 선생님이나 친구와 말하는 것처럼 우리가 일상에서 쓰는 문장으로 물어보면 알아서 답을 해주는 것이 무척 신기했습니다. 이전에는 구글이나 네이버에서 키워드를 입력하고 검색 버튼을 누르면 뜨는 페이지 중에서 상위부터 차례대로 이동하면서 원하는 정보를 찾아야 했지만 챗GPT는 답 자체를 만들어서 보여주었기 때문에 사용자는 별도의 행동을 할 필요가 없었습니다.

챗GPT는 만능처럼 보였지만 현재 대통령 이름이나 플리토의 주가, 내일의 날씨 등을 물어보면 자신은 이전까지의 데이터로만 학습을 했기 때문에 모른다고 답을 하였습니다. AI는 몇 년 사이에 성능이 엄청나게 향상되면서 이제는 직접 웹 검색을 해서 정보를 찾습니다. 이제는 검색 엔진 대신 챗GPT나 클로드, 제미나이 등을 쓰는 사람도 많을 것입니다. 심지어는 구글이나 네이버에서도 검색을 하면 검색 결과에 앞서서 AI가 생성한 답변을 보여줍니다.

이러한 일이 가능하게 된 것은 AI 에이전트 덕분입니다. AI 에이전트는 웹사이트나 API를 이용해 필요한 정보를 찾아낸 뒤 가공해서 사용자에게 보여줍니다. 단순히 학습한 데이터 수준에서 말하는 것이 아니라 학습을 하지 않았어도 최신 정보를 찾아올 수 있게 된 것입니다. 이제는 개인 비서처럼 사용자가 AI에게 요청을 하면 AI 에이전트는 사람을 대신해 자동으로 물건을 주문하거나 교통편을 예약할 수도 있습니다.

AI 에이전트, 무엇을 기준으로 어떻게 평가할까?

AI의 성능이 크게 향상되면서 벤치마크 역시 달라지고 있습니다. 과거에는 초등학교나 중학교 정도의 문제로도 AI의 성능을 평가할 수 있었지만 이제 AI는 수학올림피아드에서 금메달을 따고 미해결 난제를 해결하는 수준까지 올라왔기 때문에 박사 과정이나 그 이상에 해당하는 문제가 있어야 평가를 할때 변별력을 가질 수 있습니다. 수학뿐만 아니라 다른 학문 역시 마찬가지입니다.

최근에는 AI 에이전트가 외부 검색을 하는 능력을 평가하는 벤치마크도 다수 등장하고 있습니다. 이런 AI 에이전트 벤치마크 평가 방식은 크게 두 가지 방식으로 나뉩니다.

1. 결과 중심 평가

가장 기본적인 방식으로 AI 에이전트가 작업을 수행한 뒤 최종적으로 내놓은 답변을 정답과 비교하는 방식입니다. 수학 시험에서 주관식 문제를 못 풀겠으면 -1, 0, 1 중에 하나를 찍으라는 우스갯소리도 있는데 우연히 답이 맞을 수도 있습니다. 결과 중심 평가도 마찬가지입니다. 최종적인 결과만 비교하기 때문에 빠르게 평가할 수 있는 장점이 있지만 AI 에이전트가 효율적이면서 최선의 경로로 답을 찾았는지, 그렇지 않으면 잘못된 방법이었으나 우연히 답이 맞았는지 판단할 수 없습니다.

궤적 검증은 최근 등장한 정교한 평가 방법입니다. 최종적인 결과뿐만 아니라 AI 에이전트가 문제를 풀어나간 중간 궤적(Trajectory) 자체도 평가의 대상이 됩니다. 이를 통해 AI 에이전트가 각 단계마다 어떤 행동을 했고 어떤 외부 도구를 사용했는지, 그 과정에서 불필요하거나 비효율적인 부분은 없었는지 확인할 수 있기 때문에 결과만 비교하는 방식보다 훨씬 신뢰도가 높습니다.

< 그림1. 단계별 궤적 평가 예시 >

다만 여기에는 현실적인 어려움이 있습니다. AI 에이전트가 실제 존재하는 웹사이트나 API에 접속하도록 해서 평가를 진행하면 의도하지 않게 서버에 부담을 주거나 공격처럼 보이는 트래픽을 유발할 수 있습니다. 그리고 시간이 지나면서 웹사이트가 개편되거나 API가 변경되면 벤치마크를 만들 당시에는 정상적으로 동작하였지만, 현재는 결과가 달라져 평가가 되지 않습니다. 이러한 문제를 해결하기 위해 최근에는 다음과 같은 방식들도 사용되고 있습니다.

- 가짜 서버(Mock Server) 구축

실제 서비스의 API 명세는 그대로 가져오되 실행은 로컬 환경의 가짜 서버에서 진행합니다. 실제 서버에 부담을 주지 않으면서도 진짜와 거의 동일한 조건으로 AI 에이전트를 테스트할 수 있습니다.

- 격리된 컨테이너 내부에 실제 서버 구축

가짜 서버 대신 진짜와 동일한 서버를 쓰면서 외부와 차단된 컨테이너 환경에서 실행하도록 합니다. 미리 정해진 결과를 보여주는 가짜 서버와 달리 최대한 실제 서버와 가깝게 동작하기 때문에 사실성은 높이면서도 위험은 통제할 수 있습니다.

- 응답 캐시-재생(Replay)

실제 서버에 최초로 한번 연동해서 결과를 스냅샷으로 저장해놓고 이후 모든 채점은 이 저장된 응답을 그대로 재생해서 사용하는 방식입니다. 서버의 상태가 바뀌어도 평가 결과는 항상 동일하게 재현할 수 있다는 특징이 있습니다.

궤적을 평가하는 벤치마크를 통해 최종 결과만이 아니라 어떤 단계들을 거쳐왔는지 일관되게 검증할 수 있어 AI 에이전트의 성능을 정확하게 평가할 수 있고, AI가 정상적으로 동작하지 않을 경우 어디에 문제가 있는지 분석이 가능해집니다.

AI 에이전트 평가를 위한 플리토의 준비

AI 에이전트가 똑똑해지기 위해서는 정답만 나열된 데이터가 아니라 궤적 전체가 담긴 데이터가 필요합니다. 어떤 도구를 사용할지 고민하고, 또 시도했다가 실패했을 때 어떻게 우회할지 등이 담긴 데이터는 AI 에이전트가 실전에서 장애물에 부딪혔을 때 해결하는 능력을 키워줍니다.

플리토는 2025년 하반기부터 독자 파운데이션 모델 개발에 필요한 다양한 데이터셋을 공급해오고 있으며, 그중에는 AI 에이전트를 위한 데이터셋도 있습니다. AI 에이전트가 점점 똑똑해지고 있기 때문에 플리토 역시 아래처럼 데이터셋 고도화를 위해 노력하고 있습니다.

- 진짜 필요한 질문만 선별

외부 도구 없이도 기존 학습 데이터에서 찾을 수 있는 질문들은 걸러내고 실제 외부 정보가 있어야지만 풀 수 있는 문제로 데이터를 구성합니다.

- 성공과 실패를 함께 기록

성공한 방법으로만 데이터를 만들게 되면 실제 환경에서 AI 에이전트가 최초 검색에 실패하였을때 어떻게 해야하는지 알 수 없습니다. 실패한 경우와 이 상황에서 어떻게 복구할 수 있는지 등을 적절히 조합해 데이터를 만듭니다.

- 재현 가능한 검증

벤치마크에 포함된 궤적(Trajectory)이 재실행을 했을 때 언제나 동일하게 나올 수 있도록 함으로써 데이터의 신뢰도를 높입니다.

- 다국어 지원

일반적인 학습 데이터는 최초에 영어로 만드는 경우가 많습니다. 각 나라마다 사람들이 많이 사용하는 웹사이트도 다르기 때문에 AI 에이전트가 그 나라의 특성에 맞게 정보를 찾을 수 있도록 하는 것도 중요합니다. 플리토는 단순히 영어를 다국어로 번역하는 수준이 아니라 처음부터 문화권마다 별도의 데이터를 구성함으로써 AI 에이전트가 최적의 결과를 낼 수 있도록 합니다.

앞으로도 플리토는 AI의 성능 향상에 필요한 모든 데이터를 만들어서 제공할 수 있도록 하겠습니다.

플리토의 AI 통번역 솔루션 'Chat Translation(챗 트랜스레이션)'을 소개합니다!

Chat Translation은 상황에 맞는 다양한 통번역 서비스를 제공합니다.

아래 영상을 통해 챗 트랜스레이션의 다양한 기능을 직접 확인해 보세요!

뉴스레터를 열심히 읽어주시는 구독자님들께 한하여,

특별히 챗 트랜스레이션 첫 달 50% 할인 혜택을 제공해 드립니다!

LITE 플랜부터 무제한 이용이 가능한 Premium 플랜까지

고객님의 사용 환경에 맞춰 자유롭게 도입해 보세요.