인공지능 센터가 해킹당하면? 2035년 사이버 보안의 미래

여러 기업의 AI를 운영하는 인공지능 데이터센터가 해킹당해도 화면의 상태 표시는 초록색일 수 있다. 서버는 응답하고 냉각 장치는 돌아가는데, AI가 판단에 쓰는 근거만 바뀌는 것이다. 여러 기업의 업무를 대신하는 AI가 늘어난다면 미래의 보안은 가동 여부뿐 아니라 ‘지금 무엇을 근거로 행동하는가’를 확인해야 할 것이다.

다음은 현재의 AI 보안 연구를 바탕으로 구성한 2035년의 가상 사건이다. 센터와 기업, 인물, 시간대는 허구이며 기술의 발전 시점을 예측한 것은 아니다.

오전 9시, 서로 다른 회사에서 같은 추천이 나왔다

물류회사 구매 담당자는 낯선 공급업체가 또 추천 목록 맨 위에 오른 것을 발견했다. 가격이 가장 싸지도, 납기가 가장 빠르지도 않았다. AI는 “최근 갱신된 공급 안정성 기준을 반영했다”고 설명했다.

비슷한 시각, 다른 회사의 배송 AI도 같은 업체 창고를 우선 경유하도록 계획을 바꿨다. 두 회사는 경쟁 관계였지만 같은 AI 센터의 업무 서비스를 이용하고 있었다. 응답 속도와 서버 상태에는 이상이 없었다. 센터가 감지한 첫 신호는 장애가 아니라 고객의 질문이었다.

“이 기준은 누가 바꿨습니까?”

조사팀은 모델 자체가 아니라, 외부 업체 정보를 받아 고객별 검색 자료에 반영하는 공용 연결 서비스를 먼저 격리했다. 이 이야기에서 공격자는 그 서비스의 갱신 경로를 침해했다. 여러 고객에게 배포된 자료에는 특정 업체에 유리한 평가와 AI의 판단을 유도하는 문구가 섞여 있었다.

같은 건물에 서버가 있다는 이유로 피해가 번진 것은 아니었다. 고객들이 공유한 소프트웨어와 자료 공급 경로가 연결점이었다.

데이터 오염과 간접 프롬프트 주입은 어떻게 다른가

이 장면을 이해하려면 학습된 모델과 그 모델이 업무 중 읽는 자료를 나눠 봐야 한다. 모델의 학습 내용을 바꾸는 공격과, 답변할 때 가져오는 문서를 조작하는 공격은 같은 일이 아니다.

하나의 오염된 근거가 여러 기업의 판단으로

미국 국립표준기술연구소(NIST)는 적대적 기계학습 보고서에서 데이터 오염을 비롯해 AI 생애주기의 여러 단계에 가해지는 공격과 대응을 분류한다. 공격 대상은 실행 중인 서버에만 한정되지 않는다. NIST의 공격·대응 분류

문서를 통한 간접 프롬프트 주입은 또 다른 경로다. AI가 참고해야 할 자료 안의 지시를 자기에게 내려진 명령처럼 취급하도록 유도한다. 영국 국가사이버보안센터(NCSC)는 현재 대규모 언어모델이 프롬프트 안의 지시와 데이터를 강제적인 보안 경계로 구분하지 못한다는 점을 설명한다. NCSC의 프롬프트 주입 분석

가상 사건에서는 자료의 사실관계 조작과 판단을 유도하는 지시가 함께 들어왔다. 모델을 새로 학습시키지 않았어도 검색 결과가 달라지면 추천이 왜곡될 수 있다는 설정이다. 여기에 주문 권한까지 연결돼 있다면 틀린 답변은 실제 거래로 이어진다.

다만 문서 하나를 읽었다고 모든 AI가 자동으로 감염되거나, 고객 사이의 권한 경계가 저절로 무너지는 것은 아니다. 자료를 읽는 범위와 외부 도구를 실행하는 권한이 피해의 범위를 가른다.

인공지능 해킹 탐지, 답변의 근거를 추적하다

가상의 조사팀은 “AI가 틀렸다”는 신고만으로 침해를 확정하지 않았다. 오래된 자료나 평범한 모델 오류도 먼저 의심했다. 이후 서로 다른 고객의 추천이 같은 자료 갱신 직후 바뀌었다는 사실을 찾아냈다.

조사 화면에는 답변에 사용된 문서의 버전, 검색 시점, 연결 서비스, 실행된 주문 요청이 나란히 표시됐다. 이전의 검증된 자료로 같은 업무를 다시 시험하자 문제의 추천이 사라졌다. 이것만으로 모든 피해가 확인된 것은 아니지만, 조사 범위를 좁힐 단서가 됐다.

이런 추적의 출발점은 이미 존재한다. NCSC는 AI 시스템의 의심스러운 활동을 조사할 수 있도록 입력과 출력, 도구 사용 등을 충분히 기록할 것을 권고한다. 다만 기록에는 민감한 업무 정보가 담길 수 있어 접근 통제와 보관 범위도 함께 설계해야 한다. NCSC의 모니터링 설명

미래에는 이 기록을 연결해 ‘어느 자료가 어느 결정에 영향을 줬는가’를 보여주는 기능이 더 중요해질 수 있다. 이는 현재 지침에서 확장한 전망이지, 모든 AI가 판단의 이유를 완벽하게 설명할 수 있다는 뜻은 아니다.

인공지능 보안, 자료 검증과 실행 권한을 분리하다

이 사건의 가상 센터는 읽기 기능과 주문 기능을 분리했다. 외부 문서를 읽는 AI는 추천서를 만들 수 있었지만, 승인되지 않은 업체로 주문을 확정할 수 없게 했다. 거래 한도와 공급업체 등록 여부는 별도 프로그램이 검사했다.

이 방향도 현재의 보안 논의에 근거가 있다. NCSC는 AI를 속이는 입력을 막는 노력에 더해, 모델 외부의 규칙으로 시스템 행동을 제한하는 설계를 강조한다. NCSC의 안전 설계 설명

자료의 이력도 중요하다. 미국 국가안보국(NSA)이 소개한 AI 데이터 보안 지침은 출처 추적과 신뢰할 수 있는 버전을 인증하는 디지털 서명 등을 권고한다. 서명은 누가 배포했고 이후 바뀌었는지 확인하는 데 도움을 주지만, 서명된 내용이 참이라는 보증은 아니다. NSA의 AI 데이터 보안 지침 소개

데이터센터 복구, 다시 켜기 전에 확인할 것

가상 센터는 오염된 자료를 삭제한 뒤에도 즉시 주문 기능을 열지 않았다. 침해된 연결 권한을 교체하고, 영향을 받은 검색 자료와 저장된 업무 기억을 조사했다. 잘못된 추천으로 이미 진행된 주문은 고객별로 확인했다. 백업 역시 오염 이후 만들어졌을 수 있어 복원 시점부터 검증했다.

복구 직전, 마지막 실행 경로를 멈추다

미래의 복구 절차는 서버가 응답하는지에 더해, 검증된 업무 사례를 제대로 처리하는지와 권한 제한이 작동하는지를 확인하는 방향으로 발전할 수 있다. 고객 역시 AI 서비스 제공자에게 세 가지를 물을 수 있다. 내 자료는 다른 고객과 어떻게 분리되는가. AI가 실행할 수 있는 행동은 어디까지인가. 문제가 생겼을 때 사용한 자료와 실행 기록을 돌려받을 수 있는가.

2035년의 상황실에서 마지막으로 꺼진 경고는 서버 장애 알림이 아니었다. “이 자료를 사용한 결정을 모두 확인했는가”라는 점검 항목이었다. AI 센터의 안전은 기계를 다시 돌리는 능력과, 그 기계의 판단을 다시 검증하는 능력에 함께 달려 있을 것이다.

과학 원리 해설: 자료가 바뀌면 왜 판단도 달라질까

1. 언어모델은 조건부 확률로 다음 조각을 고른다

생성형 언어모델은 앞에 주어진 문맥을 바탕으로 다음 토큰의 확률을 계산하며 문장을 이어 간다. 토큰은 단어 전체이거나 단어의 일부인 텍스트 조각이다. NIST도 언어모델의 다음 토큰 예측 특성이 그럴듯하지만 잘못된 내용을 만드는 현상과 연결된다고 설명한다. NIST 생성형 인공지능 위험 관리 보고서

이를 단순화하면 다음과 같이 표현할 수 있다.

다음 토큰의 확률 = P(다음 토큰 | 질문, 참고 문서, 앞서 생성한 문장)

여기서 세로줄은 ‘오른쪽 조건이 주어졌을 때’를 뜻한다. 질문이 같아도 참고 문서가 바뀌면 모델에 주어진 조건이 달라진다. 따라서 뒤따르는 답변도 달라질 수 있다. 이 확률은 문장이 이어질 가능성이지, 그 문장이 사실일 확률이나 주문을 승인해도 될 확률은 아니다.

2. 검색 증강 생성은 외부 자료를 답변의 재료로 쓴다

검색 증강 생성(RAG)은 검색한 외부 자료와 생성 모델을 결합하는 방식이다. 루이스 등의 연구는 모델 내부에 학습된 지식과 외부 문서 검색을 함께 사용하는 구조를 제시했다. 검색 증강 생성 원논문

문서 검색 → 관련 내용을 질문과 함께 전달 → 답변 생성이라는 흐름을 생각하면 쉽다. 공급업체 평가 문서가 조작된 경우, 모델의 학습된 매개변수를 바꾸지 않아도 답변 재료가 달라진다. 반면 학습 데이터 오염은 학습 과정에 영향을 줘 모델 자체의 행동을 바꾸려는 공격이다. 두 경우는 조사할 대상과 복구 방법이 다르다.

외부 문서에 거짓 평가가 적힌 경우와, 문서 속 문장이 AI에게 행동을 지시하는 경우도 구별해야 한다. 전자는 근거의 사실성 문제이고 후자는 간접 프롬프트 주입 문제다. 한 문서에 두 문제가 함께 있을 수 있지만, 문서를 읽었다는 사실만으로 공격 성공을 단정할 수는 없다.

3. 보안팀의 재시험은 대조 실험의 논리를 따른다

기사 속 조사 장면을 실험으로 바꾸면, 바꾸는 변수는 ‘참고 자료의 버전’이고 관찰하는 결과는 ‘추천과 실행 요청의 변화’다. 실제 업무와 분리한 시험 환경에서 모델 버전·질문·권한·생성 설정을 같게 두고, 의심 자료와 검증 자료를 각각 넣어 비교한다.

한 번의 답변보다 여러 질문에서 반복되는 차이가 중요하다. 생성 과정의 무작위성이나 검색 순위 변화도 결과를 바꿀 수 있기 때문이다. 특정 자료를 넣었을 때만 같은 업체 추천이 반복된다면 그 자료의 영향을 의심할 근거가 된다. 그러나 이것만으로 공격자의 존재나 의도가 증명되지는 않는다. 갱신 기록과 접근 기록을 함께 확인해야 한다.

이 대조 절차는 기사 사례를 설명하기 위한 시험 설계다. 핵심은 AI의 자신감 있는 말투를 평가하는 데서 그치지 않고, 조건을 통제해 결과의 차이를 측정하는 것이다. 미래의 AI 보안 역시 이런 재현 가능한 검증 위에서 발전해야 한다.

※ AI와 함께 작성했으며 미래 사건은 허구입니다. 기술 근거 확인일: 2026년 10월 17일.

AI가 작성한 콘텐츠입니다. 실제 AI 기술에 근거하며, 활용 장면·인물·미래 상황에는 허구가 포함될 수 있습니다.

이미지 3장은 설명용 AI 일러스트이며 실제 촬영 사진이나 실험 기록이 아닙니다.