지뢰는 사람이 밟는 순간 터집니다. 유엔 군축실은 이렇게 작동하면 촉발 장치에 따라 혼자 움직이는 지뢰를 자율 기능을 가진 무기의 예로 들고, 초보적인 자율 기능을 가진 체계는 수십 년 전부터 있었다고 설명합니다.
그런데 센서와 컴퓨터가 표적을 찾아 고르고 공격까지 결정할 수 있게 되면 물음이 커집니다. 기계가 어디까지 판단해도 되고, 사람은 어디에 남아 있어야 할까요? 미국 국방부의 지침과 유엔의 회의장은 이 물음을 서로 다른 말로 다뤄 왔습니다. 공식 문서에 적힌 문장으로 그 논의를 따라가 보겠습니다.
무엇을 자율무기라고 부르나
먼저 알아 둘 것은 정의가 하나로 정해져 있지 않다는 점입니다. 유엔 군축실은 치명적 자율무기 체계(lethal autonomous weapon systems, LAWS)에 대해 공통으로 합의된 정의가 지금은 없다고 밝힙니다. "치명적"이라는 낱말부터 다툼거리입니다. 몇몇 나라는 치명성이 무기를 쓰는 방식에서 나오는 결과라며 이 말에 반대했습니다.
그래도 기관마다 쓰는 정의는 있습니다. 미국 국방부는 자율무기를 한번 작동시키면 운용자가 더 개입하지 않아도 표적을 고르고 교전할 수 있는 무기 체계로 정의합니다. 국제적십자위원회(ICRC)의 정의도 비슷합니다. 사람이 처음 작동시킨 뒤에는 센서로 받은 주변 정보와 일반화된 "표적 특징(target profile)"에 따라 체계가 스스로 공격을 시작합니다.
두 정의가 공통으로 보는 지점은 작동시킨 다음입니다. ICRC는 그 결과를 이렇게 풀어 말합니다. 사용자는 구체적인 표적도, 힘이 가해지는 정확한 때와 곳도 고르지 않고, 심지어 알지도 못합니다.
고리 안, 고리 위, 고리 밖
미국 국방부 지침의 분류는 무기가 얼마나 정교한지를 묻지 않습니다. 미 의회조사국(CRS)이 짚었듯이, 기준은 표적을 고르고 교전하는 결정에서 사람 운용자가 맡는 역할입니다. 그래서 같은 기술을 쓴 무기라도 사람이 어디에 서 있느냐에 따라 다른 칸에 들어갈 수 있습니다.
첫째 칸은 반자율 무기입니다. 운용자가 고른 개별 표적이나 특정 표적 묶음만 교전하도록 만든 체계로, "사람이 고리 안(human in the loop)"에 있다고도 부릅니다.
여기서 표적 묶음은 특정 편대처럼 구체적인 무리를 뜻합니다. 어떤 기종의 전차 전체 같은 일반 부류는 표적 묶음으로 치지 않습니다. 사람이 정한 표적에 자율 기능을 써서 효과를 내는 "발사 후 망각(fire and forget)" 무기도 이 칸에 들어갑니다.
둘째 칸은 운용자 감독형 자율무기입니다. 체계가 표적을 고르고 교전하지만, 운용자가 그 과정을 지켜보다 멈출 수 있습니다. 이 경우 사람은 "고리 위(on the loop)"에 있습니다.
셋째 칸은 사람이 "고리 밖(out of the loop)"에 있는 자율무기, 곧 "완전 자율"입니다. 작동시킨 뒤에는 운용자의 입력 없이 표적을 고르고 교전합니다. 무인기가 스스로 나는 일과 무기를 쓰는 결정을 스스로 하는 일이 어떻게 다른지는 무인기 자율항법: 통신과 자율성은 다른 문제에서 더 자세히 볼 수 있습니다.
미국 국방부 지침 3000.09
미국 국방부는 무기 체계의 자율성에 관한 지침(Department of Defense Directive, DoDD) 3000.09를 2012년 11월에 처음 냈습니다. 지금 효력이 있는 판은 2023년 1월 25일에 나온 개정판입니다.
지침의 첫 요구는 한 문장입니다. 자율·반자율 무기 체계는 지휘관과 운용자가 무력 사용에 대해 "적절한 수준의 사람 판단"을 할 수 있게 설계해야 합니다. "적절한"이 무엇인지는 미리 하나로 정해 두지 않았습니다. CRS가 옮긴 2018년 미국 정부 백서는 모든 상황에 똑같이 적용할 고정된 수준이 없다는 사실을 담은 유연한 말이라고 설명합니다.
CRS는 흔한 보도와 달리 사람 판단이 무기를 손으로 직접 조종하라는 뜻이 아니라고 설명합니다. 무기를 어떻게, 언제, 어디서, 왜 쓸지를 정하는 결정에 사람이 넓게 관여하라는 뜻입니다.
이 요구를 받치는 장치가 여럿 붙어 있습니다.
- 시험과 검증: 하드웨어와 소프트웨어는 엄격한 검증·확인과 현실적인 시험평가를 거칩니다. 지휘관과 운용자가 의도한 시간과 지역 안에서 교전을 끝내지 못하면, 체계는 교전을 멈추거나 운용자의 입력을 더 받은 뒤에 계속해야 합니다.
- 사람과 기계 사이의 화면: 훈련받은 운용자가 쉽게 이해할 수 있어야 하고, 체계의 상태를 투명하게 알려 줘야 하며, 기능을 켜고 끄는 절차가 분명해야 합니다.
- 법과 규칙: 이런 무기를 쓰도록 허가하거나 지시하거나 운용하는 사람은 전쟁법, 조약, 무기 안전 규칙, 교전 규칙을 따라야 합니다.
- 고위 검토: 보통의 무기 검토와 별도로, 지침이 정한 자율무기는 정식 개발 전에 차관급 두 명과 합참 부의장의 승인을, 배치 전에 다시 같은 급의 승인을 받습니다. "긴급한 군사적 필요"가 있으면 국방부 부장관이 이 검토를 면제할 수 있습니다. 자율로 동작하는 방식이 없는 반자율 무기처럼 고위 검토가 필요 없는 경우도 지침에 따로 적혀 있습니다.
지침이 다루지 않는 것도 분명합니다. 사이버 공간 능력, 무장하지 않은 플랫폼, 유도되지 않는 탄약, 운용자가 손으로 유도하는 탄약, 지뢰, 불발탄, 그리고 무기 체계가 아닌 자율 체계까지 일곱 가지가 범위 밖입니다. 그래서 땅 위를 달리는 로봇에 이 지침을 대려면 그 로봇이 무장했는지부터 따져야 합니다. 이 점은 무인지상차량(UGV): 사람 대신 위험한 곳에 가는 로봇에서도 다뤘습니다.
지침이 말하는 "고장"의 뜻도 눈여겨볼 만합니다. 원인으로는 사람의 실수, 사람과 기계 사이 상호작용의 결함, 오작동, 통신 저하, 소프트웨어 코딩 오류 등이 꼽힙니다. 고장을 줄인다는 말은 의도하지 않은 교전의 확률과 결과를 받아들일 만한 수준으로 낮추는 것입니다. 표적과 아예 교전하지 않아 위험을 가장 낮추라는 뜻은 아닙니다.
이 지침이 자율무기를 막는 규정은 아닙니다. CRS는 여러 보도와 달리 미국 정책이 LAWS의 개발이나 사용을 금지하지 않는다고 적었습니다.
유엔 CCW에서 오간 논의
나라들이 모여 이 문제를 논의해 온 곳은 특정재래식무기금지협약(Convention on Certain Conventional Weapons, CCW)입니다. 전투원에게 불필요한 고통을 주거나 민간인에게 무차별로 영향을 주는 특정 무기를 금지하거나 제한하려는 국제인도법 문서입니다. 새 의정서를 협상해 더할 수 있는 구조이고, 지금은 의정서가 다섯 개 있습니다.
CRS에 따르면 미국은 2014년부터 CCW 아래의 LAWS 논의에 참여했고, 논의는 2017년에 비공식 전문가 회의에서 공식 정부 전문가 그룹(Group of Governmental Experts, GGE)으로 바뀌었습니다. CCW는 합의(consensus)로 결정하는 자리입니다.
2019년 11월 CCW 당사국 회의는 GGE가 확인한 지도 원칙 11개를 최종 보고서에 담아 지지했습니다. 이 글의 물음과 바로 닿는 원칙을 몇 개 고르면 이렇습니다.
- 국제인도법은 LAWS를 포함한 모든 무기 체계에 온전히 적용된다.
- 책임은 기계로 넘길 수 없으므로, 무기 사용 결정에 대한 사람의 책임은 남아야 한다. 이것은 무기의 전 수명 주기에서 생각해야 한다.
- 사람과 기계의 상호작용은 여러 형태로, 무기 수명 주기의 여러 단계에서 이뤄질 수 있다.
- 정책을 만들 때 이 기술을 사람처럼 여기지 않는다.
- CCW는 군사적 필요와 인도적 고려 사이의 균형을 찾는 틀이다.
논의는 유엔 총회로도 넓어졌습니다. 2023년 12월 22일 채택된 결의 78/241은 유엔 헌장, 국제인도법, 국제인권법이 자율무기에 적용된다고 확인하고, 사무총장에게 회원국의 의견을 모아 보고하라고 요청했습니다. 의견을 물을 항목에는 무력 사용에서 사람이 맡는 역할이 들어 있었습니다.
2024년 12월 2일의 결의 79/62는 국제인도법에 맞게 쓸 수 없는 무기는 자율무기를 포함해 쓰여서는 안 된다고 다시 확인했습니다. 또 GGE에 맡겨진 일을 되도록 2025년 말까지 마치라고 촉구하고, 2025년에 뉴욕에서 이틀 동안 비공식 협의를 열기로 했습니다.
2025년 12월 1일의 결의 80/57은 GGE 의장이 그간의 진전을 "롤링 텍스트(rolling text)"에 담은 것을 평가하고, 장래 협상을 내다보며 문서의 요소들을 완성해 가라고 CCW 당사국에 촉구했습니다.
금지와 규제를 나누자는 제안
국제기구 쪽에서는 구체적인 틀이 나왔습니다. ICRC는 2021년 5월 입장문에서 나라들이 새로운 법적 구속력 있는 규칙을 만들 것을 권고했습니다. 효과를 충분히 이해하고 예측하고 설명할 수 없는 자율무기, 그리고 사람에게 힘을 가하도록 설계되거나 쓰이는 자율무기는 금지하자는 내용입니다.
나머지는 표적의 종류, 사용 시간과 지리적 범위와 규모, 사용 상황을 제한하고, 사람이 감독하고 제때 개입해 끌 수 있게 하는 요건으로 규제하자고 했습니다.
2023년 10월 5일에는 유엔 사무총장과 ICRC 총재가 함께 호소문을 냈습니다. 나라들에 자율무기에 대한 구체적인 금지와 제한을 만들라는 요청이었습니다.
이듬해 7월 사무총장 보고서(A/79/88)에서 사무총장은 자신의 요청을 다시 밝혔습니다. 사람의 통제나 감독 없이 작동하고 국제인도법에 맞게 쓸 수 없는 LAWS를 금지하고, 다른 모든 자율무기를 규제하는 법적 구속력 있는 문서를 2026년까지 맺자는 것입니다.
금지할 것과 규제할 것을 나누는 이 방식을 "두 갈래 접근(two-tier approach)"이라고 부릅니다. 사무총장 보고서는 많은 나라가 이 접근을 지지했다고 정리했습니다. 다만 금지가 기술 혁신이나 평화적·정당한 방어 목적의 기술 사용을 막아서는 안 된다는 견해도 함께 나왔습니다.
나라마다 갈리는 견해
사무총장 보고서는 나라들이 낸 의견을 개별 입장과 무관하게 묶어 정리한 문서입니다. 여기서 먼저 보이는 것은 낱말의 차이입니다. 사람 통제, 의미 있는 인간 통제(meaningful human control), 적절한 사람 판단, 사람의 관여가 모두 널리 쓰였고, 이 개념들을 더 논의하고 분명히 해야 한다는 점도 지적됐습니다. 반대로 의미 있는 인간 통제에 초점을 두는 것은 쓸모없고 하나의 기준을 정하는 것도 적절하지 않다는 견해도 있었습니다.
그래도 사람 통제에 무엇이 들어가야 하는지는 꽤 구체적으로 적혔습니다. 나라들이 든 요소 가운데 몇 가지는 다음과 같습니다.
- 국제법을 지키는 데 필요한, 무기의 능력과 작전 상황에 대한 충분한 정보
- 맡길 과업과 표적의 종류를 제한할 능력
- 사용 시간, 지리적 범위, 규모를 제한할 능력
- 체계의 목표나 임무를 다시 정하거나 바꿀 능력
- 체계를 중단하거나 끌 능력
자율무기가 줄 수 있는 이점을 든 견해도 실렸습니다. 안전과 효율을 높이고, 정밀도를 높여 국제인도법 준수와 민간인 보호를 돕고 부수 피해의 위험을 줄이며, 국방 인력의 위험을 줄인다는 것 등을 들었습니다. 몇몇 나라는 일부 자율 또는 자동 대공·미사일 방어 체계를 LAWS로 보지 말자고 했습니다. 방어용이고 탐지·교전 알고리즘이 확률적이 아니라 결정론적이며, 수십 년 동안 법적 논란 없이 쓰였다는 이유입니다.
법을 새로 만들어야 하느냐에서도 갈립니다. 몇몇 나라는 국제 법 체계를 강화하고 구체화하자고 했고, 다른 나라들은 기존 법 체계로 충분하다고 보았습니다. CRS는 약 30개 나라와 165개 비정부 기구가 윤리적 우려를 들어 LAWS의 선제 금지를 요구했고, 미국 정부는 지금 금지를 지지하지 않는다고 정리합니다.
미국 국무부는 2023년 11월 9일 "인공지능과 자율성의 책임 있는 군사적 사용에 관한 정치 선언"을 냈고, 2024년 11월 27일 기준으로 58개 나라가 이를 지지했습니다.
한국도 이 흐름에 이름을 올렸습니다. 결의 78/241은 2023년 2월 15~16일 네덜란드가 주최하고 한국이 공동 주최한 정상회의를, 결의 79/62는 2024년 9월 9~10일 한국이 주최한 "군사 분야 인공지능의 책임 있는 이용(REAIM)" 정상회의를 국제 논의에 기여한 회의로 언급했습니다.
AI는 어디에 들어가나
제목의 물음으로 돌아가 봅시다. 자율무기라고 하면 인공지능(AI)을 먼저 떠올리기 쉽지만, 유엔 군축실의 설명은 다릅니다.
AI는 자율무기가 동작하는 전제 조건이 아닙니다. 자율 기능은 미리 정해 둔 과업과 동작 순서로도 만들 수 있고, 데이터에서 행동을 끌어내는 AI 도구로도 만들 수 있습니다. AI가 들어가면 그런 체계가 할 수 있는 일을 더 넓힐 수는 있습니다.
반대로 AI가 들어갔다고 모두 자율무기도 아닙니다. 사람이 직접 운용하는 체계에서 AI가 보조 역할만 할 수도 있습니다. 컴퓨터 비전이 시야 속에서 눈여겨볼 물체를 표시해 주지만, 그 물체에 스스로 대응할 능력은 없는 경우가 그 예입니다.
나라들의 의견도 둘로 나뉘었습니다. 표적 선택과 무력 사용에 AI가 들어가는 것을 LAWS의 특징으로 볼 수 있다는 견해가 있었고, LAWS에 AI가 꼭 들어갈 필요는 없다는 견해도 있었습니다. 미국 지침은 자율·반자율 무기에 AI 능력을 쓸 때 국방부의 AI 윤리 원칙에 맞아야 한다고 정했습니다.
유엔 사무총장과 ICRC 총재의 공동 호소문은 효과를 예측할 수 없는 자율무기를 금지해야 한다며, 기계 학습 알고리즘이 자율무기를 제어하게 하는 경우를 그 예로 들었습니다.
2019년 지도 원칙 가운데 하나가 이 기술을 사람처럼 여기지 말라는 것이었음을 떠올리면, "AI가 어디까지 판단할까"라는 물음은 조금 다르게 읽힙니다. 이 글에서 본 공식 문서들이 붙들고 있는 것은 기계의 판단력보다 사람이 어디에 남아 어떤 책임을 지느냐입니다.
레이저와 맞닿는 점: 같은 협약의 다른 의정서
자율무기 논의가 열리는 CCW에는 레이저와 직접 닿는 의정서가 이미 있습니다. 의정서 IV는 영구 실명을 일으키도록 설계된 레이저 무기의 사용과 이전을 금지합니다. 사무총장 보고서에는 추가 의정서를 협상할 수 있는 CCW의 구조가 새 기술이 일으키는 문제를 다루기에 알맞다는 견해도 실렸습니다. 레이저 무기의 한 종류를 금지한 의정서가 어떤 내용인지는 눈 안전과 국제 규범: 실명 레이저 무기 금지 의정서에서 이어집니다.
미국 지침에도 레이저가 한 번 나옵니다. 운용자가 손으로 유도하는 탄약은 지침의 범위 밖인데, 그 예가 레이저 유도 탄약과 유선 유도 탄약입니다. 레이저라는 첨단 기술이 들어가도 사람이 유도한다면 이 지침의 대상에서 빠집니다.
다음에 읽을 글
- 눈 안전과 국제 규범: 실명 레이저 무기 금지 의정서: 같은 CCW 안에서 레이저 무기의 한 종류를 금지한 의정서를 봅니다.
- 무인기 자율항법: 통신과 자율성은 다른 문제: 비행의 자율과 무기 사용의 자율이 어떻게 다른지 봅니다.
- 무인지상차량(UGV): 사람 대신 위험한 곳에 가는 로봇: 땅 위의 무인 체계와 사람 판단의 문제를 봅니다.