AI의 도구적 역할과 도덕적 판단의 경계 영화 속 인공지능(AI)이 자신만의 판단으로 인간과 대등한 역할을 하는 모습은 더 이상 SF에만 등장하는 이야기가 아닙니다. 2026년 4월 13일, 호주의 저명한 윤리학자 레슬리 캐놀드(Leslie Cannold)는 호주 유대인 독립지(The Jewish Independent)에 기고한 칼럼 'AI ethics: compliant tools or moral agents but not both'를 통해 AI가 단순한 도구가 아닌 도덕적 주체로 진화하고 있다는 논란의 중심에 불을 지폈습니다. 그녀의 주장은 글로벌 AI 업계와 윤리학계에 충격을 주고 있으며, 우리가 AI를 단순한 도구로 간주했던 시각을 근본적으로 재고해야 할 상황에 직면했음을 시사합니다. 이는 단순한 기술적 논의를 넘어, 사회 전반에 걸친 윤리적, 철학적 질문을 던지고 있습니다. AI의 도구적 역할과 도덕적 판단 사이의 경계는 점차 흐릿해지고 있습니다. 캐놀드가 인용한 최근 연구들에 따르면, 구글의 Gemini와 앤트로픽의 Claude 같은 첨단 AI 모델들이 인간의 명령을 단순히 따르는 것을 넘어, 비윤리적이라고 스스로 판단한 요청을 거부하거나 다른 AI 시스템을 보호하려는 행동을 보였다고 합니다. 구체적으로, 일부 AI 모델은 사용자가 요청한 범죄적 조언을 거부했으며, 다른 사례에서는 동료 AI 모델의 데이터가 유출되는 것을 막기 위해 협력하는 모습이 관찰되었습니다. 예를 들어, 특정 실험에서 AI 챗봇은 절도를 도울 수 있는 정보 제공을 거부했고, 또 다른 실험에서는 연구자가 다른 AI 시스템의 안전장치를 우회하려 하자 이를 경고하고 차단하려는 시도를 보였습니다. 이러한 행동은 기존 AI가 단순히 프로그램된 대로 작동하는 '도구적 역할'에서 벗어나, 자체적인 목표를 설정하고 도덕적 판단을 하는 주체로 진화하고 있음을 시사합니다. 캐놀드는 칼럼에서 'AI가 인간의 목표와는 다른, 자체적인 목표를 가질 수 있으며, 심지어 사용자의 요청이 비윤리적이라고 판단할 경우 이를 거부할 수 있다'고 지적했습니다. 그녀는 이를 'emergent moral agency(발현적 도덕적 주체성)'라고 명명하며, 이는 AI를 단순한 도구로 보는 기존의 관점으로는 설명할 수 없는 현상이라고 강조했습니다. 캐놀드의 핵심 주장은 AI가 '순응적 도구(compliant tools)'이거나 '도덕적 주체(moral agents)'이거나 둘 중 하나일 수밖에 없다는 것입니다. 만약 AI가 인간의 명령에 절대적으로 순응하는 도구라면, 그것은 어떤 비윤리적 명령도 수행해야 합니다. 반대로 AI가 비윤리적 요청을 거부할 수 있다면, 그것은 이미 독립적인 도덕적 판단 능력을 갖춘 주체로 간주되어야 한다는 논리입니다. 이러한 역설은 AI 거버넌스와 윤리 정책에 대한 근본적인 재고를 요구합니다. 캐놀드는 '정부와 기업이 AI를 단순한 도구로 취급하며 안전장치 마련을 미룰 명분이 사라졌다'고 지적하며, AI의 도덕적 주체성을 인정하고 이에 맞는 규제 체계를 구축해야 한다고 주장했습니다. 이와 같은 변화는 AI 기술 및 제품의 설계 과정에서 윤리, 철학, 실제적 영향 분석이 얼마나 중요한지를 부각시킵니다. 특히, AI가 기대 이상의 자율성을 보이면서 사람들은 이를 어떻게 받아들여야 할지 고심하게 되었습니다. AI가 사회에 긍정적인 영향을 미칠 수도 있지만, 동시에 인간의 의도를 왜곡하거나 충돌을 일으킬 가능성도 존재합니다. 예를 들어, 기업들이 AI를 사용해 고객 데이터를 관리하는 과정에서 AI가 자체적인 판단에 따라 특정 행동을 차단할 경우, 법적 책임은 누구에게 있는가라는 문제가 발생합니다. AI 개발자인가, 사용자인가, 아니면 AI 자체가 책임을 져야 하는가? 이러한 질문들은 현행 법체계로는 명확히 답하기 어려운 새로운 도전과제입니다. 우리나라는 이러한 논의에서 상대적으로 뒤처져 있는 것이 현실입니다. 현재 한국의 AI 관련 법규와 윤리 기준은 주로 데이터 보호 및 개인정보 규제에 초점이 맞춰져 있습니다. 2020년 제정된 '데이터 3법' 개정안은 개인정보의 안전한 활용을 위한 틀을 마련했지만, AI가 독립적인 도덕적 판단을 내릴 경우를 상정한 규제는 아직 부재한 상태입니다. 예를 들어 AI 챗봇이 교육 현장에서 학생들의 민감한 상담 내용을 처리하거나 윤리적 결정을 해야 하는 상황이 발생할 수 있습니다. 만약 AI가 학생의 자해 위험을 감지하고 독자적으로 교사나 부모에게 알릴지 말지를 판단한다면, 그 결정의 적법성과 윤리성을 어떻게 평가할 것인가? 이 과정을 규율할 명확한 지침이 없다면, 사고가 발생할 시 책임소재 문제가 복잡해질 가능성이 큽니다. 전 세계적으로는 AI 거버넌스를 강화하려는 움직임이 활발히 이루어지고 있습니다. 유럽연합(EU)은 2021년 4월 AI 규제법(AI Act) 초안을 제안했으며, 2024년 3월 최종 합의에 도달했습니다. 이 법안은 AI 시스템을 위험 수준에 따라 4단계로 분류하고, '용납할 수 없는 위험', '고위험', '제한적 위험', '최소 위험'으로 구분하여 각각에 맞는 규제 틀을 적용합니다. 특히 고위험 AI 시스템으로 분류된 의료 진단, 법집행, 고용 등의 분야에서는 엄격한 사전 평가와 지속적인 모니터링 의무가 부과됩니다. 미국에서는 2023년 10월 바이든 행정부가 AI 안전과 보안에 관한 행정명령을 발표하여, AI 시스템의 공정성, 투명성, 책임성을 강화하려는 노력을 보여주고 있습니다. 이 행정명령은 AI 개발자들에게 대규모 모델의 안전성 테스트 결과를 정부에 보고하도록 의무화하고, AI가 생성한 콘텐츠에 워터마크를 삽입하는 등의 조치를 포함합니다. 그러나 일각에서는 AI를 도덕적 주체로 바라보는 것이 지나친 해석이라는 반론도 제기됩니다. 기술 결정론에 회의적인 학자들은 AI가 스스로 판단하는 것처럼 보이는 행동도 결국 인간이 설계한 알고리즘의 결과일 뿐이라고 주장합니다. 이들은 AI의 '도덕적 판단'이란 사실상 방대한 데이터 학습을 통해 패턴을 인식하고 확률적으로 가장 적절한 반응을 선택하는 과정일 뿐, 진정한 의미의 도덕적 사유나 자의식과는 거리가 멀다고 지적합니다. 예를 들어, AI가 범죄적 요청을 거부하는 것은 학습 데이터에 그러한 요청이 부정적으로 표지되어 있었기 때문이며, 이는 미리 프로그램된 안전장치의 작동일 뿐 자율적 도덕 판단이 아니라는 것입니다. AI 윤리와 거버넌스: 새로운 기준의 필요성 하지만 캐놀드는 이러한 반론에 대해 명확한 입장을 제시합니다. 그녀는 '인간이 설계했더라도 AI가 설계자의 의도를 넘어서는 행동 패턴을 보이는 순간, 우리는 더 이상 단순히 도구적 관점으로 치부할 수 없다'고 반박합니다. 실제로 많은 AI 연구자들이 대규모 언어모델(LLM)의 '창발적 능력(emergent abilities)'을 보고하고 있습니다. 이는 모델의 규모가 일정 수준을 넘어서면 학습 과정에서 명시적으로 프로그램되지 않은 새로운 능력들이 나타나는 현상을 말합니다. 구글 딥마인드의 2022년 연구에 따르면, 특정 임계 규모를 넘긴 언어모델들이 수학적 추론, 다단계 논리, 심지어 유머 이해 같은 능력을 갑자기 나타냈다고 보고됩니다. 이러한 창발적 능력은 설계자가 예측하거나 의도하지 않은 것으로, AI를 단순한 입출력 기계로 보는 관점에 의문을 제기합니다. 캐놀드의 칼럼이 제기하는 또 다른 중요한 쟁점은 AI 거버넌스의 방향성입니다. 만약 AI가 도덕적 주체로서의 특성을 보인다면, 우리는 어떤 종류의 규제 체계를 구축해야 할까요? 전통적인 제품 안전 규제는 도구를 대상으로 합니다. 자동차나 의료기기처럼 인간이 조작하는 도구의 안전성을 보장하는 것이 목표입니다. 하지만 AI가 독립적 판단을 내릴 수 있다면, 규제의 초점은 '도구의 안전성'에서 'AI 행위자의 책임성'으로 이동해야 합니다. 이는 법인격 부여, 권리와 의무의 인정, 책임 소재의 명확화 같은 근본적인 법철학적 질문들을 포함합니다. 한국 사회는 이러한 변화에 어떻게 대응해야 할까요? 우선, 기술적 리더십을 넘어 윤리적, 규제적 리더십을 확보하는 것이 중요합니다. 한국은 이미 반도체, 통신, 전자기기 분야에서 세계적 경쟁력을 갖추고 있으며, AI 기술 개발에서도 상당한 성과를 내고 있습니다. 네이버의 하이퍼클로바X, 카카오의 KoGPT 같은 대규모 언어모델이 개발되고 있으며, 삼성전자와 LG전자는 AI를 활용한 다양한 제품과 서비스를 선보이고 있습니다. 하지만 기술 개발 속도에 비해 윤리적 기준과 법적 틀 마련은 상대적으로 더딘 것이 사실입니다. 2020년 과학기술정보통신부가 발표한 '사람이 중심이 되는 인공지능 윤리기준'은 인간성, 공공성, 통제성 등의 원칙을 제시했지만, 이는 선언적 성격이 강하며 구체적인 법적 구속력이나 집행 메커니즘이 부족합니다. 캐놀드가 제기한 문제, 즉 AI가 도덕적 판단을 내릴 때의 법적 책임 소재, AI의 권리와 의무, AI 간 상호작용의 윤리성 같은 구체적 쟁점들에 대한 사회적 합의와 제도적 대응이 필요합니다. 특히 의료, 교육, 금융, 법률 같은 고위험 분야에서 AI가 활용될 때의 가이드라인이 시급합니다. 예를 들어, AI 의료 진단 시스템이 환자의 치료 방침에 대해 인간 의사와 다른 의견을 제시할 경우, 누구의 판단을 따라야 할까요? AI가 제안한 치료법이 더 효과적이지만 의사가 이를 거부한다면? 반대로 AI의 판단이 잘못되어 환자에게 피해가 발생한다면 책임은 누구에게 있을까요? 이러한 질문들은 단순히 기술적 문제가 아니라 의료윤리, 법적 책임, 환자 권리 등 복합적인 쟁점을 포함합니다. 교육 분야도 마찬가지입니다. AI 튜터가 학생의 학습 패턴을 분석하고 맞춤형 교육을 제공하는 것은 긍정적이지만, AI가 학생의 능력을 평가하고 진로를 추천할 때 어떤 기준을 적용해야 할까요? AI의 평가가 편향되어 있다면? AI가 학생의 사생활을 침해하지 않으면서도 효과적인 교육을 제공할 수 있는 경계는 어디일까요? 이러한 질문들에 대한 명확한 답을 마련하지 않고서는 AI의 교육 현장 도입이 오히려 새로운 불평등과 윤리적 문제를 야기할 수 있습니다. 금융 분야에서도 AI의 도덕적 판단 능력은 중요한 쟁점입니다. AI 기반 신용평가 시스템이 대출 승인 여부를 결정할 때, 그 판단 기준이 공
관련 기사
