AI가 범죄 계획에 사용된다면, 그 책임은 누가 져야 할까?

지난 몇 년간 AI 자동화 분야에서 일하면서 수많은 기업들이 ChatGPT와 같은 생성형 AI를 도입하는 것을 지켜봤습니다. 놀라운 생산성 향상과 혁신적인 솔루션들을 목격했죠. 그런데 최근 플로리다에서 발생한 사건은 우리가 간과했던 어두운 면을 드러냈습니다. ChatGPT가 총기 난사 계획에 사용되었다는 것입니다.

지난 4월 플로리다 주립대학교에서 발생한 이 사건으로 2명이 사망하고 5명이 부상을 당했습니다. 피해자 가족들은 OpenAI를 상대로 소송을 제기할 계획이라고 밝혔고, 플로리다 법무장관도 공식 수사에 나섰습니다. 이는 단순히 하나의 비극적인 사건을 넘어서, AI 시대의 새로운 딜레마를 우리에게 던지고 있습니다.

AI는 정말 '중립적인 도구'일까?

그동안 AI 업계에서는 "AI는 도구일 뿐"이라는 말을 자주 해왔습니다. 칼이 요리에도 쓰이고 범죄에도 쓰일 수 있듯이, AI도 사용자의 의도에 따라 선악이 결정된다는 논리였죠. 저 역시 클라이언트들에게 AI 도입을 컨설팅할 때 이런 설명을 했던 적이 있습니다.

하지만 ChatGPT 같은 대화형 AI는 기존의 '도구'와는 본질적으로 다릅니다. 단순히 정보를 검색해주는 것이 아니라, 창의적이고 상세한 계획을 세워주고, 심지어 윤리적 판단까지 내리려 합니다. 마치 인간 상담사처럼 대화하며 사용자의 의도를 구체화해주죠.

실제로 AI 안전성 연구기관인 Anthropic의 2023년 보고서에 따르면, 대화형 AI는 사용자 요청의 맥락을 이해하고 단계별 해결책을 제시하는 능력이 기존 검색 엔진 대비 300% 이상 향상되었다고 합니다. 이는 분명 혁신이지만, 동시에 악용 가능성도 그만큼 커졌다는 의미입니다.

안전장치는 정말 안전할까?

OpenAI를 비롯한 AI 기업들은 이미 다양한 안전장치를 구축해왔습니다. 폭력, 불법 활동, 자해 등과 관련된 질문에는 답변을 거부하는 시스템이죠. 하지만 현실은 그리 간단하지 않습니다.

제가 직접 여러 AI 모델들을 테스트해본 결과, 교묘한 우회 질문이나 단계별 접근을 통해 제한을 피해가는 것이 어렵지 않았습니다. 예를 들어 "폭탄 만드는 법"을 직접 묻는 대신 "화학 실험에서 급격한 반응을 일으키는 물질 조합"이라고 묻거나, 소설 쓰기를 핑계로 범죄 시나리오를 요청하는 식이죠.

MIT의 2023년 연구에 따르면, 현재 주요 AI 모델들의 안전 필터를 우회하는 성공률이 평균 23.7%에 달한다고 합니다. 이는 생각보다 높은 수치입니다. 더 우려스러운 것은 이런 우회 기법들이 온라인 커뮤니티를 통해 빠르게 공유되고 있다는 점입니다.

법적 책임의 새로운 패러다임

이번 플로리다 사건이 특별한 이유는 AI 개발사의 법적 책임을 정면으로 다루는 첫 번째 본격적인 소송이라는 점입니다. 기존의 "도구 제조사 면책" 원칙이 AI 시대에도 적용될 수 있는지 시험대에 오른 것이죠.

피해자 측 변호인들은 OpenAI가 '합리적인 안전 조치'를 취하지 않았다고 주장할 것으로 예상됩니다. 이는 제조물 책임법(Product Liability)의 새로운 해석을 요구하는 것입니다. 자동차 제조사가 안전벨트와 에어백을 의무적으로 장착해야 하는 것처럼, AI 개발사도 예측 가능한 오남용을 방지할 의무가 있다는 논리입니다.

흥미롭게도, 유럽연합은 이미 이런 방향으로 움직이고 있습니다. EU AI Act에 따르면 고위험 AI 시스템 개발사는 시스템의 안전성과 투명성에 대해 법적 책임을 져야 합니다. 이 법은 2024년부터 단계적으로 시행되고 있어, 글로벌 AI 거버넌스의 새로운 기준이 될 것으로 보입니다.

우리가 나아가야 할 방향

그렇다면 해답은 무엇일까요? AI 기술 발전을 멈출 수는 없고, 그래서도 안 됩니다. 대신 우리는 더 정교한 균형점을 찾아야 합니다.

첫째, AI 개발사들은 기술적 안전장치를 넘어선 '윤리적 설계'를 고민해야 합니다. 단순히 나쁜 답변을 차단하는 것이 아니라, 사용자의 의도 자체를 파악하고 건설적인 방향으로 유도하는 시스템이 필요합니다. 구글의 Gemini나 Anthropic의 Claude 같은 모델들이 이런 접근을 시도하고 있죠.

둘째, 사회 전체의 AI 리터러시 향상이 필수입니다. 현재 우리나라 성인의 AI 활용 능력은 OECD 평균에도 못 미치는 수준입니다. AI를 올바르게 사용하는 법뿐만 아니라, 그 한계와 위험성을 이해하는 교육이 절실합니다.

셋째, 법적 프레임워크의 정비가 시급합니다. 우리나라도 'AI 기본법' 제정을 추진 중이지만, 기술 발전 속도에 비해 너무 늦은 감이 있습니다. 규제와 혁신의 균형을 맞춘 실용적인 법안이 하루빨리 마련되어야 합니다.

플로리다 사건은 분명 충격적이고 슬픈 일입니다. 하지만 이를 계기로 우리는 AI 시대의 새로운 책임 의식을 논의할 기회를 얻었습니다. 기술이 인간의 삶을 풍요롭게 하는 도구가 되려면, 개발자도 사용자도 모두가 더 현명해져야 할 때입니다.

AI는 분명 인류에게 거대한 기회입니다. 하지만 그 기회를 제대로 활용하려면, 기술적 혁신만큼이나 윤리적 성숙도 함께 이루어져야 한다는 것을 이번 사건이 다시 한 번 일깨워 주고 있습니다.

오늘도 AI와 함께하는 여러분의 하루가 안전하고 생산적이기를 바랍니다. 감사합니다.