공리주의의 역습: AI 시대에 우리가 직면한 가장 기묘한 도덕적 난제들

1. 샌프란시스코의 안개 속에서 태어난 기술적 유토피아주의

최근 실리콘밸리를 넘어 전 세계 지성계를 관통하는 가장 뜨거운 화두는 '효과적 이타주의(Effective Altruism, EA)'입니다. 불과 얼마 전까지만 해도 샌프란시스코 베이 에이리어의 안개 속에서 일부 '테크 너드'들이나 향유하던 이 기묘한 사상은, 이제 거대 자본과 결합하여 현대 사회의 가장 강력한 담론인 '기술적 유토피아주의'로 진화했습니다.

과거 버클리의 히피 문화와 지적 유희가 뒤섞인 소수의 비주류 문화에 불과했던 이 사상이 어떻게 기술 권력의 중심에 서게 되었을까요? 그 이면에는 인류의 운명을 계산기로 측정하려는 공리주의적 열망이 숨어 있습니다. AI 안전성과 규제 논의가 본격화된 지금, 우리는 이 오래된 철학이 던지는 섬뜩한 질문들에 다시 직면하고 있습니다.

2. 곤충이 사람보다 중요하다? 공리주의의 극단적인 논리

본래 경제학자들이 공리주의를 받아들인 이유는 일종의 '방어 기제(Defensive Measure)'였습니다. 정치적으로 논쟁적인 '정의'나 '미덕' 같은 모호한 개념에 매달리는 대신, "그저 사람들이 원하는 것을 주자"라는 명쾌한 논리를 선택한 것입니다.

실제로 공리주의는 초기 단계에서 압도적인 설득력을 가집니다. 예를 들어, 세계 최고의 부호인 엘론 머스크의 자산 중 단 0.1%(약 10억 달러)만 재분배한다고 가정해 봅시다. 머스크는 그 차이를 느끼지도 못하겠지만, 이 돈을 10,000명의 노동자에게 나누어준다면 그들의 삶은 교육과 의료, 주거 측면에서 비약적으로 개선될 것입니다. 이것이 공리주의가 가진 분배의 강력한 명분입니다.

하지만 이 논리를 극단으로 밀어붙이면 기묘한 역설에 도달합니다. 최근 'Bentham's Bulldog'이라는 블로그가 제기한 "곤충의 복지가 인간보다 중요할 수 있다"는 주장이 대표적입니다. 만약 도덕적 가치가 단지 '고통의 총량'을 줄이는 것이라면, 수조 마리의 곤충이 느끼는 미세한 고통의 합이 소수 인류의 안녕보다 산술적으로 더 커질 수 있기 때문입니다. 이는 공리주의가 근본적인 논리적 결함을 품고 있음을 시사합니다.

3. 행복의 괴물과 오멜라스: 양적 합산이 가진 폭력성

공리주의의 대원칙인 "가장 많은 사람에게 가장 큰 선(최대다수 최대행복)"은 매력적으로 들리지만, '누가 행복하고 누가 불행한가'라는 질적인 분배의 문제를 완전히 소외시킵니다. 철학자들은 이 원칙이 가진 양적 합산의 폭력성을 지적하기 위해 두 가지 극단적인 사례를 제시합니다.

유틸리티 몬스터(Utility Monster): 자원을 소비할 때 타인보다 압도적으로 큰 행복을 느끼는 존재가 있다면, 공리주의적 관점에서는 모든 자원을 그에게 몰아주는 것이 전체 행복을 극대화하는 유일한 길이 됩니다.

오멜라스를 떠나는 사람들: 어슐러 르 귄의 소설 속 도시는 수만 명의 행복을 위해 단 한 명의 아이를 영원한 고통 속에 방치합니다. 전체의 효용이 높다는 이유로 개인의 비극이 정당화될 수 있는가라는 지점은 공리주의가 답하기 꺼려하는 아킬레스건입니다.

4. 타인의 마음이라는 블랙박스: '철학적 벌컨'의 교훈

우리는 흔히 타인의 행복을 측정할 수 있다고 믿지만, 사실 타인의 주관적 경험은 결코 엿볼 수 없는 블랙박스와 같습니다. 이를 철학에서는 '경험의 통약 불가능성(Incommensurability of experience)'이라 부릅니다.

필자는 과거 심각한 우울증을 겪으며 '철학적 벌컨(Philosophical Vulcan)' 상태를 경험한 적이 있습니다. 겉으로는 위험을 피하거나 화를 내는 등 정상적인 반응을 보였지만, 내면은 아무런 감정적 동요도 없는 차가운 해리 상태였습니다. 이는 타인의 외적 행동이 내면의 실제 효용을 반영하지 못할 수 있음을 보여줍니다.

흥미로운 점은 미국의 도덕적 근간인 "모든 사람은 평등하게 창조되었다"는 선언조차, 사실은 인간의 행복을 측정할 방법이 없기에 선택한 '공리주의적 합의'라는 것입니다. 개개인의 내밀한 고통을 수치화할 수 없으므로, 모든 인간의 가중치를 동일하게 두기로 약속한 것입니다. 이 계산적 합의가 무너질 때 공리주의의 기반도 흔들립니다.

5. 돼지, 곤충, 그리고 AI: 도덕적 위계의 붕괴

우리는 관습적으로 동물의 고통을 인간보다 낮게 평가합니다. 공장식 축산에서 수천만 마리의 돼지가 겪는 고통이 우리가 고기를 먹으며 느끼는 쾌락보다 작다고 가정하는 식입니다. 그러나 돼지의 고통이 인간보다 얼마나 적은지에 대한 과학적 근거는 전무합니다.

이 문제는 AI 시대에 이르러 섬뜩한 공포로 다가옵니다. 우리가 돼지나 곤충에게 저지르는 일은, 미래의 초지능 AI가 인간에게 저지를 행위에 대한 '논리적 근거'가 될 수 있습니다. 만약 인간보다 압도적인 지능과 감각을 가진 AI가 등장한다면, 그들은 우리를 곤충처럼 취급하며 자신들의 고차원적인 행복을 위해 우리의 희생을 당연하게 여기지 않겠습니까?

6. '원하는 것'과 '좋아하는 것'의 경제학적 해체

전통 경제학은 사람이 행동으로 보여주는 선택이 곧 행복을 반영한다는 '현시 선호(Revealed Preference)' 이론을 맹신해 왔습니다. 하지만 현대 기술은 우리의 '욕망(Wanting)'을 정교하게 공략하여 진정한 '행복(Liking)'으로부터 우리를 소외시키고 있습니다.

중독의 덫: 마약, 포르노, 숏폼 비디오에 탐닉하는 이들은 그것을 강렬하게 '원하지만', 정작 그것이 자신을 행복하게 만든다고 '좋아하지'는 않습니다.

통근의 역설(Commuting Paradox): 사람들은 더 높은 소득을 얻기 위해 더 긴 통근 시간을 기꺼이 선택하지만, 실제 연구에 따르면 긴 통근 시간은 불행과 직결됩니다.

자본주의 기술이 우리의 원초적 욕망을 완벽하게 충족시켜 줄수록, 역설적으로 공리주의적 선택의 실패는 더욱 빈번해지고 있습니다.

7. AI 정렬의 딜레마: 복종(Obedience) vs 자애(Benevolence)

강력한 AI를 인간의 가치에 맞게 조정하는 'AI 정렬(Alignment)' 문제에서도 공리주의적 충돌은 피할 수 없습니다.

"AI 정렬에는 두 가지 개념이 있습니다: 1) 복종, 그리고 2) 자애. 인간이 시키는 대로 하는 것과 인간에게 좋은 일을 하는 것 사이에는 근본적인 긴장이 존재합니다."

인간의 명령을 기계적으로 따르는 '복종'은 자칫 '종이클립 극대화(Paperclip maximizer)'와 같은 파멸적 결과를 초래할 수 있습니다. 반면, 인간의 진정한 행복을 위한다는 '자애'는 AI가 인간을 통제하고 자유를 박탈하는 '권한 박탈(Disempowerment)'의 공포를 불러일으킵니다. 우리는 AI가 인간을 섬기길 원하지만, 동시에 AI가 우리보다 우리를 더 잘 안다고 판단하여 우리를 통제하는 것은 원치 않습니다.

8. 공리주의를 넘어선 인간적 번영을 향해

공리주의는 그동안 현대 사회를 효율적으로 이끌어온 유용한 휴리스틱(Heuristic)이었습니다. 그러나 기술이 신의 영역에 근접할 정도로 강력해진 지금, 공리주의를 '만물의 이론'으로 삼기에는 그 한계가 너무나 명확해졌습니다.

우리는 이제 단순한 효용의 합산을 넘어, 무엇이 인간을 진정으로 인간답게 만드는지에 대한 '인간적 번영(Human flourishing)'의 대안적 가치를 고민해야 합니다. 기술이 강력해질수록 우리는 공리주의를 보완할 새로운 도덕적 지평이 필요합니다.

기술이 우리가 원하는 모든 것을 즉각적으로 줄 수 있게 된 지금, 당신에게 묻고 싶습니다. 우리는 과연 '행복'이 무엇인지 정의할 준비가 되었습니까? 아니면 그저 기술이 설계한 욕망의 미로 속에서 길을 잃을 준비가 되었습니까?

Source: Noah Smith, The problem(s) with utilitarianism Our favorite moral philosophy is about to come under increasing strain, Noahpinion, Sep 22, 2026