AI가 ‘보이지 않는 권력’이 되는 시대(3/4)

AI가 ‘보이지 않는 권력’이 되는 시대(3/4)

== 푸코가 제시한 ‘지식·감시·규율의 구조’==

 

 

AI시대에 대한 시사점 ― “권력은 장치 그 자체가 된다”

 

(1) AI는 ‘명령하지 않지만 따르게 하는’ 새로운 권력

 

AI는 직접 명령하지 않는다.
그러나 추천뿐 아니라, 콘텐츠 생성과 확산, 표시 제한이나 삭제 같은 모더레이션에도 관여하기 시작했다.

여기서는
‘무엇을 보여줄 것인가’뿐 아니라
‘무엇을 만들게 하고, 무엇을 퍼뜨리며, 무엇을 억제할 것인가’라는
회로 자체가 행동의 방향에 영향을 미친다.

추천, 최적화, 얼굴 인식, 행동 예측을 통해 인간의 행동을 조용히 유도한다는 점에서,
이는 푸코가 말한 규율 권력이 기술을 통해 작동하는 구조와 매우 닮아 있다.

 

 

(2) 알고리즘은 ‘투명한 지배’를 만든다

 

AI의 판단 과정은 인간에게 보이지 않는다.

왜 이 영상이 나왔는지

왜 이 광고가 표시되는지

왜 이런 신용 점수가 나왔는지

우리는 그 이유를 알지 못한다.

 

이 불투명성은 단순한 불쾌감을 넘어, 정정의 기회가 사라지는 문제로 이어질 수 있다.

판단 근거가 설명되지 않고, 오류가 있어도 이의 제기나 재심 경로가 약하다면,
개인은 왜 자신이 불리해졌는지 모른 채 행동을 바꾸도록 몰리게 된다.

 

이는 푸코의
‘권력은 보이지 않는 곳에서 작동한다’는 개념과 정확히 맞닿아 있다.

 

 

 

(3) AI는 ‘지식’과 ‘권력’이 결합된 존재

 

푸코는
지식과 권력은 결합되어 있다고 주장했다.
지식을 가진 자가 세계의 규칙을 정하기 때문이다.

AI는 개인의 행동, 생활, 소비, 취향, 인간관계를 데이터로 파악한다.

게다가 AI가 다루는 정보는 개인이 명시적으로 제공한 것에만 한정되지 않는다.
여러 데이터를 결합함으로써 건강 상태, 정치적 관심, 경제 상황, 교우 관계까지 추정될 수 있다.

 

여기서 핵심은
‘수집된 정보’보다 ‘추정을 통해 새롭게 만들어진 정보’가 권력 작용의 중심이 된다는 점이다.

즉 AI는 지식 그 자체가 권력으로 전환된 상태를 상징한다.

따라서 대응 역시 개인의 마음가짐만으로는 부족하다.
어떤 데이터를 사용하고, 어떤 지표로 학습·평가하며, 오류가 발생했을 때 누가 멈추고 어떻게 수정하며,
이력을 어떻게 남길 것인가라는 운용 설계가 권력의 폭주를 막는 현실적인 조건이 된다.

 

* 출처=https://news.yahoo.co.jp› expert › articles