핵심 요지 — 모델의 판단 경로를 해명하는 것만으로 법적·도덕적 책임까지 설명할 수 있을까. 체화된 인지와 ‘N+1 책임귀속 층위’를 통해 설명가능한 AI의 질문을 관계적 책임의 문제로 확장한다.
설명가능한 인공지능(XAI)은 대개 이런 질문에서 출발한다. 모델은 왜 이 결과를 냈는가. 어떤 특징이 판단에 큰 영향을 주었고, 입력을 어떻게 바꾸면 출력이 달라지는가. 이 질문은 중요하다. 그러나 여기서 곧바로 “그렇다면 누가 책임져야 하는가”라는 답이 나오지는 않는다.
판단의 원인을 기술적으로 분해하는 일과 그 판단에 법적·도덕적 책임을 부여하는 일은 서로 다른 층위의 문제이기 때문이다.
설명과 책임은 같은 문제가 아니다
신용평가 AI가 대출을 거절했다고 하자. 특정 변수의 기여도를 정확히 계산해 보여주더라도, 데이터의 수집 기준을 정한 사람, 목표함수를 설계한 조직, 모델을 배치한 기관, 경고를 무시한 운영자 가운데 누가 어떤 책임을 져야 하는지는 여전히 남는다. 계산의 투명성이 책임의 정당성을 자동으로 보장하지 않는다.
모델을 인수분해하는 데 성공했다고 해서 책임까지 인수분해되는 것은 아니다.
기존 XAI가 모델 내부를 들여다보는 데 집중했다면, 이제는 모델이 들어가 있는 관계의 전체 장면을 보아야 한다.
체화된 인지가 바꾸는 출발점
체화된 인지의 관점에서 지능은 닫힌 통 안에 저장된 표상이 아니다. 행위자와 환경이 접촉하고, 서로를 바꾸며, 그 과정에서 의미가 생겨나는 현상이다. 지능은 통 안이 아니라 통 바깥과 비비면서 나타난다.
그렇다면 AI의 판단 역시 모델 하나의 산출물로만 볼 수 없다. 데이터, 모델, 인터페이스, 사용자의 기대, 조직의 규칙, 실제 환경이 구조적으로 접속한 결과다. 이 결합은 각 부품으로 완전히 환원되지 않는다. 설명의 단위도 개별 알고리즘에서 인간과 기계가 맺는 관계로 넓어져야 한다.
‘N+1 책임귀속 층위’란 무엇인가
내가 말하는 N+1은 인간 N명에 기계 한 대를 더해 책임을 머릿수대로 나누자는 뜻이 아니다. 기존의 개인·법인 책임 층위 위에, 인간과 짚인간과 제도가 결합한 관계적 층위를 하나 더 세우자는 제안이다.
이 층위에서 필요한 것은 단일한 원인표가 아니라 관계적 책임서사(accountability narrative)다. 누가 목적을 정했는가, 어떤 데이터를 선택하고 버렸는가, 누가 배포를 승인했는가, 인간은 언제 개입하거나 멈출 수 있었는가, 실패의 이익과 비용은 누구에게 돌아갔는가를 하나의 결정 사슬로 재구성해야 한다.
- 기술적 설명: 어떤 입력과 모델 구조가 결과에 기여했는가.
- 운영적 설명: 누가 어떤 절차로 시스템을 배치하고 사용했는가.
- 규범적 설명: 어떤 가치와 권리가 침해되었고, 누가 답변·시정·배상할 의무를 지는가.
기계에 책임을 떠넘기는 이론이 아니다
이 제안은 AI를 곧바로 도덕적 인격체로 인정하거나 인간의 책임을 희석하려는 것이 아니다. 오히려 “AI가 그렇게 판단했다”는 문장 뒤에 숨어버리는 책임 회피를 막기 위한 것이다. 모델이 복잡할수록 책임의 주체를 지우는 대신, 결합된 시스템이 어떤 판단과 행동을 가능하게 했는지를 더 촘촘하게 기록해야 한다.
설명가능한 AI의 최종 목적은 예쁜 특성 중요도 그래프가 아니다. 영향을 받은 사람이 납득할 수 있는 답을 듣고, 잘못을 다투고, 결정을 되돌리고, 책임 있는 주체에게 시정을 요구할 수 있게 하는 것이다. XAI는 그때 비로소 투명성 기술을 넘어 책임의 제도가 된다.
이 글은 현재 진행 중인 연구 구상을 대중 독자를 위해 다시 쓴 것이다. 짚인간이 인간의 사유를 외부화하는 방식은 〈짚인간의 귀환〉에서 더 자세히 다뤘다.
출발점이 된 페이스북 기록: 표상주의적 XAI를 넘어서