AI 시대 휴먼에러의 새로운 얼굴

리스크랩연구소, 김훈 박사
-산업안전 · Safety-IV · ESG 리스크 전략 연구소
-사고발생 이전 개입을 연구하는 Safety-IV 플랫폼
-Safety-4 :사고를 사건이 아니라 ‘상태의 붕괴’로 다루는 새로운 안전 패러다임

산업안전의 역사는 무엇을 위험의 원인으로 보았는가에 대한 역사이기도 하다. 초기 안전학은 설비와 구조물의 결함에 주목했다. 압력용기가 파열되고, 배관이 누출되며, 구조물이 붕괴하는 사고들은 대부분 기술적 결함(Technical Failure)으로 설명되었다. 안전은 더 강한 재료를 사용하고, 더 튼튼한 설비를 설계하며, 고장 확률을 줄이는 문제로 이해되었다. 그러나 기술이 발전할수록 이상한 현상이 나타나기 시작했다. 설비는 점점 신뢰성이 높아지는데 사고는 사라지지 않았다. 기계는 정상적으로 작동하고 있었지만 사람은 여전히 실수하고 있었다.

이때 안전학의 관심은 기술결함에서 휴먼에러(Human Error)로 이동하기 시작했다. 사고의 원인을 설비가 아니라 인간의 행동에서 찾기 시작한 것이다. 그러나 곧 또 다른 문제가 나타났다. 인간은 기계가 아니다. 사람은 피곤해지고, 주의가 분산되며, 압박을 받고, 때로는 규정을 우회한다. 그렇다면 인간 오류도 설비 고장처럼 정량적으로 측정할 수 있을까. 바로 이 질문에서 HEART(Human Error Assessment and Reduction Technique)가 등장한다.

HEART는 1986년 영국의 안전공학자 J. C. Williams가 개발한 인간신뢰도분석(Human Reliability Analysis) 기법이다. 이후 Neville Stanton을 비롯한 인간공학 연구자들이 다양한 산업현장에 적용하고 확산시키면서 세계적으로 널리 사용되기 시작했다. HEART의 핵심은 단순하다. 인간 오류는 우연이 아니라 조건의 결과라는 것이다. 동일한 작업이라도 시간 압박이 증가하고, 절차가 복잡해지고, 경험이 부족해지고, 감독이 약해지면 오류 확률은 급격히 증가한다. HEART는 이러한 오류유발조건(Error Producing Conditions, EPCs)을 체계적으로 식별하고 인간오류확률(HEP, Human Error Probability)을 계산한다.

이것은 안전학 역사에서 매우 중요한 전환점이었다. 처음으로 인간 오류를 도덕성이나 개인 능력의 문제가 아니라 확률적으로 분석 가능한 대상으로 보기 시작했기 때문이다. HEART는 사고 이후 "누가 실수했는가"를 묻지 않는다. 대신 "실수할 가능성이 얼마나 높아지고 있었는가"를 묻는다. 일정 단축은 오류 확률을 얼마나 증가시키는가. 인력 감축은 감독 밀도를 얼마나 낮추는가. 절차 변경은 작업 복잡성을 얼마나 증가시키는가. 교육 부족은 인간 신뢰도를 얼마나 떨어뜨리는가. 안전은 더 이상 의지의 문제가 아니라 조건의 문제가 된다.

그러나 HEART 역시 한계를 가지고 있다. HEART는 특정 작업의 인간오류 확률을 계산할 수는 있지만 조직 전체가 왜 점점 더 오류 가능성이 높은 방향으로 이동하는지는 설명하지 못한다. 왜 생산 압력은 계속 증가하는가. 왜 신규인력은 반복적으로 투입되는가. 왜 정보는 전달되지 않는가. 왜 위험을 알면서도 작업은 계속되는가. 왜 조직은 위험한 상태를 정상으로 받아들이는가. HEART는 작업 수준(Task Level)의 오류를 설명하지만 조직 수준(System Level)의 상태 변화까지 설명하지는 못한다.

바로 여기서 Safety-IV의 필요성이 등장한다. HEART가 "이 작업의 인간오류 확률은 얼마인가"를 묻는다면 Safety-IV는 "왜 조직 전체가 인간오류 확률을 증가시키는 상태로 이동하고 있는가"를 묻는다. 생산 압력 증가, 인력 불안정, 공정변경 증가, 정보 감쇠, 의사결정 지연, 감독 밀도 감소와 같은 현상들은 개별 작업자의 문제가 아니다. 그것은 조직 전체가 위험 방향으로 이동하고 있다는 신호다. Safety-IV는 이러한 신호를 조직 위험상태(Organizational Risk State)의 관점에서 바라본다. 즉 HEART가 휴먼에러를 계산하는 모델이라면 Safety-IV는 휴먼에러를 증가시키는 상태를 관리하는 모델이라고 할 수 있다.

그리고 지금 우리는 또 하나의 전환점 앞에 서 있다. AI 시대다. 많은 사람들은 AI가 발전하면 휴먼에러가 사라질 것이라고 생각한다. 그러나 역사는 정반대의 사실을 보여준다. 기술은 인간 오류를 제거하지 못했다. 단지 오류의 형태를 바꾸었을 뿐이다. 과거의 휴먼에러가 밸브를 잘못 열고, 스위치를 잘못 조작하고, 절차를 누락하는 문제였다면 AI 시대의 휴먼에러는 AI를 맹신하는 문제로 바뀌기 시작할 것이다.

대표적인 현상이 자동화 편향(Automation Bias)이다. AI가 위험하지 않다고 판단하면 사람도 위험하지 않다고 믿는다. AI가 이상 없다고 하면 검증하지 않는다. AI가 제시한 답을 의심하지 않는다. 인간은 점점 판단자가 아니라 승인자로 변해간다. 더 위험한 것은 역량 열화(Deskilling)다. AI가 위험성평가를 수행하고, AI가 Permit을 검토하고, AI가 의사결정을 지원하기 시작하면 인간은 점차 스스로 위험을 읽는 능력을 잃어버린다. 결국 미래의 휴먼에러는 사람이 틀리는 문제가 아니라 사람이 더 이상 틀렸다는 사실조차 발견하지 못하는 문제가 될 가능성이 크다.

결국 안전학의 진화는 하나의 흐름으로 설명할 수 있다. 기술결함의 시대는 설비를 개선하는 시대였다. 휴먼에러의 시대는 오류 확률을 계산하는 시대였다. Safety-IV의 시대는 오류를 증가시키는 조직 상태를 관리하는 시대로 이동하고 있다. 그리고 AI 시대의 안전은 인간의 판단 능력이 어떻게 약화되고 있는지를 관리하는 시대로 발전하게 될 것이다.

리스크랩의 관점에서 미래의 안전은 사고를 줄이는 기술이 아니다. 인간이 끝까지 위험을 인식하고 개입할 수 있는 상태를 유지하는 것이다. 사고는 여전히 사람에 의해 발생할 수 있다. 그러나 더 큰 위험은 조직이 더 이상 위험을 볼 수 없는 상태로 이동하는 것이다. 그래서 미래의 안전은 휴먼에러를 연구하는 학문을 넘어 인간과 AI가 함께 만드는 위험상태를 연구하는 학문으로 진화하게 될 것이다. 그리고 바로 그 지점에서 Safety-IV는 새로운 출발점을 갖게 된다.