2026. 6. 17. 06:36ㆍ안전칼럼
리스크랩연구소, 김훈 박사
-산업안전 · Safety-IV · ESG 리스크 전략 연구소
-사고발생 이전 개입을 연구하는 Safety-IV 플랫폼
-Safety-4 :사고를 사건이 아니라 ‘상태의 붕괴’로 다루는 새로운 안전 패러다임
ㅣ
1983년 영국의 인지심리학자 리산 베인브리지(Lisanne Bainbridge)는 안전공학 역사에 남을 질문 하나를 던졌다. 자동화는 인간 오류를 줄이기 위해 도입되는데 왜 자동화가 증가할수록 새로운 형태의 인간 오류가 발생하는가. 그녀는 이를 ‘자동화의 역설(Ironies of Automation)’이라고 불렀다. 당시만 해도 컴퓨터 기반 자동제어가 확산되던 시기였지만, 40여 년이 지난 지금 이 질문은 오히려 더 중요해지고 있다. 우리는 지금 스마트팩토리, 디지털트윈, 자율주행, AI, 무인화 설비가 주도하는 새로운 산업사회로 진입하고 있기 때문이다.
대부분의 사람들은 자동화가 안전을 향상시킨다고 생각한다. 실제로 자동화는 반복작업을 제거하고 위험한 공정을 로봇으로 대체하며 인간의 실수를 감소시켜 왔다. 스마트팩토리는 생산성과 품질, 안전성을 동시에 향상시키는 미래 산업의 상징처럼 보인다. 그러나 베인브리지는 정반대의 위험을 보았다. 자동화는 인간을 제거하지 않는다. 인간의 역할을 바꾼다. 과거 작업자는 설비를 직접 조작하는 사람이었다. 그러나 자동화가 확대될수록 인간은 조작자에서 감시자로 변한다. 평상시에는 개입하지 않고 시스템을 지켜보기만 한다.
문제는 사고가 발생하는 순간이다. 시스템이 한계를 벗어나거나 예상하지 못한 상황이 발생하면 인간은 즉시 상황을 이해하고 판단하며 개입해야 한다. 그러나 이미 오랫동안 개입하지 않았기 때문에 숙련도는 떨어져 있고 상황 인식 능력도 약화되어 있다. 자동화는 가장 위험한 순간에 인간을 가장 준비되지 않은 상태로 만든다. 이것이 자동화의 역설이다.
이러한 현상은 이미 현실이 되고 있다. 항공기 조종사는 자동비행장치에 지나치게 의존하면서 수동 조종 능력을 잃고 있다. 자율주행차 운전자는 차량을 신뢰하지만 위기 상황에서는 적절히 대응하지 못한다. 스마트팩토리 운영자는 설비를 직접 경험하지 못한 채 대시보드와 모니터만 바라본다. 과거에는 밸브를 잘못 열어 사고가 발생했다면 미래에는 AI가 왜 그런 판단을 내렸는지 아무도 설명하지 못하는 상황이 발생할 수 있다. 인간 오류는 사라지는 것이 아니라 다른 형태로 이동하는 것이다.
스마트팩토리 시대의 가장 큰 위험은 설비 고장이 아니라 통제력(Controlability)의 상실이다. 모든 생산지표는 정상으로 보일 수 있다. 생산량은 증가하고 품질은 안정적이며 설비 가동률도 높다. 그러나 그 이면에서는 AI 모델의 성능 저하, 센서 데이터 왜곡, 알고리즘 편향, 인간의 상황인식 저하, 수동 개입 능력 감소가 진행되고 있을 수 있다. 문제는 기존 KPI가 이러한 상태 변화를 보여주지 못한다는 점이다. 겉으로는 정상처럼 보이지만 실제로는 조직 전체가 통제력을 잃어가는 방향으로 이동하고 있을 수 있다.
Safety-IV 관점에서 보면 이것은 매우 중요한 의미를 가진다. 미래의 사고는 현장에서 갑자기 발생하는 사건이 아니라 조직 내부의 위험상태(Risk State)가 장기간 열화된 결과로 나타난다. 자동화 수준이 높아질수록 관리해야 할 것은 설비가 아니라 인간과 시스템의 관계가 된다. AI가 무엇을 하고 있는지 설명할 수 있는가. 인간은 언제 개입해야 하는지 알고 있는가. 위기 상황에서 수동 운전과 비상조치가 가능한가. 조직은 실제로 통제력을 유지하고 있는가. 이것이 미래 안전관리의 핵심 질문이다.
따라서 미래의 스마트팩토리는 단순히 더 많은 자동화를 추구해서는 안 된다. 자동화 수준보다 인간 개입 능력을 관리해야 한다. 설비 상태보다 조직의 통제력을 측정해야 한다. 생산 KPI뿐 아니라 상황인식 능력과 의사결정 여유를 관리해야 한다. AI 성능보다 인간과 AI의 협업 구조를 평가해야 한다. 그리고 사고 이후 원인 분석보다 위험상태의 실시간 모니터링이 우선되어야 한다.
결국 미래 산업사회의 경쟁력은 누가 더 많은 로봇을 도입했는가에 있지 않다. 누가 더 정교하게 인간과 AI의 역할을 설계했는가에 달려 있다. 베인브리지는 40년 전에 이미 이를 예견했다. 자동화는 인간을 제거하는 기술이 아니다. 인간이 언제, 어떻게, 어떤 권한으로 개입해야 하는지를 다시 정의하는 기술이다. 그리고 Safety-IV가 던지는 질문도 동일하다. AI가 얼마나 똑똑한가가 아니라 AI가 실패했을 때 인간은 아직 개입할 수 있는가. 미래 산업사회의 안전은 결국 그 질문에 대한 답에서 결정될 것이다.