본문

보건의료 인공지능이 실수했을 때 책임은 누가 지는가?

과학기술발전

등록일  2020.10.05

조회수  1028

인공지능은 암을 진단하고 자살을 예측하고 수술을 돕는데 이용될 수 있음. 이 모든 사례에서 인공지능이 인간 의사들보다 정해진 과업으로 더 나은 결과를 낸다고 암시하는 연구결과도 나와 있음. 그런데 뭔가 잘못되면 누가 책임질까?

 

미국 캘리포니아폴리테크닉주립대(California Polytechnic State University) Patrick Lin은 누가 책임져야 하는지에 대한 쉬운 해답은 없다고 말함. 보건의료분야에서 인공지능을 적용하는 과정(설계부터 데이터 및 전달까지)의 어느 시점에서도 오류가 발생할 수 있음.

 

정말 엉망이군요. 누가 책임을 져야 하는지는 오류나 사고가 왜 문제를 일으키는지에 대한 세부적인 내용에 달려있기 때문에 명확하지 않습니다. 그러한 사건은 가치사슬(value chain)의 어디에서나 발생할 수 있습니다.”

 

보건의료분야에서는 인공지능을 어떻게 이용할까?

 

설계에는 하드웨어와 소프트웨어 구축에 제품 시험까지 포함됨. 데이터는 기계학습이 편향된 데이터로 진행될 때 발생할 수 있는 많은 문제를 아우르는 반면, 배치는 제품이 실무에 어떻게 이용되는지와 관련됨. 보건의료분야에서의 인공지능 적용은 종종 인간과 함께 일하는 로봇을 수반하며, 이는 책임의 범위를 모호하게 만듦.

 

예일대(Yale University) 생명윤리센터(Interdisciplinary Center for Bioethics) Wendall Wallace는 인공지능이 어디에서 어떻게 실패했는가에 따라 책임을 나눌 수 있다고 말함. “만약 인공지능시스템이 설계한대로 작동하지 않거나 기이한(idiosyncratic) 무언가를 한다면 아마 기기를 시판한 법인에 책임이 갈 것이라면서 실패한 것이 아니라 임상적인 맥락에서 잘못 이용하고 있다면 이용을 허가한 사람에게 법적 책임이 있다고 설명함.

 

Da Vinci 수술시스템을 만든 회사는 지난 10년 동안 수천 건의 소송을 해결함. Da Vinci 로봇은 항상 인간인 외과의사와 함께 일하는데, 기계가 환자를 태우거나 기계의 일부가 깨져서 환자에게 떨어지는 등 명백한 과실 혐의를 받고 있음.

 

하지만 어떤 사례는 책임소재가 덜 명확하기도 함. 진단용 인공지능이 백인 환자가 과도하게 대표된 데이터로 훈련을 받아서 흑인 환자를 오진했다면, 문제를 일으킨 장본인(culprit)이 기계학습을 시킨 업체인지, 편향된 데이터를 수집한 업체인지, 권고를 듣기로 선택한 의사인지 분명하지 않음.

 

인공지능 블랙박스와 의도 및 인과관계의 쇠퇴(failure)’라는 논문을 게재한 변호사 Yavar Bathaee인공지능프로그램이 블랙박스라면 인간처럼 예측하고 결정하더라도 그렇게 하는 이유를 제대로 소통하지 못할 것이라면서 인간에게 적용되는 법률적 원칙이 왜 인공지능에 꼭 작동하지는 않는지를 설명함. “인공지능을 구축하거나 배치한 인간의 의도나 행동에 대하여 추론할 수 있는 것은 거의 없다는 의미이기도 하다면서 그들은 인공지능이 어떤 해결책에 도달할지나 어떤 결정을 내릴지 예측하지 못할 수도 있기 때문이라고 밝힘.

 

인공지능 블랙박스 내부

 

지난해 미국의료윤리학회지(AMA Journal of Ethics)에 게재된 불법행위 책임과 인공지능논문에 따르면 인공지능에게 책임을 묻기 어려운 이유는 의사결정과정을 이해할 수 없는데(impenetrability) 있다고 밝힘. “인공지능을 설계한 사람이 시판 후 어떻게 행동할지 예측할 수 없다면, 그들이 어떻게 불법행위로 책임을 지겠는가?”라면서 만약 법률체계가 인공지능의 행동을 예측할 수 없다는 이유로 설계한 사람의 법적 책임에 대해 무죄라고 선언한다면, 손상을 입은 환자들은 배상을 받을 기회가 더 줄어들 수도 있다고 강조함.

 

다른 모든 기술처럼 인공지능도 실험실과 실제 환경에서 매우 다르게 작동하는 경우가 많음. 올해 초 Google Health 연구팀은 당뇨병성 망막증의 증상을 90% 정확도로 식별할 수 있는 딥러닝시스템이 실제 상황에 배치되자 상당한 지연(delays)과 장애물(frustrations) 유발한다는 점을 발견함.

 

복잡하더라도 책임소재의 명확함은 보건의료분야 인공지능에 있어 필수적임. 개별 환자들은 책임에 따른 후속조치를 받을 자격이 있으며, 책임감이 부족하면 잘못이 넘쳐날 것이기 때문임. Lin책임이 누구에게 있는지가 분명하지 않으면 공백 상황, 즉 누구도 책임지지 않을 수 있는 상황이 벌어질 수 있다면서 그런 사례에 해당하면 문제를 해결하도록 장려할 대책(incentive)이 없다고 말함. 법학자 David Vladeck가 제안한 한 가지 가능한 대응책은 인공지능시스템 구현 및 이용에 관련된 모든 사람에게 책임을 묻는 것임.

 

인공지능과 보건의료는 인간 전문직들의 결정을 강화하면서 때때로 함께 잘 작동함. 인공지능이 발달하더라도 간호사를 대체하거나 의사를 완전히 자동화하지는 않을 것으로 예상됨. 그러나 인공지능이 발전할수록 인간은 기계의 결정에 반대하기가 어려워짐. 로봇이 99% 맞다면, 의사가 그와 다른 선택을 할 경우 중대한 법적 책임에 맞닥뜨릴 수 있음. “의사의 입장에서는 로봇이 말해는 대로 따라가는 것이 훨씬 더 쉽다Lin은 말함.

 

결국 이는 인간이 로봇에게 무언가 권한을 마지못해 위임했다는 뜻임. 인공지능이 인간을 능가하는 경우도 많기에, 의사들도 기계학습에 매달려야 함. 그러나 잘못에 대한 책임소재가 명확하지 않은 한 보건의료분야에서 인공지능에 대한 경계심(wariness)은 정당화됨. “의학은 계속 진화하고 있고, 예술과 과학의 조화라면서 효과적으로 대응하기 위해서는 기술과 인간 모두 필요하다Lin은 덧붙임.

 

기사 : https://qz.com/1905712/when-ai-in-healthcare-goes-wrong-who-is-responsible-2/

사진 : https://hbr.org/2019/10/ai-can-outperform-doctors-so-why-dont-patients-trust-it

저널(Harvard Journal of Law & Technology) : https://jolt.law.harvard.edu/assets/articlePDFs/v31/The-Artificial-Intelligence-Black-Box-and-the-Failure-of-Intent-and-Causation-Yavar-Bathaee.pdf

저널(AMA Journal of Ethics) : https://journalofethics.ama-assn.org/article/are-current-tort-liability-doctrines-adequate-addressing-injury-caused-ai/2019-02

첨부파일
이미지 20201005_ai.png (59.4KB / 다운로드  52)