본문

자율주행차의 잠재적 위험 : 피부색이 어두운 보행자를 감지하지 못한다는 연구결과가 나옴

과학기술발전

등록일  2019.03.12

조회수  312

자율주행차에 대한 우려사항 목록이 늘어나고 있음. 얼마나 안전한지, 도로에서 곤란한 도덕적인 타협(tricky moral trade-offs)을 어떻게 이루는지, 교통체증을 어떻게 악화시키는지를 넘어서, 유색인종 사람들에게 어떻게 해를 끼칠 수 있는 지까지 걱정할 필요가 있음.

 

미국 조지아공대(Georgia Institute of Technology)의 연구에 따르면 어두운 피부색인 경우 밝은 피부색인 경우보다 자율주행차에 치일 가능성이 높다고 함. 밝은 피부 톤을 가진 보행자를 더 잘 감지하기 때문임.

 

연구팀은 자율주행차에 쓰이는 최신기술인 객체감지(Object Detection)모델이 다양한 인구집단을 얼마나 정확하게 감지하는가?’라는 간단한 질문에서 연구를 시작함. 이를 알아내기 위하여 보행자 이미지가 들어있는 데이터세트를 살펴봄. 피부 톤을 밝은 색에서 어두운 색까지 분류하는 Fitzpatrick 척도를 사용하여 데이터를 분류함. 이어 피부 톤이 밝은 경우(Fitzpatrick 1~3)와 어두운 경우(4~6)에 얼마나 정확하게 감지했는지를 비교분석함.


해외언론동향_20190312_2_본문.png

 

연구결과 피부 톤이 어두운 집단에 대해서는 감지율이 5%p 덜 정확한 것으로 나타남. 연구팀이 이미지에서 시간대나 시야를 가리는 방해물과 같은 변수를 통제해도 그 차이는 계속됨.

 

연구자(Jamie Morgenstern)공통적인 구조를 공유하는 시각체계를 더 자세히 살펴봐야 한다고 밝힘. ‘객체감지의 예측 불균등성(Inequity)’ 연구보고서는 액면 그대로 받아들여서는 안 됨. 동료평가를 받지 않았으며, 객체감지모델이 실제로 자율주행차에 쓰이는지 시험하지 않았고, 자율주행차 제조사에서 사용하는 훈련용 데이터세트를 이용하지도 않았음. 대신 학계 연구자들이 사용하는 여러 모델과 공개적으로 사용할 수 있는 데이터세트를 이용함. 제조사가 그들의 데이터를 공개하지 않기 때문임. 이는 대중의 관심사임을 감안하면 심각한 문제임.

 

그렇다고 해서 그 연구가 가치가 없다는 의미는 아님. 이번 연구에 참여하지 않았던 한 전문가(Kate Crawford, a co-director of the AI Now Research Institute)이상적인 세계에서는 학자들이 자율주행차 제조사가 사용하는 실제 모델과 훈련 세트를 시험하고 있을 것이라면서 현실에서는 결코 이용할 수 없으며, 보고서는 매우 현실적인 위험에 대한 강한 통찰(insights)을 제공한다고 밝힘.

 

알고리즘에는 설계자의 편견(bias)이 영향을 미침. 이 연구의 통찰은 인간의 편견이 어떻게 우리의 자동화된 의사결정체계에 침투하는지를 보여줌. 이는 알고리즘 편향이라고도 불림.

 

가장 유명한 사례는 2015년 구글(Google)의 이미지인식시스템이 아프리카계 미국인을 고릴라라고 표기하면서 드러남. 3년 후 아마존(Amazon)의 인식시스템은 28명의 국회의원을 범인 식별용 얼굴사진(criminal mugshots)과 매칭해서 비난을 삼.

 

또 다른 연구는 IBM, Microsoft, Megvii의 안면인식시스템이 피부가 밝은 사람보다 어두운 사람의 성별(특히 여성)을 잘못 식별할 가능성이 높다는 사실을 발견함. 알고리즘체계는 그들이 공급받은 사례로 학습하기 때문에, 학습단계에서 흑인 여성의 사례를 충분히 얻지 못하면, 배치되었을 때 그들을 인식하는데 어려움을 겪게 되는 것임.

 

연구팀은 두 가지 요인이 사례의 불균형(disparity)을 부채질하고 있을 가능성이 있다고 지적함. 객체감지모델은 대부분 피부가 밝은 보행자의 사례로 훈련을 받았고, 몇 안 되는 피부가 어두운 보행자의 사례를 학습하는 것에 충분한 비중을 두지 않은 것임.

 

연구팀은 훈련용 자료에 특정 사례에 비중을 더 두어 편향을 바로잡는 것을 도울 수 있다는 점을 발견함. 그래서 처음부터 피부 톤이 어두운 사례를 많이 포함할 수 있었음.

 

알고리즘 편향의 광범위한 문제에 대해서는 일반적으로 두 가지 해결책을 제안함. 첫째, 새로운 기술을 개발하는 팀이 인종적으로 다양하도록 구성하는 것임. 백인, 남성으로만 구성된 팀은 알고리즘이 흑인 여성을 어떻게 처리하는지를 확인하지 않을 가능성이 있음. 만약 그 팀에 흑인 여성이 있었다면 달라질 것임.

 

둘째, 기업이 알고리즘에 편향이 있는지 시험하도록 의무화하고, 출시 전에 공정성 기준을 충족한다는 것을 증명하도록 하는 것임.

 

기계지능을 위한 지침의 저자(Kartik Hosanagar)편향에 대한 명시적인 검사가 유용하다고 생각한다면서 팀 구성원을 인종, 성별, 국적을 고려하여 구성하는 것은 어렵기 때문에 인종 편향을 검사하는 것이 더 효과적이라고 밝힘.

 

두 가지 해결책은 서로 배타적이지 않음. 논란의 여지가 있지만, 유색인종이 이용을 강요받기 전에 인종에 대한 편견을 근절하기 위해 할 수 있는 모든 것을 하는 것이 기업의 최선의 이익에 부합함.

 

기사 : https://www.vox.com/future-perfect/2019/3/5/18251924/self-driving-car-racial-bias-study-autonomous-vehicle-dark-skin

연구보고서 및 사진 : https://arxiv.org/pdf/1902.11097.pdf


첨부파일
이미지 해외언론동향_20190312_2_목록.png (94.9KB / 다운로드  51)
이미지 해외언론동향_20190312_2_본문.png (696.1KB / 다운로드  49)