디지털 자본주의와 데모크라시, Big Tech와의 싸움 ③
― Algorithm․Justic

(WWW.SURPRISE.OR.KR / 김종익 / 2022-07-29)

우치다 쇼코內田聖子
비영리법인 아시아태평양자료센터 공동 대표. 자유 무역․투자 협정 감시, 정부와 국제기관에 대한 제언 활동 등을 한다. 『자유 무역은 우리를 행복하게 할까?』 『철저 해부 국가 전략 특구 ― 우리의 삶은 어떻게 될까?』 『일본의 상수도를 어떻게 할까? ― 민영화인가 공공의 재생인가』 등의 저서가 있다.

■ 해고된 AI 윤리 연구자의 도전

“AI는, 조금씩 착실히 진행할 필요가 있어요. ‘AI는 초인적 수준까지 제고되고 있으며, 그것은 필연이며, 인간의 제어를 넘어서는 것이다’라고, 우리는 세뇌되어 있습니다. AI의 연구, 개발, 사용하기 위한 설치가 처음부터 인간과 커뮤니티에 뿌리를 둔 것이라면, 그 폐해에 먼저 손을 써서, 공평성과 인간성을 존중한 미래를 창조할 수 있습니다.”

2021년 12월 2일, 미국의 AI(인공지능) 윤리 연구자, Timnit Gebru가 독립연구기관 ‘DAIR(Distributed Artificial Intelligence Research Institute, 분산형인공지능연구소)’를 설립하며 발표한 메시지다.

거슬러 올라가 1년 전 같은 날, Google의 AI 윤리팀 공동 리더였던 Timnit는, 동사에서 해고되었다. DAIR 설립을 이날로 고른 것은, Google에 대한 선전 포고이기도 했다. 사이트에는 “Google에서 추방된 기념일에”라는 제목을 단 보도 자료가 게시되었다.

해고 계기는, 그녀가 동료들과 공동 집필한 논문이었다. Google을 포함한 Tech 기업이 적극적으로 도입하고 있던 새로운 문자 처리 기술로, 대량의 문자 자료에 포함된 인종 차별․성 차별적인 심한 욕설 표현이 AI에 입력되면, 윤리상 어떠한 위험이 생기는지를 지적하는 내용이다.

자사의 기술을 비판적으로 고찰한 이 논문은, Google 입장에서는 꼭 환영할 만한 것은 아니다. Google 측은 여러 가지 이유를 들어 논문을 내부 심사에서 통과하지 못하게 하고, Timnit는 상사와 대립했다. 그 경위를, 다양성과 대화의 결여라고 비판하며 동료 여성들의 mailing list에 투고한 바, “직무 규정에 반한다”라고 하여, 충분한 설명도 없이 해고된 것이다. Google 측은 논문에 대해 “관련된 많은 선행 연구를 무시하고, 언어의 선입관 문제의 시정에 관한 언급이 결여되어 있는 점 등에서, Google의 공개 기준을 채우지 못 했다”고 설명한다.    

국내외적으로 저명한 AI 윤리 연구자의 해고 뉴스는, 전 세계로 순식간에 확산되었다. 해고에 반대하는 온라인 서명에는, Google 사원 2,695명이 참가하고, 학술․산업․시민사회에서의 지원자 4,302명이 서명했다. SNS상에서도 마이크로소프트 등 동종 기업의 AI 연구자가 해고를 비판했다. 그런데 Google은, Timnit의 해고로부터 불과 2달 뒤, 그녀의 동료였던 Margaret Mitchell도 해고했다. 연이어 일어난 두 명의 여성 연구자 해고에, 동사에 대한 비판은 더욱 고조되고, 다른 부서 연구자의 항의 사직과 Google로부터의 지원금 수령을 거부하는 단체도 나타나는 등, 혼란이 이어졌다.

이 해고는, Google을 필두로 하는 Tech 업계가, 스스로 표방하는 ‘Diversity(다양성)’과 ‘Inclusion(포섭성)’과 걸맞지 않는 현실에 있는 사실을 부각시켰다. 동시에 AI 윤리 연구를, AI에 의해 이윤을 추구하는 Tech 기업 내부에서 행하는 것의 모순과 한계도 증명했다.

애당초, Timnit라는 존재는 실리콘밸리에서도 이채를 띠고 있었다. 서른여덟 살, 여성이라는 이유만이 아니다. 에티오피아의 아디스아바바에서 태어나 자란 그녀는 다섯 살에 아버지가 돌아가시고, 1998년에 에티오피아․에리트레아 국경 분쟁이 발발하자 전쟁 참화를 피해 국외 탈출을 해야만 했다. 당시 열여섯 살이었던 그녀는, 어머니와 함께 미국으로 정치 망명을 했다.

매사추세츠주의 고교 시절, 수학과 물리 성적은 뛰어나게 높아, 졸업 후에는 스탠포드 대학에 진학했다. 이 대학의 인공지능연구소에서 박사 학위를 취득했다. 졸업 후에는 애플사에서 일하며, 초대 iPod의 신호 처리 알고리즘을 개발한 것도 그녀다. 그 후 마이크로소프트의 연구기관에서 ‘AI의 공정성, 설명 책임, 투명성, 윤리 그룹(FATE)’의 박사 연구원으로 근무한 뒤, Google로 전직했다. 마이크로소프트 시절에는, 아프리카계 미국인 여성 연구원 Joy Buolamwini와 함께, AI에 의한 얼굴 인식 기술에는 백인 남성보다 유색인종의 여성을 잘못 인식할 확률이 높은 것을 실증했던 경험도 있다.

제1선 연구자가 된 Timnit였지만, 사회에 깊게 뿌리 내린 차별과 편견, 백인 남성 우위 질서는 늘 뛰어넘어야 할 벽이었다.

“많은 여성은 STEM(과학․기술․공학․수학)에 너무나 흥미가 있어요. 그런데 시간이 흐름에 따라 ‘탈락’해 가는 겁니다. 내가 고등학교 수학에서 좋은 성적을 올리면, 교사는 믿지 못 하고 혼란스러워했어요. 어머니에게 이야기하자 이렇게 말했어요. ‘그건 네가 아프리카 출신이니까. 그들은 아프리카 사람에게 수학이 가능하다고 생각하지 않는 거야’”.

여성과 유색인종, 개발도상국 출신자에 대한 편견은 Tech 업계에도 뿌리 깊다. 아이디어를 내도 진지하게 받아들여지지 않고, 회의에서 배제되는 경우도 많다. ‘다양성 중시’라고 하면서, 일상은 성 차별적인 Microaggression(일상의 언동에 나타나는 모욕, 부정적인 태도)로 넘치고 있다. 이런 환경이 변하지 않는 한, 사람들에게 진정으로 유익한 테크놀로지는 만들 수 없다고, Timnit는 확신한다.

그녀는 2017년, 흑인 AI 연구자를 위한 조직 ‘Black in AI’를 설립했다. 이번에 설립한 DAIR의 명칭에 있는 ‘Distributed(분산형)’의 의미는, 백인, 유럽과 미국인, 남성에 치우친 기존의 AI 연구와는 선을 긋고, 유색인종과 여성, 개발도상국 등에서 인재를 채용해, 보다 inclusive(포섭적)한 연구 체제를 목표로 삼고 있다. 자금 면에서도 독립해, AI 연구의 Big Tech 영향력과 맞선다. 

■ AI에 의한 차별 확대․고정화

1950년대에 제기된 AI는, 학술계․산업계에 의해 연구가 축적되어, 현재는 제3차 개발 붐을 맞이하고 있다. Timnit가 연구하는 AI 윤리는, 시대의 필연으로 등장해, 지금 가장 주목받는 영역 가운데 하나다.

정부 통계 등 공적 자료와 각종 조사, 기업이 가진 고객 자료와 구매 이력, 날씨와 지리 자료, SNS에서 가로챈 빅 데이터를 AI에 입력해, 기계 학습을 시킴으로써 다양한 ‘예측’을 할 수 있게 되었다. 이 기계 학습 때 이용되는 것이 알고리즘(계산식과 계산 방법)이다. 그 이용 범위는 확대일로이며, 구매 이력에 기반을 둔 ‘추천 상품’과 표적 광고, 금융 분야에서는 펀드 운용과 카드 부정사용 식별, 대출 심사, 자동차 자동 운전, 의료․의약 분야에서는 영상 진단과 신약 개발 등에 AI가 활용되고 있다. 또한, 감시 카메라의 화상과 SNS 자료를 AI가 분석해, 경찰이 수사에 이용하는 경우도 있다. 인간의 판단보다 ‘공정․중립’하고, 작업도 효율화된다고 정부나 기업도 AI 도입에 적극적이다.

그러나 각국에서 AI에 의한 문제 사례가 잇달아 일어나고 있다. 이하는 극히 일부 사례다.
▶ Google은 Photo 앱으로 흑인 영상에 고릴라 태그를 부착한 것을 사죄.(2015년)
▶ 마이크로소프트는 대화 학습을 하는 AI 로봇 Tay가 차별적인 폭언을 뱉게 되어 서비스 중지.(2016년)
▶ 우버의 자동 운전 자동차가 사망 사고를 일으키다.(2018년)
▶ 아마존이 차별적 인재 채용 AI 폐지.(2018년)
▶ Facebook이 수집하는 사용자 자료의 일부가 영국의 컨설팅 기업으로 넘어가, 선거전에 이용되었다.(Cambridge Analytica Ltd 사건, 2018년)
▶골드만삭스는 애플 카드 이용자의 신용 점수를 산출할 때, 여성에게 부당하게 낮은 점수를 주어 카드 한도액에 차이가 생긴 사실이 판명.(2019년)
▶ Facebook은 고용과 주택 차별을 고정화하는 광고 장려 알고리즘을 사용하고 있던 사실이 판명.(2019년)
▶ 영국의 자격․시험 통제기관 Ofqual이 도입한 알고리즘에 의한 성적 예측 평가가 노동자 계급과 소수자 학생에게 불리한 평가를 내린다고 판명.(2020년)
▶ 한국에서 개발된 대화형 AI 로봇 ‘이루다’가, 인종과 성적 소수자에 관한 차별 발언을 사용자로부터 ‘학습’하고, 연발했기에 발매 중지.(2021년)

이 사례들은 ‘단순한 실수’로 넘길 수 없다. 특히 채용․인사 평가나 보험 가입, 교육, 의료, 경찰에 의한 수사 등, 사람들의 삶과 인권 침해에 직접 영향을 주는 경우는 심각하다.

예를 들면, 많은 나라에서 채용되는 보험 가입 때의 AI 심사에는, 연령과 직업, 대출금 연체 등 다양한 지표에 의해 개인이 신용 평가되어, 각각의 보험료가 산정된다. 미국에서는 흑인과 빈곤층은 수입과 지급 상황에 문제가 없어도 ‘위험이 높다’고 산정되어, 고액의 보험료가 부과되는 사례가 있다.

또한 학생 성적 상승률과 진로 등을 주요한 자료로 삼아 AI에 학습시키고, 교사의 평가를 행하는 ‘부가가치모델’이라는 시스템이 미국에서는 도입되어 있다. 학생과 보호자로부터 인망이 두텁고, 교육도 열심이었던 교사가 잇달아 ‘낙제점’을 받고, 100명 규모의 대량 해고가 이루어졌다.

나아가, 과거의 범죄 이력 등으로 AI가 ‘수사중점지역’을 산출하고, 그 지역에는 많은 경찰관이 배치되는 일도 미국에서는 일반적이다. 흑인과 이민 커뮤니티가 지정되는 일이 많아, 당연히 그 지역에서의 검거 수는 늘어난다. 그러자 AI는 그것을 더욱 ‘학습’하고, 잇달아 그 지역은 ‘수사중점지역’으로 지정되고 만다. 또한 미국의 일부 주에서는, AI의 ‘再犯 예측 알고리즘’을 사용하고, 판사는 그 결과를 참고로 보석 금액과 형량을 결정한다. 예를 들면 ‘COMPAS’라는 시스템도, 피고인의 범죄 경력 등 다양한 자료를 바탕으로 재범 예측치를 산출하지만, 2015년에 비영리 독립 언론 ProPublica의 저널리스트는, 이 알고리즘은 백인보다도 흑인에 의양성擬陽性(투베르쿨린 반응에서 양성에 가까운 반응을 보이는 일 – 역주)이 나오는 것, 말하자면 흑인은 ‘재범률이 높다’고 잘못되게 판정될 비율이 높은 사실을 밝혔다.

물론, AI가 의도적으로 차별을 할 이유는 없고, 이미 사회에 있는 편견과 차별이 선입관으로 AI에 투영된 결과, ‘負의 순환’을 야기하고 마는 것이다. 크게 말하면, ① AI 훈련에 사용되는 자료의 선입관이나 편견, ② 알고리즘 설계에서의 선입관이나 편견, ③ 운용 후에 입력되는 자료의 선입관이나 편견이다. 예를 들면 “의사는 여성이 적다”라는 현실의 자료를 사용해 학습시키면, AI는 “여성은 의사에 적합하지 않다”라는 결과를 내 버린다. 또한 알고리즘을 설계할 때에 기술자가 지닌 고정 관념이나 차별 의식이 논리 구축에 영향을 미치는 경우도 있다. 더욱이 운용 후에 사용자가 차별적인 언어를 입력하면(문법적으로는 맞지만 ‘은어적’인 차별 표현의 경우도 포함해) 학습해 버리는 일도 있다.

문제는, 이런 입력 자료들과 알고리즘, parameter(외부 투입되는 변동 요소) 등이 이용자에게는 비공개인 점이다. 비즈니스 모델의 근간인 알고리즘은, 기업의 ‘영업 비밀’이라는 벽에 의해 굳게 닫혀 있다. 그 결과, AI가 도출한 예측이 ‘맞는 걸까’(게다가 어떤 목표와 가치에 기반을 둔 옮음인가)는 검증의 눈에 노출되지 않는다. 더욱 문젯거리는, 우리는 이미 많은 경우에, 이러한 AI에 의한 예측과 서비스를 수용하고 있다는 점이다. SNS 투고, 구매 이력으로 시작해, 자신의 정보가 어디에 수집되어, AI가 ‘나’에 대해 무엇을 어떻게 예측하고 있는 건지, 전모는 알 수 없다. 이 비대칭성이야말로 문제 본질이다. 그리고 가령 문제를 알아챘다 해도, 이런 서비스들의 사용을 ‘모두 그만둔다’라는 선택지를 제외하면, 우리에게는 대항할 수단이 없다.

■ ‘수학 파괴 무기weapon of math destruction’로서의 알고리즘

이러한 상황을 바꾸려고 하는 또 한 명의 Data Scientist가 Cathy O'Niel이다.
“알고리즘은 곳곳에 존재하며, 승자와 패자를 가릅니다. 승자는 일이나 유리한 신용카드를 손에 넣을 수 있는 반면, 패자는 취직 면접조차 받을 수 없고, 보험료는 더 비싸지지요. 우리로서는 이해할 수 없는 데 불복 신청의 기회도 없고요. 비밀 數式에 의한 신용 평가입니다. 여기에 의문이 치솟기 시작해요. 만약 알고리즘이 틀렸다면? 혜택을 받은 사람은 더 혜택을 받게 되고, 약한 입장의 사람은 더 취약한 상황으로 내몰립니다. Big Data를 사용한 알고리즘은, 결과를 예측하고 있는 것이 아니라, 그렇게 되도록 짜여 있다는 말입니다.”

파란색으로 물을 들인 머리칼과 힘찬 말투, 많은 사람이 어렴풋이 깨닫고 있던 사실을, Cathy는 논리정연하게 가시화해 보여준다. 그녀는 사람들에게 유해한 알고리즘을 ‘수학 파괴 무기’라고 이름을 붙였다. 어린 시절부터 수학을 매우 좋아해, 그 세계에 몰두해 온 Cathy는, 하버드 대학에서 수학 박사 학위를 취득하고, 명문 여자 대학 Barnard College의 교수를 거쳐 미국 최대 헤지펀드 ‘D.E.Shaw’에 취직했다. 바야흐로 수학자로서 성공으로 치닫는 경력이다. D.E.Shaw에서는, 고도한 수학적 수법을 이용한 금융 공학의 전문가 ‘금융 시장 분석가quants’로 일했다. 그녀가 만든 演算式에 의해, 매일 수조 달러의 돈이 전 세계를 돌아다녔다.

그러나 동사에서 일하기 시작하고 겨우 1년이 된 2008년 가을, 리먼 쇼크와 금융 위기 세계를 엄습했다. 그녀는 수학자로서 이 경제 위기에 ‘가담해 왔다’고 통감했다.

“주택 위기, 대형 금융기관 도산, 실업률 상승 ― 모두, 마법의 공식을 교묘하게 다루는 수학자에 의해 조장되었다. 그것만이 아니다. 내가 진심으로 사랑한 수학은, 장대한 힘을 가지기 때문에, 테크놀로지와 결합해 카오스와 재난을 몇 배로 조장했다.”

가장 타격을 받은 것은 빈곤층이라는 현실을 앞에 두고, Cathy는 Occupy Wall Street 운동에도 참가하면서, 알고리즘에 의한 가해를 연구하기 시작했다. 그런데 그녀를 한층 낙담시킨 것은, 금융 위기 후의 정부와 기업의 행동이었다. 금융기관은 막대한 공적 자금의 투입으로 목숨을 이어가고, 금융 공학에 의거한 money game은 위기가 내포한 교훈으로부터 배우는 것이 없었다. 새로운 수학적 수법의 Big Data 활용이 각광을 받고, Data 자본주의는 가속했다. 현재 AI 붐이 도래했다. 수학자와 통계학자가 개발한 AI 알고리즘은, 바야흐로 ‘수학 파괴 무기’로서 사람들의 현실에 보다 넓게 영향을 주는 시대가 찾아왔다.      그래서 그녀는, 2016년에 ‘O'Neil Risk Consulting & Algorithmic Auditing (ORCAA)라는 자그마한 감독 회사를 설립했다. 영업 비밀인 알고리즘의 공개는 현재의 법 제도 아래에서는 불가능하지만, 그것을 ’감독‘하는 것은 가능하기 마련이다. Cathy는, “기업의 결산은 감사를 받는 거니까, 그것과 같게 하면 된다”고 한다.

‘알고리즘 감독’이라는 독특한 발상은, 사실은 미국 정부도 2015년 무렵부터 주목해 왔다. 오바마 정권 시절인 2016년 5월, 미국 정부는 「Big Data : 알고리즘․시스템, 기회, 시민권에 관한 보고서」를 공개했다. 여기서 “사람들이 공평하게 대접받고 있는 사실을 확실히 하기 위해, 알고리즘 감독과 Big Data의 외부 검사에 관한 학술 연구와 산업계의 발전을 촉진하는” 점의 중요성이 지적되었다. Cathy는 재빨리 그것을 실천화했다는 것이다.

“알고리즘이란, 객관적으로 올바르고, 과학적인 것이 아니라, 프로그램에 삽입된 ‘의견’인 겁니다. 오류도 있는가 하면, 선의에 기반하고 있어도 파괴적인 영향을 미치는 일도 있어요. 알고리즘을 믿게 만들거나, 두려워하게 만드는 것도, 마케팅상의 책략이지요. 모두 수학을 두려워하면서 신용하고 있으니까요.”

ORCAA는, 고객 기업의 알고리즘 설계와 이용 방법, 자료 획득 방법과 암호 시험 방법, 시스템 관리․유지 등의 정보를 자세히 조사한다. 그때의 지표는, ① 자료의 완전성(자료에 편견이나 선입관이 포함되지는 않았는지), ② 성공의 기준(개발자가 ‘성공’이라고 정한 기준이 틀리지는 않았는지), ③ 정확성(알고리즘이 오류를 일으킬 빈도와 대상 분석, 실패했을 때의 손실 규모 등), ④ 알고리즘의 장기적 영향(사회와 사람들에게 미치는 負의 feedback loop)이다. 감사를 통해, 경영자는 물론 사내의 프로그래머들이 윤리 과제를 깨닫고 논의를 시작하는 일이 중요하다고 그녀는 파악하고 있다. 감사 중에는 몇 번이라도, “알고리즘이 성공한 경우, 누구에게 영향이 있나요?” “실패했을 때, 피해를 입는 사람은 어떤 사람들인가요?”라고 계속 묻는다.

“우리는 알고리즘의 시대에 어떤 준비도 없이 도달해 버렸어요. 알고리즘은 완벽하지도 공평하지도 않고, 과거의 행동 패턴을 성문화해, 자동적으로 현상을 유지할 뿐이에요. 게다가 민간 기업이 스스로 사용하거나, 정부 기관에 판매하는 ‘사적인 권력’이지요. ‘민간이라면 경쟁이 작동하니까 시장의 힘으로 해결하지 않을까?’라고 생각해도, 그렇게는 되지 않습니다. 불공평한 다대한 이익을 낳으니까요. 그래서 점검하고, 공평성을 확인할 필요가 있는 겁니다.”

■ 규제 움직임

AI가 고정화․재생산하는 차별과 편견에 대한 우려는, 2010년대 이후, 각국 정부와 국제기관 간에도 논의가 진행되어 왔다. 예를 들면 2019년에는 OECD가 「AI에 관한 OECD 원칙」을 채택한 외에, 각국․기관에서 몇몇 지침이 책정되어 왔다.

그러나 급속한 AI 이용 확대에 수반하는 몇몇 문제의 경우, 법적 구속력이 없는 지침으로는 대응 불능한 단계에 들어섰다. 특히 2018년에 발각한 Cambridge Analytica Ltd 사건 등을 계기로, AI 기술이 민주주의에 위협이 되는 점에 대한 우려는 계속 고조되고 있다. 이런 가운데, 2019 이후는, AI에 대한 실효력 있는 법 규제와 규제 당국의 개입 필요성이 국제적인 공통 인식이 되고 있다.

이것을 가장 적극적으로 진행하는 곳은 유럽이다. 2019년, 유럽위원회는, 「인공지능(AI)에 관한 윤리 지침」에서, “신뢰할 수 있는 AI에는, 전 생애 주기를 통해, 오류와 모순에 대처해 얻는 안전 또는 확실한, 견고한 알고리즘이 필요하다”고 했다.

AI에 대한 직접적인 규제안으로 주목을 받는 것이, 2021년 4월 21일의 「AI에 관한 포괄적 또는 risk-based approach에 기초한 AI 규칙안(AI 규칙안)」이다. 규칙안은, 유럽 역내에 거점이 있는 사업자만이 아니라, 유럽 시장에서 AI 시스템과 그것을 사용한 서비스를 제공하는 사업자에게도 적용된다(말하자면 일본 기업과 미국의 GAFA도 포함). 또한 금지되는 AI를 운용한 경우에는, 3,000만 유로 또는 전년도 총매출액의 6%의 제재금이 부과되는 등의 벌칙이 마련되어 있다. AI 규제의 Rule making을 주도하려 하는 EU의 움직임은 일본의 법 규칙에도 영향을 주기 때문에 주목해야 한다. 그러나 벌칙 규정에 부속하는 강한 규제에 대해, EU 산업계는 “혁신을 저해한다” 등으로 반발한다. 앞으로 심의․성립 전망은 불투명하다. 이 밖에, 2020년 12월 15일에 공표된, 유럽위원회의 「디지털 서비스 법안」에서는, 초거대 platform 기업의 법 준수를 감시하기 위해, 이 기업들의 data base와 알고리즘의 access와 설명을 명할 권한을 유럽위원회에 부여하는 것이 제안되어 있다.

미국에서는, platform 기업의 규제는, 항상 표현의 자유와 대립, 통신품위법과 대립의 구도로 논의가 교착되어 왔다. 그러나 요 몇 해, 자치단체 차원에서 AI에 의한 얼굴 인식 기술을 금지하는 조례 제정이 진행되고, 미국 공정거래위원회의 조사가 이루어지는 등, AI와 알고리즘에 대한 규제 논의는 활발하게 이루어지고 있다.

한편, 일본에서는 AI를 둘러싼 규칙이 2018년 무렵부터 정부 주도로 책정되어 왔다. AI윤리 규범을 만드는 기업도 늘고 있다. 그러나 일본의 개인정보보호법에서는 애당초 알고리즘의 투명성에 관한 규정은 없어, EU의 AI 규칙안과 디지털 서비스법 등과 비교하면 충분하다고 말하기 어렵다. 한편 일본 정부는 경찰 수사와 방범에 AI를 도입할 방침을 내고, 2019년부터 실증 실험을 행해 왔다. 방범 카메라에 비친 자동차의 영상 자료를 AI에게 학습시켜 차종을 알아내는 시스템과 금융기관으로부터의 정보를 AI에 입력해, 돈세탁을 적발하는 등의 실험이 되풀이해 왔다. 나아가 2021년 5월에, 경찰청은 용의자 측의 SNS를 AI로 해석해, 인물 상관도를 작성하는 수사 시스템 도입도 결정했다. 경찰 권력에 의한 AI 사용은, 기업보다도 훨씬 투명성이 낮다. 일본에서도 AI와 알고리즘까지 파고든 법 규제와 책임의 명확화, 알고리즘의 개시 요청에 관한 논의가, 중요한 과제라고 할 수 있다.

각국 정부와 시민 사회에 압력을 받는 형태로, Big Tech와 컨설팅 기업도, AI 윤리를 기업 가치로 채용하지 않으면 살아남을 수 없는 국면에 들어섰다.

2021년, General Motors, IBM, Meta 등, 미국 유수의 기업은, 인공지능이 고용의 차별을 영속․악화시키지 않기 위한 ‘Data & Trust Alliance’를 결성했다. 이러한 움직임은 환영할 만하지만, 대기업군의 ‘자주 노력’을 100% 신뢰할 수 있는가는 신중해질 필요가 있다. ‘환경에 뛰어나다’ ‘사회 공헌’라고 말하면서, 사실은 기업 브랜드 향상 수단에 지나지 않거나(greenwash), 일회성으로 표면적인 대처로 끝나거나 하는 사례를 우리는 수없이 목격해 왔다. 동시에 미국에서도 유럽에서도, Tech 업계는 규제를 피하기 위해 막대한 자금을 쏟아 넣어, 정부와 의원에게 로비 활동을 계속한다. 가령 법률을 만들었다 해도, 그것을 무력화시키고, 그물의 틈새를 재빨리 빠져나가 이익을 향유할 만한 ‘힘’을, 그들은 보유하고 있다. 

■ 보다 급진적이고 근본적인 개혁을

Timnit와 Cathy의 대처는, 정부와 대기업의 움직임과는 선을 긋고, 보다 급진적이고, 근본적인 개혁을 목표한 것이다.

“Data Scientist에 전하고 싶은 말은, 우리가 진실을 결정해서는 안 된다는 점이에요. 우리는, 사회에 생기는 윤리적인 논의를 해석하는 존재여야 합니다. 그리고 그 이외에 여러분에게 전하고 싶은 말은, 이 상황은 ‘수학 시험’이 아니라 ‘정치 투쟁’이라는 겁니다. 전제 군주 같은 알고리즘에 대항해, 우리는 설명을 요구할 필요가 있어요. Big Data를 맹신하는 시대는 종식시켜야 해요.”(Cathy O'Niel)

이런 움직임은 연구자들 사이에도 확산되고 있다.
예를 들면, 전 Google 사원인 Tristan Harris는, 동사의 개인 자료 수집․이용 방법에 의문을 품고 이직, IT 산업의 행동 규범 정상화를 제언하는 NPO ‘인간의 기술을 위한 센터(Center for Humane Technology)’를 설립했다. 앞에서 말한 Joy Buolamwini는, ‘알고리즘 정의연맹(Algorithmic Justice League)’을 설립했다. Black Lives Matter 운동에서 태어난 ‘흑인을 위한 자료(Data for Black Lives)’는, 자료를 통한 흑인 차별을 없애고, Tech 업계의 변혁과 시민 참여형 기술을 목표로 하는 수학자․활동가에 의한 운동이다.

대학에도 이런 움직임은 퍼지고 있다. 뉴욕 대학 안에 설립된 ‘AI Now Institute’는, AI 시스템이 적용되는 커뮤니티와 인간에 대해 설명 책임을 실현하기 위한 학제적인 연구를 목표로 한다. 미국 공정거래위원회는 이 기관에서 3명의 연구자를 채용했다. 동시에 AI에 의한 판단과 해석의 설명 책임을 실현하는 ‘white box형 AI’의 연구 개발도 진행하는 등, Big Tech 비즈니스 모델을 근간으로부터 흔드는 듯한 관점이 속속 나타나고 있다.

이러한 움직임의 선두에 선 사람이 Timnit와 Cathy 같은 여성 연구자인 사실은, 결코 우연이 아니다. Big Tech의 규제와 산업 전체의 개혁에는, 적어도 10년, 길면 수십 년은 걸리리라. 여기에 이제까지 AI 기술 연구에서 배제되어 온 여성과 유색인종, 소수자, 그리고 그 영향을 받는 당사자와 커뮤니티가 참여해, 기존의 관습과 지배적인 문화를 바꾸는 일이, 최초의 한 걸음이다.

일본에서도 이러한 인식에 서서, 연구자․기술자와 정책 입안자, 시민이 독립적인 입장에서 보다 개방된 연구․활동을 행하는 공간을 확대해 갈 필요가 있다.(계속)
(『世界』, 202203월호에서)