6
SPECIAL REPORT 2019-8 | 2019.09.30. 2 1 공공부문 AI의 핵심, “신뢰가능 AI” -AI 거버넌스 가이드라인 개발 필요성- 공공부문 AI의 핵심, “신뢰가능 AI” -AI 거버넌스 가이드라인 개발 필요성- 김동현 수석(미래전략센터, [email protected]) AI의 급속한 발전과 주목할 만한 업적에도 불구하고, AI가 믿을만한 기술인가에 대한 많은 우려가 여전히 남아있다. 특히 정부는 전면적인 AI 채택에 대한 중요한 도전에 직면해 있다. 기술이 주요 장애물이라는 일반적인 통념과는 달리, 기술 과제는 당면 과제의 일부일 뿐이며 조직에 뿌리를 둔 문화와 프로세스 또한 신뢰 가능한 AI 도입을 위해서 개선이 필요하다. 공공부문 AI 도입, 활용의 핵심, 신뢰가능 AI [전자정부를 넘어 지능정부로] Deloitte2018 Global Human Capital Trends 보고서에 따르면 민간 부문의 조사 대상 임원 42%는 인간의 행동을 모방하는 AI가 향후 3-5 년 내에 조직에 널리 배치 될 것으로 예상 - 공공 부문도 민간 부문과 동일하게 공공 서비스 및 의사결정을 개선하기 위해 폭발적으로 증가하는 가용정보를 분석하고 의사결정을 지원할 AI 애플리케이션을 찾고 적용하고 있음 - 이미 인지 어플리케이션을 통해 AI는 정부의 업무량을 줄이고 비용을 절감하고, 사기거래를 예측하며, 얼굴 인식을 통해 범죄 용의자를 식별하는 AI시스템을 도입, 활용중에 있으며 - 자동화를 위해 AI를 활용함으로써 정부는 시민에게 보다 창조적이고 개개인 혹은 개별 상황에 맞는 정밀 서비스 제공 측면에 집중할 수 있게 됨 - 이렇게 주목할 만한 업적에도 불구하고, AI의 급속한 발전이 일자리 상실 등 두려움과 시민 복지와 공동이익 향상에 대한 회의와 우려가 제기되고 있는 상황 AI는 일상 업무를 자동화하고 개선하여 직원이 비핵심 업무에 더 적은 시간을 소비하고 혁신에 더 많은 시간을 투자 할 수 있게 함으로써 모든 정부를 보다 효율적으로 만들 것임 - 2017 Deloitte AI 증강 정부 보고서에 따르면 미국 공공부문에서 AI를 활용하여 최대 12시간을 절약하고 연간 411억 달러의 비용을 절감한 것으로 보고됨 참고 1 전자정부를 넘어 지능정부로! AI는 기존 전자정부를 넘어 지능정부를 구현 - 전자정부는 ‘올바른 절차', 지능정부는 ‘올바른 결정’을 각각 지향 - 지능정부에서 AI는 인간과 증강 및 자동화 관계 형성 AI가 독자적으로 정부를 움직이는 자율화 단계는 실현가능성이 매우 낮은 것으로 보고됨 - 지능정부에서 AI의 활용방식은 아래와 같이 크게 네 가지 유형으로 나눌 수 있음 1) 정책지능 : 기업경영에 BI를 활용하듯 정부 정책결정과정에 예측, 시뮬레이션 등 AI의 분석결과 활용 2) 공공지능 : 국민이 주권자역할을 제대로 하도록 정치적 의사결정 지원 3) 정부봇(GovBot) : 공무원의 일상적, 반복적 업무를 봇을 활용하여 자동화함으로써 공무원은 보다 중요하고 핵심적인 업무에 집중 4) 지능형 서비스(GovTech) : 핀테크가 신기술을 활용한 혁신적 금융서비스를 의미하듯 AI는 국민에 대한 정부서비스를 지능화 출처 : 인공지능시대의 정부, NIA IF보고서(2017) 증강 정책지능 (Policy Intelligence) 공공지능 (Public Intelligence) 자동화 정부봇 (GovBot) 지능형 서비스 (GovTech) 정부내부 민간지원 SPECIAL REPORT 2019-8 | 2019.09.30.

AI · 20198 2019.09.30. 1 2 공공부문 ai의 핵심, “신뢰가능 ai” -ai 거버넌스 가이드라인 개발 필요성- 공공부문 ai의 핵심, “신뢰가능 ai” -ai

  • Upload
    others

  • View
    8

  • Download
    0

Embed Size (px)

Citation preview

Page 1: AI · 20198 2019.09.30. 1 2 공공부문 ai의 핵심, “신뢰가능 ai” -ai 거버넌스 가이드라인 개발 필요성- 공공부문 ai의 핵심, “신뢰가능 ai” -ai

SPECIAL REPORT 2019-8 | 2019.09.30.

21

공공부문 AI의 핵심, “신뢰가능 AI” -AI 거버넌스 가이드라인 개발 필요성-공공부문 AI의 핵심, “신뢰가능 AI” -AI 거버넌스 가이드라인 개발 필요성-

공공부문 AI의 핵심, “신뢰가능 AI”

-AI 거버넌스 가이드라인 개발 필요성-

김동현 수석(미래전략센터, [email protected])

AI의 급속한 발전과 주목할 만한 업적에도 불구하고, AI가 믿을만한 기술인가에

대한 많은 우려가 여전히 남아있다. 특히 정부는 전면적인 AI 채택에 대한 중요한

도전에 직면해 있다. 기술이 주요 장애물이라는 일반적인 통념과는 달리, 기술

과제는 당면 과제의 일부일 뿐이며 조직에 뿌리를 둔 문화와 프로세스 또한 신뢰

가능한 AI 도입을 위해서 개선이 필요하다.

공공부문 AI 도입, 활용의 핵심, 신뢰가능 AI

[전자정부를 넘어 지능정부로]

Deloitte의 2018 Global Human Capital Trends 보고서에 따르면 민간 부문의 조사

대상 임원 42%는 인간의 행동을 모방하는 AI가 향후 3-5 년 내에 조직에 널리 배치 될

것으로 예상

- 공공 부문도 민간 부문과 동일하게 공공 서비스 및 의사결정을 개선하기 위해 폭발적으로

증가하는 가용정보를 분석하고 의사결정을 지원할 AI 애플리케이션을 찾고 적용하고 있음

- 이미 인지 어플리케이션을 통해 AI는 정부의 업무량을 줄이고 비용을 절감하고, 사기거래를

예측하며, 얼굴 인식을 통해 범죄 용의자를 식별하는 AI시스템을 도입, 활용중에 있으며

- 자동화를 위해 AI를 활용함으로써 정부는 시민에게 보다 창조적이고 개개인 혹은 개별 상황에

맞는 정밀 서비스 제공 측면에 집중할 수 있게 됨

- 이렇게 주목할 만한 업적에도 불구하고, AI의 급속한 발전이 일자리 상실 등 두려움과 시민

복지와 공동이익 향상에 대한 회의와 우려가 제기되고 있는 상황

AI는 일상 업무를 자동화하고 개선하여 직원이 비핵심 업무에 더 적은 시간을 소비하고

혁신에 더 많은 시간을 투자 할 수 있게 함으로써 모든 정부를 보다 효율적으로 만들 것임

- 2017 Deloitte AI 증강 정부 보고서에 따르면 미국 공공부문에서 AI를 활용하여 최대 12억

시간을 절약하고 연간 411억 달러의 비용을 절감한 것으로 보고됨

참고 1 전자정부를 넘어 지능정부로!

AI는 기존 전자정부를 넘어 지능정부를 구현

- 전자정부는 ‘올바른 절차', 지능정부는 ‘올바른 결정’을 각각 지향

- 지능정부에서 AI는 인간과 증강 및 자동화 관계 형성

※ AI가 독자적으로 정부를 움직이는 자율화 단계는 실현가능성이 매우 낮은 것으로 보고됨

- 지능정부에서 AI의 활용방식은 아래와 같이 크게 네 가지 유형으로 나눌 수 있음

1) 정책지능 : 기업경영에 BI를 활용하듯 정부 정책결정과정에 예측, 시뮬레이션 등 AI의 분석결과 활용

2) 공공지능 : 국민이 주권자역할을 제대로 하도록 정치적 의사결정 지원

3) 정부봇(GovBot) : 공무원의 일상적, 반복적 업무를 봇을 활용하여 자동화함으로써 공무원은 보다

중요하고 핵심적인 업무에 집중

4) 지능형 서비스(GovTech) : 핀테크가 신기술을 활용한 혁신적 금융서비스를 의미하듯 AI는 국민에 대한

정부서비스를 지능화

출처 : 인공지능시대의 정부, NIA IF보고서(2017)

증강정책지능

(Policy Intelligence)

공공지능

(Public Intelligence)

자동화정부봇

(GovBot)

지능형 서비스

(GovTech)

정부내부 민간지원

SPECIAL REPORT 2019-8 | 2019.09.30.

Page 2: AI · 20198 2019.09.30. 1 2 공공부문 ai의 핵심, “신뢰가능 ai” -ai 거버넌스 가이드라인 개발 필요성- 공공부문 ai의 핵심, “신뢰가능 ai” -ai

SPECIAL REPORT 2019-8 | 2019.09.30.

43

공공부문 AI의 핵심, “신뢰가능 AI” -AI 거버넌스 가이드라인 개발 필요성-공공부문 AI의 핵심, “신뢰가능 AI” -AI 거버넌스 가이드라인 개발 필요성-

[기관 내 AI 도입 딜레마]

AI 활용이 증가하고 있는 만큼 윤리적인 문제도 지속적으로 일어나고 있으며, Uber의 자가

운전에 의한 자동차 사고, 아마존의 성별에 따른 정보 수집 도구 등이 대표적인 사례

- 이에 정부는 전면적인 AI 도입을 주저하게 하는 몇몇 장애물에 직면해 있으며 기술 뿐 아니라

조직문화와 프로세스 또한 AI를 도입하고 활용하기 전에 풀어야 할 개선과제 [참고 2]

[OECD 권고사항 이해와 정부의 대응]

OECD는 향후 AI 적용의 성격과 그 영향을 예측하기 어려울 수 있지만 ‘신뢰’가 디지털

변혁을 가능하게 하는 핵심 요소로 인식하고,

- 특히 공공분야의 AI 시스템의 ‘신뢰성’은 AI 도입과 확산의 핵심 요소이며, AI 기술의 잠재적

이점은 확보하면서 관련 위험을 최소화하기 위해

· AI의 영향에 대하여 충분한 정보에 기반 한 사회 전반적 공론화가 필요하고

· AI에 관련 법률·규정·정책 프레임워크의 적절성 평가 및 새로운 접근법 개발 필요하며

· 각자의 역할과 상황에 따라 모든 이해관계자에게 적용되는 거버넌스 필요성을 인식

이와 같이 AI와 관련된 위험, 이익 및 불확실성이 존재한다는 것을 감안할 때, 정부가 신뢰

가능한 AI 도입을 위한 거버넌스와 가이드라인을 개발하고 구현해야하는 특별한 필요성 존재

- 특히 규제 및 윤리적 관점에서 공공 부문 조직은 AI를 관리하기 위한 명령 및 가이드라인을

포함하는 윤리 강령을 개발하고 구현해야 함

참고 2 공공부문 AI도입을 주저하게 하는 장애 5가지

참고 3 공공부문의 프레임워크 수립 사전 고려 사항

◆ 기관 보유 데이터 이해 및 활용 준비

- 대부분의 조직은 데이터 자산에 대한 이해가 부족하며 조직 내 데이터베이스에 어떤 정보가 포함돼 있는지 어떻게

데이터를 수집활용 해야 하는지 모름

- 대부분의 조직의 직원이 조직이 보유한 데이터에 안전하고 효율적으로 접근해 활용할 수 있는 도구 또는

개인정보보호 및 데이터 무결성을 관리하고 보장하는 방법이 미비

◆ 조직 내 AI 기술 및 개인정보 관리 기술

- 공공부문의 특성 상 데이터 관리 뿐 아니라 AI솔루션을 개발하는 데 필요한 기술 또는 인재를 유치하는데 어려움을

겪고 있으며 AI솔루션을 배포하고 운영하는 데 어려움을 겪게 됨

- 데이터 관련 법률에 대한 이해 없이 AI 프로젝트를 착수하는 경우 개인정보보호와 같은 핵심구성원의 권리를

침해당할 수 있으며 AI를 장기적으로 활용하는데 어려움을 겪게 함

◆ 스타트업 중심의 AI 생태계 환경

- 클라우드 생태계 환경은 몇몇 대형업체들이 시장을 주도하고 있는 한편 AI 생태계 환경은 많은 소규모 업체가

지속적으로 등장하고 있으며 시장을 이끌고 있음

- 정부는 정부와의 협력 경험이 적고 대규모 프로젝트의 규모 조정에 어려움이 있을 수 있는 소규모 신생업체를 AI

산업 허브의 성장을 위해 프로젝트에 참여시킬 방법을 찾아야 함

◆ 공공조직의 민첩성과 보상체계

- 어떤 조직이나 새로운 기술을 채택하는 데 어려움을 겪게 마련이나 특히 공공부문은 기존의 관행 등으로 인해

민간 부문보다 민첩하지 않으며 AI 혁신적인 기술을 채택하기가 어려움

- 민간 부문은 직원들에게 혁신을 장려하고 긍정적 성과로 보상하는 반면 공공부문은 서비스 제공이 크게 향상돼도

보상이 크지 않은 만큼 성과 향상을 위해 위험을 감수할 요인이 크지 않음

◆ 정부 조달체계

- 민간 부문은 알고리즘을 지적재산권(IP)으로 취급함에 따라 AI 제공 업체는 다른 AI 개발자가 자신들이 개발한

알고리즘에 액세스, 편집하는 것에 동의하지 않을 가능성이 높음

- 또한 공공조달 메커니즘은 느리고 복잡하며 이러한 요인들은 공급자, 특히 스타트업은 대기 시간이 길면 길수록

현금 흐름 관리를 미래에 필요한 필수 직원을 미리 채용하기가 어려움

◆ 규제 및 거버넌스: 신뢰가능 AI 도입을 위한 거버넌스의 원칙은 무엇입니까?, 신뢰가능 AI의 특성은 무엇

입니까?, AI가 자율적으로 의사결정을 하는 시스템입니까? AI 알고리즘 구현의 투명성을 확보하여 기계

결정의 편향을 인코딩하지 못하게 하려면 어떻게 해야 합니까?

◆ 정당성 및 부인 방지: 트레이닝 데이터가 합법적(무결점)임을 어떻게 알 수 있습니까? AI직원과 협업이 합법적

입니까? AI 직원이 결정을 내릴 수 있습니까? (Non-Repudiation 원칙)

◆ 안전 및 보안: AI 시스템은 안전합니까? AI가 다른 사람을 해치지 않는다고 보장할 수 있나요? 손상의 경우

누가 보상할 것인가요? AI가 일으킨 사고에 대한 책임을 내가 져야합니까?

◆ 사회 경제적 영향: 예측 프로파일링의 사회적 및 도덕적 위험은 무엇입니까? AI 도입으로 인한 일자리상실을

어떻게 막을 수 있습니까? 인간은 다른 유형의 일을 해야 합니까?

◆ 도덕성: AI를 파괴할 권리가 있습니까? 우리가 이해할 수 있는 수준을 넘어선 AI를 어떻게 제어 할 수

있습니까? AI는 의사 결정, 자산 등을 소유 할 수 있는 아이디를 부여해야 합니까? AI는 법적 지위와 권리를

가져야합니까? AI는 인간의 재산인가요 아니면 공공의 재산인가요?

출처 : 5 challenges for government adoption of AI, WEF(2019)

출처 : AI Ethics: The Next Big Thing In Government, WGS(2019)

Page 3: AI · 20198 2019.09.30. 1 2 공공부문 ai의 핵심, “신뢰가능 ai” -ai 거버넌스 가이드라인 개발 필요성- 공공부문 ai의 핵심, “신뢰가능 ai” -ai

SPECIAL REPORT 2019-8 | 2019.09.30.

65

공공부문 AI의 핵심, “신뢰가능 AI” -AI 거버넌스 가이드라인 개발 필요성-공공부문 AI의 핵심, “신뢰가능 AI” -AI 거버넌스 가이드라인 개발 필요성-

AI 거버넌스 가이드라인에 담아야 할 내용

신뢰 가능 AI 도입을 위한 거버넌스 가이드라인은 결국 AI 개발자와 공공기관의 AI 사용자에

초점을 맞추어야 하며 가이드라인 개발은 크게 두 가지 영역으로 나눌 수 있음

A. 신뢰 가능 AI 도입을 위한 거버넌스 및 일반관리방법

B. 신뢰 가능 AI 시스템의 설계 및 평가

[A. 신뢰 가능 AI 도입을 위한 거버넌스 및 일반관리방법]

첫 번째 가이드라인은 공공기관이 AI의 책임 있는 사용을 촉진하는 조치에 대한 가이드로써

다음과 같은 주요 영역에서 고려해야 할 지침으로 구성될 수 있음

• AI 의사 결정과 관련된 가치, 위험 및 책임을 통합, 관리를 위한 거버넌스 설정

• 조직이 수용 가능한 위험 결정 및 AI 구현을 위한 적절한 의사 결정 방법

• 소비자 및 고객과 커뮤니케이션 및 고객관계 관리 방법론

내부 거버넌스의 설정: 기관이 AI를 도입, 활용함에 있어 위험관리 및 강력한 감독을 보장하기

위해 내부 거버넌스 구조와 조치수단을 설정할 필요가 있음

- AI와 관련된 위험은 기관의 위험관리 내에서 관리할 수 있으며 기관의 가치 있는 행위로써

윤리적인 사항을 고려하고 윤리위원회 또는 유사한 구조를 통해 관리할 수 있음

- 중앙집중식 거버넌스 던지 탈중앙화 된 거버넌스 던지 운영 수준에서 일상적인 의사 결정에

윤리적 고려 사항을 통합, 관리하는 것이 중요함

- 기관의 최고경영진과 조직의 AI 거버넌스에 대한 이사회의 후원, 지원 및 참여를 권고함

조직이 수용가능한 위험의 결정: AI 솔루션을 배포하기 전에 조직은 AI 사용에 대한 성과목표를

결정해야 하며 기관의 의사결정에 따라 AI 사용에 따른 발생가능 위험을 평가해야 함

- AI 사용에 대한 성과목표로 의사결정의 효과성, 일관성, 기관 운영효율성 개선, 비용 개선,

새로운 제품 및 서비스 제공을 통한 소비자 만족도 등이 될 수 있음

- AI 사용에 따른 위험평가는 기관이 추구하는 가치에 대응하여 이루어져야 하며, 이는 각 기관과

관계있는 사회의 기본적인 규범을 반영할 수 있음

- AI시스템에 대한 인간의 감독 또는 의사결정 개입의 수준(개입하지 않음-지속적 모니터링이

필요함-사람이 결정해야 함 등)을 위험 관리 접근 방식을 기반으로 결정할 필요 있음[참고 4]

참고 4 싱가포르 정보통신규제청의 위험평가 메트릭스

싱가포르 정보통신규제청은 한 개인에 대한 기관의

의사결정 결과로 개인에게 해를 끼칠 확률과 심각도를

분류하는 매트릭스를 제안하여 평가에 활용

- 피해의 정의와 확률과 심각도의 계산은 상황에 따라

다르며 부문마다 다름

- 환자의 건강 상태에 대한 잘못된 진단과 그로 인한

피해는 의류에 대한 잘못된 제품 추천과 그로 인한

피해와 현격히 다름

위험 매트릭스를 바탕으로 조직은 의사 결정에 필요한

수준의 인간 참여를 식별

- 예를 들어 안전이 가장 중요한 시스템의 경우라면

기관은 사람이 AI시스템을 통제할 수 있도록 해야 하며

때에 따라서는 안전하게 종료 할 수 있도록 해야 함

출처 : Discussion paper on AI and personal data, PDPC, 2018

내소비자 및 고객과 커뮤니케이션 : AI를 도입, 활용할 때 기관과 사람 간의 신뢰를 더욱

강화하기 위한 소비자 및 고객과 원활한 의사소통 방안 마련 필요

- 기관은 AI가 제품/서비스에 사용되는지에 대한 일반적인 정보(의사결정 방법, 역할 및 범위 등)

와 AI의사결정이 개인에게 어떤 영향을 미치는지 등 투명성 제고를 위한 정보공개 필요

- 기관은 AI의사결정에 대하여 소비자 및 고객이 쉽게 이해할 수 있는 용어를 사용하여야 하고,

설명할 수 있어야 하며, 신뢰가능 AI시스템의 도입, 활용에 대한 평가결과를 제시할 수 있어야 함

- 기관은 소비자가 사람이 아닌 AI와 인터페이스하고 있는 것을 알릴 필요가 있으며 소비자의

응답이나 회신이 AI 시스템의 교육에 사용될 것임을 알려야 하며 의도적으로 불량한 응답을

하는 경우 AI시스템 의 학습에 악영향을 줄 수 있음을 알려야 함

Page 4: AI · 20198 2019.09.30. 1 2 공공부문 ai의 핵심, “신뢰가능 ai” -ai 거버넌스 가이드라인 개발 필요성- 공공부문 ai의 핵심, “신뢰가능 ai” -ai

SPECIAL REPORT 2019-8 | 2019.09.30.

87

공공부문 AI의 핵심, “신뢰가능 AI” -AI 거버넌스 가이드라인 개발 필요성-공공부문 AI의 핵심, “신뢰가능 AI” -AI 거버넌스 가이드라인 개발 필요성-

[B. 신뢰 가능 AI 시스템의 설계 및 평가]

AI시스템은 아래와 같이 시스템의 투명성과 책임성을 객관적으로 평가할 수 있도록 하는

원칙에 따라 설계되어야 할 필요가 있음

• AI 시스템은 설명이 가능해야 하며, 투명해야 하며, 사람이 해석할 수 있어야 함

• AI 시스템은 ‘사람-우선 설계’ 원리로 설계되어야 함

• AI 시스템은 편향되지 않은 데이터를 기반으로 구축되어야 함

• AI 시스템은 책임-감사가 가능해야 함

설명가능성 설계 원칙 : AI 엔진의 핵심인 AI 알고리즘은 AI의 일반 사용자가 이해할 수

있도록 설명 가능하고 투명하며 인간이 해석할 수 있도록 설계되어야 함

- 예를 들어, AI가 어떤 사람을 특정 범주에 속하도록 프로파일링을 했다면 해당 분류에 대한

명확한 설명이 있어야 하며 정보주체는 ‘설명을 요구할 권리(Right to explanation)’가 있음

- 유럽연합(EU)은 ‘일반개인정보보호규정(General Data Protection Regulation·GDPR)’을

통해 설명을 요구할 권리에 대한 개념과 내용을 담았으며 [참고 5]

- 향후 더 많은 AI 기반 유비쿼터스 컴퓨팅 환경으로 발전해 나아감에 따라 설명을 요구할 권리는

법적 및 사회적 영역에서 더욱 중요해질 것으로 전망되고 있음

이에 따라 원칙적으로, AI 사용자는 AI 프로그램이 하는 일과 그 결과에 도달하는 방법을

결정할 수 있어야 하며

- AI 설계자는 더 설명하기 쉬운 모드를 만들어야 하며, 사람이 AI와 알고리즘을 이해, 관리 및

신뢰할 수 있게 설계해야 함

최근 심층신경망 기법의 진화에 따라 딥러닝 시스템 내부의 감춰진 계층이 어떻게 작동하는지

이해하는 것이 더욱 어려워졌으며 AI 의사결정 또는 산출물의 근거가 되는 이론적 근거를

이해하는 것 또한 매우 어렵게 되었음

- 이 문제를 해결하려면 AI의 학습 과정과 프로그램 내부의 처리를 묘사하기 위한 방법을

마련해야 하며 설명가능 AI를 위한 기술적 접근에 관한 연구가 지속되어야 함[참고 6]

참고 5 EU GDPR의 설명을 요구할 권리 관련 조항

정보주체의 정보보호 및 ML/AI 의사 결정의 투명성을 위해 아래와 같은 조항들이 ‘설명요구권리(right to

explanation)’와 관련 있는 규정으로 볼 수 있음

· (Art 05) 데이터는 정보주체와 관련하여 적법하고 공정하며 투명하게 처리되어야 함

· (Art 12) 데이터 컨트롤러1)는 간결하고 투명하며 이해하기 쉬운 방식으로, 명확하고 평이한 언어를 사용하여,

정보주체와 의사소통을 하기 위한 적절한 조치를 취해야 함

· (Art 13~15) 데이터 컨트롤러(데이터 프로세서2))는 정보가 수집될 때 공정하고 투명한 처리를 보장하는 추가

정보를 정보주체에게 제공해야 함

출처 : General Data Protection Regulation, EU, 2018

출처 : 미국방연구원(DARPA) XAI Presentation (2017)

1) 개인정보의 처리 목적 및 수단을 단독 또는 제3자와 공동으로 결정하는 자연인 ,법인, 공공 기관(public authority), 에이전시(agency), 기타

단체(other body)를 의미

2) 컨트롤러를 대신하여 개인정보를 처리하는 자연인, 법인, 공공 기관(public authority), 에이전시(agency), 기타 단체를 의미

참고 6 설명가능 AI 를 위한 기술적 접근

첫 번째 기술적 접근 방법은 머신러닝 AI 신경회로망의 “설명가능”한 노드를 찾아서 그 기능에 ‘설명라벨’을

붙이는 방법

두 번째 기술적 접근 방법은 의사결정트리와 같은 설명력이 높은 ‘학습방법과 연계하여 일치성’을 찾는 방법

세 번째 기술적 접근 방법은 블랙박스를 통계적 방법을 활용하여 "모델을 유추(induction)"하는 방법

Page 5: AI · 20198 2019.09.30. 1 2 공공부문 ai의 핵심, “신뢰가능 ai” -ai 거버넌스 가이드라인 개발 필요성- 공공부문 ai의 핵심, “신뢰가능 ai” -ai

SPECIAL REPORT 2019-8 | 2019.09.30.

109

공공부문 AI의 핵심, “신뢰가능 AI” -AI 거버넌스 가이드라인 개발 필요성-공공부문 AI의 핵심, “신뢰가능 AI” -AI 거버넌스 가이드라인 개발 필요성-

사람 우선 설계 원칙 : 1942 년 Isaac Asimov는 로봇과 같은 AI에이전트에 대해 다음과

같은 세 가지 사람 우선 원칙을 제안

• 제1법칙 - 로봇은 인간을 해치지 않으며, 무의식적으로 인간에게 해를 끼쳐서는 안 됨

• 제2법칙 - 로봇은 제1법칙과 상충된 경우를 제외하고 인간이 부여한 명령을 따라야 함

• 제3법칙 - 로봇은 제1법칙 또는 제2법칙과 상충되지 않는 자신의 존재를 보호받아야 함

- AI 설계자는 스폰서, 사용자 및 디자이너를 포함한 여러 이해 관계자로부터 자세한 피드백을

요청해야 하며 AI가 인권에 위배되지 않도록 보장하는 사람 우선 원칙을 따라 디자인해야 함

편향 없는 데이터 설계 원칙 : AI는 학습하는 데이터의 질만큼 좋게 만들어지며 반대로

데이터가 편향되면 AI 프로그램에 의해 내려진 결정도 편향된다는 원칙

- 따라서 AI시스템을 구축하는 데 사용되는 데이터는 편향되지 않아야 하며 AI 설계자의

무의식적 선호 등 편향성이 훈련데이터로 스며들지 않아야 함[참고 7]

책임-감사 가능 설계 원칙 : 마지막으로, AI 시스템은 책임-감사가 가능하도록 설계되어야

하며 AI의 결정에 대하여 누가 책임을 지어야 하는가를 결정하는 명확한 책임 구조가 있어야 함

- EU 등은 AI 신뢰가능성 제고를 위해 소스코드공개 방식보다는 품질관리시스템 시험 인증(ISO

9001) 또는 IT보안인증 (ISO 27001 또는 IT인프라 라이브러리) 등을 참고할 것을 권고

- 아울러 EU는 감독원(regulator)에게 권한을 부여, 필요에 따라 관련 기업의 감사(audit) 및

검사(inspection)를 수행할 예정

· 기업은 개인정보영향평가를 수행하고 모든 업무에 적용될 규정을 준수하는 내용을 바탕으로

정보보호 전략을 디자인해야 하며

· 설명요구권리에 대한 새로운 책임성(Accountability) 의무를 이행하기 위해 서면 규정 준수

계획을 수립하고 규제 당국에 제출해야 함[참고 8]

참고 7 편향(Bias)의 5가지 종류

참고 8 미국방연구원의 XAI 평가지표

❶ 샘플 편향: 수집된 데이터가 AI 시스템이 실행될 것으로 예상되는 환경을 대표하거나 정확하게 나타내지

않을 때 발생

❷ 제외(배제) 편향: 데이터를 정제할 때, 기존의 데이터 레이블 및 산출물과 관련이 없다고 생각하여 데이터

세트의 일부 속성(특징)데이터를 제외시킨 결과 발생

❸ 옵서버 편향 (실험자 편향): 실험자가 기대하는 결과를 보고자 하는 경향에서 발생, 실험자가 의식이나

무의식의 편견을 가지고 실험하는 경우 발생 가능

❹ 편견 편향: 편견은 외모, 사회적 계급, 지위, 성별 등에 관한 문화적 영향이나 고정관념의 결과로 발생

❺ 측정 편향: 측정에 사용된 장치에 의해 시스템적으로 값이 왜곡되는 문제가 있는 경우 발생

출처 : 5 Types of bias, Salma Ghoneim, Data Science in the world(2019)

출처 : 미국방연구원(DARPA) XAI Presentation 자료(2017)

항목 XAI 평가지표

사용자 만족도• 설명이 얼마나 명확한가(주관식)

•설명이 얼마나 유용한가(주관식)

설명모델 수준

•개별 의사결정 이해도

•전체모델에 대한 이해도

•장단점 평가

•‘미래행동’ 예측

•‘개입방법’ 예측

업무수행 향상도•설명이 사용자 의사결정, 업무수행능력을 향상시켰는가

•사용자의 이해도 평가를 위한 실험적 업무

신뢰성 평가 •미래에도 사용할 만큼 신뢰하는가

오류수정 수준(가점)•인식오류 수준

•인식오류를 수정을 위한 지속적인 훈련

Page 6: AI · 20198 2019.09.30. 1 2 공공부문 ai의 핵심, “신뢰가능 ai” -ai 거버넌스 가이드라인 개발 필요성- 공공부문 ai의 핵심, “신뢰가능 ai” -ai

SPECIAL REPORT 2019-8 | 2019.09.30.

1211

공공부문 AI의 핵심, “신뢰가능 AI” -AI 거버넌스 가이드라인 개발 필요성-공공부문 AI의 핵심, “신뢰가능 AI” -AI 거버넌스 가이드라인 개발 필요성-

1. �「SPECIAL REPORT」는 글로벌 미래전략과 디지털 혁신 동향을 시의성있게 분석한 보고서 입니다.

2. 본 보고서는 방송통신발전기금으로 수행한 정보통신·방송 연구개발 사업의 결과물입니다.

3. 본 보고서 내용의 무단 전재를 금하며, 가공·인용할 때는 반드시 출처를 「한국정보화진흥원(NIA)」이라고

밝혀 주시기 바랍니다.

4. 본 보고서의 내용은 한국정보화진흥원의 공식 견해와 다를 수 있습니다.

1 Deloitte Insights, 2018 Global Human Capital Trends,

https://documents.deloitte.com/insights/HCTrends2018

2 Deloitte University Press, AI-augmented government : Using cognitive

technologies to redesign public sector work, 2017

3 Julian Torres Santeli & Sabine Gerdon, 5 challenges for government adoption of

AI, WEF(2019)

4 Ali Hashmi, “AI Ethics: The Next Big Thing In Government”, WGS(2019)

5 Discussion paper on AI and personal data-Fostering responsible development and

adoption of AI, PDPC Singapore, June 5, 2018

6 Salma Ghoneim, “5 Types of bias & how to eliminate them in your machine learn-

ing project”, Data Science in the world

7 DARPA. "Explainable Artificial Intelligence (XAI)". DARPA presentation. Retrieved

17 July 2017.

8 OECD, “Recommendation of the Council on OECD Legal Instruments Artificial

Intelligence”, May 22, 2019

9 한국정보화진흥원, “인공지능시대의 정부(인공지능이 어떻게 정부를 변화시킬 것 인가?)”, IT &

Future Strategy, June 26, 2017

10 한국정보화진흥원, “신뢰 가능 AI 구현을 위한 정책 방향(OECD AI 권고안을 중심으로)”, IT & Future

Strategy, June 19, 2019

참고자료 결론

AI의 발전은 수년 내 정부와 공공부문에 근본적인 변화를 줄 것으로 전망되고 있으며 AI의

신뢰도를 높이고 검증할 수 있는 거버넌스와 프레임워크 구축 필요

- 공공부문 신뢰 가능한 AI 도입을 위한 첫 번째 도전과제는 우리나라 AI 환경과 생태계를 고려한

가이드라인을 개발하되, 국제적으로 공유 가능한 가이드라인을 만드는 것임

- 이를 위해 OECD, EU, 국제표준기구 등 AI 가이드라인을 개발하는 기관과 글로벌 협력, AI

가이드라인을 현장에 적용할 민간 기업들과 민관 협력이 필수적임