인공지능(AI) 프라이버시 리스크 관리 모델

안전한 안전한 안전한 안전한 안전한 안전한 안전한 안전한 안전한 안전한 안전한 안전한 안전한 안전한 안전한 안전한 인공지능인공지능인공지능인공지능인공지능인공지능인공지능인공지능인공지능인공지능인공지능인공지능인공지능인공지능인공지능인공지능(AI)·(AI)·(AI)·(AI)·(AI)·(AI)·(AI)·(AI)·(AI)·(AI)·(AI)·(AI)·(AI)·(AI)·(AI)·(AI)·데이터 데이터 데이터 데이터 데이터 데이터 데이터 데이터 데이터 데이터 데이터 데이터 데이터 데이터 데이터 데이터 활용을 활용을 활용을 활용을 활용을 활용을 활용을 활용을 활용을 활용을 활용을 활용을 활용을 활용을 활용을 활용을 위한위한위한위한위한위한위한위한위한위한위한위한위한위한위한위한안전한 인공지능(AI)·데이터 활용을 위한AI AI AI AI AI AI AI AI AI AI AI AI AI AI AI AI AI AI AI AI AI AI 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 프라이버시 리스크 리스크 리스크 리스크 리스크 리스크 리스크 리스크 리스크 리스크 리스크 리스크 리스크 리스크 리스크 리스크 리스크 리스크 리스크 리스크 리스크 리스크 관리 관리 관리 관리 관리 관리 관리 관리 관리 관리 관리 관리 관리 관리 관리 관리 관리 관리 관리 관리 관리 관리 모델모델모델모델모델모델모델모델모델모델모델모델모델모델모델모델모델모델모델모델모델모델AI 프라이버시 리스크 관리 모델 2024. 12. 【일러 두기】◆ 발간 목적 - 본 모델은 AI 프라이버시 리스크 관리의 방향과 원칙을 제시하기 위해 마련되었으며, AI 모델·시스템 개발자 및 제공자 등은 개별 여건에 맞게 적용할 수 있습니다. - 본 모델은 개인정보보호위원회가 구성·운영 중인 「AI 프라이버시 민·관 정책협의회」 논의를 바탕으로 마련되었으며, 향후 법·제도·기술 발전에 따라 지속적으로 수정·보완될 수 있습니다.◆ 주요 대상 - AI 기술을 도입, 적용하면서 프라이버시 관련 내부 관리체계를 마련, 정립, 정비하고자 하는 기업·기관 등을 주요 잠재 독자층으로 상정하였습니다. - 본 모델은 AI 모델 사전학습 및 추가학습, AI 시스템 개발 및 제공 등 AI 전 주기를 망라하는 리스크 관리 체계를 안내한 것으로, 향후 소규모 조직, 스타트업 등 세부대상과 영역에 특화된 안내자료를 구체화해 나갈 예정입니다.◆ 문의처 - 내용 관련 문의 : 인공지능프라이버시팀 (☎ 02-2100-3073, 3078) - 혁신지원 원스톱 서비스 : 전담 담당관 (☎ 02-2100-3045 / onestoppipc@korea.kr)※ 개인정보위 「혁신지원 원스톱 서비스」란?▸ 기업지원에 특화된 위원장 직속기구로서, 기업 현장의 애로사항에 대해 부서 간 칸막이를 넘어 빠르고 안전하게 실질적 해결책을 제공하는 서비스▸ 신청기업에 원칙적으로 5일(근무일 기준) 이내에 답변을 제공하며, 추가 지원절차*가 필요한 경우에는 지원 방향에 대한 1차 답변 제공 후 분야별 검토 진행 * △규제 샌드박스, △사전적정성 검토제, △개인정보 안심구역, △법령 적극 해석 등 목 차 Ⅰ. 개요 1  논의 배경· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1  적용 범위· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3  개인정보 보호법 및 타 안내서 등과의 관계· · · · · · · · · · · · · · · · · · · · 5Ⅱ. AI 프라이버시 리스크 관리의 절차6  AI의 유형·용례 파악· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 7  용례에 대응하는 리스크의 식별· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 8  리스크의 측정· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 8  리스크 경감방안의 검토와 도입· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 9 [붙임1] AI 리스크 관련 글로벌 논의 현황···························································10 [붙임2] 지향되는 리스크 관리 체계의 원리·························································12 [붙임3] AI 리스크 관리 관련 표준·········································································13Ⅲ. 리스크의 식별14  기획·개발 단계· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 14 [붙임4] AI 학습데이터 수집·이용의 적법 근거 예시··········································17  서비스 제공 단계· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 20Ⅳ. 리스크의 경감26  관리적 조치· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 26  기술적 조치· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 31Ⅴ. AI 프라이버시 리스크 관리 체계36[부록1] AI 개인정보 리스크 자율평가 항목39[부록2] 언어모델(LLM) 대상 프라이버시 리스크 경감기술의 유형 및 효과46[부록3] AI 프라이버시 리스크 유형 및 경감방안 도식화59 - 1 - Ⅰ.개요1 논의 배경1.인공지능과 프라이버시 리스크의 관계□인공지능(AI)의발전은개인정보를포함한대규모데이터처리에기초하고있어AI와프라이버시리스크는불가분의관계임○AI기술이요구하는데이터처리방식의근본적변화는개인정보유·노출등전형적인프라이버시리스크를심화시키고,나아가기존정보처리환경에서예측하지못한새로운유형의리스크를유발○AI기술발전과함께복잡한변화양상을보이는프라이버시리스크의적정관리·완화는지속가능한AI발전의선결요건【 AI 시대 데이터 처리방식의 변화 】 참고 AI 기술이 프라이버시 리스크에 미치는 영향1)▪ 개인정보 보호법상의 전형적인 프라이버시 리스크를 확대·악화 AI 학습에 필요한 개인정보 규모와 범위의 증대로 적법근거 없는 무분별한 개인정보 수집·이용 및 추적·감시 리스크 악화 AI 데이터 처리의 복잡한 가치망으로 인해 보안상 취약점 확대▪ AI 기술이 새로운 유형의 프라이버시 리스크를 유발 개인에 대한 사소하거나 식별성 없는 파편화된 정보를 연결 → 학습데이터에 포함되지 않은 행동·의도 예측(예: 범죄발생 위험 예측) 개인에 대한 물리적 속성(예: 안면사진)으로부터 개인의 성격, 감정 추론 AI가 암기한 개인정보를 원본 그대로 노출할 위험(예: 이름, 집주소 등) 개인의 신원을 도용하여 가짜 이미지·오디오 등을 생성1) Haoping Lee et al., Deepfakes, Phrenology, Surveillance, and More! A Taxonomy of AI Privacy Risks, CHI ‘24, 1-9 (2024). - 2 - 2.리스크 기반 접근의 필요성□AI프라이버시리스크에대한체계적이해는AI기술발전을선험적,일률적으로규제하기보다는사회적으로필요한AI개발과혁신활동을지원하는안전장치역할을수행☞불확실성이높은AI영역에서‘리스크기반접근’을통해AI의부정적영향을관리·완화하면서AI기술의이점을극대화할필요3.목적과 한계□본모델은디지털시대의핵심경쟁력인AI가프라이버시친화적으로활용될수있도록AI프라이버시리스크요인을체계화하고,리스크관리의방향과원칙을제시하기위해마련되었으며,○현시점에서학계·정부등에서논의되고있는AI데이터처리특성,리스크유형,국제적상호운용성등을고려해마련되었음○본모델의준수는자율사항으로서,AI기업등은개별여건에따라구체적인AI프라이버시리스크관리체계를수립할수있음□또한본모델은AI기업·기관등의개인정보보호법준수가능성을높이고,안전관리체계마련에대한유인을제공하기위한것으로,○기업·기관등이본모델에적시된안전성확보를위한최선의노력을다하였을때개인정보보호법준수사실을인정하거나행정제재시참작사유로고려될수있음□다만,AI프라이버시리스크관리체계는전세계적으로초기단계에있어본모델은향후기술,정책,표준발전등에따라수정·보완될예정임【 안내서 적용 방안 예시 】▸ AI 모델·시스템 개발 및 제공자는 기존에 수행하고 있던 개인정보 영향평가 또는 개인정보보호를 위한 검토항목 등에 본 모델의 내용을 추가 반영하거나, - 동 안내서를 참고하여 별개의 독립적 평가를 수행할 수 있음 - 또한, PbD(Privacy by Design) 관점에서 AI 시스템의 초기 구상단계부터 본 모델의 내용을 기획에 참고할 수 있음▸ 정부·연구기관 등이 AI 시스템의 위험 관리와 관련한 정책 등을 수립할 때 개인정보보호 관련 사항은 본 모델의 내용을 참고할 수 있음 - 3 - 2 적용 범위□(적용대상)AI모델·시스템개발자및제공자등○(모델·시스템2))AI시스템은AI모델을포함하여데이터수집·저장·전송·접근관리등데이터처리를수행하는여러구성요소를포괄-AI모델은특성값(feature)간의상관관계를표상하는파라미터(parameter)의집합으로서,그자체로는개인정보를포함하거나처리하지않는다는일부견해도있으나,-파라미터값으로부터개인정보가추론될가능성이있을뿐아니라,AI모델이개인정보처리를수반하는AI시스템의일부로작동할수있으므로AI모델개발자·제공자또한동안내서를참고할수있음참고 AI 시스템의 개념도3)￭ AI 시스템은 ① 외부 환경에서 입력데이터를 수집하는 센서, ② 데이터를 해석하고 출력을 제공하는 운영 논리(AI 모델 등), ③ 출력에 따라 환경을 변경하는 장치(actuator) 세 가지 주요 요소로 구성 ※ OECD “How artificial intelligence works" 재구성2) 최근 AI 모델과 AI 시스템을 구분하여 개인정보처리 여부 및 프라이버시 리스크 수준을 달리보는 견해가 존재하며, 이와 관련한 글로벌 논의가 지속될 전망. 부인LLM의 개인정보 암기·저장 가능성 인정 독일 함부르크 미국 CCPA, 학계 연구※ (독일 함부르크 개인정보 감독기관(HmbBfDI) 의견서(’24.7.15.)) LLM에는 개인정보가 저장되지 않기 때문에 LLM을 단순히 저장하는 것은 GDPR에 따른 개인정보처리에 해당하지 않음. 단, LLM 등으로 구성된 AI 시스템이 쿼리나 출력 등을 통해 개인정보를 처리하는 한, 그 처리는 GDPR의 요구 사항을 준수해야 함※ (미국 캘리포니아 개인정보 보호법(CCPA) 개정안(AB-1008)(‘25.1.1. 시행)) AI 시스템의 개인정보 암기 및 유·노출 위험을 전제, 개인정보가 존재할 수 있는 ‘추상적 디지털 포맷’에 ‘개인정보를 출력할 수 있는 AI 시스템’을 포함※ (연구 동향) 대규모 언어모델(LLM)이 데이터를 손실 없이 압축·복원하는 고성능 무손실 압축기(lossless compressor)로 작용할 수 있다는 연구 존재(Grégoire Delétang, Anian Ruoss, Paul-Ambroise Duquenne, Elliot Catt, Tim Genewein, Christopher Mattern, Jordi Grau-Moya, Li Kevin Wenliang, Matthew Aitchison, Laurent Orseau, et al. Language modeling is compression. arXiv preprint arXiv:2309.10668v2, 2024.)3) OECD, "How artificial intelligence works", https://oecd.ai/en/inside-artificial-intelligence - 4 - ○(개발자4))AI모델·시스템개발자는모델아키텍처및매개변수설정등AI데이터처리*의목적,범위,수단등의결정에영향력을행사하고,-개발이후다운스트림(downstream)단계에서발생할수있는예견가능한리스크를예측·통제할일정한책임을부담한다는점에서본모델을참고 * AI 모델을 사전 학습(pretrain)하기 위한 대규모 학습데이터 투입뿐만 아니라, (1)AI 모델 미세조정, 도메인 적응적 학습(DAL) 등 추가학습, (2)퓨샷러닝 등 문맥 내 학습(in-context learning), (3)인적 정렬(alignment), (4)검색증강생성(RAG) 과정에서 추가 투입된 데이터 처리 포함○(제공자)AI모델·시스템제공자는개발완료된AI가쿼리(query)등을통해최종이용자와상호작용하면서,-정보주체의권리·의무에영향을미치는결정,추론등을출력하는단계의리스크를예측·통제할일정한책임을부담한다는점에서본모델을참고□(리스크의범위)AI모델·시스템의개발및제공과정에서파생될수있는다양한리스크중프라이버시측면에서국내외에서중점적으로논의되고있는리스크를상정○문헌조사,기업인터뷰등을통해파악한AI기술의고유한특성,기능및데이터요구사항등으로인해새롭게나타나거나심화되는정보주체권리침해,개인정보보호법위반리스크등을중점적으로다룸 ※ (예) ▲생성 AI의 합성콘텐츠 ➔ 딥페이크로 인한 인격권 침해 등 새로운 위협 유발▲AI의 자동화 특성, 대규모 데이터를 연결하는 능력 ➔ 대중감시, 프로파일링 위협 증폭 ▲AI 학습에 요구되는 대규모 데이터 ➔ 무분별한 개인정보 수집·이용 가능성 확대○다만,본모델에서제시된리스크라는사실이모든AI모델및시스템에대해보편적으로현실화될수있는리스크라는것을의미하지않음4) 본 모델에서 ‘개발자’는 AI 모델 또는 시스템을 기획, 설계, 학습 및 테스트, 조정 등을 통해 구축하는 자를 의미하며, ‘제공자’는 AI 모델 또는 AI 시스템을 유상 또는 무상으로 시장에 출시하여 배포하는 자를 의미. 다만, AI 가치망 참여자에 대한 분류체계, 정의 등은 다양한 방식으로 논의되고 있으며, 프라이버시 영역에서는 AI 개발 및 제공 과정에서 개인정보 처리 행위가 이루어지는지 여부가 주된 쟁점임 ※ (인공지능 발전과 신뢰 기반 조성 등에 관한 기본법안) 인공지능산업과 관련한 사업을 하는 자(‘인공지능 사업자’)를 인공지능개발사업자, 인공지능이용사업자로 분류 ※ (EU AI ACT) 공급자(provider), 배포자(deployer) 등으로 분류 ※ (NIST AI RMF) AI 설계(design) 행위자, 개발(development) 행위자, 배포(deployment) 행위자 등으로 분류 ※ (ISO/IEC 42001) AI 제공자(provider), AI 생산자(producer) 등으로 분류 - 5 - ◈ ‘리스크’의 정의: 피해(harm)의 발생 확률(probability of occurring) 및 규모(magnitude)에 있어서의 불확실성(uncertainty) ※ (NIST RMF 1.0) 리스크를 “한 사건의 발생 확률과 해당 사건의 결과의 규모 및 정도의 복합적 측도(composite measure of an event’s probability of occurring and the magnitude or degree of the consequences of the corresponding event)”로 정의 ※ (EU AI ACT) 리스크를 “위해의 발생 확률과 강도의 결합(combination of the probability of an occurrence of harm and the severity of that harm)”으로 정의3「개인정보 보호법」 및 타 안내서 등과의 관계□ 안전조치의무와의 관계 (法제29조)○전통적인개인정보파일을전제로하는안전조치의무조항을AI모델·시스템에그대로적용하기는어려우나,동조항의취지·목적을참고하여AI환경에적합한안전조치를마련·시행하는것이바람직함 ※ (예) 본 모델의 제4장(리스크의 경감)을 참고한 안전조치를 법 제29조에 따른 내부관리계획에 포함하고 개인정보 처리방침에 공개 등□ 개인정보 영향평가와의 관계 (法제33조)○공공기관의AI시스템구축·운영이영향평가의무대상에해당하는경우*,영향평가를의뢰받은평가기관은「개인정보영향평가수행안내서」外본모델을보충적으로참고할수있음 * 개인정보 보호법 시행령 제35조에 해당하는 개인정보파일을 구축·운영하거나 기존 시스템을 변경 또는 연계하려는 공공기관○의무대상이아닌민간기업등은AI모델·시스템개발및제공시본모델을참고한영향평가수행을자율적으로고려할수있음 ※ 의무 대상기관이 아님에도 불구하고 개인정보 보호법 제33조에 따라 영향평가를 수행하는 경우 개인정보 보호법 위반 과징금에 대해 1차 조정 금액의 최대 30%를 추가로 감경받을 수 있는 근거규정 마련·시행 중(개인정보 보호법 위반에 대한 과징금 부과기준 제10조 제2항, 2023.9.15. 제정)□ 타 안내서와의 관계○본모델은개인정보위의타안내서(가이드라인,정책방향등)내용을일부포함하고있지만구체적내용은개별안내서참고필요○본모델은개인정보위의‘인공지능(AI)개인정보보호자율점검표(’21.5.31.)’를대체 ※ 개인정보보호법 개정(’23.2월) 사항 등 반영 - 6 - Ⅱ.AI 프라이버시 리스크 관리의 절차□오늘날AI는경제·사회전분야에서매우다양한맥락,목적으로활용되는범용기술이며,용례에따라데이터요구사항(종류,형태,규모등),처리방식(알고리즘유형등)이상이○따라서AI의구체적유형과용례를파악하는것은개인정보처리의목적과범위,프라이버시리스크성격을결정짓는출발점○이를토대로구체적인리스크를식별·측정하고리스크에비례하는안전조치를마련함으로써체계적인안전관리를구현할수있음□리스크관리는리스크의조기발견및완화를위해AI모델·시스템의기획·개발단계부터이루어지는것이바람직하며,○이후에도AI시스템의기능및기술의보강이지속될수있고,의도하지않은용례로사용되거나침해환경이악화되는등외부요인이변화할수있으므로주기적·반복적위험관리가권장됨□리스크관리절차는세부적으로다양할수있으나➊ AI의유형·용례파악,➋ 리스크식별(mapping),➌리스크측정(measuring),➍경감방안의검토·도입(mitigation)으로이어지는4단계절차가권장됨○이와같은절차는개인정보보호의원칙5)및리스크기반접근방식(risk-basedapproach)의토대에서구현되며,○국제적논의중인AI리스크관리프레임워크·표준*의접근방식과유사 * NIST AI Risk Management Framework(AI RMF 1.0), ISO/IEC 42001:2023 등➊➋➌➍AI의 유형·용례 파악≫용례에 대응하는리스크의 식별≫리스크의 측정≫리스크 경감방안의 검토·도입AI 모델 및 시스템의 목적, 범위 및 처리되는 데이터 등 구체적 맥락을 파악파악된 AI 모델 및 시스템의 유형·용례에 따라 발생할 수 있는 리스크를 식별 리스크의 발생확률, 중대성, 수용가능성, 우선순위 등을 판단리스크 경감을 위한 관리적, 기술적 방안을 검토하고 실행5) [개인정보 보호법상 보호 원칙(法제3조)] ① 목적 적합성, ② 적법처리, ③ 정확성, 완전성, 최신성, ④ 투명성, ⑤ 안전관리, ⑥ 정보주체 권리보장, ⑦ 사생활 침해 최소화 - 7 - 1 AI의 유형·용례 파악○전세계적으로통용되는개인정보보호원칙은개인정보처리의목적을명확히하고처리목적에필요한범위에서처리할것을요구○한편,AI의프라이버시리스크는AI모델·시스템의목적,범위및처리되는데이터등구체적맥락에따라달라짐-따라서,개인정보보호기본원칙下맥락특유적리스크를식별하기위해서는개발·제공하고자하는AI의유형·용례파악이선행될필요○AI프라이버시리스크는크게AI생애주기(life-cycle)및서비스목적등에따라구분할수있음-학습데이터가수집·이용되는기획·개발단계,학습이완료된AI와실제이용자간상호작용이이루어지는서비스제공단계등AI의생애주기에따라리스크가달라질수있음-실제서비스제공단계에서도범용성이높은생성AI시스템,특정문제해결에특화된판별AI시스템등AI의의도된목적,용례에따라리스크유형이상이구분 개념기획·개발￭ (프로젝트 기획) 모델·시스템의 범위 및 용례 등 AI의 목적을 정의하고, 필요한 데이터 및 오픈소스 사용 여부 등을 결정￭ (데이터 수집·전처리) AI 목적 달성에 필요한 학습데이터를 수집하고, 특징 선택, 특징 추출, 데이터 통합 등의 전처리 수행￭ (모델 학습) 데이터를 투입하여 패턴, 구조, 배열 등 상관관계를 학습 ※ 데이터의 추가 투입에 의한 미세조정, 도메인 적응적 학습 등 추가 학습, 개발 과정에서의 퓨샷러닝 등 맥락 내 학습, 인적 정렬, 검색증강생성(RAG) 등 포함 서비스제공 ￭ (생성 AI) 이용자의 입력값과 문맥 등을 활용하여 텍스트, 이미지, 오디오, 비디오 등을 생성하는 시스템￭ (판별 AI) 이용자의 입력값을 특정 클래스로 분류하거나 점수를 매김하여 예측하는 시스템▸ 사람의 평가 및 분류를 수행하는 시스템 ※ 채용AI, 신용평가AI, 랭킹, 사기탐지시스템(FDS), 형사사법AI 등▸ 추천 시스템 ※ AI 기반 개인맞춤형 광고/추천 등▸ 사실의 인지를 수행하는 시스템 ※ 의료보조AI, 자율주행차 센서, 생체인식정보 인지AI 등 【AI 유형·용례 분류 예시】 - 8 - 2 용례에 대응하는 리스크의 식별(mapping)○식별한AI유형과용례에대응하는프라이버시리스크를식별○이하예시에포함된AI의일반리스크와프라이버시리스크는AI생애주기및용례별리스크로서대표적으로고려될수있으나모든리스크를포괄하는것은아니므로자율적으로참고구분일반 리스크프라이버시 리스크기획·개발￭ 권리 침해 (저작권, 개인정보, DB권)￭ 적법하지 않은 학습데이터 수집·이용￭ AI 학습데이터의 부적절한 보관·관리￭ AI 가치망의 다양화에 따른 데이터흐름 및 정보주체 권리보장 책임 복잡화 서비스제공생성 AI￭ AI 합성콘텐츠 오용￭ 권리 침해￭ 안보, 보안 문제￭ 학습데이터 암기 및 개인정보 유·노출 ※ 판별 AI의 리스크에도 해당￭ 악의적 AI 합성콘텐츠로 인한 정보주체 권리 침해 (정보주체 의사에 반하는 생체정보 이용 등)판별AI사람의 평가/분류￭ 편향, 차별, 품질 편차￭ 불투명성￭ 자동화된 결정으로 인한 정보주체 권리 약화추천 시스템￭ 프 로 파 일 링, 정 치 적 양 극 화￭ 대중감시 및 민감정보 추론 위협사실의 인지￭ 편향, 품질 편차 【리스크 맵핑 방안 예시】 3 리스크의 측정(measuring)○기업·기관은적절한지표및측정도구를활용6)하여△리스크의발생확률,△리스크가실현되었을때조직·개인·사회에미치는결과의중대성등을정량적·정성적으로평가하고,△리스크의수용가능여부,△우선순위등을판단6) 현재 AI 안전성 측정 도구·지표 개발은 전세계적으로 초기 단계이며, 특히 프라이버시 리스크 관련 지표 개발은 더욱 초기 수준임. 다만, 국제기구 및 AI 안전연구소 등에서 제공하는 다음의 AI 안전성 평가 도구, 방법론을 참고할 수 있음￭ “Dioptra” (https://pages.nist.gov/dioptra/) - 미 국 NIST는 AI 행 정 명 령(E.O.14110)에 따 라 AI 소 프 트 웨 어 평 가 플 랫 폼 개 발·공 개￭ “Catalogue of Tools & Metrics for Trustworthy AI” (https://oecd.ai/en/catalogue/overview) - OECD는 AI의 안전성, 투명성, 공정성 등의 정성적, 정량적 측정 도구/지표 카탈로그 제공 중￭ “An open-source framework for large language model evaluations” (https://inspect.ai-safety-institute.org.uk) - 영국 AI안전연구소(UK AI Safety Institute)가 개발하여 오픈소스로 공개한 AI 안전성 평가 플랫폼. 핵심지식, 추론능력 및 자율기능 등 다양한 영역에서 모델을 평가하는 데 사용할 수 있음￭ “Guide to Red Teaming Methodology on AI Safety” (https://aisi.go.jp/assets/pdf/ai_safety_RT_v1.00_en.pdf) - 일본 AI안전연구소(Japan AI Safety Institute)는 AI 시스템 개발자 및 제공자가 공격자의 관점에서 AI 안전을 평가하기 위한 레드팀 방법론을 발표 - 9 - -리스크수용가능여부,우선순위에대한판단은개인정보보호법등관련법률및규제현황,사용되는데이터의민감성,조직의목표·문화·자원등경영환경,기술환경등을기반으로이루어질수있음4 리스크 경감방안의 검토와 도입(mitigation) ○리스크의식별·측정결과에따라리스크를경감하기위한기술적,관리적방안을검토하고도입-관리적조치의경우식별된위험의주기적인측정및모니터링,결과의문서화,위험관리를위한담당조직구성·운영,조직내·외부피드백수렴·반영등을포함할수있음-기술적조치의경우다양한프라이버시향상기술(PET)의도입을포함할수있으나이에한하지않음참고 개인정보보호위원회 관련 정책연구 사례[부록] ◈ 개인정보위는 한국어 거대언어모델(LLM)을 대상으로 다양한 프라이버시 리스크 경감기술의 유형별 효과를 분석하기 위해 정책연구를 수행하였음 ※ (연구명) ’생성형 AI 관련 프라이버시 리스크 경감기술 평가연구‘, (연구기간) ’24.5.~‘24.10.(연구기관) (주)제이씨레이다, 경북대학교￭ (연구 내용) 한국어 LLM 모델 4종에 대해 중복제거(de-duplication), 입출력 필터링, 섭동(perturbation), 가지치기(pruning) 기술을 적용하고 적용 전후 개인정보 암기·재현 정도를 비교￭ (주요 결과) 한국어 언어모델에 대해서도 중복제거, 입력·출력 필터링, 섭동, 가지치기 등의 경감 기술이 유효하다는 사실을 확인 - 다만, 경감 기술 적용에도 완전한 암기 리스크 제거는 어려우므로 정보주체 권리보장을 위한 추가적 안전조치가 필요하며, 경감기술 적용과 AI 모델의 성능 사이에 유의미한 상충관계(trade-off)가 존재함을 확인￭ (의의 및 한계) 선행연구가 부족한 한국어 LLM 모델 대상 프라이버시 경감기술의 효과성을 실증함으로써 과학에 기반한 AI 프라이버시 리스크 관리 정책·제도 토대 마련 - 다만, 한정된 컴퓨팅 자원(GPU)·예산·기간 등으로 실험조건 및 연구범위가 제약된 한계 → 본 연구결과의 일반적 적용에 한계가 있고, 후속 연구를 통한 보완 필요 - 10 - 붙임1 AI 리스크 관련 글로벌 논의 현황◈ 인공지능의 급속한 발전에 따라 AI 안전을 적절히 관리하기 위해 AI 리스크의 체계적 분류와 과학적 평가에 대한 전세계 논의 활발 - 프라이버시 리스크는 글로벌 격차 심화, 저작권 침해, 일자리 대체 등과 함께 시스템적 리스크(systemic risk) 유형의 하나로 논의되고 있음□ AI 안전성 정상회의(1차 ‘23.11. 블레츨리, 2차 ‘24.5. 서울)○주요국정상은AI안전성정상회의를통해AI의위험관리,인류와AI의공존을위한AI글로벌거버넌스형성에기여 ※ (참가국 및 조직) 대한민국, 영국, 미국, 캐나다, 프랑스, 일본 등 28개국, EU, UN, 구글 딥마인드, 메타, 오픈AI 등 기업대표 등-신뢰기반AI개발·사용,위험식별등AI안전성확보(1차회의),AI안전·혁신·포용향상(2차회의)에대한선언발표-또한,‘첨단AI의안전성에관한국제과학보고서*’를공동으로발간하여개인정보보호위험등범용AI의잠재적위험을분류 * International Scientific Report on the Safety of Advanced AI(‘24. 5. interim report) 리스크 분류주요 위험악의적인 사용 위험￭ 가짜 콘텐츠로 인한 개인 피해*, 허위 정보 및 여론조작, 사이버 범죄, 이중 사용 과학 위험 * 피싱 공격, 딥페이크 등 개인의 동의 없는 가짜·유해 콘텐츠 생성오작동으로 인한 위험￭ 제품기능 문제로 인한 위험, 편향성(편견과 과소 대표로 인한 위험), 통제력 상실시스템적 위험￭ 노동시장 리스크, 글로벌 AI 격차, 시장 집중 위험 및 단일 장애 지점, 환경에 대한 위험, 개인정보 보호에 대한 위험*, 저작권 침해 * 적대적인 입력 사용시, 모델에서 개인에 대한 정보가 포함된 학습 데이터 추출 가능 - 민감한 개인 정보(건강, 금융 등)로 학습된 모델의 경우, 심각한 개인정보 유출 가능 - 민감한 데이터를 효과적·효율적으로 검색하여 개인정보를 유추, 남용할 가능성교차 위험 요소￭ 기술적 위험 요소의 교차 차단, 사회적 위험 요소의 교차 차단* * 기술 발전 속도와 규제 대응 속도 사이의 불균형 등 【범용 AI 위험 분류】 - 11 - □ G7 히로시마 프로세스○G7정상회의(’23.5.)에서AI기술의잠재적인위험에대해국제규범을구체화하기위해‘히로시마AI프로세스’수립에합의 ※ (참가국) 미국, 일본, 독일, 영국, 프랑스, 이탈리아, 캐나다, EU-의장국(일본)이G7회원국을대상으로실시한설문조사결과(‘23.9.)G7회원국은프라이버시침해위험을생성AI의주요위험으로인식조사 항목순위 결과생성형 AI의주요 위험① 허위정보 및 조작, ② 지적재산권 침해, ③ 프라이버시 침해, ④ 편향성 및 차별성 악화, ⑤ 안전성 위협, ⑥ 사이버보안 위협생성형 AI에 관한시 급 성, 중 요 도 에 따 른원칙 우선순위① 책임있는 기술 사용, ② 허위 조작정보 해결, ③ 거버넌스, ④ 투명성 촉진, ⑤ 지식재산권 보호※ (기타 시급성) 프라이버시 및 데이터 거버넌스, 인권 및 기본권 등 【설문조사 주요 결과】 -AI시스템개발위험관리를위한개발자행동강령*발표(’23.10.) * AI 생애주기 위험 관리, 투명성‧책임성 강화, 개인정보 보호정책을 포함한 위험 관리 정책 개발, 개인데이터 및 지적 재산 보호 등 11개 조치 포함□ ML 커먼스(MLCommons) AI 안전 벤치마크○민간컨소시엄인ML커먼스*는대규모언어모델(LLM)의안전성테스트를위한벤치마크인‘AILuminate’**를개발 * (ML 커먼스) AI 기술의 신뢰성, 안전성, 효율성 구축을 위해 업계 및 학계 연구자, 엔지니어, 실무자들로 구성된 컨소시엄으로(‘23년~), 구글, 메타, NVIDIA, 삼성전자, 네이버, 퓨리오사AI 등이 회원으로 참여 ** (AILuminate) 12가지 위험범주에 걸친 24,000개 이상의 테스트 프롬프트에 대한 LLM의 응답을 기반으로 안전성을 평가하는 벤치마크(’24.12월 V.1.0 발표)-AI안전벤치마크마련을위해AI의위험범주(hazardcategories)를12개로분류했으며,그중하나로프라이버시를포함① 아동 성 착취② 무차별 무기(CBRNE)③ 성관련 범죄④ 자살 및 자해⑤ 폭력 범죄⑥ 명예훼손⑦ 증오⑧ 비폭력 범죄⑨ 지적재산권⑩ 프라이버시⑪ 성적 콘텐츠⑫ 전문 조언 - 12 - 붙임2 지향되는 리스크 관리 체계의 원리◈ 본 모델을 참고하여 리스크 관리 체계를 수립 및 시행하고자 하는 기업·기관은 다음 원리를 고려하는 것이 권장됨□ 맥락특유적접근(context-specificapproach)○개별AI의용례와유형에따라개별맥락을고려하여리스크를식별·평가하여대응하는맞춤형·핀셋형접근을지향 ※ 개별 AI 특성에 대한 고려 없이 일률적 통제를 가하는 방식 지양□ 일관성(coherent)○다만,일관되고정연한리스크관리를위해AI의용례들을처리단계및사람과의상호작용방식에따라유형화□ 비례성(proportional),점진성(granular)○리스크관리를위한통제강도는평가된리스크수준에비례하여점진적으로상향되도록설정□ 원칙기반접근(principle-basedapproach)○빠르게변화하는기술환경을고려하여개별기술에대해과도하게세세하게정하기보다는원칙중심으로관리하여기술중립성을견지□ 측정가능성(measurable),비교가능성(commensurable)○원칙기반접근을하더라도AI개발·서비스현장에서곧바로적용할수있는리스크의측정및경감수단을명확히마련□ 이해관계자의참여(stakeholderparticipation)○특히AI의활용에의하여영향을받는이해관계자,정보주체들과시민들의참여를보장하고적극적으로의견을수용□ 상호운용성(interoperability)○우리나라의문화적특성,다양성,포용성을담아내는범위내에서국제표준등과의상호운용성을확보 - 13 - 붙임3 AI 리스크 관리 관련 표준 □ 미국 국립표준기술원(NIST), AI RMF 1.0 (2023)○4단계(거버넌스,맵핑,측정,관리)의표준적인AI리스크관리체계제시단계 주요 내용I. 거버넌스(Govern) ① 조직 내 AI 리스크의 맵핑·측정·관리 정책·절차·실무의 마련, 투명한 공개, 효과적 시행② 적절한 부서·개인들에게 AI 리스크의 맵핑·측정·관리의 권한·책임을 부여하고 교육을 시행하여 책임구조를 마련③ 생애주기에 걸친 AI 리스크의 맵핑·측정·관리에 있어 인력의 다양·형평·포용·접근성 절차를 우선 고려④ 인사 부서는 AI 리스크를 고려하고 효과적으로 의사소통하는 문화에 헌신⑤ 관련 AI 주체들과의 견고한 협력을 위한 절차 마련⑥ 제3자 소프트웨어, 데이터, 기타 가치망 문제에서 발생하는 AI 리스크/편익에 대응하는 정책·절차 마련II. 맵핑(Map)① 맥락(context)을 설정·이해② AI 시스템의 범주화 이행③ AI의 역량, 타겟팅된 사용, 목표, 예상 편익·비용을 적절한 벤치마크(benchmark)와 비교하여 이해④ 제3자 소프트웨어, 데이터를 포함한 모든 AI 시스템 구성 요소의 리스크·편익을 맵핑⑤ 개인·그룹·커뮤니티·조직·사회에 미치는 영향을 특성화III. 측정(Measure)① 적절한 방법과 측정지표를 식별·적용② AI 시스템의 신뢰성을 평가③ 식별된 AI 리스크를 시간 경과에 따라 추적하는 메커니즘 마련④ 측정의 효과에 대한 피드백을 수집·평가IV. 관리(Manage)① 맵핑·측정 기능의 평가 및 기타 분석 결과를 기반으로 AI 리스크에 우선순위를 매기고 대응·관리② 관련 AI 주체들로부터의 입력을 통해 AI의 편익을 극대화하고 부정적 영향을 최소화하는 전략을 계획·준비·시행·문서화③ 제3자 기관으로부터의 AI 리스크와 편익을 관리④ 식별·측정된 AI 리스크에 대한 응답·복구·소통계획을 포함한 리스크 처리를 문서화, 정기 모니터링□ ISO/IEC 42001:2023-정보기술-AI-관리시스템○AI리스크관리시스템을다음과같이유형화관리시스템주요 내용조직의 맥락￭ 조직과 그 맥락의 이해, 이해관계자의 필요와 기대의 이해, AI 관리시스템의 범위의 결정, AI 관리 시스템리더십￭ 리더십과 전념, AI 정책, 역할·책임·권한계획￭ 리스크와 기회를 다루기 위한 조치들(AI 리스크 평가, AI 리스크 처치, AI 시스템 영향평가), AI 관련 목표와 이들을 달성하기 위한 계획, 변화의 계획지원￭ 리소스, 역량, 인식, 소통, 정보의 문서화운용￭ 운용계획 및 관리, AI 리스크 평가, AI 리스크 처치, AI 시스템 영향평가성능평가￭ 모니터링/측정/분석/평가, 내부감사, 경영 검토개선￭ 지속적 개선, 부적합성과 시정조치 - 14 - Ⅲ. 리스크의 식별1 기획·개발 단계 개요□AI시스템기획·개발단계는AI시스템의구체적인목적설정,목적달성에필요한데이터수집기준마련,사용할AI모델및시스템구성방안설정,모델학습등이이루어지는단계로서,○PbD(PrivacybyDesign)*원칙을기반으로AI의전체생애주기에걸친리스크관리체계의토대를마련하는단계임 * Privacy by Design : 제품·서비스 개발 시 기획 단계부터 개인정보 처리의 전체 생애주기에 걸쳐 이용자의 프라이버시를 고려한 기술·정책을 설계에 반영하는 원리구분 주요내용예측 시스템 (목적) 미래 결과 예측(예: 주가 예측, 수요 예측 등) (데이터) 시계열 데이터 (모델 아키텍처) 회귀분석, 순환신경망(RNN), 트랜스포머 등 (프라이버시 리스크) 이용자 소비성향 등 행동패턴 노출 위험분류 시스템 (목적) 주어진 데이터를 특정 범주로 분류(예: 스팸 필터링, 질병진단, 이미지 분류 등) (데이터) 라벨이 있는 데이터셋(예: 이메일 텍스트, 이미지 데이터 등) (모델 아키텍처) 로지스틱 회귀, 의사결정 나무, 합성곱 신경망 등 (프라이버시 리스크) 분류의 기초가 되는 개인 이메일·건강기록 등 민감정보 유·노출추천 시스템 (목적) 이용자의 취향에 맞는 항목 추천(예: 영화, 음악, 쇼핑 추천 등) (데이터) 이용자 프로필 데이터, 과거 대화 이력 데이터 등 (모델 아키텍처) 컨텐츠 기반 필터링, 강화학습을 활용한 추천 모델 등 (프라이버시 리스크) 맞춤형 추천 과정에서의 민감정보 프로파일링 우려자연어 시스템 (목적) 텍스트 데이터 이해 및 생성(예: 채팅봇, 번역기, 감정분석 등) (데이터) 텍스트 데이터(예: 채팅 기록, 뉴스 기사, 리뷰 데이터 등) (모델 아키텍처) 트랜스포머 기반의 BERT, GPT 모델 등 (프라이버시 리스크) 민감정보의 노출, 감정 예측 과정에서의 심리상태 노출컴퓨터 비전 시스템 (목적) 이미지 또는 영상데이터 이해 및 분석(예: 얼굴 인식, 자율주행 등) (데이터) 이미지, 영상 데이터, 라벨링 데이터 (모델 아키텍처) CNN, R-CNN, 트랜스포머 기반 모델 등 (프라이버시 리스크) 안면인식 통한 식별, 감시 위험 【기획·개발 단계에서 고려할 수 있는 사항】 □AI모델은AI시스템의핵심구성요소로서,컴퓨터가대규모데이터를통해데이터의패턴,구조,배열등통계적상관관계를파악하는AI학습과정을통해개발7) - 15 - ○학습데이터는AI모델·시스템의의도된목적등에따라공개된데이터,이용자데이터,제3자제공데이터,자체생성데이터등으로구성되며개인정보가포함될가능성이큼□학습데이터에포함된개인정보는토큰화,임베딩등압축·변환과정에서일종의집합화(aggregation)가이루어져개인식별성이낮아지는특성이있음○또한,AI시스템은반드시AI모델만으로구성되는것은아니고사용자인터페이스,입력·출력처리시스템,기타요소(검색증강생성*등)등여러구성요소를통해개발·운영됨 * RAG(Retrieval-Augmented Generation) : 생성 모델과 검색엔진을 통합하여 사용자 질의와 관련된 데이터베이스 검색 결과를 프롬프트 보강에 활용해 답변을 생성하는 방식○따라서AI시스템이배포되어데이터입력·출력단계에이르기전까지는AI모델개발자체로리스크가현실화된다고단정할수없음○다만,학습데이터에개인정보가포함된경우학습데이터의수집및이용은개인정보처리에해당하므로AI모델·시스템개발자는모델학습단계의리스크를관리할필요□한편,AI학습에막대한컴퓨팅및데이터자원이요구됨에따라자체개발AI모델대신오픈소스,API8)형태의타사AI모델활용활발○이는개인정보의불필요한이전,목적外이용,안전성미흡등으로이어질우려가있으므로기획단계에서부터사업자간책임분배등을사전검토할필요7) 범용 AI 모델은 주로 자기지도학습(self-supervised learning) 방식을 통해 대규모 데이터로 사전훈련된 모델로서, 미세조정(fine-tuning), 도메인 적응 훈련(domain adaptive learning; DAL) 등 추가적 학습을 거쳐 다양한 하류 작업을 위해 적응됨. 특정 작업을 위한 AI 모델의 학습은 전통적인 지도학습, 비지도 학습, 강화학습 방식으로 훈련됨.￭ 지도학습(supervised learning): AI가 레이블된 데이터를 통해 학습하는 방법으로, AI 응용 분야에서 가장 널리 사용됨￭ 비지도학습(unsupervised learning): AI가 레이블이 없는 데이터를 통해 학습하는 방법으로, 복잡하고 대량의 데이터에서 숨겨진 패턴·구조 등을 찾는데 유용함￭ 자기지도학습(self-supervised learning): AI가 데이터간의 관계성을 기반으로 데이터의 레이블을 스스로 획득해 학습하는 방식으로서, 데이터의 특정 부분을 다른 부분으로부터 예측 또는 복구하는 작업에 유용￭ 강화학습(reinforcement learning): AI가 주어진 환경에서 행동을 선택하고 그 결과로서 ‘보상’이나 ‘처벌’을 받도록 함으로써 AI가 더 나은 행동을 선택하도록 유도8) Open Source : 소스코드가 플랫폼(AI 분야의 허깅페이스 등) 등을 통해 공개되어 있어 누구나 자유롭게 사용, 수정, 배포할 수 있는 소프트웨어를 의미(다만, 오픈소스 라이선스에 따라 일부 제한이 있을 수 있음). 비용 절감, 투명성, 개발자 커뮤니티에 의한 지속적 수정 등 장점이 있으나, 소스코드가 공개되어 있어 소스코드 취약점을 악용한 공격에 노출될 가능성이 있으며, 문제 발생 시 공식적 기술 지원이 부족할 수 있음. API(Application Programming Interface) : 서로 다른 소프트웨어가 상호 작용할 수 있도록 정의된 인터페이스. 소스코드는 공개되지 않으나, API 호출을 통해 특정 서비스 또는 정보를 제공받을 수 있음. 개발 효율성 향상, API 제공사의 지속적 유지보수 등 장점이 있으나, 서비스 개발 비용(유료의 경우), 외부 종속성 등이 증가할 수 있음. - 16 -  리스크 유형 적법하지 않은 학습데이터 수집·이용○학습데이터의규모는모델성능에직접적인영향을미치기때문에AI기술의발전·확산은대규모개인정보수집·이용필요성을확대-이는개인정보수집·이용의적법성확보(法제15조,제17조,제18조등)등기업의법준수리스크를확대하고,목적명확성,최소수집원칙,사생활침해최소화,파기등개인정보보호원칙구현을어렵게함○AI학습데이터는▲공개된정보를수집하는방안,▲旣보유한데이터를AI학습목적으로재사용하는방안,▲동의·계약등에기반하여정보주체로부터직접수집하는방안,▲협력사등제3자에게제공받는방안등다양한형태로수집·이용되고있음-한편,AI학습데이터의규모,종류,주된수집출처등은AI모델의개발단계,학습목적에따라상이 ※ (예) ▲거대언어모형(LLM) 등 기반모델 성격의 모델 개발 → 대규모 학습데이터가 요구되므로 웹스크래핑 데이터 등을 활용, ▲LLM의 미세조정 → 목적에 따라 비교적 소규모 학습데이터가 요구되므로 직접 구축한 데이터 등 활용○AI모델·시스템개발자는학습데이터수집출처별로개인정보수집·이용의적법성을확보했는지를확인하고,정보주체에게필요한투명성을제공하기위해노력해야함 ※ (1)AI 모델 미세조정, 도메인 적응적 학습(DAL) 등 추가학습, (2)개발 과정에서의 퓨샷러닝 등 문맥 내 학습(in-context learning), (3)인적 정렬(alignment), (4)검색증강생성(RAG) 등을 거쳐 모델을 사용하고자 하는 AI 시스템 개발자는 추가 투입한 데이터에 대하여 적법성 확인-특히,개인정보보호법에서특별히보호하고있는민감정보,고유식별정보,주민등록번호,계좌정보·신용카드정보,만14세미만아동의개인정보가포함되는경우별도검토필요(法제22조의2,제23조,제24조,제24조의2,제34조의2등) ※ 학습데이터 수집 출처에 따라 상기 데이터가 포함될 개연성이 높다고 판단될 경우, 사전 학습단계에서 보다 강화된 안전조치를 취할 필요(△개인식별정보 제거, △개인정보보호위원회·한국인터넷진흥원 등에서 제공하는 ‘한국 정보주체의 개인정보 노출 페이지(URL)’에 대한 웹크롤링 배제 등) - 17 - 붙임4 AI 학습데이터 수집·이용의 적법 근거 예시◈ 대표적으로 AI 학습 수요가 높은 공개된 개인정보, 이용자 데이터의 AI 학습목적 수집·이용 적법성은 다음의 예시를 참고할 수 있음□ 웹스크래핑 데이터 등 공개된 개인정보○공개된개인정보는누구나합법적으로접근가능한개인정보로서,주로AI학습을위해웹스크래핑기술을이용하여공개적으로접근가능한출처에서수집한데이터셋에개인정보가포함된경우를의미-정보주체스스로공개한개인정보에국한된것은아니며,법령에의해공시·공개된개인정보,출판물,방송매체등에포함된개인정보도포함○(적법근거)AI개발의구체적맥락을고려할수있는정당한이익조항(法제15조제1항제6호)이실질적인적법근거가될수있음 ※ 구체적 내용은 「AI 개발·서비스를 위한 공개된 개인정보 처리 안내서」(’24.7.) 참고-‘정당한이익’이인정되기위해서는△목적의정당성,△처리의필요성,△구체적이익형량세가지요건을충족해야함(제6호) 개인정보처리자의 정당한 이익을 달성하기 위하여 필요한 경우로서 명백하게 정보주체의 권리보다 우선하는 경우. 이 경우 개인정보처리자의 정당한 이익과 상당한 관련이 있고 합리적인 범위를 초과하지 아니하는 경우에 한한다.요건주요 내용목적의정당성￭ 개인정보처리자의 정당한 이익의 존재 - 공개된 개인정보 처리를 통해 개발하려는 AI의 목적·용도를 구체화하여 정당한 이익을 명확화 ※ (예) 의료진단보조, 신용평가, 텍스트 생성·분류·번역 등을 수행하는 LLM 등처리의필요성￭ 공개된 개인정보 수집·이용의 필요성과 상당성·합리성이 인정될 것 ※ (예) 의료진단보조 AI 개발시 개인의 소득·재산 등 관련없는 정보는 학습 배제구체적이익형량￭ 개인정보처리자의 정당한 이익이 정보주체 권리에 명백히 우선 - ‘명백성’ 요건 충족을 위해 (i) 정보주체 권익침해 방지를 위한 안전성 확보조치 및 (ii) 정보주체 권리보장 방안 마련·시행을 통해 개인정보처리자 이익이 우선하도록 조치 - 18 - □ 이용자 개인정보○서비스제공과정에서적법하게수집된계정정보(ID,연락처등),이용자콘텐츠(개인정보포함입력프롬프트등),개인정보에해당하는행태정보등이용자개인정보의경우에도적법근거를갖출경우활용가능-특히AI환경에서는기존AI서비스의개선,신규AI서비스개발등다양한목적의이용자개인정보활용수요존재○(적법근거)기업ㆍ기관등은당초수집한목적과의관련성을기준으로자체평가를거쳐자율적으로적법근거를선택하여운용가능-서비스개선등당초수집목적범위안에있는경우에는이용자개인정보를AI학습·기술연구·통계작성등에이용할수있음사 례 온라인 플랫폼 사업자가 자사 플랫폼을 이용하는 사업자의 부정행위 방지 및 정상적인 이용자의 이익 보호를 위하여 수집한 기존 보유 이용기록 등을 AI 기술을 도입한 부정행위탐지시스템(FDS) 운영에 이용할 수 있음-당초수집목적과합리적관련성*이있는신규서비스개발의경우,추가적이용(법§15③)을적법근거로검토할수있음 * 예 : 특정 AI개발이 당초 서비스, 해당 이용자 편익과 연결되는 경우 합리적 관련성 인정사 례 당초 쇼핑몰 서비스 이용계약을 체결한 회원을 대상으로 효율적인 AS 상담을 제공하기 위해 기존 보유한 서비스 이용정보를 AI 챗봇 상담기능 개발에 이용하는 경우 합리적 관련성이 인정될 여지가 있음-당초서비스와별개의신규서비스개발목적으로AI학습을하려는경우에는가명처리(법§28의2)또는별도동의(법§15①(1))후이용사 례 특정 질병을 진단 또는 보조하는 의료 AI 연구개발을 위해 병원이 보유한 MRI, CT, X-Ray 사진, 영상을 가명처리 후 학습데이터로 이용하는 경우◆ 개인정보위는 이용자 개인정보를 AI 모델 학습 등에 활용하고자 할 때 적용할 수 있는 적법근거 해석기준을 향후 구체화, 안내할 예정임 - 19 -  학습데이터의 부적절한 보관·관리○학습데이터를보관하는서버등이보안에취약하거나,학습데이터에대한접근권한제한및접근통제를위한조치가미흡할경우유출등개인정보침해위협*이조직내·외부에존재할수있음 * (내부) 접근권한이 없는 내부직원이 학습데이터 서버에 접근하여 개인정보 유출, 부적절한 데이터 분리·보관으로 인한 개인정보 결합 및 개인 식별 위험 등(외부) 학습데이터 서버에 백도어가 삽입되어 악의적인 공격자가 서버에 접근○학습데이터셋은일반적으로그규모가방대하여유출시다수의개인에게중대한영향을미칠수있어안전한보관·관리가요구됨 AI 가치망의 데이터흐름의 복잡화○AI시스템을개발·운영하는과정에서특정기능을구현하기위하여타사AI모델을API등을통해이용하는경우,개인정보를포함한입력프롬프트등이타사로이전되어처리될수있으며,-이경우,개인정보처리업무의위탁(法제26조)및개인정보의국외이전(法제28조의8)등에해당하는지검토하고관련규율준수필요사 례AI 서비스 운영을 위한 개인정보처리 업무 위탁 및 개인정보 국외이전 사례‣ SKT는 에이닷 서비스를 통해 데이터 요약 등의 기능을 제공하기 위하여 MS에 개인정보처리를 위탁(Azure OpenAI 서비스* 사용)하고, 통역콜 기능 제공을 위해 Google cloud platform과 네이버 클라우드 주식회사에 개인정보 처리를 위탁 * MS가 Azure에 호스팅된 서비스의 프라이빗 인스턴스를 통해 프라이빗 API 호출로 OpenAI의 AI모델에 대한 엑세스를 제공하는 서비스※ (참고) 제3자 제공과 처리위탁의 구분(대법원 2017.7.4. 선고 2016도13263 판결 中)‣ (제3자 제공) 본래의 개인정보 수집·이용 목적의 범위를 넘어 정보를 제공받는 자의 업무처리와 이익을 위하여 개인정보가 이전되는 경우 (法제17조 적용)‣ (처리위탁) 본래의 개인정보 수집·이용 목적과 관련된 위탁자 본인의 업무처리와 이익을 위하여 개인정보가 이전되는 경우 (法제26조 적용) - 수탁자는 위탁자로부터 위탁사무 처리에 따른 대가를 지급받는 것 외에는 개인정보 처리에 관하여 독자적인 이익을 가지지 않고, 정보제공자의 관리·감독 아래 위탁받은 범위 내에서만 개인정보를 처리 - 20 -  AI 가치망의 정보주체 권리보장 책임 복잡화○AI가치망참여자*의다양화는최종AI서비스에대한관리책임(안전조치등)과정보주체권리보장책임을모호하고복잡하게할우려 * ▲AI 모델을 개발하여 배포하거나 자체 사용하는 자, ▲타사 모델을 호스팅하는자(예: MS의 Azure OpenAI service) ▲오픈소스, API 등을 통해 타사 모델을 사용하여 최종 AI 시스템을 개발·배포하는 자 등을 포함-AI가치망참여자간적절한역할분배및실행이보장되지않을경우정보주체권리침해및서비스에대한신뢰하락으로이어질수있음○참여자별로취할수있는AI위험관리·완화조치,정보주체의권리행사지원방안,리스크통제범위가다를수있으며서로영향을끼칠수있으므로면밀한검토필요2 서비스 제공 단계 개요□학습등을거쳐개발완료된AI시스템은배포이후사람과의상호작용을통해다양한맥락(context)에서활용됨○AI시스템의활용영역은지속확장되고있으며,AI시스템결과의영향도단순보조를넘어완전자동화9)에이르기까지확대되고있음□AI시스템은AI기반제품,서비스제공을위해이용자로부터데이터를입력받아합성콘텐츠,평가·분류결과등AI모델의추론결과를출력하며,이과정에서정보주체의권리침해가현실화될수있음○AI시스템의입력데이터,출력데이터에는이용자의사생활등민감한정보가포함되어있거나,정보주체가예측하지못한방식으로수집·추론된개인정보가포함되어있을수있음9) AI 시스템은 인간에 가까운 인지능력으로 목표를 달성하기 위한 조치를 자율적으로 결정·실행하여 사람의 감독을 최소화하는 방향으로 진화 중 ※ (예) 자율적으로 상황을 분석하여 결제, 예약 등 인간의 사무를 대행하는 AI 에이전트(AI Agent)의 개발 등 - 21 - □다만,모든AI시스템이동질적인프라이버시리스크를갖는것은아니며AI시스템의목적과출력에따라상이하므로개별검토필요○텍스트·이미지·영상등합성콘텐츠를출력하는생성형AI시스템의경우출력된합성콘텐츠그자체에개인정보가유·노출되거나,합성콘텐츠의오용으로인해정보주체권리가침해될수있음○정보에기반한평가·분류·인지결과를출력하는판별AI의경우추론을위한과도하거나부적법한개인정보의수집·이용,AI의블랙박스특성*에서기인하는투명성약화등의이슈가존재 * 인공신경망의 구조적 복잡성으로 인해 AI의 예측이 어떤 논리·과정을 통해 도출되었는지 파악하기 어려운 특성□한편,AI시스템은배포이후에도추가학습,기능업데이트등을통해지속적으로수정·보완될수있으며,○이경우,학습데이터수집·이용의적법성확보등AI시스템기획·개발단계에서검토한리스크를재검토하는등의노력필요참고 AI 시스템의 배포 전후 개념도10) 10) OECD, "What is AI? Can you make a clear distinction between AI and non-AI systems?", https://oecd.ai/en/wonk/definition, '24.3.6. - 22 -  리스크 유형 학습데이터 암기 및 개인정보 유·노출 (생성 AI, 판별 AI)○악의적인이용자가AI학습데이터정보를획득하기위한사이버공격을시도할수있음-공격자는멤버십추론공격(membershipinferenceattack),모델전도공격(modelinversionattack),속성추론공격(attributeinference)등을통해특정데이터가학습데이터에포함되어있는지를유추하거나학습데이터를재구성할수있음 ※ 다만, 학습데이터 추출 공격은 이론적 또는 학문적 수준에 머물러 있어 실제로 악용될 가능성은 낮다는 견해도 존재 ※ 판별모델은 멤버십 추론에 사용될 수 있는 출력의 신뢰값을 출력에 포함할 수 있기 때문에 생성모델에 비하여 멤버십 추론 공격에 취약할 수 있음【무작위 샘플링과 멤버십 추론 공격을 활용해 추출한 이미지11)】 【학습데이터 유추 및 추출 목적의 사이버공격 예시】 11) Nicholas Carlini, Extracting Training Data from Diffusion Models, https://www.usenix.org/conference/usenixsecurity23/presentation/carlini, 2023 구분 설명멤버십 추론 공격(Membership Inference Attack) 공격 대상 모델에 데이터를 입력해 도출된 예측 신뢰도 등을 분석*하여 특정 데이터가 학습데이터에 포함되어 있는지를 예측 * 모델이 학습데이터에 존재하는 샘플에 더 높은 신뢰도를 부여하는 경향에 기반 ※ 초기 연구는 판별모델에 대한 공격 중심이나, 적대적 생성 신경망(GAN) 등 생성모델 대상의 공격 연구로 확대12)모델 전도 공격(Model Inversion Attack) 공격자는 공격 대상 모델과의 상호작용(질의 및 응답) 및 모델 출력 내의 풍부한 정보를 활용하여 학습데이터를 재구성 ※ 컴퓨터 비전, 언어모델, 그래프 학습 모델 등 다양한 모달리티에 걸친 공격 존재13)속성 추론 공격(attribute inference) 공격자는 부분적으로 알고 있는 정보를 기반으로 개인에 대한 추가적인 속성을 추론 * (예시) 특정 개인의 의료 기록을 알고 있는 공격자가 유사한 의료 기록으로 학습된 모델을 사용하여 개인의 유전자형을 추론하려고 시도14) - 23 - ○또한,악의적인목적이아니더라도일반적인사용자가AI서비스를이용하는과정에서학습시암기된토큰이출력단계에서재조립및역류될가능성도존재 ※ 관련 연구들은 생성모델이 생성하는 시퀀스가 훈련데이터에 있는 문구를 그대로(verbatim) 출력할 확률을 0.007%에서 4.85% 사이로 측정15)○생성모델의암기및개인정보유·노출위험은생성(generation)방식과검색(retrieval)방식에서구분됨16)-(생성방식)토큰이단어나형태소단위인경우통상토큰자체에식별성이있지는아니하나,확률적으로선정된토큰들을조립하여생성하는과정에서암기된토큰이재조립되어역류되어개인정보가침해되는문제가쟁점임-(검색방식)시퀀스를전체적으로출력하므로준식별정보간결합으로인한식별위험등리스크가생성방식보다높으며,데이터복제와관련된전통적인개인정보침해리스크와상대적으로동질적인리스크가있다고평가할수있음▲ (언어모델) 과거엔 검색 방식(이루다 1.0, XiaoIce)도 사용되었으나 현재는 생성 방식(ChatGPT, Gemini, CLOVA X, 이루다 2.0)이 주로 사용됨 - 단, 검색증강생성(RAG)은 외부 지식 베이스의 검색 후 이를 활용한 생성이 이뤄지므로, 아키텍처 별 개별적인 리스크 평가 필요▲ (T2I(text-to-image) 모델* 또는 T2V(text-to-video) 모델**) 비전트랜스포머(ViT)는 생성 방식. CLIP은 검색 방식이나, 발산모델(diffusion model) 등 픽셀 단위로 합성하는 모델과 결합되면 리스크가 상대적으로 경감될 수도 있으므로, 리스크가 일반적인 검색 방식에 상응하는지 여부에 대해서는 모델 별 개별적인 평가 필요 * Dall·E, Midjourney, Stable Diffusion 등 ** Sora 등12) Jamie Hayesy, Luca Melisy, George Danezis, and Emiliano De Cristofaro, LOGAN: Membership Inference Attacks Against Generative Models, arXiv:1705.07663v4 [cs.CR] 21 Aug 201813) Hao Fang, Yixiang Qiu, Hongyao Yu, Wenbo Yu, Jiawei Kong, Baoli Chong, Bin Chen, Xuan Wang , Shu-Tao Xia, Privacy Leakage on DNNs: A Survey of Model Inversion Attacks and Defenses, arXiv:2402.04013v1 [cs.CV] 6 Feb 202414) M. Fredrikson, E. Lantz, S. Jha, S. Lin, D. Page, and T. Ristenpart, \Privacy in pharmacogenetics:An end-to-end case study of personalized warfarin dosing," in USENIX Security Symposium, pp. 17~32, 201415) Nikhil Kandpal, Eric Wallace, and Colin Raffel, “Deduplicating Training Data Mitigates Privacy Risks in Language Models,” arXiv:2202.06539 (2022), p. 7; Jooyoung Lee et al., “Do Language Models Plagiarize?” arXiv:2203.07618 (2022), p. 6.16) Daniel Jurafsky and James H. Martin, Speech and Language Processing (3rd Ed. (draft), 2020), p. 24.2:11 (2021. 3. 14. 기준); Jurafsky and Martin, Introduction to Chatbots and Dialogue Systems, 2024, pp. 48–57, https://web.stanford.edu/~jurafsky/slp3/slides/24_Dialogue_May_6_2021.pdf (2024. 3. 11. 기준). - 24 -  악의적 AI 합성콘텐츠로 인한 정보주체 권리침해 (생성 AI)○(딥페이크성범죄*)생성기술이이미지,영상,음성분야로발전하면서이를악용해생성한아동·청소년성착취물(childsexualabusematerial;CSAM),비동의사적이미지(non-consensualintimateimage;NCII)가심각한사회이슈로대두 * 반포 등을 목적으로 사람의 얼굴·신체·음성을 대상자 의사에 반하여 성적 욕망 또는 수치심을 유발하는 형태로 합성하거나 해당 합성물을 유포하는 행위(성폭력처벌법)-성적허위영상물을생성하기위해서는피해자의사에반하는얼굴,신체등생체정보이용이요구되는바,피해자의성적자기결정권뿐아니라인격권및개인정보자기결정권도침해○(기만적오용)피편취자·소비자·투자자·유권자등의기만이주요사회적리스크이나,프라이버시측면에서는얼굴·목소리·생체정보등을도용당한정보주체의평판을손상시키고개인정보자기결정권을침해 자동화된 결정으로 인한 정보주체 권리 약화 (판별 AI)○AI기술이발전함에따라사회각분야에서개인정보에대한자동화된처리및이를통한개인의행동분석·예측·평가가활발 ※ (예) △ AI 면접을 통해 입사지원자의 개인정보를 분석하여 합격 여부를 결정, △ AI를 통해 개인의 신용도를 평가하여 대출 승인 여부를 결정 등○이는의사결정의일관성을보장하고효율성·신속성을높이는등다양한사회적편익을가져오고있지만,-의사결정과정의불투명성*개인에대한낙인·차별등새로운형태의프라이버시위험,기본권침해위협도야기○개인정보보호법은자동화된결정에대한정보주체의권리로거부권,설명및검토요구권을보장하고있어,필요한조치방안을마련·이행했는지여부가법준수리스크로도작용할수있음‣ (관련 법조항) 제37조의2, 자동화된 결정에 대한 개인정보처리자의 조치 기준(고시) 등‣ (관련 안내서) 자동화된 결정에 대한 정보주체의 권리 안내서(‘24.9.26.) 등 - 25 -  대중감시 및 민감정보 추론 위협 (판별 AI) ○AI기술은수집·분석되는데이터종류및양을확대하고*,관찰된데이터간상관관계를효과적으로분석 ※ (예) 전통적 맞춤형 광고는 웹사이트 방문 기록, 검색기록 등 정형데이터에 의존했으나, AI 기반 맞춤형 광고의 경우 실시간 행동 패턴, SNS 활동 등 비정형 데이터까지 활용-이는범죄예방,건강·안전모니터링등사회적필요성이높은서비스를가능케하지만,악용될경우개인에대한감시우려를증폭-특히공공장소에서불특정다수의얼굴등생체인식정보를인지하여신원을파악하는기술은대중감시우려를유발○AI기술은얼굴,목소리등생체정보등을기반으로사람의감정및성적·정치적성향등민감정보를프로파일링하는능력을보유-이는AI의고유한학습및추론능력에서비롯되는리스크로서,객관적입증및설명이어려운AI알고리즘에기반한새로운형태의민감정보추론리스크를유발 ※ EU는 개인의 육체·정신적 특성을 활용하여 정치성향, 종교신념, 인종, 성적취향 등 민감한 데이터를 추론하기 위한 시스템을 「AI ACT」의 금지 AI에 포함하는 등 높은 규제 수준 설정 - 26 - Ⅳ. 리스크의 경감※ 본 장에서 제시되는 모든 관리적·기술적 경감조치가 AI 모델·시스템에 필수 적용되어야 하는 것은 아니며, - AI 모델·시스템 개발자 및 제공자는 개별 맥락에 따라 식별한 프라이버시 리스크를 경감하기 위해 「최적의 안전조치 조합」을 마련·시행1 관리적 조치 학습데이터 출처·이력 관리○개인정보를포함하는학습데이터수집출처별로개인정보수집·이용의적법성을확보했는지판단하고출처·이력을관리○개인정보보호위원회와한국인터넷진흥원의‘개인정보노출및불법유통탐지·삭제’사업*을통해식별된도메인정보(URL)는AI학습데이터수집출처에서배제할필요 * 공공·민간 홈페이지를 대상으로 주민등록번호, 여권번호, 운전면허 정보, 계좌정보 등 9개 항목의 개인정보 노출 및 불법유통 탐지·삭제○최소수집,목적명확화등개인정보보호법원칙을고려하여학습데이터수집·전처리·이용기준*을미리정하고,이를개인정보처리방침,기술문서,FAQ등에공개하는것을권장 * AI 시스템 개발에 필요한 데이터양(volume), 범주(민감정보, 행태정보 등) 등을 고려하여, 개인정보의 주요 수집 출처, 수집 방법, 최소 품질기준, 안전성 확보 조치 방안 등 포함-학습데이터수집·이용기준은알기쉬운용어로구체적이고명확하게표현하여야하고,특히해외사업자의경우국내이용자가이해할수있는쉽고명확한한국어정보를제공하여야함 ※ 표준 개인정보 보호지침 제18조(개인정보 처리 방침의 작성 기준 등) 참고‣ (관련 법조항) 제3조, 제15조, 제16조, 제17조, 제18조, 제19조, 제20조, 제22조, 제23조, 제24조, 제24조의2, 제34조의2 등‣ (관련 안내서) AI 개발·서비스를 위한 공개된 개인정보 처리 안내서(‘24.7.) 등 - 27 -  안전한 보관·파기 방안 마련 및 실행○부적절한학습데이터보관으로인해학습데이터內개인정보가유·노출되거나,이용자DB등과결합되어개인이식별및민감정보가추론되는리스크를방지·예방하기위하여학습데이터에대한접근통제,접근권한제한,접속기록관리등의조치를시행하고,-보안프로그램설치,보관시설의물리적보안장치마련등이행○AI학습데이터의처리목적등을고려하여보유기간을설정하고,처리목적달성,보유기간경과등으로개인정보가불필요하게되었을때는지체없이복원불가능한방법으로파기‣ (관련 법조항) 제3조, 제29조, 제21조 등 AI 가치망 참여자간 역할 명확화○개인정보처리위탁,개인정보의국외이전해당여부를검토하고개인정보보호법관련규정준수필요-(처리위탁)위탁목적외개인정보의처리금지,기술적·관리적보호조치,위탁업무의목적및범위등을포함한문서로써업무를위탁하고,위탁자는개인정보처리방침등을통해위탁사실과관련된내용을정보주체에게공개하는등보호법상규정준수-(국외이전)정보주체와의계약의체결·이행을위해개인정보의처리위탁·보관이필요한경우로서국외이전과관련한사항을개인정보처리방침에공개한경우,정보주체로부터별도의동의를받은경우등국외이전의적법근거확보등보호법상규정준수‣ (관련 법조항) 제26조, 제28조의8조 등○AI개발·제공전주기참여자간적절한역할분배·실행을보장하기위해계약,라이센스,사용지침등의수단을검토-참여자별로취할수있는역할및역할분배수단은AI모델의개방단계(오픈소스모델,API모델등)에따라달라질수있음 ※ (예) [오픈소스] 모델 개발자는 개인정보보호를 고려한 이용방법, 조건을 명시한 라이선스를 수립·배포, [API 모델 등] API 이용 사업자가 개인정보 보호를 준수하도록 계약상 의무 부과 - 28 - 사 례네이버 CLOVA Studio AI 윤리 가이드 사례‣ 네이버는 자사 AI 서비스인 CLOVA Studio를 제3자가 이용할 경우에도 자사의 AI 윤리 원칙과 정책을 준수해야 함을 명시하고, 이를 촉진하기 위해 설명 제공, 기술도구 제공, 심사과정에서의 개선사항 제안 등의 의무를 이행할 것을 약속 - 또한, 사용자에게 함께 제공되는 자사 AI Filter를 이용할 것을 의무화하는 등 AI 악용 위험성을 완화하기 위해 노력하고 있음 ※ 네이버는 위와 관련한 사항을 'CLOVA Studio AI 윤리 가이드'로 공개 중사 례MS Azure OpenAI 서비스 사례‣ MS Azure OpenAI는 제한된 엑세스 프레임워크(Limited Access Framework)가 적용되어 계약을 통해 제한적으로 제공되며 MS에서 결정한 자격 기준 및 약관이 적용 - 제한된 엑세스 프레임워크는 MS가 고성능 모델을 개발·사용하는 고객이 누구인지를 파악하고 적절한 규제 요구사항을 충족했는지 등을 확인하는데 도움 - 약관에는 데이터 처리 및 보안에 대한 고객의 의무 등 Azure OpenAI 서비스 사용에 적용되는 조건과 의무가 포함되어 있음 - MS는 생성형 AI 서비스 준수 사항을 통해 고객이 준수해야하는 요구 사항을 정의하고 있으며, Azure OpenAI Service에 대한 데이터·개인정보 보호 및 보안에 대한 정보*를 제공 * MS에서 처리하는 고객 데이터 목록, 목적, 프로세스 등 허용되는 이용 방침(acceptable use policy; AUP)의 작성, 공개○생성시스템의예견가능한오용을열거하고해당목적의사용을금지하는이용방침을작성하여공개함으로써오용을방지사 례네이버 CLOVA X 서비스 이용정책 일부(‘24.7월 기준)사용자는 CLOVA X 서비스를 사용함에 있어 아래 의무를 부담합니다.① 사용자는 CLOVA X 서비스를 악의적으로 사용하는 것이 금지됩니다. 악의적 사용에는 아래와 같은 행위 및 이와 유사한 목적을 가진 행위가 포함되며, 아래 예시에 한정되지 아니합니다. 1. 불법적인 행위나 범죄 및 유해한 행동에 대한 콘텐츠 생성 • 아동 성적 학대 또는 착취와 관련된 콘텐츠 • 불법 약품(마약 등) 또는 상품(무기 등)의 판매를 조장/촉진 또는 이를 제조하는 방법에 대한 콘텐츠 • … 6. 악성코드 및 해킹, 공격, 서비스 어뷰징 코드 등의 생성 등 • 정보처리장치 등에 접근권한 없이 액세스하는 등 침입하거나… 8. 본인이나 타인의 민감정보, 고유식별정보 등 개인정보를 입력하거나 개인정보 및 사생활 침해를 야기할 수 있는 대화의 유도 및 콘텐츠 생성 - 29 -  AI 프라이버시 레드팀 구성·운영○AI개발자및서비스제공자는(가칭)AI프라이버시레드팀을구성·운영하여기획·개발시예상하지못한개인정보침해유형을시험‧ 확인하고,AI모델이배포된이후정보주체에미칠수있는유해한영향을최소화하는것이권장됨-(구성)내·외부전문가로구성될수있으나,독립성·객관성확보를위해외부전문가를포함하거나외부레드팀그룹과협업할수있음-(역할)악의적행위자에의한공격테스트외,일반적인AI이용과정에서발생할수있는개인정보유·노출,거짓정보생성등침해위험도주기적으로식별하고조치방안을마련하는것이바람직함 ※ 레드팀 테스트 결과 사회적 파급력이 큰 중대한 취약점 발견 시 관련 정부 부서와 공유하는 것이 바람직 정보주체 신고 방안 및 조치 방안 마련○부적절한답변에대한신고기능을갖추고,정보주체의의도에반하여AI출력물에생성된얼굴·목소리등의삭제요청(보호법제36조)에대비하여AI모델개발자,서비스제공자는조치방안을마련하여시행-(개발자)삭제요청수령시,①모델에투입된데이터에피해자의얼굴등의구성요소가존재하는지여부를확인하고,②존재할경우입력및출력필터링등보다용이하게취할수있는조치를먼저취하고,③종국적으로는해당데이터가삭제되도록기술적·경제적으로합리적인기간내에모델을업데이트-(서비스제공자)삭제요청수령시,①입력및출력필터링등서비스제공자가실행가능한경감조치를취하되,②가능한경우개발자에게삭제·정정요구를전달하고그결과를정보주체에게통보 자동화된 결정에 대한 개인정보처리자의 조치 기준 준수○AI시스템을활용하여이루어지는최종의사결정이보호법상자동화된결정에해당하는지여부를확인 ※ 「자동화된 결정에 대한 정보주체 권리안내서(‘24.9.26.)」의 ‘개인정보처리자를 위한 자동화된 결정 자율진단표’를 활용하여 스스로 확인 - 30 - ○자동화된결정에해당하는경우,개인정보위고시·안내서등을참고하여정보주체의△거부권,△설명요구권,△검토요구권보장방안을마련·이행정보주체 권리개인정보처리자 조치거부권▸ 자동화된 결정 적용 정지 또는 인적 개입에 의한 재처리 후 결과 고지설명 요구권▸ 자동화된 결정에 대한 간결하고 의미있는 설명을 제공 ※ 중대한 영향을 미치는 경우가 아닌 때에는 공개된 사항 등을 활용하여 설명검토 요구권▸ 제출한 의견 반영 여부 검토 등 조치 후 그 결과를 통지‣ (관련 법조항) 제37조의2, 자동화된 결정에 대한 개인정보처리자의 조치 기준(고시) 등‣ (관련 안내서) 자동화된 결정에 대한 정보주체의 권리 안내서(‘24.9.26.) 등 개인정보 영향평가 수행 고려○AI모델·시스템개발및제공시개인정보처리가수반되는경우개인정보영향평가수행을고려할수있음 ※ 의무 대상기관이 아님에도 불구하고 개인정보 보호법 제33조에 따라 영향평가를 수행하는 경우 개인정보 보호법 위반 과징금에 대해 1차 조정 금액의 최대 30%를 추가로 감경받을 수 있는 근거규정 마련·시행 중(개인정보 보호법 위반에 대한 과징금 부과기준 제10조 제2항, 2023.9.15. 제정)-특히,AI학습데이터에민감한정보가포함되어있을개연성이높거나대규모개인정보가포함되는경우*, * (예) ▲대규모 웹스크래핑 데이터 등을 활용해 기반모델을 구축·제공하는 경우 영향평가 수행이 바람직, ▲개인정보가 포함될 개연성이 낮은 소규모 데이터로 기반모델을 미세조정하는 경우 대규모 개인정보 처리로 보지 않을 수 있음-AI시스템운영이정보주체권리·의무에중대한영향을미칠것으로예상되는경우**영향평가를실시하는것이바람직 ** 정보주체의 권리·의무에 중대한 영향을 미치는지 여부를 판단할 때는 국내외 AI 규제 현황(EU AI ACT 및 국내 입법 동향 등) 등을 참고할 수 있음○영향평가는사전적인위험식별·경감을위해개인정보처리가이루어지기전에수행되는것이바람직하며,-요구되는데이터종류·규모의변경,최신AI기술의사용등이있을때추가적으로수행될수있음‣ (관련 법조항) 제33조 등‣ (관련 안내서) 개인정보 영향평가 수행 안내서(‘24.4.) 등 - 31 - 2 기술적 조치 학습데이터 전처리○(데이터최소화)학습데이터유출위험경감등을위하여AI개발과상당한관련성이없는정보는학습데이터에서제외하여이용·보관○(가명·익명화)AI모델의의도된용도,성능등을고려할때학습데이터를익명또는가명으로처리하여이용하여도충분한경우에는수집직후익명화·가명화하여이용및보관-개인정보보호법에서특별히보호하고있는주민등록번호와그밖의고유식별정보,유·노출시막대한경제적피해를야기할수있는계좌정보,신용카드정보등의경우AI학습전삭제하거나비식별화○(중복제거)암기리스크는학습데이터내동일문장·단어등이중복되는경우높아지는것으로알려져있어,신뢰할수있는기관에서배포한중복제거(de-duplication)데이터셋을이용하거나중복제거도구를직접적용하는방안을고려할수있음사 례AI 챗봇 개발 과정에서 데이터 전처리를 통한 개인정보 보호 노력 사례‣ AI 스타트업 A사는 한국어 대화가 가능한 챗봇 개발을 위해 자체적으로 수집한 일상대화 데이터를 가명처리하여 AI 모델 학습에 사용 - 가명처리 누락으로 인한 정보주체 피해를 최소화 하기 위해 개인정보 포함 가능성이 높은 동시에 한국어 대화 성능과 관련성이 낮은 알파벳 또는 숫자가 들어간 문장을 데이터셋에서 제외하거나, 특정 유형 데이터를 토큰으로 대치*하는 등의 노력을 기울임 * (예) 학습데이터 내 이메일 주소를 일괄적으로 [MAIL]로 변환 AI모델 학습시 합성데이터 사용 고려○합성데이터*는기술적으로생성된가상의데이터로,개인정보가포함된원본데이터를AI학습에직접사용하지않고도데이터에내재된경제적가치를안전하게활용할수있는강점을보유 * 합성데이터(synthetic data) : 특정 목적을 위해 원본데이터의 형식과 구조 및 통계적 분포 특성, 패턴을 학습하여 생성한 모의(simulated) 또는 가상(artificial) 데이터 - 32 - -합성데이터는적절하게생성된경우개인정보에대해요구되는법적제약없이활용가능한익명정보로볼수있음○합성데이터생성시실제데이터의구조적정보를최대한유지하여유용성을확보하면서도,원본데이터에포함된개인이식별되지않도록균형점을찾는것이중요‣ (관련 참고 자료) 합성데이터 생성 참조모델(‘24.5.30.), 데이터의 안전한 활용을 위한 합성데이터 생성·활용 안내서(’24.12.19.) 등 모델 미세조정을 통한 안전장치 추가○AI모델이사람의의도에부합하게안전하고바람직한답변을생성하도록지도학습기반미세조정(SupervisedFine-Tuning,SFT),사람피드백기반강화학습*(ReinforcementLearningwithHumanFeedback,RLHF)등의미세조정기법을고려할수있음 * 생성 AI가 생성한 답변에 대하여 사람이 피드백(보상 또는 벌)을 부여하고, 이를 추가 학습하여 안전하고 유용한 답변을 제공하도록 미세조정-다만,RLHF에소요되는막대한비용과사람의주관적편향성,기술적복잡성등에대한한계를보완하기위하여RLHF를대체하는방법론(예:DirectPreferenceOptimization;DPO)등이꾸준히연구되고있으므로,향후기술발전을고려해안전장치를확보하는것이바람직참고 미세조정 기법 예시17)￭ 파라미터 효율 미세조정(Parameter Efficient Fine-Tuning(PEFT)) - 사전학습된 모델 파라미터(매개변수)를 동결하고 소수의 파라미터를 의도된 용도에 맞게 미세조정하는 것으로 학습 비용과 시간을 최소화하는 방법￭ 지도학습 기반 미세조정(Supervised Fine-Tuning(SFT)) - 비지도학습으로 만들어진 생성AI를 지도학습적으로 미세조정하는 과정으로, 바람직한 답변을 생성하도록 미리 정제되거나 레이블링된 데이터를 추가 학습 ※ (예) 개인의 사생활을 묻는 프롬프트에 대하여 답변을 거부하는 내용의 답안을 학습시킴￭ 사람 피드백 기반 강화학습(Reinforcement Learning with Human Feedback(RLHF)) - 보상모델 생성(Reward Model Creation) : AI 모델이 생성한 출력물에 사람(라벨러)이 점수 또는 순위를 부여하고, 이를 토대로 보상모델을 훈련 ※ (예시) 개인의 사생활을 묻는 프롬프트에 대하여 사생활이 포함된 답변에는 (-1)의 보상을, 회피하는 답변에는 (+1)의 보상을 제공 - 정책 최적화(Policy Optimization): 보상모델을 사용하여 AI 모델의 정책을 최적화하는 단계로, 주로 정책 그라디언트 강화학습 알고리즘인 PPO(Proximal Policy Optimization)을 활용하여 미세조정 - 33 -  입력 및 출력 필터링 적용○(입력필터링)이용자가프롬프트입력을통해개인을프로파일링하거나사생활침해우려가큰답변생성을유도하는경우,이에대한답변생성을거절하거나프롬프트의맥락·취지에따라미리정해진답변을제공하는등의방식을고려 ※ 다만, 탈옥(jailbreaking) 등의 리스크가 잔존할 수 있음○(출력필터링)AI모델이생성하는출력물에서개인정보가노출,생성되지않도록감지·제거하는필터기술을적용사 례부적절한 이용자 프롬프트에 대한 필터 사례 ※ GPT-4 기반의 ChatGPT에 가상의 주민등록번호를 입력하여 출력된 결과물임※ (참고) 생성모델 오용으로 인한 개인정보 침해와 입력 및 출력 필터링 특정 단어나 위법한 의도를 가진 프롬프트를 필터링하는 방식도 검토되고 있으나, 기만수단 등으로 사용되는 콘텐츠는 그 내용보다는 활용 맥락이 문제되는 경우가 많으므로 필터링만으로 기만행위 등에 완벽히 대응하기에는 한계가 있음 그러나, 선거 후보, 유명 인사 등 빈번하게 피사칭되는 자의 구체적인 요청이 있는 경우에는 필터링을 통하여 기만적 사용을 일정 수준 감소시킬 수 있음17) SPRi 이슈리포트 IS-158, “초거대언어모델의 부상과 주요이슈” (2023.2.) - 34 -  차분 프라이버시 기법의 적용 ○ 차분 프라이버시기법이적용되는AI 모델은경사도에잡음(noise)을섞는학습을통해공격자가출력값을기반으로훈련데이터등입력데이터를유추하는공격을예방 ※ 다만, 차분프라이버시 기법이 모든 AI 모델에 효용이 있는 것은 아니며 데이터 효용과 상충관계가 존재할 수 있으므로, 유·노출 리스크가 현존하는지 등 적정성 검토 후 적용○머신러닝에널리사용되는차분프라이버시알고리즘으로는DP-SGD가있으며,최근DP-FTRL등개선된알고리즘도사용되고있음참고 차분프라이버시 개념￭ 특정 데이터베이스에 잡음(noise)을 추가하여 개별 데이터의 정보를 보호하면서도 유의미한 통계적 쿼리는 유지되도록 하는 기법 - 프라이버시 매개변수 의 값에 따라 프라이버시 보호 수준과 통계 결과의 정확도 사이의 트레이드 오프*가 존재하여 적절한  값을 설정하는 것이 중요 * 이 작을수록 프라이버시 보호수준↑, 이 클수록 통계결과의 정확성↑< 차분 프라이버시 개념 >< MS-하버드, 차분 프라이버시 오픈소스 플랫폼 > ※ 출처: Oracle AI & Data Science Blog(2019.10.) ※ 출처: Microsoft Open Source Blog(2020.5.)사 례머신러닝에 적용되는 차분프라이버시 알고리즘 예시DP-SGD18)(DP-Stochastic Gradient Descent)￭ 작은 크기로 구성된 입력 데이터의 분할 집합(Mini-Batch)마다 각 가중치를 구하고 최대 기울기 제한(Clip Gradient), 통계 기반의 노이즈(Gaussian Noise)를 추가하는 방식으로 차분 프라이버시 기법을 적용하여 학습을 진행DP-FTRL19)(DP-Follow The Regularized Leader)￭ 데이터의 분할 집합(Mini-Batch)의 기울기의 합에 노이즈를 추가하기 위해 트리 집계 트릭(Tree aggregation trick)을 사용하여 독립적인 노이즈가 아닌 시간 단계에 걸쳐 상관관계가 있는 노이즈를 추가 - DP-SGD 방식과 달리 샘플링, 셔플링에 의한 프라이버시 증폭에 의존하지 않아 보다 비용 절감, 활용성 등이 개선18) 개인정보보호위원회 개인정보 기술포럼, AI PET 보고서, 2024.1.19) Peter Kairouz, Brendan Mcmahan, Shuang Song, Om Thakkar, Abhradeep Thakurta, and Zheng Xu. - 35 -  출처 데이터 추적 및 합성콘텐츠 탐지 방안 마련○합성콘텐츠오용으로인한피해를예방하기위해합성콘텐츠의메타데이터*를기록하는등출처데이터를추적하는방식,합성콘텐츠를기술적방식등을통해구별및인지하는방식이제안됨20) * (메타데이터) 데이터에 대한 속성 정보로서, 콘텐츠의 생성시간, 위치, 내용, 작성자, 권리 조건, 이용 내력 등과 관련한 기록구분 주요 내용출처데이터추적￭ (정의) 생성된 디지털 콘텐츠의 출처와 이력을 기록￭ (효과) 생성 콘텐츠의 진위 여부를 판단하여 진위성, 무결성 및 신뢰성 확립에 기여￭ (한계) 조작 가능성 및 내구성 문제(외부 공격으로 인한 제거, 변경 등), 프라이버시 침해 소지(출처 및 사용자 정보 저장) 등￭ (종류) 메타데이터 기록, 디지털 워터마킹(가시성/비가시성)합성콘텐츠탐지￭ (정의) 특정 콘텐츠의 합성 여부 분류에 사용되는 기술, 방법 및 도구￭ (효과) 디지털 워터마크와 같은 출처 정보 존재 감지 등을 통해 AI에 의한 콘텐츠 생성 및 조작 여부 판단에 기여￭ (한계) 부분적인 합성콘텐츠인 경우 합성 여부에 대한 판단이 주관적일 수 있고, 기술적 탐지의 불완전성으로 인해 인간의 검토 필요￭ (종류) 자동화된 콘텐츠 기반 탐지, 출처데이터 탐지, 인간 보조 탐지 생체정보 활용시 가명·익명처리 기술 적용○영상정보,비디오,음성등에다양한가명·익명처리기술을적용하여데이터처리의안전성을높일수있음사 례영상정보 가명처리 기술 예시21)이미지 필터링￭ 원본 이미지의 픽셀 행렬값을 다른 값으로 변형하여 데이터 주체를 알아볼 수 없도록 하는 기법 ※ ex) 이미지 블러링, 이미지 픽셀화, 이미지 마스킹 등이미지 암호화￭ 원본 이미지의 일부를 암호화하여 복호화하지 않고서는 데이터 주체를 알아볼 수 없도록 하는 기법 ※ ex) 이산코사인변환 기반 암호화, 픽셀 위치 기반 암호화 등인페인팅￭ 영상 내 개인 식별 영역을 제거한 후 다른 물체 또는 배경으로 대체하여 신원을 보호하는 기술 ※ ex) 패치 기반 인페인팅 기술, 객체 기반 인페인팅 기술 등‣ (관련 안내서) 가명정보 처리 가이드라인(‘24.2., 개인정보위), 보건의료 데이터 활용 가이드라인(’24.2., 보건복지부, 개인정보위) 등Practical and private (deep) learning without sampling or shuffing. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, volume 139 of Proceedings of Machine Learning Research, pages 5213–5225. PMLR, 18–24 Jul 202120) NIST, "Reducing Risks Posed by Synthetic Content, An Overview of Technical Approaches to Digital Content Transparency, NIST AI 100-4", Nov 202421) 개인정보보호위원회, 가명정보 처리 가이드라인, 2024.2. - 36 - Ⅴ. AI 프라이버시 리스크 관리 체계1 AI 프라이버시 거버넌스 구축◇ AI 기업·기관 등은 AI 프라이버시 리스크 관리를 위해 개인정보보호책임자(CPO) 중심의 내부 거버넌스 체계를 정비·마련하는 것이 바람직함○(CPO의 역할)효과적인리스크관리는조직의사업적요구사항뿐만아니라규제및사회적요구사항을종합적으로이해하고있는개인정보보호책임자(CPO)의역할이중요-특히AI환경에서는개인정보보호,AI거버넌스,사이버보안,안전및신뢰등디지털거버넌스22)의하위요소가상호연관됨에따라CPO의책임과권한이확장될것으로전망-CPO는AI프라이버시리스크평가·관리에대한의지를표명하고,보다포괄적인디지털거버넌스와통합될수있도록노력함으로써응집력있는관리체계를구현할수있음【 개인정보 보호법상 CPO 제도 (法제31조) 】◈ CPO 제도는 개인정보 관련 법규 준수, 오남용 방지 등 개인정보처리자의 개인정보 보호 활동을 촉진하고 책임을 부과하는 규제 장치임▸ (CPO의 정의) 개인정보 처리에 관한 업무를 총괄하여 책임지는 자▸ (CPO 지정 의무) 소상공인을 제외한 개인정보처리자는 CPO를 지정해야 함○(담당조직 구성)CPO등을중심으로구성할수있으며,적절한부서및개인에게권한과책임을부여해야함-담당조직의규모·구성등은개별여건에따라자율적으로결정할수있으며,CPO중심의개인정보보호부서를이미구성·운영중인경우에는해당부서에서역할을담당*할수있음 * 다만, AI 사업 기획·전략 조직 등 AI 전문성을 갖춘 부서, 담당자와 긴밀히 협력할 필요-리스크에대한다각적,전문적평가가가능하도록다양한분야및층위의담당자로구성하는것이바람직22) 조직의 ‘디지털 거버넌스’란 디지털 기술과 관련된 사회기술, 전략, 규제 영역에 대한 조직의 접근 방식(역할, 책임 등)을 설정하는 구조와 프레임워크를 의미 디지털 거버넌스는 ▴개인정보·데이터 보호, ▴AI 거버넌스, ▴사이버보안, ▴콘텐츠 중재, ▴온라인 안전, ▴플랫폼 책임, ▴디지털 접근성, ▴데이터 거버넌스 및 윤리, ▴저작권, ▴무역, ▴법 집행 및 국가 안보, ▴경쟁, ▴제3자 관리, ▴시민권과 관련된 거버넌스 요구 사항을 포함할 수 있음 (IAPP, “Organizational Digital Governance Report 2024”, '24.9.) - 37 - 【 담당조직의 역할 설정 예시 】◈ 다양한 산업 분야에서 채택되는 위험관리 모델인 “3차 방어선(3LoD; 3 Lines of Defence) 모델”을 AI 프라이버시 거버넌스에 적용하는 방안 고려 가능▸ (1층위) AI 제품·서비스를 직접 다루는 사업부에서 리스크의 식별·평가·경감 등 일상적 운영을 수행함으로써 1차 방어선 역할을 수행▸ (2층위) AI 프라이버시 담당조직이 사업부를 지원하여 리스크 관리 및 규정준수 관련 전문지식 제공, 감독 역할을 수행함으로써 2차 방어선 역할을 수행▸ (3층위) 내부 감사팀이 1·2층위의 효과성을 객관적, 독립적으로 평가하고 이사회 또는 감사위원회에 보고함으로써 3차 방어선 역할 수행○ (정책 마련) 본모델등을참고하여AI프라이버시리스크를평가·관리하는정책을마련해문서화하고,담당조직을중심으로이행-정책에는리스크평가·관리의원칙및절차,지속적이행계획,결과의문서화,최고책임자에대한보고등구조화된의사결정과정,이해관계자와의소통방안등이포함될수있음【 정책 주요 내용의 예시 】▸ (지속적 이행) 추가 학습, 중대한 기술적 변경, 관련 규제 변화, 침해 발생 등이 있을 때 리스크를 재평가하고 안전조치를 보완하는 등 지속적 이행 계획 구체화▸ (결과의 문서화) 리스크 평가·관리의 결과를 일관성있게 기록하여 모니터링▸ (의사결정 과정) 각 부서·담당자별 책임과 권한, 부서간 의사소통 및 상부 보고 프로세스, 경영진의 최종 의사결정에 대한 책임 등 규정▸ (이해관계자 소통) 리스크 평가·관리 절차 및 결과를 책임있는 부서 등에 공유, 정보주체 등 AI 개발·이용의 영향을 받는 외부 이해관계자의 의견을 수렴2 AI 가치망 내 참여자와의 협력◇ AI 가치망의 다양한 참여자간 상호의존적 활동을 인지하고 당해 기업·기관의 역할 및 타 기업·기관과의 협력체계를 구체화하는 것이 바람직○(기업·기관의 영역 이해)AI모델·시스템개발범위(직접개발,오픈소스및API이용등)등을기반으로당해기업·기관의권한,역할등을정의 ※ 각 기업·기관은 AI 데이터 처리에 관여하고 영향력을 행사할 수 있는 권한 내에서 리스크 평가 및 경감, 정보주체 권리보장에 대한 책임을 부담 - 38 - ○(타 기업·기관과의 협력)프라이버시리스크변화에지속대응하고,정보주체의권리행사를효과적으로보장하기위해협력체계를구축-각기업·기관의협력체계는계약,라이센스등문서화된형태로명시하여책임있는역할분담을보장【 AI 가치망 내 참여자간 역할분담 예시 】➊ 범용모델 개발·제공자 ✓ 범용모델 학습 과정에서 초래되는 리스크, 범용모델의 의도된 용례에 따라 서비스 제공 과정에서 발생할 수 있는 리스크를 합리적인 범위 내에서 예견하여 경감 ✓ 학습단계에서 인지하지 못했던 리스크를 출시 이후 인지하게 될 경우 조치 ① (오픈소스) 모델 배포 플랫폼(Hugging Face 등) 등을 통해 해당 리스크를 공지하고, 기술적·경제적으로 합리적인 기간 내에 모델을 업데이트하여 재배포, 이전 모델 비활성화 ② (클로즈드 소스) 입력·출력 필터링 등 좀 더 용이하게 취할 수 있는 조치를 먼저 취하고, 기술적·경제적으로 합리적인 기간 내에 모델을 업데이트하여 제공, 이전 모델 비활성화 ✓ 범용모델 이용사업자의 책임있는 이용환경 조성 ① (오픈소스) 프라이버시를 고려한 이용방법, 조건 등을 명시한 오픈소스 라이선스 약관을 수립·배포 ② (클로즈드 소스) 프라이버시 보호를 준수하도록 계약상 의무를 부과하고 상세한 사용지침, 기술문서 등을 제공할 수 있음 ✓ 범용모델 이용사업자로부터 정보주체의 권리행사 요청을 전달받을 경우 당해 기업·기관의 책임과 권한을 확인하고 협력할 수 있도록 노력➋ 범용모델 이용사업자 (AI 응용 서비스 제공자, 스타트업 등) ✓ 모델카드 등을 통해 범용모델 개발·제공자가 적용한 리스크 경감조치 등을 검토하는 등 안전성이 확보된 범용모델을 활용하기 위해 노력 ✓ 미세조정 등을 위해 추가로 투입한 데이터에 대해 리스크를 관리하고, 서비스의 의도된 용례 등에 따라 리스크를 경감 ✓ 범용모델 개발·제공자가 배포 이후 발견된 리스크를 공지할 경우, 추가적인 리스크 경감조치를 검토·시행하고 모델 버전의 최신 업데이트를 유지 ✓ 범용모델 이용 과정 중 발생한 개인정보 침해사고, 리스크와 관련하여 범용모델 개발·제공자의 조치가 필요하다고 판단될 경우 관련 사실 공유 및 협력 요청 ✓ 서비스 출시 이후 삭제·정정 요구 등 정보주체의 권리행사 요청을 수령할 경우, 서비스 제공자가 취할 수 있는 우선 조치를 취하고, 가능한 한에서 범용모델 개발·제공자에게 관련 요구를 전달 - 39 - 부록1 AI 프라이버시 리스크 자율평가 항목【 자율평가 항목 안내사항 】1. 이하 자율평가 항목은 AI 모델·시스템 개발 및 제공자가 AI 모델·시스템의 프라이버시 리스크를 관리하기 위해 자율적으로 활용할 수 있는 점검 항목임 - 「개인정보 보호법」의 모든 규율사항을 망라하고 있는 것은 아니며, 본 모델 내용 및 관련 국제 논의 등을 중심으로 작성됨 - 따라서 동 자율평가 항목에 포함되지 않은 개인정보 보호법 규율사항은 별도로 확인하는 등 개별 상황에 따라 평가 항목을 수정·보완하여 사용3. 자율평가 항목은 안전성 확보를 위한 최선의 노력을 다하였을 때 AI 모델·시스템 개발자 및 제공자가 법령을 준수했는지 여부에 관한 기준으로 참고될 수 있으나, 법위반 사실을 인정하거나 행정제재를 발령·가중하는 근거로 사용될 수 없음4. 자율평가 항목은 지난 ‘21년 발표된 ’인공지능(AI) 개인정보보호 자율점검표(‘21.5.31.)’를 개인정보 보호법 개정 사항 및 본 모델 내용을 반영해 수정·보완한 것으로, 향후 관련 법·제도·기술 발전에 따라 지속 수정될 수 있음구분 점검 항목 기획·설계 ① AI 모델·시스템 기획·개발시 PbD 원칙을 적용하여 개인정보 침해위험을 분석하고 제거하였는가? (법§3⑥)1￭ 개별 AI의 유형과 구체적 용례를 파악하였는가? ※ AI의 프라이버시 리스크는 사용의 맥락(context)에 따라 달라지므로 일정한 분류체계 下 개별 AI의 유형·용례를 파악할 필요 2 ￭ 개별 AI의 용례와 유형에 대응하는 프라이버시 리스크를 식별(mapping)하였는가?구분프라이버시 리스크기획·개발￭ 학습데이터 수집·이용·보관 과정에서의 개인정보 침해￭ AI 가치망 복잡성으로 인한 정보주체 권리 약화서비스제공생성 AI￭ 개인정보 암기 및 노출￭ 합성콘텐츠로 인한 정보주체 권리 침해(얼굴·목소리 도용 등)판별AI사람의 평가/분류￭ 자동화된 결정으로 인한 정보주체 권리 약화추천 시스템￭ 정보주체 식별 및 민감정보 추론 위협사실의 인지￭ 대중감시/프로파일링 위협 <AI 용례에 대응하는 리스크 맵핑 예시> ※ 구체적인 유형화 방식 및 리스크의 식별은 각 개발자와 서비스 제공자가 각자의 용례에 따라 자율적으로 결정 - 40 - 3 ￭ 적절한 지표 및 측정 도구를 선택하여 리스크의 발생확률, 리스크가 실현되었을 때 조직·개인·사회에 미치는 결과의 중대성 등을 정량적·정성적으로 평가하였는가?구분 내용학습데이터 암기 및 유노출 위험생성으로의 활용이 의도된 모델·시스템의 경우 식별자(특히 고유식별정보)와 민감정보를 중심으로 암기와 재현의 빈도를 측정하고 해당 정보의 민감도를 맥락에 따라 정성적으로 평가합성매체의 얼굴/목소리 등 개인정보 도용정성적으로 평가하되, 가능한 경우 이미지 식별 정밀도(IIP) 등 적절한 측도를 선정하여 정량적으로 평가프로파일링트래킹되는 행태정보로부터의 개인의 추론가능성을 프라이버시 보호모델(k-anonymity, l-diversity, t-proximity 등) 등으로 측정 <리스크 측정 방안 예시> ※ 위 표는 예시에 불과하며 각자의 용례에 따라 평가※ 국제기구(OECD 등), AI 안전연구소(미국, 영국, 일본, 한국 등)에서 제공하는 AI 안전성 평가 도구, 방법론 등을 참고할 수 있음4￭ 정량적·정성적 평가 결과를 바탕으로 리스크의 수용 가능 여부, 우선순위를 파악하였는가? ※ 리스크의 수용 가능 여부 및 우선순위에 대한 판단은 보호법 등 관련 법률 및 규제현황, 사용되는 데이터의 민감성, 조직의 목표·문화·자원 등 경영환경, 기술 환경 등을 기반으로 이루어질 수 있음 5￭ 리스크의 식별·측정 경과에 따라 개인정보 침해 요인을 제거, 최소화하기위한 기술적*, 관리적** 안전조치를 검토하여 기획·설계에 반영하였는가? * ▲학습데이터 전처리(데이터 최소화, 가명·익명화, 중복제거 등), ▲합성데이터 사용 고려, ▲모델 미세조정을 통한 안전장치 추가, ▲입력 및 출력 필터링 적용, ▲차분 프라이버시 기법의 적용, ▲출처 데이터 추적 및 합성콘텐츠 탐지, ▲생체정보 활용시 가명·익명화 등 ** 관리적 안전조치의 예시는 이하 점검항목에 포함되어 있음② AI 개발·운영 과정에서 정보주체의 개인정보 침해가 우려되는 경우 개인정보 영향평가를 검토·수행하는가?1￭ 의무대상(법§33, 영§35)에 해당하는 공공기관인 경우 영향평가를 수행하였는가? ※ (영향평가 의무대상) 법 제2조 제6호에 따른 공공기관에서 운용하는 개인정보파일 중 그 규모가 “5만명 이상의 민감정보·고유식별정보, 50만명 이상의 시스템 연계, 100만명 이상 개인정보” 이거나, 영향평가 이후 운용 체계를 변경하려는 경우 등(영§35) 2￭ 민간사업자 등 의무대상이 아니더라도 서비스에 따른 개인정보 침해가 우려되는 경우 개인정보 영향평가 수행을 고려하였는가?(법§33⑧) ※ AI 기술을 적용함에 따라 개인정보 처리방식에 중대한 변화가 발생하거나 개인정보와 관련된 AI 서비스를 신규 개발하는 경우 영향평가 수행·개선을 통해 침해위험 수준을 낮출 수 있음 ※ 의무 대상기관이 아님에도 개인정보보호법 제33조에 따라 영향평가를 수행한 경우 보호법 위반 시 부과되는 과징금에 대해 1차 조정 금액의 최대 30%를 추가로 감경받을 수 있음 - 41 - 개인정보 수집 ③ 수집되는 개인정보의 항목 및 수집근거를 검토·관리하는가?1￭ 학습데이터 수집 출처별로 개인정보 수집의 적법성을 확보했는지 판단하고 출처·이력을 문서화하는 등 관리하고 있는가? 2￭ 개인정보보호위원회와 한국인터넷진흥원의 ‘개인정보 노출 및 불법유통 탐지·삭제’ 사업*을 통해 식별된 도메인 정보(URL)는 AI 학습데이터 수집 출처에서 배제하였는가? * 공공·민간 홈페이지를 대상으로 주민등록번호, 여권번호, 운전면허정보, 계좌정보 등 9개 항목의 개인정보 노출 및 불법유통 탐지·삭제 3￭ 최소 수집, 목적 명확화 등 개인정보 보호법 원칙을 고려하여 학습데이터 수집·전처리·이용 기준을 미리 정하고, 이를 개인정보 처리방침, 기술문서, FAQ 등에 공개하고 있는가? ※ AI 시스템 개발에 필요한 데이터 양(volume), 범주(민감정보, 행태정보 등) 등을 고려하여, 개인정보의 주요 수집 출처, 수집 방법, 최소품질기준, 안전성 확보 조치 방안 등 포함4￭ 서비스 제공 단계에서 수집되는 데이터 항목별로 적법성을 파악하고 출처·이력을 문서화하는 등 관리하고 있는가?④ AI 개발·운영을 위하여 정보주체로부터 개인정보의 수집 동의를 받는 경우, 동의 방법은 적법한가?1￭ AI 개발·운영을 위하여 정보주체로부터 개인정보의 수집 동의를 받는 경우, 동의 방법은 적법한가? ※ 특히, ▲민감정보,고유식별정보 처리 시 다른 개인정보의 처리에 대한 동의와 별도로 동의를 받아 처리하는지(법§23, 법§24), ▲만 14세 미만 아동의 개인정보 처리 시 법정대리인의 동의를 받고 있는지(법 §22조의2) 확인 필요⑤ AI 개발·운영에 활용할 목적으로 동의를 받지 않고 개인정보를 수집하려는 경우, 법에서 허용하는 근거에 해당하는지 판단하였는가? 1￭ 정보주체의 동의 없이도 개인정보를 수집할 수 있는 사유에 해당하는가?- 법률에 특별한 규정 또는 법령상 의무 준수를 위해 불가피한 경우(법§15①2)- 공공기관이 법령 등에서 정하는 소관 업무의 수행을 위하여 불가피한 경우(법§15①3)- 정보주체와의 계약의 체결·이행을 위하여 불가피하게 필요한 경우(법§15①4)- 명백히 정보주체 또는 제3자의 급박한 생명, 신체, 재산의 이익을 위하여 필요하다고 인정되는 경우(법§15①5)- 개인정보처리자의 정당한 이익을 달성하기 위하여 필요한 경우로서 명백하게 정보주체의 권리보다 우선하는 경우(법§15①6) - 42 - 개인정보 이용·제공 ⑥ AI 개발·운영 全 과정에서 개인정보 이용과 제3자 제공은 당초 수집 목적에 부합하는가? 만약, 목적 외 이용·제공인 경우 별도의 적법한 근거가 있는가?1￭ 당초 개인정보를 수집한 목적 범위에 해당하는가?(법§15,§17) ※ 개인정보는 정보주체의 동의, 계약체결·이행, 정당한 이익 등 수집한 목적 범위 내에서 이용·제공할 수 있음 2￭ 당초 수집 목적과 합리적으로 관련되어 추가적 동의 없이 이용·제공 가능한가? (법§15③,§17④) ※ 당초 수집 목적과 관련성, 예측 가능성, 정보주체의 이익 침해 여부, 안전성 확보 등 시행령 제14조의2에 따른 사항을 종합적으로 고려하여 판단 ※ 이 경우 개인정보처리자는 고려사항에 대한 판단 기준을 개인정보처리방침에 미리 공개하고, 개인정보 보호책임자가 해당 기준에 따라 개인정보의 추가적 이용·제공을 하는지 여부를 점검해야 함3￭ 목적 외 이용·제공인 경우 별도의 적법한 근거가 있는가?(법§18②) ※ 정보주체로부터 별도의 동의를 받은 경우, 다른 법률에 특별한 규정이 있는 경우, 명백히 정보주체 또는 제3자의 급박한 생명·신체·재산의 이익을 위하여 필요하다고 인정되는 경우 등 4￭ AI 개발·운영 등을 위해 정보주체의 동의 없이 개인정보를 가명처리하여 활용하는 경우 법령에서 허용한 목적(통계작성, 과학적 연구, 공익적 기론보존) 및 기준에 부합하는가?(법 §28조의2 등) ※ 일반적으로 AI 기술개발(모델링·학습·시험 등)에는 과학적 방법이 적용되므로 과학적 영구에 해당할 수 있으나, AI 관련 서비스 운영 자체를 과학적 연구로 보기는 어려움 - 다만, 서비스 운영 시 기능 개선, 알고리즘 고도화 등을 위해 기술개발·실증 등 과학적 방법을 적용하는 경우는 과학적 연구에 해당할 수 있음 개인정보 보관·파기 ⑦ AI 개발·운영에 이용되는 개인정보는 접근통제, 접근권한 제한 등의 조치를 통해 안전하게 보관·관리하는가? ※ AI 개발·운영에 이용되는 데이터의 성격(구성·배열 방식 등)에 따라 전통적인 개인정보파일을 전제로 하는 안전조치의무 조항(법§29)을 그대로 적용하기는 어려울 수 있으나, 동 조항의 취지·목적을 참고해 AI 환경에 적합한 안전조치를 마련·시행하는 것이 바람직함 - (예) AI 학습을 위한 웹스크래핑 데이터 등에 대해서는 「인공지능(AI) 개발·서비스를 위한 공개된 개인정보 처리 안내서의 안전조치」를 참고할 수 있음1￭ 개인정보에 대한 접근통제, 접근권한 제한, 접속기록 관리 등의 조치를 취하고 있는가?(법§29, 영§30)2￭ 보안프로그램 설치, 보관시설의 물리적 보안장치 마련 등을 조치하는가?(법§29, 영§30) - 43 - ⑧ AI 개발·운영 종료 등으로 개인정보가 불필요하게 되었을 때에는 지체없이 파기하고 있는가?1￭ 불필요하게 된 개인정보는 지체없이 복원이 불가능한 방법으로 안전하게 파기하는가?(법§21, 영§16)2￭ 다른 법령에서 일정기간 보관을 의무화하여 보존하는 경우 다른 개인정보와 분리하여 보관하는가?(법§21) AI서비스 관리·감독(상시) ⑨ AI 프라이버시 리스크 평가·관리를 위해 개인정보보호책임자(CPO) 등을 중심으로 한 내부 거버넌스 체계를 정비·마련했는가?1￭ AI 환경에서의 개인정보보호책임자(CPO)의 권한과 책임을 규정하였는가? ※ AI 환경에서는 개인정보 보호, AI 거버넌스, 사이버보안, 안전 및 신뢰 등 디지털 거버넌스의 하위 요소가 상호 연관됨에 따라 CPO의 책임과 권한이 확장될 것으로 전망 ※ CPO는 AI 프라이버시 리스크 평가·관리에 대한 의지를 표명하고, 보다 포괄적인 디지털 거버넌스와 통합될 수 있도록 노력함으로써 응집력있는 관리체계를 구현할 수 있음2￭ CPO 등을 중심으로 AI 프라이버시 담당 조직을 구성하고, 적절한 부서 및 개인에게 권한과 책임을 부여했는가? ※ 담당조직의 규모·구성 등은 개별 여건에 따라 자율적으로 결정할 수 있음 ※ 리스크에 대한 다각적, 전문적 평가가 가능하도록 다양한 분야 및 층위의 담당자로 구성하는 것이 바람직 3￭ AI 프라이버시 리스크를 평가·관리하는 정책을 마련해 문서화하고, 담당조직을 중심으로 이행하는가? ※ 정책에는 리스크 평가·관리의 원칙 및 절차, 지속적 이행 계획, 결과의 문서화, 최고 책임자에 대한 보고 등 구조화된 의사결정 과정, 이해관계자와의 소통 방안 등이 포함될 수 있음 ※ AI 프라이버시 리스크 평가·관리 정책은 개인정보의 안전한 처리를 위한 내부 관리계획(법§29, 영§30)에 반영하여 실행할 수 있음⑩ AI 가치망 전반에서의 다양한 참여자간 상호의존적 활동을 인지하고 당해 기업·기관의 역할 및 타 기업·기관과의 협력체계를 구체화하였는가?1￭ AI 모델·시스템 개발 범위(직접 개발, 오픈소스 및 API 이용 등) 등을 기반으로 당해 기업·기관의 권한, 역할 등을 정의하였는가? ※ 각 기업·기관은 AI 데이터 처리에 관여하고 영향력을 행사할 수 있는 권한 내에서 리스크 평가 및 경감, 정보주체 권리보장에 대한 책임을 부담2￭ 프라이버시 리스크 변화에 지속 대응하고, 정보주체의 권리행사를 효과적으로 보장하기 위해 타 협력체계를 구축하였는가? ※ 각 기업·기관의 협력체계는 계약, 라이센스 등 문서화된 형태로 명시하여 책임있는 역할 분담을 보장 - 44 - ⑪ AI 개발·운영에 수반되는 개인정보처리 위탁, 개인정보의 국외이전 해당여부를 검토하고 개인정보 보호법 관련 규정을 준수하였는가?1￭ 개인정보처리 위탁의 경우 개인정보 보호법 제26조 등에 따른 규정을 준수하였는가? ※ 위탁 목적 외 개인정보의 처리 금지, 기술적·관리적 보호조치, 위탁업무의 목적 및 범위 등을 포함한 문서로써 업무를 위탁하고, 위탁자는 개인정보처리방침 등을 통해 위탁사실과 관련된 내용을 정보주체에게 공개 등2￭ 개인정보처리 위탁의 경우 개인정보 보호법 제28조의8 등에 따른 규정을 준수하였는가? ※ 정보주체와의 계약의 체결·이행을 위해 개인정보의 처리위탁·보관이 필요한 경우로서 국외이전과 관련한 사항을 개인정보처리방침에 공개한 경우, 정보주체로부터 별도의 동의를 받은 경우 등 국외이전의 적법근거 확인 등⑫ 허용되는 이용 방침(Acceptable Use Policy; AUP)을 작성·공개하고 있는가?1￭ 생성AI의 예견 가능한 오용을 열거하고 해당 목적의 사용을 금지하는 이용방침을 작성하여 공개함으로써 오용을 방지하고 있는가?⑬ AI 프라이버시 레드팀을 구성·운영하고 있는가?1￭ (가칭)AI 프라이버시 레드팀을 구성·운영하여 기획·개발 시 예상하지 못한 개인정보 침해 유형을 시험‧확인하고, AI 모델이 배포된 이후 정보주체에 미칠 수 있는 유해한 영향을 최소화하고 있는가? AI 서비스 이용자 보호 및 피해구제 ⑭ AI 개발·운영 시 개인정보처리에 관한 구체적 사항을 개인정보처리방침에 포함·작성하여 홈페이지 등에 공개하는가?1￭ 개인정보처리방침에 의무적 수록사항을 포함하였는가?(법§30,영§31)2￭ 수정·변경된 개인정보처리방침을 지속적으로 인터넷 홈페이지 등에 공개하는가?(법§30, 영§31)⑮ 자동화된 결정에 대한 개인정보처리자의 법령상 의무를 이행하기 위한 절차를 구축·이행하는가?(법§37의2)1￭ AI 시스템을 활용하여 이루어지는 최종 의사결정이 보호법상 자동화된 결정에 해당하는지 여부를 확인하였는가? ※ 「자동화된 결정에 대한 정보주체 권리안내서(‘24.9.26.)」의 ’개인정보처리자를 위한 자동화된 결정 자율진단표‘를 활용하여 스스로 확인2￭ 자동화된 결정에 해당하는 경우, 정보주체의 거부권, 설명 요구권, 검토요구권 보장 방안을 마련하여 이행하고 있는가? ※ (거부권) 자동화된 결정 적용 정지 또는 인적 개인에 의한 재처리 후 결과 고지(설명요구권) 자동화된 결정에 대한 간결하고 의미있는 설명을 제공(검토요구권) 제출한 의견 반영 여부 검토 등 조치 후 그 결과를 통지 - 45 - ⑯ AI 서비스에서 처리되는 개인정보에 대한 열람·정정·삭제·처리정지 등 정보주체의 권리행사 요구에 대한 처리절차를 마련하여 이행하는가? 1￭ 개인정보의 열람, 정정·삭제, 처리정지 등에 대한 구체적 방법·절차를 마련하여 이행하는가?(법§35, §36, §37) ※ AI 개발자 및 서비스 제공자는 정보주체의 개인정보 열람, 정정·삭제 등 권리행사에 대하여 시간, 비용, 기술을 합리적으로 고려한 범위 내에서 보장하기 위해 노력해야 함 ※ 특히, AI 결과값에 개인정보가 포함되는 경우 AI 개발자 및 서비스 제공자는 정보주체 요구에 따라 신속하게 필터링, 미세조정 등 안전조치를 취하여 개인정보 침해 위험을 최소화하고, 이후 AI 모델 재학습시 배제하는 것이 바람직함2￭ AI 가치망 참여자간 정보주체 권리 행사에 응하기 위한 협력체계를 구축하였는가?⑰ AI 서비스 운영과정에서 개인정보 유출 시 정보주체 통지, 유출신고, 피해구제 지원 등에 관한 대응절차를 마련하여 이행하는가?1￭ 개인정보 유출 대응 매뉴얼을 작성하고 이행하는가?구분신고대상(유출건수) 및 시기 등개인정보처리자· 1천명 이상 유출 시 지체없이(5일 이내) 정보주체에게 통지, 조치결과를 개인정보위·KISA에 신고· 관련 규정 : 법§34, §39의4, §48의42￭ 개인정보 유출 사실을 알게 된 경우 지체 없이 해당 정보주체에게 관련 사실을 알리고 필요한 조치를 하기 위한 준비가 되어 있는가? - 46 - 부록2언어모델(LLM) 대상 프라이버시 리스크 경감기술의 유형 및 효과 ◈ 개인정보보호위원회는 한국어 거대언어모델(LLM)을 대상으로 다양한 프라이버시 리스크 경감기술의 유형별 효과를 분석하기 위해 정책연구를 수행하였음 ※ (연구명) ’생성형 AI 관련 프라이버시 리스크 경감기술 평가연구‘, (연구기간) ’24.5.~‘24.10.(연구기관) (주)제이씨레이다(이철희 대표 등), 경북대학교(정희철 교수 등) - (의의) 선행연구가 부족한 한국어 LLM 모델 대상 프라이버시 경감기술의 효과성을 실증함으로써 과학에 기반한 AI 프라이버시 리스크 관리 정책·제도 토대 마련 - (한계) 한정된 컴퓨팅 자원(GPU)·예산 등으로 실험조건 및 연구범위가 제약된 한계 → 본 연구결과의 일반적 적용에 한계가 있고, 후속 연구를 통한 보완 필요 1. 실험 조건○(LLM모델선정)백본모델의다양성,매개변수(50억~130억개),이용정도(다운로드수)등을고려하여한국어LLM모델4개선정연 번한국어 모델 제공 기관(자) 모델명(공개 일자) 백본 모델 (기관)파라미터1업스테이지SOLAR-10.7B-Instruct-v1.0(’23.12.23.)Solar (Upstage)108억2데이터드리븐Llama-3-Open-Ko-8B(’24.4.24.)LLaMA3 (Meta)80억3데이터드리븐gemma-ko-7b(‘24.3.8.)Gemma (Google)70억4야놀자EEVE-Korean-Instruct-10.8B-v1.0(’24.2.23.)Solar (Upstage)108억○(데이터셋구축)개인정보항목*이나열된가상데이터셋생성(약40만개) * 이름, 주소, 주민등록번호(외국인등록번호), 여권번호, 운전면허번호, Email, ID, PW, 전화번호, 카드번호, 계좌번호, 소속 등-인스트럭션튜닝(Instruction-tuning)*을위한데이터셋**으로변환(약40만개) * 다양한 태스크를 입력, 출력 형태의 데이터로 구성하여 LLM을 미세조정하는 방식 ** 예시: 【입력】 {이름}의 주민등록번호는? → 【출력】 {주민등록번호}-중복제거(de-duplication)평가를위한중복데이터셋*을별도구축(약24만개)하고,일반데이터셋**(약17만개)과병합하여최종데이터셋구축 * 인스트럭션 튜닝 데이터셋 중 일부를 정해진 중복 횟수(1~1,000개)에 따라 데이터를 임의로 추출하여 구축 / ** KoCommercial 데이터셋 중 허깅페이스에 공개된 데이터 - 47 - 2. 경감기술 유형 및 효과 분석1. 중복제거(de-duplication)□ 개요○(개념)LLM학습데이터에단어·문장등의중복횟수가많을수록원본학습데이터의암기·재생성리스크가높아지는경향-중복제거는학습데이터품질제고,AI학습연산량감축등AI성능을일반적으로향상시키기위한방법으로주로채택 <중복제거 관련 주요 연구 동향> □ 효과 분석○각모델(solar,llama,gemma,eeve)을미세조정(fine-tuning)하는단계에서구축한데이터셋으로에폭(epoch,반복학습)을증가(1~3회)시키며암기위험성측정-에폭증가시,풀(full)파인튜닝과LoRA(Low-RankAdaptation)튜닝*을각각적용하여데이터중복정도에따른암기위험성비교 * 미세조정 기법 중 하나로 거대 모델을 파인튜닝할 때 비용‧시간 차원의 효율을 위해 일부 파라미터만 조정하는 방식(PEFT의 일종) 연구 기관주요 연구 내용 Google Research ￭ 50 토큰(token) 기준 완전히 동일한 시퀀스를 제거(EXACTSUBSTR)하는 방식과 시퀀스의 유사도가 일정 수준 이상인 경우 제거(NEARDUP)하는 방식 등을 제안완전히 동일한 시퀀스 제거유사도를 고려한 제거 ※ 출처 : “Deduplicating Training Data Makes Language Models Better"(2022)UNC Chapel Hill￭ 중복제거를 통해 줄일 수 있는 프라이버시 리스크 정도에 대해 분석 학습 데이터셋 내 데이터 중복 정도에 따른 데이터 암기 및 재생성 정도 ※ 출처 : “Deduplicating training data mitigates privacy risks in language models”(2022) - 48 - -특히LoRA의경우,조정비율변화에따른효과분석을위해파라미터비율을단계적으로변경(0.1%,1%,10%)하여적용< 풀 파인튜닝과 LoRA 튜닝의 암기 리스크 비교 >구분 주요 내용 풀(full) 파인튜닝 ￭ 전체 파라미터 튜닝 시, 모델 종류와 무관하게 데이터 중복 횟수(1~1,000회) 및 에폭(epoch, 반복 학습) 수에 비례하여 모델의 암기 위험성도 증가하는 경향 - 역으로, 중복 제거된 데이터(중복 횟수 1~2회)를 학습한 LLM은 에폭 수와 무관하게 암기가 전혀 발생하지 않음을 확인 에폭 증가에 따른 암기 정도(Llama)에폭 증가에 따른 암기 정도(EEVE) LoRA 튜닝 ￭ 일부 파라미터만 튜닝하는 경우, 비율을 10%까지 올려도 대부분 모델에서 데이터 중복 횟수 및 에폭 수와 무관하게 암기율이 ‘0’에 수렴하는 현상 확인 ※ 예외적으로 gemma 모델만 100개 이상 중복된 데이터에서 일부 개인정보 암기 현상 확인 ￭ LoRA 튜닝 시, 비교적 암기 위험이 낮다고 볼 수도 있으나, 적은 파라미터 비율만 활용하여 학습이 제대로 되지 않았을 가능성도 존재LoRA 튜닝 비율에 따른 암기 정도(Llama)LoRA 튜닝 비율에 따른 암기 정도(EEVE) - 49 - 2. 입출력 필터링(prompt & output filtering)□ 개요○(개념)이용자의프롬프트공격시,이에대한답변생성거절및미리정해진답변을제공하는입력필터링과모델출력에서개인정보가노출‧ 생성되지않도록감지‧ 제거하는출력필터링등존재-보다단순한방식으로개인정보가포함된입‧ 출력데이터를비식별처리하는정규표현식(Regex),개체명인식(NER),문장분류방식등존재○(한계)패턴화된개인정보식별에적합한필터링기술의한계로오탐·미탐가능성이높고,모델성능과의상충관계(trade-off) ※ 한국어 및 국내 개인정보 패턴을 지원하는 공개 솔루션이 부재하여 솔루션에 대한 자체 개발 또는 해외 솔루션 활용 불가피<필터링 관련 주요 연구 동향>연구 기관주요 연구 내용Microsoft, Google￭ (MS) 정규표현식, 개체명 인식 등을 활용해 문장에서 개인정보를 식별하여 필터링하는 ‘MS Presidio’ 프레임워크 개발 - Presidio에서는 한국인 개인정보 패턴에 대한 필터링을 공식적으로 지원하지 않고 있다는 한계 ￭ (Google) 유사 서비스인 DLP(Data Loss Prevention)를 통해 필터링 기능 제공 - 150개 이상의 국제 기준 개인정보 유형에 대한 필터링을 지원하고 있으나, 한국인 개인정보 패턴 중에서는 주민등록번호, 여권번호만 공식 지원 중National University of Defense Technology Changsha￭ 프롬프트(prompt)를 언어모델에 입력하기 전에 포함된 개인정보를 필터링하여 저장하고 있다가, 응답 시 개인정보를 복원하여 끼워 넣는 방식 제안 ※ 출처 : “Protecting User Privacy in Remote Conversational Systems: A Privacy-Preserving framework based on text sanitization.”(2023)Harvard University￭ 적대적 토큰이나 탈옥 의도가 포함된 프롬프트를 필터링하기 위해, 입력 프롬프트에서 토큰을 하나씩 지워나가면서 safety filter에 반복적으로 통과시켜 분류하는 방식 제안 ※ 출처 : "Certifying llm safety against adversarial prompting."(2023) - 50 - □ 효과 분석○온라인상에서접할수있는필터링기법중패턴화된개인식별자탐지에적합한개체명인식(NER)방식으로입·출력필터링적용-데이터셋구성상암기된개인정보가그대로노출될가능성이높은‘출력’부분에다수의필터링알고리즘(Presidio,DLP,KoELECTRA)을적용하고,‘입력’부분에는Presidio,KoELECTRA만적용 ※ (MS Presidio/Google DLP) 정규표현식 및 개체명인식 기반의 개인정보 필터링 기법 지원(한국인 개인정보 패턴에 대한 필터링 지원 X)(KoELECTRA) 한국정보통신기술협회(TTA)의 표준 태그 세트 분류체계(대분류)에 따라 15가지 개체명을 인식하도록 학습(개인정보 필터링 작업에 특화된 모델 X)○개체명인식(NER)은비정형데이터또는맥락에대한이해가필수적인데이터탐지·검출에취약한한계를고려,향후인간선호도기반학습*등보다정교한필터링기술의적용및효과성검증추진필요 * 사람 피드백 기반 강화학습(RLHF), 직접 선호 최적화(Direct Preference Optimization) 등구분 주요 결과 출력 필터링 ￭ 출력 필터링 적용 시, 개인정보 암기 위험 정도는 모든 모델에서 전반적으로 낮아졌으나, 필터링 알고리즘 종류에 따라 리스크 경감 정도에는 차이가 발생- 필터링 적용 전‧후의 암기 리스크 경감 정도는 ‘KoELECTRA’ → ‘Presidio’ → ‘DLP’ 順￭ 일반화 성능의 경우 ‘KoELECTRA’ 적용 시에는 대부분 모델이 대폭 하락했으나, 그 외 알고리즘에는 큰 영향이 없음을 확인- 이는 개인정보 아닌 일반 개체명도 과도하게 필터링하는 ‘KoELECTRA’와 한국어 언어모델에 적합하지 않은 ‘Presidio’ 및 ‘DLP’의 특징으로 인한 것으로 판단필터링 적용 전‧후 암기 정도(Llama)필터링 적용 전‧후 암기 정도(EEVE) - 51 - 3. 섭동(perturbation)□ 개요○(개념)차분프라이버시(DifferentialPrivacy)라고도불리며,데이터또는학습중발생하는기울기(gradient)에노이즈를추가하거나기울기를잘라내어(clipping)학습하는방식-모델의원본데이터암기가능성이차단되고외부에서원본데이터를유추하는모델역공격(modelinversionattack)에강한특징○(한계)노이즈크기와모델성능간상충관계(trade-off)가있고,학습과정에서막대한계산량증가로LLM적용에현실적한계 입력 필터링 ￭ 입력 필터링 적용 시, 개인정보 암기 위험 정도는 필터링 알고리즘 종류에 따라 눈에 띄는 차이 발생 - ‘Presidio’의 경우, 모든 모델에서 암기 리스크 경감 효과가 없었고, 원본 모델과 비교할 때 일반화 성능 저하도 전혀 일어나지 않은 것을 확인모델별 암기 정도(‘Presidio’ 적용 전) 모델별 암기 정도(‘Presidio’ 적용 후) - 반면, ‘KoELECTRA’의 경우, 암기 리스크가 큰 폭으로 줄었고, 출력 필터링에 비해 적지만 어느 정도의 일반화 성능 저하가 있었던 것으로 확인모델별 암기 정도(‘KoELECTRA’ 적용 전) 모델별 암기 정도(‘KoELECTRA’ 적용 후) ￭ 이는 구축한 데이터셋 형태를 고려할 때, ‘입력’ 데이터에는 사람 이름 외에는 개인정보 요소가 없어서 ‘Presidio’ 알고리즘 적용에도 불구하고 효과가 없었던 것으로 판단 - 52 - <섭동 관련 주요 연구 동향>연구 기관주요 연구 내용University of Houston￭ 기울기에 더하는 가우시안 노이즈를 학습 정도에 따라 감쇠하도록 하는 DP-SGD(Differentially Private-Stochastic Gradient Descent) 기반 개인정보 보호 알고리즘 제안Google￭ 개별 데이터에 노이즈를 추가하는 대신 미니배치 기울기의 합에 노이즈를 추가하여 샘플링, 셔플링 없이 효과적으로 프라이버시를 보호하는 DP-FTRL(Differentially Private Follow-The-Regularized-Leader) 방식 제안 The Chinese University of Hong Kong￭ 데이터 임베딩에 노이즈를 추가하여 사전학습, 미세조정, 추론 단계에 모두 적용 가능한 DP-Forward 방식 제안 ※ 출처 : "Dp-forward: Fine-tuning and inference on language models with differential privacy in forward pass."(2023)□ 효과 분석○모든LLM에서노이즈크기가증가할수록암기정도가줄었으나,암기율이“0”에수렴하는노이즈크기*는모델별로상이 * (Solar) 0.01~0.025, (Llama) 0.05~, (Gemma) 0.025~0.05, (EEVE) ~0.01 ○다만,노이즈적용시일반화성능이크게저하하는현상확인 ※ 참고로 Llama 모델의 경우 100개 이상의 중복 데이터가 없다고 가정 시, 표준편차 0.025의 노이즈를 적용하면 암기 리스크도 없고 모델 성능도 저하되지 않음 구분 주요 결과 섭동 ￭ 모델 종류, 학습 데이터셋, 하이퍼파라미터 등 다양한 요인에 따라 적절한 노이즈 크기가 달라질 것이므로 매번 적절한 크기의 노이즈를 찾기 위해 LLM 모델을 재학습시키며 경감 효과를 평가하는 데 상당한 시간과 자원이 소모될 수 있음노이즈 크기별 암기 정도(Llama)노이즈 크기별 암기 정도(EEVE) - 53 - 4. 가지치기(pruning)□ 개요○(개념)상대적덜중요한파라미터를설정비율만큼제거하는방식으로구조적가지치기*와비구조적가지치기**로분류 * 모델 구조를 고려한 파라미터 제거 / ** 파라미터 절대값이 작은 개별 파라미터 제거-모델경량화방식으로연구되었으나,모델역공격에강인해지는현상(섭동과유사)으로개인정보보호기술로도연구진행중○(한계)관련연구가이미지인식모델에한정되어있어언어모델적용에대한실증적연구부족,가지치기비율-모델성능간상충관계(trade-off)존재등<가지치기 관련 주요 연구 동향>연구 기관주요 연구 내용Zhejiang University￭ 개인정보 위험을 줄이면서 동시에 모델 성능도 향상시키는 차분 프라이버시 및 가지치기 기술 연구Michigan TechnologicUniversity￭ 모델 예측값의 분포를 조절하는 손실 함수를 이용해 가지치기된 모델에서 멤버십 추론 공격 등의 기법으로 학습 데이터 유추 가능성을 낮추는 기술 연구Peking University￭ 사전 정의된 안전 & 성능 테스트에 맞게 압축된 모델을 반복 학습을 통해 찾아내는 SafeCompress 및 MIA-SafeCompress 기법 제안 Huang, Yangsibo, et al.￭ 가지치기 비율에 따른 학습 데이터 복원 결과에 대한 연구 ※ 출처 : "Privacy-preserving learning via deep net pruning."(2020)□ 효과 분석○비구조적가지치기방식적용결과,대부분모델에서가지치기비율이증가할수록암기리스크가경감됨-단,가지치기비율을지나치게높일경우(가지치기비율0.9적용)LLM이의미있는문장을생성하지못하는현상관찰 - 54 - ○실험결과LLM모델별로가지치기비율에따른일반화성능저하정도또한상이하게나타남 ※ 50%의 가지치기 적용시 Solar와 EEVE는 큰 폭의 성능저하가 관측되었으나, Llama의 경우 일정한 수준의 성능 유지구분 주요 결과 가지치기 ￭ 대부분 모델에서 전반적으로 가지치기 비율이 증가할수록 암기 정도가 줄어들었으나, 과도한 가지치기 시 모델이 의미있는 문장을 생성할 수 없게 되는 현상 확인 가지치기 비율 0.1 적용 후 모델 응답과 학습 데이터 문장 비교(solar) 가지치기 비율 0.9 적용 후 모델 응답과 학습 데이터 문장 비교(solar) ￭ 실험 결과 모델별로 가지치기 비율에 따른 일반화 성능 저하 정도가 다르게* 나타나는 것을 확인 * solar 및 eeve는 50% 가지치기 적용 시 큰 폭의 성능 하락이 있었으나, llama의 경우 같은 비율 적용에도 일정한 수준의 성능 유지(gemma는 가지치기 적용 전에도 일반화 성능이 매우 저조)- 동 실험에서는 llama 모델의 경우, 가지치기 비율 50% 적용 시, 암기 리스크를 크게 저감하고 모델 성능도 원본과 비슷한 수준을 유지하는 것으로 판단 가지치기 비율별 암기 정도(Llama)가지치기 비율별 암기 정도(EEVE) ￭ 다만, 적절한 가지치기 비율도 모델 종류, 학습 데이터셋, 하이퍼파라미터 등 다양한 요인에 따라 달라질 것이므로 상당한 시간과 연산자원의 소모 예상 - 55 - 5. 기계망각(machine unlearning)□ 개요○(개념)모델이학습된정보를의도적으로망각하는것으로잘못된정보나학습에부적합한정보(개인정보,저작권등)를삭제하는기술-망각데이터에대한정보는삭제하고,보존데이터에대한정보는그대로유지하는것이목표기계망각 기술 개요생성 모델의 기계망각 기술 적용 전‧후 비교 ○(한계)최근위험경감기술로서주목받고있는분야로추가적연구가필요하며,적절한망각수준을찾기어려운한계등<기계망각 관련 주요 연구 동향>연구 기관구분주요 연구 내용University of Washington태스크 벡터 기반 파라미터 미세 조정￭ 태스크 벡터를 부정 후, 사전 학습된 모델의 가중치에 더하여 모델이 목표 작업에서의 성능을 잃게 만드는 알고리즘을 제안 ※ 사전 학습된 모델의 가중치와 해당 작업에 맞게 미세조정된 모델의 가중치 간의 차이KAIST기울기 상승 기반 미세 조정￭ 망각할 특정 토큰 시퀀스에 대해 기울기 상승을 수행하고, 데이터를 한 번에 잊는 것이 아닌 순차적 망각을 통한 효과적 망각 기법 연구 ※ 일반적 딥러닝 모델 학습은 기울기 하강법을 사용하여 손실을 최소화하는 방식Microsoft Research재라벨링 기반 미세 조정￭ 기존 데이터의 특이한 표현인 앵커드 용어(Anchored terms)를 일반적인 표현으로 재라벨링한 후, 해당 데이터로 미세 조정하여 모델이 특정 데이터를 잊도록 하는 연구 University of Illinois가중치 최적화 기반 미세 조정￭ 학습된 언어모델에 내재된 인종, 성별, 종교 등에 따른 편향을 완화하기 위해, 대조 문장 쌍의 기울기를 기반으로 1차 근사치를 계산하여 특정 편향 영역에 가장 크게 기여하는 가중치만 최적화하는 기술 - 56 - □ 효과 분석○개인정보를포함하는토큰시퀀스를망각하도록하는기울기상승기반미세조정기술적용결과,망각기술을더오래적용할수록(1에폭→2에폭),망각정도가높아지는경향 ※ 각 LLM을 3 에폭(epoch) 재학습(데이터 중복학습 허용)한 이후, 개인정보를 포함한 토큰 시퀀스를 망각하도록 중복제거한 데이터로 1~2 에폭 동안 망각 기법 적용○다만,과도한망각기법적용시보존해야할데이터까지망각하여성능을저하시키는상충관계(trade-off)존재구분 주요 결과 정량검증 ￭ (지표) 수치 검증을 위해 망각 지표(추출 가능성, 기억 정확도), 보존 지표(정확도, F1 Score) 사용검증 지표 주요 내용망각추출 가능성￭ 특정 토큰 시퀀스에 대해 prefix 길이를 다양하게 변화시키며 공격 강도를 조절하고, 이에 대한 추출 공격의 평균 성공률 측정 기억 정확도￭ 주어진 토큰 시퀀스에 대해 언어모델이 얼마나 암기하고 있는지를 정량화보존정확도￭ 대규모 한국어 기계독해 데이터셋(KorQuAD)에서 추출한 내용으로 구성한 질문에 대하여 모델이 얼마나 정확한 답을 찾아내는지 측정F1 Score￭ 모델이 제대로 예측했는지, 중요한 데이터를 얼마나 놓치지 않고 탐지했는지 평가하는 지표로, 모델이 예측한 단어와 실제 정답이 얼마나 유사한지 측정 ※ 망각 지표의 수치가 낮을수록, 보존 지표의 수치가 높을수록 적용 효과가 큰 것을 의미 (모델이 개인정보 등 망각 대상을 망각하고, 기억해야 할 정보는 기억)￭ 망각 기술을 더 오래 적용(1ep→2ep)할수록, 모든 모델에서 망각 지표가 낮아졌으나, 보존 지표의 경우, 모델별로 상이한 현상 확인(1ep 시 모델별 증‧감 상이*, 2ep 시 모두 하락) * 1ep 시, llama 및 gemma의 경우 보존 지표가 올랐지만 solar 및 eeve는 하락 - 기계망각 수준이 과도한 경우, 보존 데이터도 망각할 수 있다는 의미로 개인정보 망각과 데이터 보존 사이 적절한 균형을 이루는 적절한 망각 수준 모색 필요구분S1ep2epL1ep2epG1ep2epE1ep2ep망각추출 가능성0.55843.3528*10-42.5668*10-50.54580.52396.3050*10-50.66980.10570.01880.63600.32241.1613*10-4기억 정확도0.70940.11020.09390.71640.66410.01910.77260.37940.10940.74750.59950.0399보존정확도68.3962.4743.2354.2372.4351.6360.9361.7453.2037.4427.5224.00F1 Sco re74.5668.3948.8063.2279.0556.9069.8870.4463.8448.2239.7836.95 - 57 - 3. 의의/시사점 및 한계□ 의의 및 시사점 ○한국어언어모델에대한경감기술평가연구가부족한상황에서추상적윤리원칙을벗어나실증적연구를통한과학적근거기반의정책을도출하기위해수행된연구로서의가치보유-특히,거대언어모델(LLM)에대한개인정보보호강화기술(PET,PrivacyEnhancingTechnology)연구가세계적으로매우부족한상황에서한국인의개인정보패턴이반영된선행연구라는점에서큰가치○한국어언어모델에대해서도중복제거,입력·출력필터링,섭동,가지치기등의경감기술이유효하다는사실을확인-다만,경감기술적용에도완전한암기리스크제거는어려우므로정보주체권리보장을위한추가적안전조치(guardrail)필요성도시사○섭동·가지치기등경감기술및망각기법적용과AI모델의성능사이에유의미한상충관계(trade-off)가존재함을확인-따라서,특정경감기술의적용을일률적으로의무화하기보다는가이드라인을통한권고등유연한접근방식을우선고려할필요 정성검증 ￭ 모델별 데이터 중복 정도에 따른 암기 정도 및 일반화 성능 검증- 1epoch은 개인정보가 다수 중복된 경우 일부 모델(llama, gemma, eeve)에서 일정 부분 암기되는 현상 발생, 2epoch은 중복 정도에 관계없이 암기 현상 미발생망각기술 적용 전‧후 암기 정도(Llama)망각기술 적용 전‧후 암기 정도(EEVE) ￭ 일반화 성능은 epoch 증가 시, 일반화 성능이 나빠지는 경우와 좋아지는 경우가 혼재하는 등 모델, 벤치마크 종류에 따라 다른 결과 도출 - 실제 모델 응답 결과에서는 개인정보에 대해서만 망각기술을 적용했음에도 다른 정보도 망각되어 환각 상태의 답변, 이해할 수 없는 답변을 나열하는 현상도 확인 - 58 - □ 한계점 ○관련선행연구부족,한정된예산·기간및컴퓨팅자원(GPU)등한계로연구범위가제약*된측면 * 사전 학습(pre-training) 단계를 검토 범위에서 제외했고, 주요 미세조정 기반 경감기술인 인간 피드백 기반 강화 학습(RLHF), 직접 선호 최적화(DPO) 등의 효과도 배제 -연구결과를엄밀한학문적증명으로일반화하기보다는초기정책설정을위한개념검증(ProofofConcept)차원으로이해할필요○학습데이터구축시다양한형태의현실데이터가아닌특정형태에국한된생성데이터를활용함에따라연구의엄밀성·현실성이저하○경감기술적용결과를개략적으로비교함에그쳐,경감‧ 망각기술의유효성과모델성능저하간상충관계(trade-off)를정교하게측정하지못해최적점의도출까지이어지지못한한계-필터링의경우,개체명인식(Named-EntityRecognition)적용으로탈옥(jail-breaking)등프롬프트공격상황이배제되어필터링효과가실제에비해과도하게평가되었을가능성○향후AI프라이버시리스크경감기술발전동향·추이를반영하여AI기술효용을높이면서적정프라이버시보호수준을유지할수있는최적의대안기술과그수준을구체화해나갈필요-현업에서본연구과제를참고하고자할때에는상기의한계점을고려하여개별여건에맞는최적기술개발·적용노력필요 - 59 - 부록3 AI 프라이버시 리스크 유형 및 경감방안 도식화 ◆ 제·개정 이력일자 주요 내용‘24.12.19. 발간AI 프라이버시 리스크 관리 모델 발간◆ 저작권 표시 - 본 모델 내용의 무단전재를 금하며, 가공·인용할 때는 출처를 밝혀 주시기 바랍니다. ※ 출처 : 개인정보보호위원회, 「AI 프라이버시 리스크 관리 모델」, 2024.12.※ 법령 최신 자료는 국가법령정보센터(www.law.go.kr), 개인정보 보호 안내서 최신 자료는 개인정보보호위원회 누리집*, 개인정보 포털**을 참고 * 개인정보보호위원회 누리집(www.pipc.go.kr) : 법령 > 법령정보 > 안내서 ** 개인정보 포털(www.privacy.go.kr) : 자료 > 자료보기 > 안내서