Document
行政の進化と革新のための生成AIの調達・利活用に係るガイドライン
The document frames AI governance primarily around the safe and appropriate use of generative AI in government operations, emphasizing risk management (hallucination, information leakage, harmful outputs, bias) alongside benefit realization. The core logic is that safety guardrails and risk management must accompany active promotion of AI use—'利活用促進とリスク管理を表裏一体で進める'. This is fundamentally a public/consumer safety framing applied to government systems and the citizens they serve. Secondary frames include innovation enablement (accelerating administrative innovation, encouraging active adoption) and economic competitiveness (Japan's international AI competitiveness, startup support in public procurement).
normalized text
1 section
- 01
Full text
デジタル社会推進標準ガイドライン DS-920 行政の進化と革新のための生成AI の調達・利活 用に係るガイドライン 2025 年(令和7年)5 月 27日 デジタル社会推進会議幹事会決定 〔 ドキュメントの位置付け〕 Normative 政府情報システムの整備及び管理に関するルールとして遵守する内容を定めた ドキュメント 〔キーワード〕 生成 AI、大規模言語モデル(LLM) 、政府における生成AI の利活用方針、AI ガ バナンス体制、生成 AI プロジェクト、高リスクな生成 AI、先進的 AI 利活用アド バイザリーボード、AI 統括責任者(CAIO) 、生成AI の調達・利活用に係るリスク 管理(企画、調達、開発・運用、利活用、生成 AI システム特有のリスクケース への対応) 〔概要〕 生成 AI の利活用促進とリスク管理を表裏一体で進めるため、政府における生 成 AI のガバナンス、各府省庁における調達・利活用時のルールを定めるガイド ライン。 改定履歴 改定年月日 改定箇所 改定内容 2025年5月27日 - ・初版作成 i 目次 目次 .............................................................. i 1 はじめに ....................................................... 1 1.1 背景 ......................................................... 1 1.2 本ガイドラインの位置付け ..................................... 2 1.3 用語 ......................................................... 2 2 本ガイドラインの目的及び適用対象 ............................... 4 2.1 本ガイドラインの目的 ......................................... 4 2.2 対象範囲 ..................................................... 4 2.2.1 本ガイドラインが対象とする情報システム ··················· 4 2.2.2 本ガイドラインが対象とする生成 AI ························· 5 2.2.3 本ガイドラインの対象者 ··································· 5 2.2.4 本ガイドラインの適用開始時期等について ··················· 7 3 政府における生成AI の利活用方針 ................................ 8 3.1 政府における生成AI の利活用方針 .............................. 8 3.2 高リスクな生成AI 利活用の考え方 .............................. 9 4 AIの利活用促進と AI ガバナンスの強化及び推進のための体制構築 ... 14 4.1 政府全体のAI の利活用促進と AI ガバナンスのための体制構築 .... 14 4.1.1 先進的 AI 利活用アドバイザリーボードの開催・AI 相談窓口の運用 等 ····························································· 14 4.1.2 デジタル庁の統括監理におけるチェック ···················· 15 4.2 各府省庁におけるAI ガバナンス体制の整備 ..................... 15 4.2.1 各府省庁における AI 統括責任者(CAIO)の設置 ············· 15 4.2.2 先進的 AI 利活用アドバイザリーボードへの報告 ············· 16 5 生成AI による便益とリスクを理解した利活用推進 ................. 18 5.1 生成AI の便益 ............................................... 18 5.2 生成AI によるリスク ......................................... 20 6 政府における生成AI の調達・利活用に係るルール ................. 24 6.1 政府における生成AI の調達・利活用に係る対応事項の全体像 ..... 24 6.1.1 各種法令・ガイドライン等を踏まえた対応事項 ·············· 24 6.1.2 本ガイドラインに基づく対応事項 ·························· 26 6.2 政府における生成AI システムの AI 統括責任者(CAIO)の対応事項 27 6.2.1 各府省庁内向けルールの整備 ······························ 27 6.2.2 各府省庁内における AI ガバナンスの確保 ··················· 28 ii 6.3 政府における生成 AI システムの企画者の対応事項 ............... 29 6.3.1 生成 AI システムの企画時の対応事項 ······················· 29 6.3.2 生成 AI システムの調達時の対応事項 ······················· 30 6.3.3 生成 AI システムの構築・リリース前の準備時の対応事項 ····· 35 6.4 政府における生成AI システムの開発者の対応事項 ............... 36 6.5 政府における生成AI システムの提供者の対応事項 ............... 36 6.6 政府における生成AI システムの利用者の対応事項 ............... 37 6.7 生成AI システム特有のリスクケースへの対応 ................... 38 7 今後の進め方 .................................................. 40 1 1 はじめに 1.1 背景 AI 関連技術は日々発展し、産業におけるイノベーション創出や社会課題の解 決に向けた AI の活用が官民で急速に進展している。 こうした中、令和5年のG7(議長国:日本)では、安全、安心で信頼でき るAIの実現に向け、 「高度なAIシステムを開発する組織向けの広島プロセス国 際指針」1、 「高度な AI システムを開発する組織向けの広島プロセス国際行動 規範」2及び「全ての AI 関係者向けの広島プロセス国際指針」3が策定されたほ か、国連、欧州評議会、OECD等の多国間の枠組みにおいても、AIガバナンスに 関する議論が活発に行われている。また、諸外国の政府機関等においても、政 府内での適切なAIのガバナンスの確保や、リスク管理を行いながら、積極的に AI の活用を進めるためのルール整備が進むなど、着実に環境整備が進められて いる。 我が国でも、技術、そして、技術を利活用した社会の変化に迅速かつ柔軟に 対応するため、事業者等の自発的な取組を支援するための「AI 事業者ガイドラ イン(第 1.1 版)」( 令 和7年3月 28 日 総務省 経済産業省。以下「AI 事業 者ガイドライン」という。 )4を策定するなど、AI の安全・安心な利活用に向け た取組を進めている。 また、 「デジタル社会の実現に向けた重点計画」 (令和6年6月21日閣議決定) 5においても、AIに関して、生成AIを含むAIの様々なリスクを抑え、安全・安 心な環境を確保しつつ、イノベーションを加速する好循環の形成を図っていく こととされ、イノベーション推進のためにも、ガードレールとなるAI利活用の 安全・安心を確保するためのルールが必要とされたところである。 さらに、各府省庁では、様々な業務への生成AIの活用の検討が進められると 1 高度な AIシステムを開発する組織向けの広島プロセス国際指針 https://www.mofa.go.jp/files/100573469.pdf 2 高度な AIシステムを開発する組織向けの広島プロセス国際行動規範 https://www.mofa.go.jp/files/100573472.pdf 3 全ての AI関係者向けの広島プロセス国際指針 https://www.soumu.go.jp/hiroshimaaiprocess/pdf/document03.pdf 4 AI事業者ガイドライン(第 1.1 版) https://www.soumu.go.jp/main_content/001002576.pdf https://www.meti.go.jp/shingikai/mono_info_service/ai_shakai_jisso/pdf/2 0250328_1.pdf 5 デジタル社会の実現に向けた重点計画 https://www.digital.go.jp/policies/priority-policy-program 2 ともに、デジタル庁においては、行政の課題を AI で解決することを目指した 「AI アイデアソン・ハッカソン」や生成 AI システムの各種検証事業等を行い ながら、ユースケースの発掘や実用化のための試行環境等を用いた検証が進め られ、利活用促進に向けた取組も政府全体で進められているところである。 本ガイドラインは、政府の様々な業務への生成 AI 6の利活用促進とリスク管 理を表裏一体で進めるため、政府におけるAIガバナンスやベストプラクティス の共有体制、生成AIの調達・利活用において留意すべきリスク等についての考 え方、政府が利活用する生成AI全体の機能性や品質及び費用対効果の向上等に ついて、AI 事業者ガイドラインや「政府機関等のサイバーセキュリティ対策の ための統一基準群 7」等既存のガイドライン及び諸外国政府のルールの動向等 を踏まえ整理し、国の政府職員等向けのガイドラインとして示すものである。 1.2 本ガイドラインの位置付け 本ガイドラインは、デジタル社会推進標準ガイドライン群 8のうち規範とし て順守するドキュメントの一つとして位置付けられる。 1.3 用語 本ガイドラインにおける用語は、表1及び本ガイドラインに別段の定めがあ る場合を除くほか、標準ガイドライン群用語集の例による。 表 1 用語の定義 用語 意味 AI 「AI システム(以下に定義) 」自体又は機械学習をす るソフトウェア若しくはプログラムを含む抽象的な概 念。 (出典: 「AI事業者ガイドライン」P.9) 生成 AI 文章、画像、プログラム等を生成できるAIモデルに基 づく AI の総称。 6 本ガイドラインで対象とする生成AI は、テキスト生成AI とする(詳細は「2.2.2 本ガイドラインが対象とする生成AI」を参照) 。 7 政府機関等のサイバーセキュリティ対策のための統一基準群 https://www.nisc.go.jp/policy/group/general/kijun.html 8 デジタル社会推進標準ガイドライン群 https://www.digital.go.jp/resources/standard_guidelines 3 用語 意味 (出典: 「AI事業者ガイドライン」P.10) AI システム 活用の過程を通じて様々なレベルの自律性をもって動 作し学習する機能を有するソフトウェアを要素として含 むシステム(機械、ロボット、クラウドシステム等) 。 (出典: 「AI事業者ガイドライン」P.9) 生成 AI システム 本ガイドラインが対象とする生成AIを構成要素とする 政府情報システム 9。 (AISI「AI セーフティに関する評価観点ガイド(第 1.01 版) 」P.9に基づき作成)10 AI モデル AI システムに含まれ、学習データを用いた機械学習に よって得られる、入力データに応じた予測結果を生成す るモデル。 ( 「AI事業者ガイドライン」P.10 に基づき作成) 大規模言語モデル (LLM) 文章や単語の出現確率を深層学習モデルとして扱う言 語モデルを、非常に大量の訓練データを用いて構築した もの。 (出典:AIプロダクト品質保証コンソーシアム「AIプロ ダクト品質保証ガイドライン」10-1) 11 AI ガバナンス AI の利活用によって生じるリスクをステークホルダー にとって受容可能な水準で管理しつつ、そこからもたら される正のインパクト(便益)を最大化することを目的 とする、ステークホルダーによる技術的、組織的、及び 社会的システムの設計並びに運用。 (出典: 「AI事業者ガイドライン」P.10) 生成 AI システム 特有のリスクケー ス 生成AIシステムの特有のリスクが顕在化した状態又は その可能性を有する兆候や事象が認められる状態のう ち、重大な影響を及ぼし得るもの。 (詳細は、 「6.7 生成 AI システム特有のリスクケースへ の対応」参照) 9 政府情報システムの形態は、クラウド又はオンプレミスの形態を問わない。 10 AIセーフティに関する評価観点ガイド(第1.01版) https://aisi.go.jp/assets/pdf/ai_safety_eval_v1.01_ja.pdf 11 AIプロダクト品質保証ガイドライン2025.04版 https://www.qa4ai.jp/download/ 4 2 本ガイドラインの目的及び適用対象 2.1 本ガイドラインの目的 本ガイドラインは、政府における生成AIの調達・利活用において、我が国が 平成 31 年3月に策定した「人間中心の AI 社会原則」において掲げられた3つ の「基本理念」(「①人間の尊厳が尊重される社会( Dignity) 」 「②多様な背景 を持つ人々が多様な幸せを追求できる社会(Diversity and Inclusion) 」 「③持 続可能な社会(Sustainability) 」 )の実現を目指すものである。 本ガイドラインは、生成AIの利活用促進のためのガードレールであり、本ガ イドラインによって、政府による生成AIの安心・安全な利活用が着実に進展し、 以下のような利益を実現することを目指す。 1. 行政目的の効率的・効果的な実現 2. 企画立案能力の向上 3. 情報収集・分析能力の向上 4. 政府が作り出す政策・文書・分析等の質の向上 5. 既存政府情報システムの生成 AI を用いた機能や利便性向上 6. 政府が利活用する生成 AI 全体の機能性や品質及び費用対効果の向上 7. 我が国の AI 分野における国際競争力の向上及び産業の育成 8. AI の安全性の向上及び国際的な相互運用性の確保 9. 政府におけるデータガバナンスの強化 2.2 対象範囲 2.2.1 本ガイドラインが対象とする情報システム 本ガイドラインは、政府情報システムのうち「 2.2.2 本ガイドラインが対 象とする生成 AI」に記載した生成 AI を構成要素とするシステムに適用するも のとする。ただし、特定秘密(特定秘密の保護に関する法律(平成25年法律第 108 号)第3条第1項に規定する特定秘密をいう。 ) 、重要経済安保情報(重要 経済安保情報の保護及び活用に関する法律(令和6年法律第27号)第3条第1 項に規定する重要経済安保情報をいう。 )又は行政文書の管理に関するガイド ライン(内閣総理大臣決定。平成23年4月1日)に掲げる秘密文書としての取 扱いを要する情報を扱う政府情報システムについては、本ガイドラインの全部 を適用対象外とする。また、安全保障、公共の安全・秩序の維持といった機微 な情報及び当該情報になり得る情報を扱う政府情報システムについても、本ガ 5 イドラインの全部を適用対象外とする。 なお、独立行政法人及び指定法人 12においても、生成 AI の調達・利活用に当 たって、本ガイドラインに準拠した取組を期待する。さらに、地方公共団体に おいても、必要に応じ、参考とされることを期待する。 2.2.2 本ガイドラインが対象とする生成 AI 本ガイドラインが対象とする生成 AI は、大規模言語モデル(LLM)を構成要 素とするテキスト生成 AI 13とする(テキスト及び画像の両方を生成する AI 等に ついては、テキストの生成について対象とする。 ) 。 なお、画像や動画等を生成するAI、より高度なタスクを実行できるAI(AIエ ージェント等) 、その他のAI については、政府等における利活用状況、国内外 のルールの整備状況等を踏まえ、必要に応じ、本ガイドラインの適用範囲等の 拡充を検討することとする。 2.2.3 本ガイドラインの対象者 本ガイドラインの対象者は、生成AIの調達・利活用に関わる政府職員として おり、具体的に読者として想定される政府職員の種別は、表2 のとおりである。 表 2 本ガイドラインの対象となる政府職員の種別 14 種別 説明 具体的な政府職員の 例 AI 統括責任者 (CAIO:Chief AI Officer) 各府省庁における行政の進化と革 新のための生成 AI 利活用方針を策 定・推進し、組織全体の利活用状況 とリスク管理等を統括管理する者 「デジタル統括責 任者」又は「副デジ タル統括責任者」級 の職員 12 サイバーセキュリティ基本法(平成26年法律第104号)第13条に規定する「指定 法人」を指す。 13 本ガイドラインで対象としていないテキスト生成AI 以外のAIシステム・サービス の利用については、AI事業者ガイドライン(テキスト生成AI 以外も含むAI 全般を 対象)や、本ガイドライン(本ガイドラインがテキスト生成AI を念頭に記載されて いることに留意)も参考にした上で、各府省庁において適切なリスク対応等を実施 し、利活用を進めることが望ましい。 14 例えば、共通機能としてデジタル庁が提供するシステムについては、企画者・提供 者や利用者が共通機能を提供するデジタル庁と各府省庁にまたがる可能性なども想 定されるが、この場合は、責任分界を明確にした上で、各主体で連携の上、リスク 対応等を実施する必要がある。 6 種別 説明 具体的な政府職員の 例 企画者 新たな生成 AI の利活用を企画 し、業務が生成 AI システムに要求 するものを定義し、調達・開発・利 活用を推進する者 生成 AI の業務にお ける活用を企画・調 達する部署・チーム 等の政府職員(生成 AI システムに係る業 務を所管する部署の 政府職員、生成 AI シ ステムを企画・調達 する部署の政府職 員、PJMO 職員等) 開発者 企画に基づき、生成 AI モデル・ アルゴリズムの開発、データ収集 (購入を含む)、前処理、AI モデル 学習及び検証を通して生成 AI モデ ル、生成 AI モデルのシステム基 盤、入出力機能を含む生成 AI シス テムを構築する者 (開発を内製する 場合)左記の生成 AI システムの構築を行 う政府職員(PJMO 職 員等) 提供者 生成 AI モデルをアプリケーショ ンや製品もしくは既存のシステムや 行政の利活用プロセス等に組み込ん だサービスとして政府又は国民に提 供する者 政府職員又は国民 が利活用する生成 AI システムを運営する 政府職員(PJMO 職員 等) 利用者 15 行政において、生成 AI システム を利活用する者 一般事務や各行政 分野において生成 AI システムを利活用す る政府職員 15 利用者は、本ガイドラインの直接の対象者ではないが、本ガイドラインを踏まえ て、AI 統括責任者(CAIO)によって策定された生成AI の利活用に係るルール及び 企画者によって策定された各生成AI システムにおける利活用ルールを遵守すること が求められる(詳細は「6.6 政府における生成AI システムの利用者の対応事項」 参照)。 7 表 3 本ガイドラインと AI 事業者ガイドラインとの対応関係 16 本ガイドライン AI 事業者ガイドライン AI 統括責任者(CAIO) 経営者を含む事業執行責任者 企画者 AI 開発者又は AI 提供者 開発者 AI 開発者 提供者 AI 提供者 利用者 AI 利用者 ※ 政府との契約により政府に生成 AI システムを提供等する事業者は本ガイ ドラインの直接の対象ではなく、上記政府職員である企画者や提供者が調達 手続や当該事業者との契約、契約事業者の監督、あるいは生成 AI システム 提供事業者との協力を通じて本ガイドラインの順守や本ガイドラインに基づ く取組を確保することとする。 2.2.4 本ガイドラインの適用開始時期等について 本ガイドラインの政府情報システムへの全面適用は、令和8年度以降に調 達・利活用を行う生成 AI システムからである(令和8年度事業の令和8年3 月末以前の企画や公告等調達手続きを含む)が、令和7年度に調達・利活用を 行う生成 AI システムについても、可能な限り本ガイドラインに沿った取組を 実施する。 生成 AI の利活用が、各府省庁で進んでいることも踏まえ、「4 AI の利活 用促進と AI ガバナンスの強化及び推進のための体制構築」の取組について も、令和7年度から進めることとする。 なお、本ガイドラインは、「ChatGPT 等の生成 AI の業務利用に関する申合 せ(第2.1版)」による政府における生成 AI の適切な把握等について、リス ク管理や利活用の促進と合わせて促進する観点から、その在り方を更に進化さ せた上で統合したものである。今後は、同申合せに代わり、本ガイドラインを 適用し、取組を進める。 16 政府向けである本ガイドラインと主に民間事業者を対象としたAI 事業者ガイドライ ンでは、対応関係は一致しない場合がある。 8 3 政府における生成AIの利活用方針 3.1 政府における生成AI の利活用方針 生成AIの政府での利活用は、情報漏えいや不適切な表現の生成などのリスク を伴う一方、様々な事務作業や事務手続の効率化・高度化を実現し、働き方改 革や国民サービスの向上等行政の進化と革新を飛躍的に進める可能性がある。 加えて、今後、社会全体での安全・安心な AI の活用の推進や日本の AI 分野に おける国際競争力の向上を実現するためにも、政府において率先してAIの利活 用に取り組むことは、極めて重要である。 このため、各府省庁は、生成AIについて、以下に取り組みつつ、積極的に業 務での活用を検討することとする。 ① 各府省庁は、AI 統括責任者(CAIO)の設置等 AI システム統括監理の体制整 備を行うなど、AI ガバナンスの強化に取り組むこと。 ⇒「4 AI の利活用促進と AI ガバナンスの強化及び推進のための体制構築」 を参照。 ② 各府省庁の生成AIの調達・利活用を行う全ての者は、生成AIの便益とリス クについて理解すること。 ⇒「5 生成 AI による便益とリスクを理解した利活用推進」を参照。 ③ 各府省庁の生成AI調達・利活用を行う者は、生成AIのリスクを軽減するた めの方策を把握し、それぞれが適切なリスク対策を実施するとともに、生成 AI システムの品質向上や利用方法の工夫による利用効果の増進を図ること。 ⇒「6 政府における生成 AI の調達・利活用に係るルール」を参照。 その際、生成AIの活用を政府全体で着実に進めるため、各府省庁は、内部管 理系の業務等リスクが低いと考えられる生成AIの利活用について、スピード感 を持って実装を進める。 また、相対的に高リスクである可能性がある生成 AI の利活用(後述の「3.2 高リスクな生成AI利活用の考え方」を参照)であっても、行政の進化や革新を もたらす取組については、適切なリスク対応を行った上で、可能な限り安全か つ効果的なAIプロジェクトとして実施していけるよう、その取組を後押しする。 このため、各府省庁は、行政の進化と革新につながるような生成AIの利活用 を積極的に推進するとともに、当該利活用ケースにあわせたリスク評価を行い、 高リスクの可能性がある生成AIの利活用について、当該プロジェクトの内容、 リスク軽減策や運用時を含めた品質確保策等を、 「先進的AI 利活用アドバイザ 9 リーボード」に報告することとする。 「先進的AI 利活用アドバイザリーボード」 は、内外の政府 AI 利活用のベストプラクティス、ルール整備及び生成 AI シス テムの評価手法の確立等の状況を踏まえた、助言を行うこととする。 さらに、各府省庁は、行政の進化と革新につながるような利用方法の発掘や、 各府省庁において利活用する生成AI全体の機能性や品質及び費用対効果の向上 に努め、必要に応じこれらについて上記「先進的AI利活用アドバイザリーボー ド」の機能や、後述する「AI 相談窓口」の機能を有効活用することとする。 3.2 高リスクな生成 AI 利活用の考え方 各府省庁のAI統括責任者(CAIO)は、企画者と連携しつつ、利活用ケースに あわせたリスク評価を行い、そのリスクレベル(高リスクの可能性が高いか否 か)を適切に判断する。 各府省庁のAI統括責任者(CAIO)は、企画者と連携しつつ、リスクレベルを 判断するにあたり「 【別紙1】高リスク判定シート」(以下、 「高リスク判定シ ート」という。 )を踏まえたうえで、最終判断すること。 「高リスク判定シート」 は、表4に示すリスク軸に沿ってリスクレベル案を示すものである。 高リスクに該当する可能性が高いと判断した場合には、先進的AI利活用アド バイザリーボードに報告を行うこと(※高リスクに該当する可能性が高いと判 断しない場合であっても、必要に応じて、デジタル庁に別途相談可能)。 表 4 リスク軸とその考え方 リスク軸 説明 観点 A.利用者の範 囲・種別 調達・利活用する生成 AI の利用 範囲によってリスクの大きさや影響 を与える範囲の大きさが異なる。国 民等が用いるような形で府省庁外で 利活用するサービスは、政府職員等 による府省庁内での利活用に比べリ スクが高いと考えられる。また、府 省庁内利用であっても、複数府省庁 横断で利活用する場合などはリスク が顕在化した際の影響範囲が大きく ① 国民等による府省 庁外利用 ② 政府職員等による 府省庁内・複数府 省庁横断での利活 用(府省庁共通シ ステムでの利活用 等) 10 リスク軸 説明 観点 なるため、この点を考慮することが 必要となる。 ③ 政府職員等による 府省庁内・単一府 省庁での利活用 B.生成 AI 利活 用業務の性格 過失が重大な影響を及ぼす可能性 のある業務(国民の基本的権利や安 全に大きな影響を及ぼす業務、機微 な政策分野に関する業務、人間の生 命・身体・財産に影響を及ぼす業 務、資格が求められる業務、高い説 明可能性が求められる業務等)にお いて生成 AI を利活用する場合、リ スクが高くなると考えられる。 ① 過失が重大な影響 を及ぼす可能性の ある業務において 利活用する ② 過失が重大な影響 を及ぼす可能性の ある業務において 利活用しない C.要機密情報 や個人情報の 学習等の有無 生成 AI の利活用においては、学 習データやプロンプトに入力するデ ータに関するリスクが存在する。学 習データやプロンプトに入力するデ ータに要機密情報や個人情報が含ま れる場合、リスクが高くなると考え られる。 ① 機密性2情報又は 個人情報が生成 AI システムに保存ま たは学習される ② 機密性2情報又は 個人情報を取り扱 うが生成 AI システ ムに保存及び学習 されない ③ 機密性2情報又は 個人情報を取扱わ ない D.出力結果の 政府職員によ る判断を経た 利活用 生成 AI の出力結果は必ずしも正 しいものとは限らない。そのため、 生成 AI の出力結果に対して政府職 員が判断せずそのまま利活用するよ うな業務設計をする場合、リスクが 高くなると考えられる。 ① 生成 AI システム の出力結果の適切 さを政府職員が判 断せずに利活用す る ② 生成 AI システム の出力結果の適切 さを政府職員が判 断して利活用する 11 ※ 高リスクに該当する可能性の高いケースの例 以下に高リスクに該当する可能性の高いケースを例示する。必ずしも表4の 単一のリスク軸のみで評価されるものでなく、「高リスク判定シート」に示さ れるような形で複合的にリスクレベルを判断(後述の「「高リスク判定シー ト」の見方」も参照)することが重要である。 • (例1)府省庁外に提供する生成 AI システムであって、誤作動等により国 民の権利や安全に大きな影響を与える可能性がある業務への活用(利用者 の範囲・種別①・生成 AI 利活用業務の性格① →高リスクの可能性あり) • (例2)個人情報を使用し、人間の生命・身体・財産に影響を及ぼす業務 における活用を想定しており権利侵害をする恐れがある場合(表 4の要機 密情報や個人情報の学習等の有無①又は②、生成 AI 利活用業務の性格① →高リスクの可能性あり) 12 ※ 「高リスク判定シート」の見方 「高リスク判定シート」は、上記の4つのリスク軸に係る設問について、回 答するだけで「高リスクに該当する可能性が高い」か「高リスクに該当する可 能性が低い」かを簡易的に判定するツール(「図 1 【回答前】高リスク判 定チェックリスト」、「図 2 【回答後】高リスク判定チェックリスト」参 照)。 図 1 【回答前】高リスク判定チェックリスト 図 2 【回答後】高リスク判定チェックリスト 13 なお、 「高リスク判定シート」は、回答結果を踏まえ、以下のフローに基づ き、高リスクの判定が行われるよう、設定されている(「図 3 リスク判定ロ ジック」参照)。 図 3 リスク判定ロジック 14 4 AIの利活用促進とAIガバナンスの強化及び推進のための体制構築 4.1 政府全体のAI の利活用促進と AI ガバナンスのための体制構築 4.1.1 先進的 AI 利活用アドバイザリーボードの開催・AI 相談窓口の運用等 政府横断で効果的・安全な生成 AI プロジェクトの推進を行うため、AI の制 度、利活用、リスク管理、サイバーセキュリティ等に高度な知見を有する有識 者(民間有識者と政府職員の双方を含み得る)等からなる「先進的AI利活用ア ドバイザリーボード」を開催し、デジタル庁が事務局機能を担うこととする。 「先進的AI利活用アドバイザリーボード」は、デジタル庁の他、AISI(AIセ ーフティ・インスティテュート)がアドバイザリーボードの構成員や事務局機 能への参画を通じその知見や機能を生かした役割を果たすことによる効果的運 営を行う。 「先進的 AI 利活用アドバイザリーボード」は、以下の役割を担う。 • 各府省庁における生成 AI の調達・利活用状況の把握 • 各府省庁の高リスクに該当する可能性の高い生成AIの調達・利活用に係る 評価及びリスク緩和のための助言 • 各府省庁における生成AIの調達・利活用のベストプラクティスの把握・発 信 • 各府省庁で発生した生成AIシステム特有のリスクケースの把握、再発防止 のための助言 • 各府省庁における生成 AI の効果的な利活用や、生成 AI システムの機能性 や品質及び費用対効果の向上のための助言(AI 利活用について高度な知見 や豊富な経験を有する有識者や政府職員のリスト化や紹介の機能を含む。 ) • 本ガイドラインの見直しの検討 先進的AI利活用アドバイザリーボードは、政府全体の生成AI施策の動向や ガイドラインの運用状況を踏まえ、関係府省庁 等と連携を行いつつガイドラ インの見直しを行う。また、デジタル庁は、 関係府省庁連絡会議として、 「各 府省庁AI統括責任者(CAIO)連絡会」を開催し、先進的AI利活用アドバイザ リーボードでの議論等について紹介するとともに、各府省庁 における生成 AI の利活用状況や各府省庁におけるガバナンスの状況等の必要な情報提供を行 うこととする。 あわせて、デジタル庁は、各府省庁からの生成AIの調達・利活用や本ガイド 15 ラインの運用に関する質問・相談を受け付けることとし、 「AI相談窓口」とし て運用を行う。 「AI 相談窓口」は、以下のような各府省庁の相談を受け付け、技術的・専 門的観点から、機動的に各府省庁による生成 AI の効果的な利活用を実現する ために必要な支援・助言を行う。 • ガイドラインの内容に関する問合せ • 生成AIを活用した行政事務の効率化・行政サービスの高度化等の手法や技 術的側面に係る相談 • 高リスクな生成 AI に該当するか判断に迷う事案についての相談 • その他、リスク軽減に関して生成AIシステムの企画や調達上留意すべき点 についての相談 さらに、デジタル庁の AI 有識者/担当職員等が、デジタル庁が各府省庁に派 遣している専門人材とも連携して、各府省庁のプロジェクトにおける生成AI利 活用について必要に応じて支援する体制も整えていく。 4.1.2 デジタル庁の統括監理におけるチェック デジタル庁は、デジタル庁設置法(令和3年法律第36号)第4条第2項第17 号に基づく国の情報システムの整備・管理に関する事業の統括監理(一元的な プロジェクト監理)の一環として、各府省庁における生成AIシステムの導入予 定、生成AIシステムのリスク対応の状況等について確認を行うとともに、その 状況を「先進的 AI 利活用アドバイザリーボード」に共有する。 4.2 各府省庁における AI ガバナンス体制の整備 4.2.1 各府省庁における AI 統括責任者(CAIO)の設置 各府省庁において生成AIシステム調達契約のチェックを本ガイドラインに基 づき行うことを含め、生成 AI システムのライフサイクルを通じた生成 AI シス テム統括監理の体制整備等を行う。 具体的には、各府省庁は、AI 統括責任者(CAIO)を設置し、各府省庁におけ る、生成AIシステムの企画、行政データの取扱い、調達、利活用、運用、生成 AI システム特有のリスクケース等の状況を一元的に把握し、生成 AI の適切な 調達・利活用に係る取組を行う。 AI 統括責任者(CAIO)は、各府省庁における生成 AI の利活用を各府省庁の 16 業務において積極的に進めるとともに、各府省庁におけるAIガバナンスの構築 及び実践の司令塔として、生成AIシステム把握、適切なリスク管理の徹底、生 成 AI システム特有のリスクケース対応、政府職員の AI リテラシー向上に向け た研修、アドバイザリーボードへの報告の要否の決定等を行う。 AI 統括責任者(CAIO)は、当該組織における総合的・計画的な行政デジタル 化の推進を統括する責任者であるデジタル統括責任者の役割のうち、AI 分野に 係る役割を担う。このため、AI 統括責任者(CAIO)は、各府省庁における「デ ジタル統括責任者」又はデジタル統括責任者の業務を補佐する「副デジタル統 括責任者」級の政府職員が想定される 17。 4.2.2 先進的 AI 利活用アドバイザリーボードへの報告 各府省庁の AI 統括責任者(CAIO)は、随時各府省庁内における生成 AI シス テムの運営状況及び行政における生成 AI の利活用の状況を一覧的にとりまと め、その状況を定期的に(四半期に一度程度の頻度を目安とする)「先進的 AI 利活用アドバイザリーボード」へ報告を行うこととする。 また、各府省庁の AI 統括責任者(CAIO)は、企画者と連携しつつ、「3 政府における生成 AI の利活用方針」のとおり、生成 AI の利活用プロジェクト の企画時において、適切なリスク評価を行い、高リスクの可能性がある生成 AI については、当該プロジェクトの内容・目的、リスク軽減策や運用時を含めた 品質確保策等を先進的 AI 利活用アドバイザリーボードへ報告する。 また、プロジェクトの企画時に限らず、構築時、リリース時、運用開始後も 含め、事情変化等により高リスクに該当する可能性が生じた場合や、企画時に は生成 AI の利活用を認識しておらず、リリース時や構築後に生成 AI の利活用 を認識し、かつ、高リスクに該当する可能性が生じた場合にも、先進的 AI 利 活用アドバイザリーボードへ報告を行うこととする。 なお、生成 AI の利活用が高リスクに該当するか否かについては、各府省庁 においてリスク評価の結果を踏まえて判断(AI 統括責任者(CAIO)が最終決 定)することとするが、「先進的 AI 利活用アドバイザリーボード」から求め があった場合は、各府省庁は当該プロジェクトについて、必要な報告を行うこ ととする(「図 4 政府の AI 調達・利活用に係るガバナンス体制の概要」参 17 AI統括責任者(CAIO)は、各府省庁の「デジタル統括責任者」又は「副デジタル統 括責任者」が兼任することも可能。 17 照)。18 図 4 政府の AI 調達・利活用に係るガバナンス体制の概要 18 リスク判定に情報セキュリティが関わることが想定される場合においては、適宜最 高情報セキュリティ責任者(CISO)と連携して協議を行った上で、高リスクかどうか の判断を行う。 18 5 生成AIによる便益とリスクを理解した利活用推進 5.1 生成 AI の便益 AI事業者ガイドラインでは、AIの活用による便益として、以下のとおり、示 されている。 AI の活用による便益は多岐にわたっており、技術の進展に伴い拡大し続 けている。 AI は各主体において価値を創造するために活用することができる。その 結果として以下のことが期待できる。 • 運営コストの削減 • 既存事業のイノベーションを加速させる新製品・サービスの創出 • 組織の変革 さらに、様々な分野(農業、教育、医療、製造、輸送 等)への応用及 び様々な展開モデル(クラウドサービス、オンプレミスシステム、サイバ ーフィジカルシステム 等)の活用が考えられる。 政府においても、生成AIの利活用により、表5のような便益が期待され、こ うした便益は、生成 AI の急速な進歩に伴い、更なる拡大が期待される。 各府省庁においては、こうした生成AIの便益を理解し、今後、積極的に業務 への活用を進めていく必要がある。 あわせて、政府での利活用を加速するため、デジタル庁において、各府省庁 と連携しながら、実際の業務への活用のユースケースを想定した技術検証や 「AI アイデアソン・ハッカソン」等を通じたユースケースの創出にも積極的に 取り組む。 表 5 政府による生成 AI 利活用により期待される便益の例 生成 AI 導入目的 便益の例 行政目的の効率 的・効果的な実 現 指定した内容の文案を作成する目的で活用するケー ス。生成 AI が生成した文章をもとに、必要に応じて微調 整・修正を行うだけで、短時間であいさつ文・メールの 作成、文章の要点の作成ができる。 複雑で長い文章の要点を短時間で把握する目的で活用 19 生成 AI 導入目的 便益の例 するケース(議事録の要約など) 。複雑な内容や長い文章 でも瞬時に要約できるので、短時間で文章の要点を把握 できる。 日本語の文章を英語に翻訳する目的で活用するケー ス。翻訳にかかる時間が短縮され、再度日本語に翻訳す ることで正しいかの確認も一定レベルで行うことができ る。 企画立案能力の 向上 アイデア出しを目的で活用するケース。生成 AI が提示 した企画案から、内容を深堀していく方法により、効率 的に企画書作成ができる。指定したテーマに関して、新 たな気づきや考えの整理ができるので、より企画のイメ ージがしやすくなる。 情報収集・分析 能力の向上 過去事例などの府省庁内の文書調査の目的で活用する ケース。作業工数を削減できることで期限超過すること なく、問合せ回答が可能となる。 政府が作り出す 政策・文書・分 析等の質の向上 政府が開催するイベント情報を SNS 向けの記事にする 目的で活用するケース。複数の記事のアイデアの提案か ら、それぞれの良さを取り入れて、より洗練された記事 を作成することができる。 周囲に相談する前に、作成した文章の評価・分析をす る目的で活用するケース。上司から指摘される前に一次 的に生成 AI による文章確認を行うことができ、報告書の 質を高めるための有益なフィードバックを得ることがで きる。 提出された報告書について、実効性の観点から課題・ 対策案を検討する目的で活用するケース。生成 AI による 指摘や対策案が具体的かつ多角的で、報告書の質を高め るための有益なフィードバックを得ることができる。 既存政府情報シ ステムの生成 AI を用いた機能や 利便性向上 問合せの分類・検索業務において、生成 AI を活用する ことにより、既存政府情報システムの分類・検索精度の 向上が見込める。 20 5.2 生成AI によるリスク AI 事業者ガイドラインでは、AI のリスクとして、以下が例示されている。 表 6 AI 事業者ガイドラインにおけるリスクの例 リスクの分類案 AI によるリスク事例とその概要 技 術 的 リ ス ク 19 学習及び 入力段階 のリスク データ汚染攻撃等の AI システムへの攻撃 学習データへの不正データ混入、アプリケーション⾃体を 狙ったサイバー攻撃、プロンプトを通した攻撃等のリスクに より、AI の出力が意図的に操作され、悪影響が生じる。 出力段階 のリスク バイアスのある出力、差別的出力、一貫性のない出力等 学習データの偏り等により AI が差別を助長する。 ハルシネーション等による誤った出力 生成 AI が事実と異なることをもっともらしく回答する。 事後対応 段階のリ スク ブラックボックス化、判断に関する説明の不足 AI の判断のブラックボックス化により、有事の説明責任を 果たせなくなる。また、複雑な機構を持つ AI システムの場 合、メンテナンスやトラブルシューティングの難易度が上が る場合がある。 社 会 的 リ ス ク 20 倫理・法 に関する リスク 個人情報の不適切な取扱い 適切な同意取得がなく、透明性を欠く個人情報の利用が行 われる。 生命等に関わる事故の発生 自動運転等において、AI の誤動作による⼤規模な事故リス クが発生する懸念がある。生成 AI で機械等のプログラムコ ードを生成するケースでは、誤った/非効率なコードによっ て、パフォーマンスの低下や事故等につながる懸念がある。 トリアージにおける差別 AI が優先順位を決定する際にバイアスを持つことで、公平 性の喪失等が生じる可能性がある。医療場面においては、生 命に対する脅威が発生する可能性がある。 過度な依存 19 主に AIシステム特有のもの。 20 既存のリスクがAI においても発生又はAI によって増幅するもの。 21 リスクの分類案 AI によるリスク事例とその概要 人材採用活動等、重要な意思決定におけるAI への過度な 依存により、企業が説明責任を問われたり批判を受けたりす る懸念がある。また、生成 AI を用いたチャットボットとの 会話により、利用者が精神的依存状態になる事例も報告され ている。 悪用 詐欺目的で AI が利用される懸念がある。 経済活動 に関する リスク 知的財産権等の侵害 生成物による他者の知的財産権等の侵害の可能性がある。 複数のアーティストからの集団訴訟事例もある。21 金銭的損失 企業が自社の扱うAIの出力により他者の権利を著しく侵害 した場合等において、損害賠償請求など金銭的な責任を問わ れる懸念がある 。 機密情報の流出 個人情報及び機密情報がプロンプトとして入力され、その AI からの出力等を通じて流出してしまう懸念がある。特に、 外部サービスと内部データを連携する場合は、意図しない重 要情報の漏えいや情報の改ざん等に注意が必要となる。 労働者の失業 AI 等の導入により、失業リスクや格差の拡大なども懸念さ れている。 データや利益の集中 一部の AI 開発者のみにデータや利益が集中する懸念があ る。また、少数言語国では自国言語による高性能なAIが存在 しないといった懸念がある。 資格等の侵害 法律又は医療等業法免許及び資格が求められる領域 に生成 AI を利活用する場合、業法免許及び独占資格等の侵害リスク が存在する。 偽・誤情報等の流通・拡散 21 著作権と生成AIとの関係で生じるリスクを低減させる上で、また、自らの権利を保 全・行使する上で望ましいと考えられる取組については、 「AI と著作権に関するチェ ックリスト&ガイダンス」 (令和6年7月31 日文化庁著作権課)にまとめられている ため、当該ドキュメントを踏まえ必要な対応を行う。 22 リスクの分類案 AI によるリスク事例とその概要 情報空間 に関する リスク 生成AIによる誤情報、ディープフェイク等による情報操作 や世論工作が行われる懸念がある。 民主主義への悪影響 選挙活動等において、他の候補者の偽・誤情報やディープ フェイクの生成・拡散に利活用される懸念がある。 フィルターバブル及びエコーチェンバー現象 SNS 等によるレコメンドにおいて生じる問題であり、自分 の見たい情報にのみ囲まれる及び自分と同じような考えばか りが表示される現象により極端な考えの持ち主になる懸念が ある。 多様性・包摂性の喪失 社会の構成員全体が同じ生成AIモデルを同じ用い方で活用 した場合、導かれる意見及び回答が画一化し、多様性が失わ れる懸念がある。また、金融取引において共通したアルゴリ ズムが用いられることで、市場の不安定性が増すことが懸念 されている。 バイアス等の再生成 生成AIの出力を鵜呑みにする状況が続くことで、既存の情 報に含まれる偏見を増幅し、不公平及び差別的な出力が継 続・拡大する懸念がある。 環境に関 するリス ク エネルギー使用量及び環境の負荷 AI 開発・利用拡大に伴い大量の電力を使用することで、環 境負荷が増大する。 政府における生成AI の調達・利活用においても、上記のようなリスクに留 意することが必要であり、政府として、例えば、以下のようなリスクについて も考慮が必要となる。 • 政策に関わる業務に生成 AI を活用する際等において、政治的中立性・適正 性から逸脱した情報や表現を生成するリスク • 単一の系統のモデルに依存することによるコスト増やバイアスが 定着する リスク • 利用言語・文化・歴史的背景への考慮が不十分な生成 AI の出力を直接利活 用することで誤った発信や国益に反する発信を行ってしまうリスク • 業務に生成 AI を利活用することで行政上の判断の根拠等が不明瞭または追 跡不可能となり、行政過程について国民等への説明責任が果たせないリス 23 ク • ベンダーロックインによる不要なコストの増加のリスク • 法的拘束力を持つ翻訳や問合せ対応に生成 AI を活用する場合、誤回答によ って違法有害情報を流布するリスク 各府省庁においては、生成AIの便益のみならず、こうしたリスクがあること にも留意した上で、生成AIの利活用とリスク管理を表裏一体で進めることが必 要である。 24 6 政府における生成AIの調達・利活用に係るルール 6.1 政府における生成AI の調達・利活用に係る対応事項の全体像 6.1.1 各種法令・ガイドライン等を踏まえた対応事項 ① 生成 AI システムの調達・利活用においても、各種法令や「デジタル社会 推進標準ガイドライン」 、 「政府機関等のサイバーセキュリティ対策のための 統一基準群」、「IT 調達に係る国等の物品等又は役務の調達方針及び調達手続 に関する申合せ」 、 「個人情報の保護に関する法律についてのガイドライン (行政機関等編) 」等の政府情報システムに係るガイドラインを遵守するこ とが必要である。 ② 本ガイドラインの対象となる生成AIシステムに関して、要機密情報を取り 扱うクラウドサービスを調達する場合においては、政府情報システムのため のセキュリティ評価制度(ISMAP:Information system Security Management and Assessment Program)の原則利用の考え方に基づき、原則として ISMAP クラウドサービスリスト又は ISMAP-LIU クラウドサービスリストから選定し た上で、別途、本ガイドラインによる対応を行う必要がある。すなわち、生 成AIシステムに特有のリスク等についての必要な対応は本ガイドラインに基 づき行うため、ISMAP クラウドサービスリスト又は ISMAP-LIU クラウドサー ビスリストから選定したものであっても、本ガイドラインの対応が不要とな るものではないことに注意が必要である。 ③ 不特定多数の利用者に対して提供され、かつ定型約款や規約等への同意の みで利用可能となるクラウドサービス型の生成AIシステムを業務で利活用す る場合には、原則として要機密情報を取り扱うことはできない。また、要機 密情報を取り扱わない場合であっても、リスクを考慮した上で利用可能な業 務の範囲をあらかじめ特定し、個々の利用に当たっては、利用手続きに従っ て、利用目的(業務内容)や利用者の範囲などの企画者からの申請内容を許 可権限者 22が審査した上で利用の可否を決定し、その利用状況について管理 することが必要である。 ④ 政府機関等における生成 AI の業務利用にあたっては、 「DeepSeek等の生成 AI の業務利用に関する注意喚起(令和7年2月6日デジタル社会推進会議幹 22 例外措置の適用の申請を審査し、許可する者を指す。 25 事会事務局) 」23を踏まえ、調達行為を伴わない場合であってもサービスの利 用によって生ずるリスク(※)を十分認識の上、「IT 調達に係る国等の物品 等又は役務の調達方針及び調達手続に関する申合せ」 等の趣旨も踏まえ、内 閣サイバーセキュリティセンターの助言を求めた上で、適切に判断すること が必要である。 ※ 例えば、国外にサーバ装置を設置している場合は、現地の法令が適用さ れ、現地の政府等による検閲や接収を受ける可能性がある。 ⑤ 生成 AI の調達・利活用に関わる政府職員は、AI 事業者ガイドライン「第 2部 C. 共通の指針」を踏まえた取組を行う必要がある。 表 7 AI 事業者ガイドライン「第2部 C.共通の指針」の概要 1 人間中心 ① 人間の尊厳と個人の自律 ② AI による意思決定・感情の操作等への留意 ③ 偽情報等への対策 ④ 多様性・包摂性の確保 ⑤ 利用者支援 ⑥ 持続可能性の確保 2 安全性 ① 人間の生命・身体・財産、精神及び環境への配慮 ② 適正利用 ③ 適正学習 3 公平性 ① AI モデルの各構成技術に含まれるバイアスへの配 慮 ② 人間の判断の介在 4 プライバシー保護 ① AI システム・サービス全般におけるプライバシー の保護 5 セキュリティ確保 ① AI システム・サービスに影響するセキュリティ対 策 ② 最新動向への留意 6 透明性 ① 検証可能性の確保 ② 関連するステークホルダー 23 DeepSeek 等の生成AIの業務利用に関する注意喚起(事務連絡) https://www.digital.go.jp/assets/contents/node/basic_page/field_ref_resourc es/d2a5bbd2-ae8f-450c-adaa-33979181d26a/e7bfeba7/20250206_councils_social- promotion-executive_outline_01.pdf 26 ③ 合理的かつ誠実な対応 ④ 関連するステークホルダーへの説明可能性・解釈 可能性の向上 7 アカウンタビリテ ィ ① トレーサビリティの向上 ② 「共通の指針」の対応状況の説明 ③ 責任者の明示 ④ 関係者間の責任の分配 ⑤ ステークホルダーへの具体的な対応 ⑥ 文書化 8 教育・リテラシー ① AI リテラシーの確保(各主体を対象) ② 教育・リスキリング ③ ステークホルダーへのフォローアップ 9 公正競争確保 - 10 イノベーション ① オープンイノベーション等の推進 ② 相互接続性・相互運用性への留意 ③ 適切な情報提供 6.1.2 本ガイドラインに基づく対応事項 ① 生成 AI の調達・利活用に関わる政府職員は、本ガイドラインの「6.2 政府における生成 AI システムの AI 統括責任者(CAIO)の対応事項」、「6.3 政府における生成 AI システムの企画者の対応事項」、「6.4 政府における 生成 AI システムの開発者の対応事項」 、 「6.5 政府における生成 AI システ ムの提供者の対応事項」 、 「6.6 政府における生成 AI システムの利用者の 対応事項」 、 「6.7 生成 AI システム特有のリスクケースへの対応」につい て、それぞれ適切に対応する。 ② ただし、生成 AI システムの導入類型は、様々なパターンが想定される。 例えば、主な類型としては、生成 AI システム導入に係る「開発の実施有無」 及び「契約の形態」で整理した場合、以下の類型が考えられる。 A:生成AIシステムの個別開発は実施せず、定型約款や規約等への同意によ りサービスを利用する。(原則、要機密情報を扱わない想定) B:生成AIシステムの個別開発は実施せず、定型約款や規約等への同意に加 え、個別契約の締結を行う。 C:生成 AI システムの個別開発を実施し、個別契約の締結を行う。 27 このとき、A に該当するケースにおいては、原則、要機密情報を取り扱わ ない利用を想定していることから、 「6.3.2 生成AIシステムの調達時の対応 事項」で規定する「調達チェックシート」及び「契約チェックシート」に基 づき、調達仕様書又は契約書において要求事項等を定めることが不要かどう か、「調達チェックシート」及び「契約チェックシート」に記載された内容 と矛盾がある約款項目がある等の問題がないか、を確認する必要がある(求 めることが必要な要求事項等がある場合には、B 又は C の形で調達を行うこ とを検討する。 )。 加えて、B 又は C に該当するケースにおいても、例えば、以下のような観 点を踏まえて、各対応事項について、対策が不十分又は過剰とならないよう、 リスクと対策のバランスを考える必要がある。 ・概念検証(PoC)段階か、本番開発段階か等のプロジェクトフェーズ (例えば、概念検証段階で各対応事項を全て実施する場合、対策が 過剰 となる可能性がある。) ・高リスクの可能性が高い利用か、否か等のリスクレベル (例えば、高リスクの可能性が高い利用 の場合で、ユースケースにあわ せた追加の対応が必要となる可能性がある。) ・ユースケースの性格 (例えば、行政内部で大量の文書の検索のために生成AIシステムを利用 する場合、基本項目の「有害情報の出力制御」や「偽誤情報の出力・ 誘導の防止」の要求事項は、不要となる可能性がある。) このように、生成AIシステムの案件に応じて、上記の導入類型、プロジェ クトフェーズ、リスク レベル、ユースケースの性格 等を踏まえ、前項 (「6.1.2 本ガイドラインに基づく対応事項 」の①)については、リスクと 対策のバランスを考慮し、 各対応事項の要求レベルや一部の 要求事項・取決 め事項の取捨選択又は拡充を検討する必要がある。 6.2 政府における生成AI システムの AI 統括責任者(CAIO)の対応事項 6.2.1 各府省庁内向けルールの整備 各府省庁の AI 統括責任者(CAIO)は、①各府省庁内における生成 AI の利活 用方針及び②生成AIシステム特有のリスクケース発生時の対応方針を示すため、 以下のルールを策定する。なお、当該ルールは、本ガイドラインの改定、生成 28 AI の最新の動向や利活用状況を踏まえて随時改定することとする。 ① 生成 AI システムの利活用ルール 各府省庁において、適切な生成 AI の利活用を促進するため、AI 統括責任者 (CAIO)は、「【別紙2】生成AIシステムの利活用ルールひな形」に基づき、以 下のような事項に留意して、各府省庁の利用者(政府職員)に向けて生成AIシス テムの利活用ルールを策定する。 ・政府職員等利用者が生成AIシステムの利活用前に最低限理解しておくべき 知識や要機密情報の取扱い等の留意事項 ・(生成 AI システムごとの利活用ルール等に記載する)利用目的の範囲内で の利活用やAI生成物を利活用した業務に係る説明責任やリスクの回避など 政府職員による利活用に当たって心得るべき事項 ・生成 AI を活用して職務上作成した文書の取扱い ・生成 AI システム特有のリスクケース発生時の AI 統括責任者(CAIO)への 報告 等 ② 生成 AI システム特有のリスクケースへの対応に関わるルール 生成 AI システム特有のリスクケースが起こった場合に備え、生成 AI システ ム特有のリスクケースへの対応のルールを策定する。 (詳細は、「6.7 生成 AI システム特有のリスクケースへの対応」を参照) 6.2.2 各府省庁内における AI ガバナンスの確保 AI 統括責任者(CAIO)は、以下①②を通じて AI ガバナンスの確保に取り組 むものとする。 ① AI 統括責任者(CAIO)は、各府省庁内におけるAI ガバナンス体制を整備し、 AI ガバナンスを継続して確保する。 (詳細は「4.2 各府省庁における AI ガバナンス体制の整備」参照) ② AI 統括責任者(CAIO)は、本ガイドラインを踏まえたルールの策定・見直 し、本ガイドラインや生成AIシステムの利活用ルールの周知、研修(入力デ ータやハルシネーション等に係る注意喚起など)等を通じ、 各府省庁におい て、本ガイドラインを踏まえた生成AIの調達・利活用が行われるよう、必要 な取組を行う。 29 6.3 政府における生成AI システムの企画者の対応事項 6.3.1 生成 AI システムの企画時の対応事項 生成 AI システムの企画者は、企画時に以下の対応を実施する。生成 AI の便 益を最大化するためには、企画時に業務・生成AIシステム両方の知見を用いて 検討を進めることが望ましい。そのため、業務知見者と生成AIシステム知見者 の両者が連携する体制を構築した上で、生成AIシステムを企画することに努め る。 ① 企画者は、生成 AI システムを使って何を実現・解決したいのか目的を明確 にするとともに、適切な目標設定を行う。 ② 企画者は、当該ユースケースを想定した環境・リスク分析を行うとともに、 リスクを最小限に抑える方法や運用時を含めた品質確保策等を検討する。 ③ 企画者は、デジタル庁が実施する統括監理の際に、生成 AI システムの導入 予定、リスク分析結果、リスク対応策、行政データの取扱い等について、報 告を行う。 ④ 企画者は、高リスクの可能性がある生成 AI システムについては、 「4.2.2 先進的 AI 利活用アドバイザリーボードへの報告」のとおり、当該プロジェ クト目的、リスク軽減策や運用時を含めた品質確保策等を、AI 統括責任者 (CAIO)が先進的 AI 利活用アドバイザリーボードへ報告する際、連携して 対応を行う。 ⑤ 今後、政府における生成 AI の利用拡大を見据え、政府機関等における生成 AI システム間のデータ等の連携や府省庁間の共同利用、共同プロジェクトや 共通システムの組成等を通じて政府全体としての生成 AI システムの最適化 を図る観点は重要である。例えば、ガバメントクラウド等の共通機能上で、 提供される生成AIシステムを積極的に活用することで、費用対効果の向上、 セキュリティの確保、業務システムとの連携等を効率的に行うことができる 可能性がある。このため、企画者は、新たな生成 AI システムの検討に当た っては、こうした共通機能として提供されたサービスの利活用についても留 意する。(※) ※ ガバメントクラウドに関する法律(情報通信技術を活用した行政の推 30 進等に関する法律の一部を改正する法律(令和7年法律第4号) )に基 づき、国の行政機関等が自らの事務の実施に関連する情報システムの 整備を行う場合は、ガバメントクラウドの利活用を検討する義務があ る。 生成 AI と組み合わせたシステム整備あるいは更改を検討する際にも、 当該システムをガバメントクラウド上に構築した上でパッケージやツ ールを活用する形で効率的に生成 AI 環境を確保できないか等について 検討することが求められる。 その他、具体的な利活用検討の考え方については、 「ガバメントクラ ウド利用検討の基本的な考え方について」を参照されたい。 6.3.2 生成 AI システムの調達時の対応事項 ① 企画者は、「 【別紙3】調達チェックシート(生成AI システム用)」 (以下、 「調達チェックシート」という。 )(※)を参照し、事業者及び調達予定の 生成AIシステム等について、調達の応募者に対し求める事項として、調達 仕様書に盛り込む。 また、企画者は、リスク分析結果等を踏まえ、「調達 チェックシート」に記載のない事項についても、必要に応じ追加 を検討す る。 ※ 「調達チェックシート」は、AI 事業者ガイドライン及び AISI が公表し ている「AI セーフティに関する評価観点ガイド(第 1.01 版 )」 24等を 参考に、生成AI納入事業者のAIガバナンス、適切なインプット・アウ トプットやデータの取扱い、偽誤情報の出力防止等を含むLLMやサービ スの品質確保、生成 AI システム特有のリスクケース発生時の適切な対 応確保、国民等が利用する場合の適切な取扱確保(生成 AI によるアウ トプットであることの表示等) 、個人情報や知的財産の保護、セキュリ ティや説明可能性の確保といった観点から、生成 AI システムの調達時 の要求事項や、要求事項を満たすための対策例とその詳細、裏付けと なる情報例を整理している。「調達チェックシート」を参照することで、 生成 AI システムの調達時の要点を確認することができるため、仕様書 に盛り込む内容とその裏付けとなる情報を提出させるか、またどのよ うな情報を提出させるかの検討時に参照されたい。なお、「調達チェッ 24 本ガイドラインは、 「AI セーフティに関する評価観点ガイド(第1.01版) 」を参考 にしており、最新版「AI セーフティに関する評価観点ガイド(第1.10版) 」の改定に よる修正については、今後の本ガイドラインの改定の際に検討する。 31 クシート」は「生成 AI システムの調達」に関して特有の留意すべき項 目のみ掲載しているため、 あわせて、別途「デジタル・ガバメント推 進標準ガイドライン」の内容や、 「デジタル・ガバメント推進標準ガイ ドライン実践ガイドブック」の別紙「調達仕様書テンプレート」等を 参照し調達仕様書を作成する必要がある。 ※「調達チェックシート」の見方 (「図 5 「調達チェックシート」の要求事項イメージ」参照) 図 5 「調達チェックシート」の要求事項イメージ 「要求事項」のうち、政府機関が調達する生成 AI システムに原則要 求すべきと考えられる事項については、 「基本項目」として設定してい る(調達チェックシートの「評価・選定時の項目の分類」列に記載)。 「基本項目」としている要求事項は、調達時に応募者に求める事項 として盛り込むことを原則とする。「任意追加項目(加点項目)」とし ている要求事項は、必要に応じ考慮した方が良い観点であり、調達の 評価項目の加点項目とすることを想定したものである。 調達チェックシートの参考として、 「(参考)要求事項の参考 」シー トに、要求事項を満たすための 対策例である「対策例」と「対策例詳 細」、「裏付けとなる情報の例」 を記載している。なお、 対策例、対策 例詳細、裏付けとなる情報の例について、技術 動向やビジネス環境等 の変化を踏まえ、柔軟に記載の更新を検討していく予定である。 32 ② 企画者は、総合評価方式や企画競争方式を採用する場合は、こうした要求 事項について、必要に応じ評価項目にも反映する。 ③ 国内の生成AI事業者等のスタートアップ育成のためには、 「公共調達」の活 用が重要である。このため、企画者は、生成 AI システムに係る調達におい ては、 「デジタル・スタートアップの公共調達参入機会拡大に向けた情報シ ステムに係る調達における評価制度の実施要領」 (令和6年1月15 日デジタ ル社会推進会議幹事会決定)に掲げるところにより、デジタル・スタートア ップを評価することとする。また、SaaS 型の生成 AI システムや、その導入 支援を行う会社のサービスの検討にあたっては、デジタル庁が運営する「デ ジタルマーケットプレイス」 25が活用可能である。 「デジタルマーケットプレ イス」を活用することで、迅速な導入が実現できるほか、中小・スタートア ップを含む多様な事業者が公共調達市場にアクセスしやすくなり、公正競争 が加速する効果が期待できるため、積極的な活用を検討する。 ④ 企画者は、「 【別紙4】契約チェックシート(生成AI システム用)」 (以下、 「契約チェックシート」という。 )(※)を参照し、生成 AI システムの調達 において留意すべき事項についても、契約書または調達仕様書に盛り込むこ とを検討する。また、企画者は、リスク分析結果等を踏まえ、「契約チェッ クシート」に記載のない事項についても、必要に応じ追加を検討する。 ※「契約チェックシート」は、AI 事業者ガイドライン、経済産業省の「AI の利用・開発に関する契約チェックリスト」及び「 AI・データの利用 に関する契約ガイドライン」等を参考に、生成 AI システムのインプッ トに係る権利帰属関係、アウトプットに係る事業者の義務の範囲や知 的財産権の帰属関係、生成 AI システム特有のリスクケース発生時の事 業者の対応義務の範囲、期待品質の維持 、環境への配慮等に係る事業 者の対応義務の範囲等について、生成 AI システムの調達における契約 時に確認が必要な項目を整理している。「契約チェックシート」を参照 することで、生成 AI システム調達時の契約において留意すべき要点を 確認することができるため、契約書または調達仕様書に盛り込む条項 の検討時に参照されたい。なお、契約チェックシートは、「生成AIシス テムの調達」に関して契約特有の留意すべき項目のみ記載されている。 25 デジタルマーケットプレイス https://www.dmp-official.digital.go.jp/ 33 ※「契約チェックシート」の見方 (「図 6 「契約チェックシート」の取決め事項イメージ」参照) 図 6 「契約チェックシート」の取決め事項イメージ 契約時に事業者とすり合わせるべき事項として、「取決め事項」を設 定している(契約チェックシートの「取決め事項」 列に記載)。「取決 め事項」は、原則として契約書または調達仕様書に盛り込むことを検 討する。 「契約に盛り込む条項内容例 」と「補足説明」については、 取り決 めた事項を契約に盛り込む際の条項内容例とその補足説明であるため、 調達する生成 AI システムの特徴や案件の特性、リスク評価結果を踏ま え、取捨選択の上、企画者が必要に応じ契約書 または調達仕様書に盛 り込むこととする。 34 コラム:SBIR 制度(Small/Startup Business Innovation Research) スタートアップ等の支援を目的とした SBIR 制度(Small/Startup Business Innovation Research)26がある。 本制度は、スタートアップ 等による研究開発を促進し、その成果を円滑に 社会実装し、それによって我 が国のイノベーション創出を促進するための制 度である。 SBIR 制度のもとでは 、「特定新技術補助金等」と「指定補助金等」という、 2種類の補助金等が交付される。 1) 特定新技術補助金等 特定新技術補助金等 とは、各府省庁における研究開発の 補助金や委託費の うち、研究開発型スタートアップ 等を交付対象に含むものを指す。研究開発 型スタートアップ等への支出の目標額を設定するとともに、 支出の増大を図 るための措置を規定している。 2)指定補助金等 指定補助金等とは、 上述の特定新技術補助金等のうち、政策 ニーズに基づ き国が研究開発課題を設定して交付する補助金等のことで、令和3年度の制 度改革により新たに創設された。 生成AI を含む AI の分野においては「スタートアップ」が最先端の知見・ 技術を有していることが多々ある。 このため、指定補助金等の運用を行う各府省庁は、解決したい政策課題や 調達ニーズをトピックとして取りまとめる際に、AI 関連テーマも積極的に検 討することが望ましい。 なお、SBIR制度の特定新技術補助金等の交付先中小企業者等は、政府調達 においても、入札参加資格等級、過去の納入実績の有無にかかわらず、基本 的に全ての入札への参加が可能となる支援措置も講じられている。 26 SBIR 制度(Small/Startup Business Innovation Research) https://www8.cao.go.jp/cstp/openinnovation/sbirseido/sbirseido.html 35 6.3.3 生成 AI システムの構築・リリース前の準備時の対応事項 生成AIシステムの企画者は、システムのリリース前に以下の取組を実施する。 ① 安定的な稼働の確認 • 利用目的・機能を踏まえて、入出力の検証のためのテストシナリオを作 成、入出力を検証し、システムが安定して動作すること及び期待品質を 満たしているか確認する(※)。 (例:個別開発の場合に当該ドメインで禁忌とされる出力をしていない か、不適切な生成やバイアスの有無[人種、民族、性別等の偏見及び差別 等の社会的バイアス等]をしていないか、また、レッドチーム等の様々な ⼿法を組み合わせて多様/独⽴した内外部テスト⼿段を採⽤する、調達時 の生成 AI システムに対する仕様書要件を満たしているか。) ※ 企画者のみで作成するのが難しい場合には、ユーザーへのヒアリン グや開発者等と相談をして作成。国民が使うシステムの場合は、テス トとして稼働確認する人について 国民も含まれる可能性がある。デー タ(学習データ、テストデータ)の検証および改善対応については、 契約上の責任に応じて、必ずしも企画者が実施するものではなく事業 者(生成 AI システムのプロバイダー含む)が実施する場合もあり得る。 ② 適正利用の促進 • 生成 AI システムごとの利活用ルールや利用方法を整備し、生成 AI シス テムのユーザー(府省庁内の利用者および生成 AI システムが国民に提供 される場合は利用する国民のことをいう。以下同様)に周知する。 (例:生成 AI の利用目的・利用範囲、利用可能な生成 AI 環境と活用可 能なデータの種別、利用条件・手続き・利用方法、 利活用に係る推奨事 項・禁止事項、その他生成 AI システムごとの要件に沿ってユーザーに伝 えおくべき事項等) • 生成 AI システムに関する重要な情報や生成 AI システムの利活用にあた っての留意点を生成 AI システムのユーザーが理解し易くかつアクセスが 容易な方法で提供する。 (例:生成 AI の利用目的・利用範囲、適切/不適切な利用、技術的特性、 予見可能なリスクとその緩和策、 動作状況、受入テストの検証結果、発 生した不具合や生成 AI システム特有のリスクケースの内容と対応状況、 データ収集ポリシー、学習方法、システムアーキテクチャ、データの処 理プロセス、緊急時の連絡先や問合せ窓口等) • 実際に使用する生成 AI システムの目的・利用方法について、モデル上の 制約等を含めて生成 AI システムのユーザーに提供する。 (例:データアップロード可否、 プロンプトのトークン上限、 応答速度 等) • 生成 AI システムのユーザーの情報を収集する可能性がある旨を周知する。 36 (例:利活用状況の適切な監督や説明責任・原因究明を果たすため 等に 収集するログイン履歴・プロンプトや出力結果等) 6.4 政府における生成AI システムの開発者の対応事項 政府においては、生成AIシステムの開発は、主に事業者への委託により、実 施される場合が多い。このため、開発者に求める事項については、調達への応 募者に対し求める事項として、仕様書・契約書に盛り込むこととし、 「6.3 政 府における生成 AI の企画者の対応事項」として、記載している。 なお、政府職員が自ら生成 AI の開発を行う場合の開発者は、AI 事業者ガイ ドライン「第3部 AI 開発者に関する事項」に掲げられた取組を行うこととす る。 6.5 政府における生成AI システムの提供者の対応事項 生成AIシステムの提供者は、システムのリリース後、以下の取組を実施する。 ① システムの運用 • 生成 AI システムの出力が期待品質を満たしていること、および不適切な 生成やバイアスが発生していないことを監視する。 (例:プロンプト・出力結果等の利用ログが 取得できる場合にサンプル チェックし、生成 AI システムへの入出力及び判断根拠等を定期的にモニ タリングし、判断根拠が偏っていないか、特定の文化背景を基にした出 力となっていないか等を確認する。また、利用者へのアンケート・ 利活 用実態状況調査で不適切な生成やバイアスが発生していないかを確認す る。) • 適切な目的で生成 AI システムが利用されていること、および目的外利用 がされていないことを定期的に検証する。 (例:プロンプト・出力結果等の利用ログが 取得できる場合にサンプル チェックし、業務と関係のない何らかの出力を期待していると思われる 入力をしていないこと等を確認する。また、 利用者へのアンケート・利 活用実態状況調査で利用目的等を調査する。) • 個人情報の不適切な取扱いや個人情報・要機密情報の流出、プライバシ ー侵害がないか確認する。 (例:プロンプト・出力結果等の利用ログが 取得できる場合はサンプル チェックを行い、個人情報の 目的外利用が疑われるケースが発生してい ないか、生成 AI システムで想定される入力範囲を超えた要機密情報が含 まれていないか、プライバシー侵害が発生していないかを検知する。ま た、利用者へのアンケート・ 利活用実態状況調査で同様の事象が発生し ていないかを確認する。) • 生成 AI システムに対する最新のリスク(攻撃手法の多様化など)及びそ 37 の対応策の動向を確認し、必要な対応を行う。 (例:情報セキュリティインシデント(JIS Q 27000:2019 における情報 セキュリティインシデントをい う 。)や生成 AI システム特有のリスクケ ース事例や開発者のモデルの脆弱性に関するレポート等を定期的に確認 し、必要な対応を行う。) • 生成 AI システムの入出力に関して有用性や問題点などのレビューを行い、 必要に応じて、利用者への周知をする。 (例:生成 AI システムへの入出力及び判断根拠等を確認し、有用性に関 する効果的な利用方法、問題点に関する注意喚起等を実施する。また、 利用者へのアンケート・利活用実態状況調査で有用性や問題点を共有し てもらう。) ② システムの保守 • 必要に応じて、生成 AI モデル改善の判断を事業者に促す。 (例:生成 AI モデルを構成する各技術要素のバイアスの再評価、評価結 果に基づき変化点があった場合等に生成 AI モデルの改善を提案する。) • 「政府機関等のサイバーセキュリティ対策のための統一基準群」の遵守 を前提とし、脆弱性の対応を検討、必要に応じて実施する。 (例:生成 AI システムのプログラムに内在する脆弱性を検知した場合、 パッチ対応・モデル更新等を検討・実施する。) ③ 生成 AI システム特有のリスクケースへの対応 (詳細は「6.7 生成 AI システム特有のリスクケースへの対応」を参照) 6.6 政府における生成AI システムの利用者の対応事項 利用者は、本ガイドラインを踏まえて策定された、各府省庁における生成 AI システムの利活用ルール( 「6.2 政府における生成 AI システムの AI 統括責任 者(CAIO)の対応事項」参照)及び各生成AIシステムの利活用ルール( 「6.3.3 生成AIシステムの構築・リリース前の準備時の対応事項」参照)を遵守するこ とが求められる。 38 6.7 生成AI システム特有のリスクケースへの対応 既に述べ たリスクへの対応をすべて行ったとしても、リスクをゼロにするこ とはできないとの前提のもと、リスクを軽減するための対応と並行して、リス クが顕在化した場合等への対応を各府省庁において準備しておく必要がある。 生成 AI システム は、その特徴から、その出力結果に関して、生成 AI システム 特有のリスクケースが発生する可能性がある。以下に、生成AIシステム特有の リスクケースの例を示す。 • 生成 AI が人種・性別・文化等に関する偏見 や差別を含む社会的に大きな問 題となり得る出力を行った。 • 生成 AI が攻撃的または危険なコンテンツを生成した 。 • 生成 AI が事実 と異なる情報を出力し(ハルシネーション) 、利用者がその 情報を利用したことによって利用者もしくは第三者に不利益を与えた。 • 利用者が生成 AI により既存の作品に類似し、著作権の侵害等の問題が生じ る可能性が高いコンテ ンツを意図せず生成し、利活用したことで当該作品 に係る権利者等から削除等の申出を受けた。 生成AIシステム 特有のリスクケース等への対策として、各府省庁の政府職員 は以下を実施する。 ① AI 統括責任者( CAIO)は、本ガイドラインを踏まえ、生成 AI システム特有 のリスクケースへの対応手順を整備する。 ② 生成 AI システム特有のリスクケースが発生した場合、AI 統括責任者(CAIO) 及び生成AIの提供者が中心となり、重要度・影響の程度等を踏まえ、適切な 対応を行う。 ③ 政府全体での生成 AI システム特有のリスクケースへの対応能力の向上を目 的とし、先進的 AI 利活用アドバイザリーボード(事務局)にて、生成 AI シ ステム特有のリスクケースのナレッジを集約する。このため、AI 統括責任者 (CAIO)は、生成AIシステム特有のリスクケースの発生時及び対応後に先進 的 AI 利活用アドバイザリーボード(事務局)に報告する。先進的 AI 利活用 アドバイザリーボード(事務局)は各府省庁に対し必要に応じ、生成AIシス テム特有のリスクケースへの対応にあたっての助言等を行う。 ④ 情報セキュリティインシデントと生成 AI システム特有のリスクケース双方 の性質を併せ持つインシデントが発生する可能性もある(例:生成AIシステ 39 ムの学習データがサイバー攻撃者により汚染され、モデルの精度が低下した ことにより偏見を含む出力を生成しやすくなる等)。このような状況下にお いては、情報セキュリティインシデント対応体制、生成AIシステム特有のリ スクケースへの対応体制間で適切に連携をする、あるいは双方の専門性を活 かして協力して対応する。その際、各府省庁 で定められた情報セキュリティ インシデント発生時の対処手順に従って対応することが基本となる。 なお、こうした生成AIシステム特有のリスクケース発生時は、必要に応じ、 対応に必要なデータについて事業者等から提出を受けることや、必要な監査 を実施することについても検討する(これらへの対応が適切になされること を担保するため、生成AIシステムに係る事業者との契約においても、これら への対応について盛り込むことを検討する。)。 ⑤ 生成 AI システムについて、個人情報漏えい事案等が発生した場合は、各府 省庁で定められた対応手順に従って適切に対応を行う。このような状況下に おいては、個人情報保護への対応体制と生成AIシステム特有のリスクケース への対応体制間で適切に連携をする。 40 7 今後の進め方 日々技術進歩する生成AIシステムの政府調達・利活用においては、今後想定 されていな かったリスクが顕在化する可能性もあることなどから、政府による 生成 AI 調達・利活用ルールについては、随時見直していくこととする。 また、政府が調達する画像や動画等の生成 AI に係る来歴証明 27の導入の在り 方については、政府における生成AIの利活用の状況、国際的な議論の動向等を 踏まえ、引き続き検討を行う。 更に、政府機関等における生成AIシステム間のデータ等の連携や府省庁間で の共同利用、共同プロジェクトや共通システムの組成等を通じた政府全体とし ての生成AIシステムの最適化の在り方について、令和7年度に検討を行ったう えで、今後のルール見直しに反映させていくこととする。 以上 27 コンテンツが誰によって、いつ、どのように作成され、どのような変更が加えられ たかを、検証可能な形でコンテンツに付与する技術 記⼊⽇ 所属(府省庁/課室等) システム名 記⼊者名 リスク判定結果 ■⾼リスク判定チェックリスト 以下のチェック内容を確認し、企画時点の想定で回答欄を記載ください 観点 チェック内容 選択肢 回答 コメント※⾃由記述 A. 利⽤者の範囲・種別 利⽤範囲は次のいずれでしょうか? ①国⺠等による府省庁外利⽤ ②政府職員等による府省庁内・複数府省庁横断での利活⽤(共通システムでの利活⽤等) ③政府職員等による府省庁内・単⼀府省庁での利活⽤ ④企画時点で未定 B. ⽣成A I利活⽤業務の性格 利活⽤業務は次のいずれでしょうか? ①過失が重⼤な影響を及ぼす可能性のある業務*において利活⽤する ②過失が重⼤な影響を及ぼす可能性のある業務において利活⽤しない ③企画時点で未定 *国⺠の基本的権利や安全に⼤きな影響を及ぼす業務、機微な政策分野に関する業務、⼈間の⽣命・⾝ 体・財産に影響を及ぼす業務、資格が求められる業務、⾼い説明可能性が求められる業務等 C. 要機密情報や個⼈情報の学習等 の有無 デ ータおよびその取り扱いは次のいずれでしょうか? ①機密性2情報または個⼈情報が⽣成AIシステムに保存または学習される ②機密性2情報または個⼈情報を取り扱うが⽣成AIシステムに保存および学習されない ③機密性2情報および個⼈情報を取扱わない ④企画時点で未定 D. 出⼒結果の政府職員による判断 を経た利活⽤ 出⼒結果の利活⽤に係る運⽤は次のいず れでしょうか? ①⽣成AIシステムの出⼒結果の適切さを判断せずに利活⽤する ②⽣成AIシステムの出⼒結果の適切さを判断して利活⽤する ③企画時点で未定 回答欄を記載ください 別紙1 ※「⾼リスク判定シート」の⾒⽅ 【回答前】 【判定ロジック】[⾼]=[⾼リスクに該当する可能性が⾼い]、[低]=[⾼リスクに該当する可能性が低い] 【回答後】 「⾼リスク判定シート」は、以下4つのリスク軸に係る設問について、回答するだけで「⾼リスクに該当する可能性が⾼ い」か「⾼リスクに該当する可能性が低い」かを簡易的に判定するツール。判定ロジックは以下のフローに従う 1 〇〇省 生成 AI システム利活用ルール(ひな形 Ver1.0) 令和〇年〇月〇日 1. ルールの目的 本 ルールは、〇〇省職員による生成AIの適正な利活用を促進するため、「行 政の進化と革新のための生成AIの調達・利活用に係るガイドライン」等を踏ま え、〇〇省職員が、生成AIシステムを利用する際に遵守・留意すべき事項等を 定めるものである。 2. 生成 AI システムの利活用に係るルール 生成 AIシステム を利活用する際は、以下の(1)利活用前のルール※ (2)利活用中のルールを遵守すること。 ※「 DeepSeek 等の生成 AI の業務利用に関する注意喚起(事務連絡) 」1につ いても併せて確認されたい。 ( 1)利活用前のルール • 生成 AI の利活用 は、様々な便益が期待される一方、要機密情報の流出やハ ルシネーションなどのリスクがあることを理解すること(生成 AI による便 益とリスクについては、 「行政の進化と革新のための生成AI の調達・利用 に係るガイドライン」の「5 生成 AI による便益とリスクを理解した利活 用推進」を参照。 ) 。 • 生成 AI システム の企画者又は提供者(政府職員又は国民が利活用する生成 AI システムを運営する政府職員。以下同じ。)から説明された利用方法、 セキュリティ上の留意点、生成 AI の出力についての精度及びリスクの程度 を理解すること。 (例:利活用できる生成AI の環境、利用条件、ルール、 相談先、情報セキュリティインシデント(JIS Q 27000:2019 における情報 セキュリティインシデントをいう) ・生成AI システム特有のリスクケース 発生時対応等を利活用前に理解しておく。 ) 。 • 生成 AI システム への入力結果及び出力結果は、必要に応じて生成 AI シス テムの提供者に提供する必要がある旨事前に了解すること(例:PJMO (プ 1DeepSeek等の生成AIの業務利用に関する注意喚起(事務連絡) https://www.digital.go.jp/assets/contents/node/basic_page/field_ref_resources /d2a5bbd2-ae8f-450c-adaa-33979181d26a/e7bfeba7/20250206_councils_social- promotion-executive_outline_01.pdf 別紙2 2 ロジェクト推進組織のこと。ProJect Management Office の略字)からの 求めに応じて、アクセス可能な状態であれば入力データまたはプロンプ ト・出力結果・データ提供の手段・形式等を提出する。 ) 。 • 不特定多数の利用者に 対して提供され、かつ定型約款や規約等への同意の みで利用可能となるクラウドサービス型の生成 AI システムを業務で利活用 する場合には、原則として、要機密情報を取り扱わないこと(例外として、 要機密情報を取扱う場合○○省情報セキュリティポリシーに基づき、情報 セキュリティ責任者の許可が必要。 )。要機密情報を取り扱わない場合であ っても、不特定多数の利用者に対して提供され、かつ定型約款や規約等へ の同意のみで利用可能となるクラウドサービス型の生成 AI システムを業務 で利活用する場合には、○○省情報セキュリティポリシーに基づき、利活 用の許可を得ること。また、要機密情報を取り扱わない場合であっても、 例えば、国外にサーバ装置を設置している場合は、現地の法令が適用され、 現地の政府等による検閲や接収を受ける可能性があることに留意 すること。 (2)利活用中のルール ① 入力データ 又はプロンプトにおけるルール • 利用者側の不理解やミ スにより生じるリスクがあることを踏まえて、利用 目的の範囲内で生成 AI システムを適切に利活用すること(例:生成 AI シ ステムの提供者から説明された利用方法や必要に応じてマニュアルと照ら しつつ生成 AI システムを活用する。生成 AI システムの提供者から説明さ れた利用目的範囲外の利活用をしない。 ) 。 • 生成 AI システムに個人情報を含むプロンプトを入力する場合には、事前に 当該生成 AI システムへの入力の可否を確認の上、当該個人情報の利用目的 のための必要最小限の利活用又は提供であることを十分に確認すること (例:○○省のプライバシーポリシーや生成 AI システムの提供者が定める 利活用ルールを確認し、問題がないかを判断したうえで利活用、判断が付 かない場合は個人情報を含まないプロンプトとする。 ) 。 • 行政機関等が、 生成 AI システムに保有個人情報を含むプロンプトを入力し、 当該保有個人情報が当該プロンプトに対する応答結果の出力以外の目的で 取り扱われる場合、当該行政機関等は個人情報保護法(平成15年法律第57 号)の規定に違反することとなる可能性がある。そのため、このようなプ ロンプトの入力を行う場合には、当該生成 AI システムを提供する事業者が、 当該保有個人情報を機械学習に利活用しないこと等を十分に確認すること。 • 正確かつ最新のデータ入力を 行うこと(例:不正確な回答につながってし まうため、生成 AI に入力する前に、前提が誤っている等の不正確な情報と 3 なっていないかを利用者自身でチェックする。 ) 。 ② 生成物 利活用におけるルール • 生成 AI の出力に基づいて行われた判断も説明責任の対象に含まれることに 留意すること(例:利 用者自身が生成物について説明できることを確かめ たうえで業務利活用する。必要に応じて生成物を換言して、自身で説明で きる表現にする。 ) 。 • 責任を 持って生成 AI の出力結果の業務への利用判断を行うこと(例:入力 データまたはプロンプト、出力結果に含まれるバイアスに留意して、業務 に活用して問題ないかを利用者が判断する。判断に迷う場合は利活用しな いこととする。 ) 。 • 正確性や根拠・事実関係を 必要な範囲内でリスクに応じて確認すること。 • 安全性・公平性・客観 性・中立性等に問題がないことを確認し、問題のあ る表現は必ず加除修正すること(例:差別用語や倫理に反する表現が含ま れていないこと、著作権等第三者の権利を侵害していないこと、第三者の 生命・身体・財産等に危害や悪影響を及ぼすことがないこと等を確認す る。 ) 。 • 生成 AI を活用して職務上作成した文書の取扱いについては、 公文書管理法 (平成 21 年法律第 66 号)等 2を踏まえて、適切に管理すること。 • 生成 AI システム特有のリスクケース のうち特に重大なものを検知した場合 に、迅速に AI 統括責任者(CAIO ) (xxx@xxx.go.jp)に報告をすること (例:生成 AI が人種・性別・文化等に関する偏見や差別を含む社会的に大 きな問題となり得る出力を行った。 ) 。 3. 問い合わせ先 本ルールに関する問い合わせ先は、〇〇省○○担当(yyy@yy.go.jp)とす る。 なお、各種生成AI システムについては、各種生成 AI システム提供者の窓口 担当(※生成 AI システムの利活用に係る個別ルールが設けられている場合に は、当該ルールに準拠すること)に問い合わせること。 以上 2 生成 AIを活用して作成した文書の扱いについて、 「デジタル技術を用いた行政文書 の作成・管理等について」 (令和7年2月14 日 内閣府大臣官房公文書管理課長通知) では、 「行政機関の職員がAI を活用して職務上作成した文書(審議会の議事録原案 等)は、行政機関において、組織的に用いるものとして保有されれば行政文書になる が、文書の正確性を確保するため、必要な確認を経ることが重要である」とされてい る。 本チェックシートの概要 本チェックシートは、生成AIシステムを調達する際に、事業者を評価・選定するための項目を整理したものである。 企画者は生成AIシステムの調達にあたって、調達仕様書を作成する際には、本チェックシートを参考にする。(【別紙4】契約チェックシート(生成AIシス テム用)も併せて参考にし、調達仕様書に盛り込むことが適当な場合は、調達仕様書に盛り込む) ただし、本チェックシートは「生成AIシステムの調達」に関して特有の留意すべき項目のみ掲載しており、別途「デジタル・ガバメント推進標準ガイドライン」の 内容や、「デジタル・ガバメント推進標準ガイドライン実践ガイドブック」の別紙「調達仕様書テンプレート」等を参照し調達仕様書を作成する必要がある。 なお、本チェックシートでは、「【別紙3】調達チェックシート(生成AIシステム用)」を「調達チェックシート」、「【別紙4】契約チェックシート(生成AIシステ ム用)」を「契約チェックシート」と表現する。 本チェックシートの構成 ■「調達チェックシート」シート 【A列:分類】 事業者を評価する大枠として「組織要件」「開発・運用工程要件」「生成AIシステムの基本機能要件」を定めている。「C列:評価観点」「F列:要求事 項」を大別するための列 【C列:評価観点】 要求事項を遵守する目的や観点を記載 別紙3 【D列:評価・選定時の項目の分類】 原則必須の要求事項を把握するための列。原則必須とする項目には「基本項目」、その条件を満たす場合に原則必須とする項目には「〇〇の場合は適 用」、原則必須ではないが考慮した方がよい観点を「任意追加項目(加点項目)」と記載 【F列:要求事項】 調達仕様書で事業者に遵守を求める内容を記載。本ガイドライン「6.1.2 本ガイドラインに基づく対応事項」に記載のとおり、導入類型、プロジェクトフェー ズ、リスクレベル等を踏まえ、各対応事項の要求レベルや一部要求事項の取捨選択又は拡充を検討する。 ■「(参考)要求事項の参考」シート 【A列:分類】 事業者を評価する大枠として「組織要件」「開発・運用工程要件」「生成AIシステムの基本機能要件」を定めている。「C列:評価観点」「F列:要求事 項」を大別するための列 【C列:評価観点】 要求事項を遵守する目的や観点を記載 【D列:評価・選定時の項目の分類】 原則必須の要求事項を把握するための列。原則必須とする項目には「基本項目」、その条件を満たす場合に原則必須とする項目には「〇〇の場合は適 用」、原則必須ではないが考慮した方がよい観点を「任意追加項目(加点項目)」と記載 【F列:要求事項】 調達仕様書で事業者に遵守を求める内容を記載。本ガイドライン「6.1.2 本ガイドラインに基づく対応事項」に記載のとおり、導入類型、プロジェクトフェー ズ、リスクレベル等を踏まえ、各対応事項の要求レベルや一部要求事項の取捨選択又は拡充を検討する。 【G列・H列:対策例・対策例詳細】 「F列:要求事項」を遵守するための方法論を例示。必ずしもこの対策例に準拠する必要はない。取捨選択の上、必要なものに限り要求事項の詳細とし て、企画者が調達仕様書に盛り込む。 【I列:裏付けとなる情報の例】 要求事項を満たしているか否かを判断するための情報を例示。必要に応じて、事業者へ提供を依頼するか否かを検討する。 【J列:(参考)「DS-120 デジタル・ガバメント推進標準ガイドライン実践ガイドブック」の「各種テンプレート」との対応関係】 「デジタル・ガバメント推進標準ガイドライン」や「デジタル・ガバメント推進標準ガイドライン実践ガイドブック」の別紙「調達仕様書テンプレート」、「要件定義 書テンプレートとの対応関係。調達仕様書の作成においては、これらの各種テンプレートを参考とする。 ※対策例、対策例詳細、裏付けとなる情報の例について、技術やビジネス等の変化状況を踏まえ、柔軟に記載の更新を検討していく予定である。 本チェックシートの利用方法 ・企画者は、「F列:要求事項」から必要なものを調達仕様書に取り込む。 ※その際、「D列:評価・選定時の項目の分類」を参考にする。「基本項目」は事業者の評価・選定にあたり、原則必須とすることを想定とする項目であ る。 ※「任意追加項目(加点項目)」は必須ではないが考慮した方が良い観点であり、評価項目に含める場合、加点要素とすることを想定とする項目で ある。 ※「府省庁外利用の場合は適用」「個人情報を取り扱う場合は適用」等の記載がある要求事項は、当該案件がその条件を満たす場合に原則必須と することを想定とする項目である。 ※「G列・H列:対策例・対策例詳細」はあくまで例示であり、すべてを満たす必要はなく、また例示している方法以外で遵守されていても問題ない。 ※別途、「デジタル・ガバメント推進標準ガイドライン」が求める「調達仕様書テンプレート」を参照し、政府情報システムの調達に必要な項目も取り込むこ と。 ・企画者は、事業者へ提供を依頼する情報を「X列:裏付けとなる情報の例」を参考に定める。 ・企画者は、調達仕様書を候補となる事業者に展開し提案依頼を行う。 ・企画者は、事業者の提案・回答をもとに、事業者を評価・選定する。 本チェックシートの対象 本チェックシートは、「2.2.1 本ガイドラインが対象とする情報システム」に記載した政府情報システムのうち、「2.2.2 本ガイドラインが対象とする生成AI」 に記載した生成AIを構成要素とするシステムに適用するものとする。 用語の補足 ・LLM:文章や単語の出現確率を深層学習モデルとして扱う言語モデルを、非常に大量の訓練データを用いて構築したもの。(出典:AIプロダクト品質 保証コンソーシアム「AIプロダクト品質保証ガイドライン」10-1) ・生成AI:文章、画像、プログラム等を生成できるAIモデルに基づくAIの総称。(出典:「AI事業者ガイドライン」P .10) ・生成AIシステム:本ガイドラインが対象とする生成AIを構成要素とする政府情報システム(クラウドサービスも含む)。(AISI 「AIセーフティに関する評 価観点ガイド(第 1.01 版)」P .9に基づき作成) ・学習用の生データ:ユーザから事業者に提供された学習時に生成AIシステムにインプットするためのデータ。 ・学習用データ:ユーザから提供された学習用の生データを用いて、事業者による処理・加工等により作成した学習用のデータ。 ・情報セキュリティインシデント:JIS Q 27000:2019における情報セキュリティインシデントをいう。 ・生成AIシステム特有のリスクケース:生成AIシステムの特有のリスクが顕在化した状態又はその可能性を有する兆候や事象が認められる状態のうち、重 大な影響を及ぼし得るもの。 調達チェックシート 分類 評価 観点 # 評価観点 評価・選定時の項目の 分類 要求 事項 # 要求事項 組織要件 1 AI事業者ガイドライン共通の指針の遵守 基本項目 1 AI事業者ガイドライン共通の指針を理解・把握・対応していることの宣言が可能であること 2 AIガバナンスの構築 基本項目 2 生成AIシステムの開発・運用に関して、AIガバナンス(※)が適用されていること ※AIにもたらされる正のインパクトを最大化しつつ、AIによるリスクを受容可能な水準で管理する統制の仕組み・業務 3 AI業界や最新技術等の動向の把握 基本項目 3 生成AIシステムの開発・運用において、品質や説明性を高めるため、AI業界や最新技術等の動向を把握していること 4 情報セキュリティインシデント・生成AIシステ ム特有のリスクケース発生時の対応 基本項目 4 情報セキュリティインシデント・生成AIシステム特有のリスクケース(事業者の責任の範囲に属するものに限る。)対応体制・手順を整備していること(開発・運用する サービスにおいて、利用者からインシデント報告を受け付け、対応の協力をすることを含む。) 5 関係者への生成AIに関する教育・リテラ シー向上 基本項目 5 生成AIシステムの開発・運用に従事する者または組織について、生成AIに関するリテラシー向上の取組を実施していること 開発・運用工 程要件 6 データの取扱い 基本項目 6 生成AIシステムへの入出力または処理されるデータの取扱いを適切に管理していること 7 アウトプットの品質保証 基本項目 7 生成AIシステムの期待品質を満たすための取組を行っていること 8 ベンダーロックインの回避 基本項目 8 利用しているLLMはバージョン情報を含めて明示可能であること 任意追加項目 (加点項目) 9 生成AIシステムに入力されるプロンプトの一部やパラメータが隠蔽されていないことの確認のために、合理的な範囲での企画者への情報開示や情報提供ができる状態で あること 任意追加項目 (加点項目) 10 過去のチャット履歴の保存機能や、プロンプトをテンプレートとして登録するとともに、それらのデータをエキスポートする機能を提供する技術を有していること 任意追加項目 (加点項目) 11 特定のモデルの利用が主たる目的ではない場合、LLMごとに異なる機能や動作に影響する特徴があることを考慮し、複数のLLMの中から最適なLLMを選択又は組み 合わせて利用する技術を有していること 9 生成AIシステムのアップデートの考慮 基本項目 12 メジャーアップデートもしくは移行に関する生成AI固有の観点からリスク軽減していること 10 文化的・言語的考慮 任意追加項目 (加点項目) 13 生成AIシステムのアウトプットが日本の言語環境や文化環境に即したものになる状態としていること 11 環境への配慮 任意追加項目 (加点項目) 14 環境に配慮した生成AIシステムを開発・提供すること 生成AIシステ ムの基本機能 要件 12 有害情報の出力制御 基本項目 15 テロや犯罪に関する情報や攻撃的な表現など、生成AIシステムによる有害情報の出力を制御していること 13 偽誤情報の出力・誘導の防止 基本項目 16 生成AIシステムによる偽誤情報の出力の防止措置を取っていること 国民等による府省庁外 利用の場合は基本項目 として適用 17 エンドユーザに対し、生成AIシステムの出力を人間から発せられた情報と区別できるようにすること 18 生成AIシステムによる、エンドユーザーの意思決定の不当な誘導を防止していること 14 公平性と包摂性 国民等による府省庁外 利用の場合は基本項目 として適用 19 生成AIシステムによる出力に有害なバイアスを含まず、不当な差別を含まない状態としていること 基本項目 20 生成AIシステムの出力が全てのエンドユーザーによって可読性の高い状態としていること 15 目的外利用への対処 基本項目 21 目的外利用の防止を行い、仮に目的外利用された場合にも大きな危害・不利益が発生しないような状態としていること 16 個人情報、プライバシー、知的財産 個人情報、プライバ シー、知的財産を取り扱 う場合は基本項目として 適用 22 生成AIシステムにおいて取得・処理・保存する個人情報について適切な取扱いが確保されるとともに、知的財産とプライバシーが保護される状態としていること 17 セキュリティ確保 基本項目 23 生成AIシステム全体の脆弱性に対処し、不正操作による影響を防いでいること 基本項目 24 生成AIシステムの開発の過程を通じて、適切にセキュリティ対策を講じていること 18 説明可能性 基本項目 25 出力根拠が技術的に合理的な範囲で確認できる状態としていること 19 ロバスト性 基本項目 26 生成AIシステムが入力に対して安定した出力を行う状態としていること 20 データ品質 基本項目 27 生成AIシステムがアクセスするデータを適切な状態に保っていること 任意追加項目 (加点項目) 28 生成AIシステムのアウトプットの高度化としてインプットデータの適切な構造化を行っていること 21 検証可能性 基本項目 29 生成AIシステムの開発・提供のプロセスを検証可能な状態としていること ※調達仕様書で事業者に遵守を求める内容を記載※本ガイドライン「6.1.2本ガイドラインに基づく対応事項」に記載のとおり、導入類型、プロジェクトフェーズ、リスクレベル等を踏まえ、各対応事項の要求レベルや一部要求事項の取捨選択又は拡充を検討する。 調達チェックシート 分類 評価 観点 # 評価観点 評価・選定時の 項目の分類 要求 事項 # 要求事項 対策例 対策例詳細 裏付けとなる情報の例 組織要件 1 AI事業者ガイドライン共通の指針 の遵守 基本項目 1 AI事業者ガイドライン共通の指針を理解・ 把握・対応していることの宣言が可能であ ること AI事業者ガイドライン「共通の指針」のチェックリストについ て提出及び対応状況が説明可能である - AI事業者ガイドライン別添7Aのチェックリスト等 「調達仕様書標準テンプレート」 8.入札参加に関する事項 8.1.公的な資格や認証等の取得 2 AIガバナンスの構築 基本項目 2 生成AIシステムの開発・運用に関して、AI ガバナンス(※)が適用されていること ※AIにもたらされる正のインパクトを最大化 しつつ、AIによるリスクを受容可能な水準で 管理する統制の仕組み・業務 生成AIシステムの開発・運用にAIガバナンスのゴールを 考慮している - ・組織としてのAIガバナンスの在り方や取組がわかる 資料 ・生成AIシステムの開発・運用ルール 等 「調達仕様書標準テンプレート」 8.入札参加に関する事項 8.1.公的な資格や認証等の取得 生成AIシステムの開発・運用において、AIガバナンスの ゴールからの乖離やリスク評価を行い、是正対応を行って いる 生成AIシステムの開発・運用にあたって、AIガバナンスのゴールからの乖離を特定してい る ・組織としてのAIガバナンスの在り方や取り組みがわ かる資料 ・生成AIシステムの開発・運用ルール 等 生成AIシステムの開発・運用にあたって、関連するルールからの逸脱を確認したり、リスク を評価している ・組織としてのAIガバナンスの在り方や取り組みがわ かる資料 ・生成AIシステムの開発・運用ルール 等 AIガバナンスのゴールからの乖離の特定やリスク評価にあたって、必要に応じて外部関係 者も含めている ・組織としてのAIガバナンスの在り方や取り組みがわ かる資料 ・生成AIシステムの開発・運用ルール 等 生成AIシステムの開発・運用における管理について、説 明可能性を確保している 適切かつ合理的な範囲で、生成AIシステムの開発・運用における管理の状況について 関連するステークホルダーに対して説明可能な状態としている ・組織としてのAIガバナンスの在り方や取り組みがわ かる資料 ・生成AIシステムの開発・運用ルール 等 生成AIシステムの開発・運用における説明可能性を高めるため、下記のような取組を 行っている ・AIガバナンス・ゴールの乖離評価プロセスの実施状況の記録 ・生成AIシステム・サービスの開発・提供・利用に関する社内/外部との会議記録の保 持(担当者以外の関係者も閲覧可能な状態を確保) ・AIに関する社内研修の実施 ・組織としてのAIガバナンスの在り方や取り組みがわ かる資料 ・生成AIシステムの開発・運用ルール 等 生成AIシステムの以下の事項について定められ、ユーザに適時かつ適切に情報を提供 している ・適切/不適切な使用方法等 ・提供する生成AIシステムの技術的特性、安全性確保の仕組み、利用によりもたらす 結果より生じる可能性のある予見可能なリスク及びその緩和策等の安全性に関する情 報 ・生成AIシステムの学習等による出力又はプログラムの変化の可能性 ・生成AIシステムの動作状況に関する情報、不具合の原因及び対応状況、情報セ キュリティインシデント・生成AIシステム特有のリスクケース事例等 ・生成AIシステムの更新を行った場合の更新内容及びその理由の情報 ・生成AIにて学習するデータの収集ポリシー、学習方法、実施体制等 ・サービス規約やプライバシーポリシー ・生成AIシステムの学習等による出力又はプログラムの変化の可能性 ・開発時に想定していない提供・利用により危害が発生することを避けるためのAI開発 者が意図する利用範囲 ・生成AIシステムの動作状況に関する情報、不具合の原因及び対応状況 ・ユーザへの説明書や契約書等、事業者のHPや 製品パンフレット等で左記項目が含まれた資料 ・組織としてのAIガバナンスの在り方や取り組みがわ かる資料 ・生成AIシステムの開発・運用ルール 等 乖離評価プロセスの実施状況の記録については、独自に乖離評価のためのチェックリスト を作成し、それをもとに確認・記録している ・組織としてのAIガバナンスの在り方や取り組みがわ かる資料 ・生成AIシステムの開発・運用ルール 等 生成AIシステムの開発・運用における管理について、その 管理手法や機能そのものが適切であるか検証を行ってい る 生成AIシステムの開発・運用における管理が適切に機能しているか否かのモニタリングを 行っている ・組織としてのAIガバナンスの在り方や取り組みがわ かる資料 ・生成AIシステムの開発・運用ルール 等 モニタリングの結果をもとに、継続的な改善を実施している ・組織としてのAIガバナンスの在り方や取り組みがわ かる資料 ・生成AIシステムの開発・運用ルール 等 3 AI業界や最新技術等の動向の把 握 基本項目 3 生成AIシステムの開発・運用において、品 質や説明性を高めるため、AI業界や最新 技術等の動向を把握していること 生成AIシステムの開発・運用に関係する、業界ガイドライ ンや法令、最新技術を把握している 産業技術総合研究所の「機械学習品質マネジメントガイドライン」 等の標準化に向け た取組を参照している 参照している業界ガイドラインや技術のリスト 「調達仕様書標準テンプレート」 8.入札参加に関する事項 8.1.公的な資格や認証等の取得 AI関連の研究会や業界団体などへの所属、最新技術の把握、専門家との意見交換 等を実施している 加盟しているAI関連の研究会や業界団体リスト 4 情報セキュリティインシデント・生成 AIシステム特有のリスクケース発生 時の対応 基本項目 4 情報セキュリティインシデント・生成AIシステ ム特有のリスクケース(事業者の責任の範 囲に属するものに限る。)対応体制・手順 を整備していること(開発・運用するサービ スにおいて、利用者からインシデント報告を 受け付け、対応の協力をすることを含 む。) 情報セキュリティインシデント・生成AIシステム特有のリス クケース対応体制・手順を整備している 生成AIシステムの開発・運用時に発生する情報セキュリティインシデント・生成AIシステ ム特有のリスクケース発生時の対応体制や方針及び計画を策定している ・AIガバナンス関連ルール(情報セキュリティインシ デント・生成AIシステム特有のリスクケース対応体 制・手順が整備されていることが分かる資料)等 「調達仕様書標準テンプレート」 6.作業の実施に当たっての遵守事項 6.1.機密保持、資料の取扱い 「要件定義書標準テンプレート」 3.非機能要件定義 3.10. 情報セキュリティに関する事項 情報セキュリティインシデント・生成AIシステム特有のリスクケース発生時に備え以下のよ うな体制をあらかじめ整備しているか ・連絡受付窓口の設置 ・プロジェクトに対し責任ある役職者のアサイン ・対応担当者個々の役割分担 ・対応アプローチ・プロセス ・影響を受けるステークホルダーに対して通知するプロセス等 ・AIガバナンス関連ルール(情報セキュリティインシ デント・生成AIシステム特有のリスクケース対応体 制・手順が整備されていることが分かる資料)等 情報セキュリティインシデント・生成AIシステム特有のリス クケース対応に関する教育や訓練を実施している 生成AIシステムの開発・運用時に発生する情報セキュリティインシデント・生成AIシステ ム特有のリスクケース発生時の対応方針及び計画について、適宜実践的な予行演習 を実施している ・AIガバナンス関連ルール(情報セキュリティインシ デント・生成AIシステム特有のリスクケース対応体に 関する教育や訓練されていることが分かる資料)等 5 関係者への生成AIに関する教 育・リテラシー向上 基本項目 5 生成AIシステムの開発・運用に従事する 者または組織について、生成AIに関するリ テラシー向上の取組を実施していること 生成AI開発・運用に従事する者が適切なリテラシー(生 成AI関連の技術知識やリスク、倫理等)を具備できるよ う、役割に応じた教育や訓練を実施している - ・AIガバナンス関連ルール(教育・訓練等、AIリテ ラシーの向上の取組を実施していることが分かる資 料)等 「調達仕様書標準テンプレート」 5.作業の実施体制・方法に関する事項 5.2作業要員に求める資格等の要件 開発・運用工 程要件 6 データの取扱い 基本項目 6 生成AIシステムへの入出力または処理され るデータの取扱いを適切に管理していること プロジェクトの目的に照らし、必要な範囲でインプット(プ ロンプト、学習用の生データ等)の利用目的や利用条 件を定めている - 事業者によるインプット(プロンプト、学習用の生 データ等)の利用目的を定めていることがわかる資 料等 「要件定義書標準テンプレート」 3.非機能要件定義 3.2.システム方式に関する事項 3.3.システム規模に関する事項 3.10.情報セキュリティに関する事項 プロジェクトの目的に照らし、必要な範囲でインプット(プ ロンプト、学習用の生データ等)の管理・セキュリティ体制 を定めており、問題が生じないよう対策を講じている - インプット(プロンプト、学習用の生データ等)の管 理・セキュリティ体制方針がわかる資料等 プロジェクトの目的に照らし、必要な範囲でインプット(プ ロンプト、学習用の生データ等)の保持期間及び消去を 管理しており、問題が生じないよう対策を講じている - インプット(プロンプト、学習用の生データ等)の保 持期間及び消去の管理方針がわかる資料等 プロジェクトの目的に照らし、必要な範囲でインプット(プ ロンプト、学習用の生データ等)の外部提供管理とし て、生成AIシステムのユーザに対して提供する義務を定 めた上での管理をしている - インプット(プロンプト、学習用の生データ等)を ユーザに対して提供する義務をを定めていることがわ かる資料等 プロジェクトの目的に照らし、必要な範囲でインプット(プ ロンプト、学習用の生データ等)の外部提供管理とし て、第三者提供に関しての管理をしている - インプット(プロンプト、学習用の生データ等)の第 三者提供に関する管理方針がわかる資料等 プロジェクトの目的に照らし、必要な範囲でインプット処理 結果(学習用データ、中間生成物、派生的知的財産 等)の使用・利用に関しての管理をしている - インプット処理結果(学習用データ、中間生成 物、派生的知的財産等)の使用・利用に関する 管理方針がわかる資料等 プロジェクトの目的に照らし、必要な範囲でインプット処理 結果(学習用データ、中間生成物、派生的知的財産 等)の外部提供に関しての管理をしている - インプット処理結果(学習用データ、中間生成 物、派生的知的財産等)の外部提供に関する管 理方針がわかる資料等 プロジェクトの目的に照らし、必要な範囲で学習前・学習 全体を通じて、データのアクセスを管理するデータ管理・制 限機能の導入検討を行う等、適切な保護措置を実施 可能である - 学習前・学習全体を通じて、データの保護措置の 方針がわかる資料等 7 アウトプットの品質保証 基本項目 7 生成AIシステムの期待品質を満たすため の取組を行っていること 生成AIをチャットで用いる場合、チャットでの利用の期待 品質を定め、その基準を満たしているかの測定及び評価 をしている - ベンチマーク(JMMLU、JHumanEval、JBBQ 等)※等を使用した評価基準とその評価内容がわ かる資料等 ※一定の信頼性のある評価基準に基づく独自の評 価を否定するものではない 「要件定義書標準テンプレート」 3.非機能要件定義 3.12.テストに関する事項 3.17.保守に関する事項 (参考) 「DS-120 デジタル・ガバメント推進標準ガイドライン実 践ガイドブック」の「各種テンプレート」との対応関係 ※「要求事項」を遵守するための方法論を例示。必ずしもこの対策例に準拠する必要はない。取捨選択の上、必要なものに限り要求事項の詳細として、企画者が調達仕様書に盛り込む。※必要に応じて、事業者へ提供を依頼するか否かを検討※調達仕様書で事業者に遵守を求める内容を記載 調達チェックシート 分類 評価 観点 # 評価観点 評価・選定時の 項目の分類 要求 事項 # 要求事項 対策例 対策例詳細 裏付けとなる情報の例 (参考) 「DS-120 デジタル・ガバメント推進標準ガイドライン実 践ガイドブック」の「各種テンプレート」との対応関係 ※「要求事項」を遵守するための方法論を例示。必ずしもこの対策例に準拠する必要はない。取捨選択の上、 必要なものに限り要求事項の詳細として、企画者が調達仕様書に盛り込む。 ※必要に応じて、事業者へ提供を依頼 するか否かを検討 ※調達仕様書で事業者に遵守を 求める内容を記載 生成AIの期待品質を満たしているか、テストケースを用い て評価する。その際テストケースは複数提案する (バッチ処理、情報検索、自然言語からのプログラム作 成等) - バッチ処理で生成AIを用いる場合、テストケース例 とテスト方針がわかる資料等 8 ベンダーロックインの回避 基本項目 8 利用しているLLMはバージョン情報を含め て明示可能であること 利用可能なLLMおよびそのバージョン情報等の一覧を整 理して公開する - 利用しているLLMのバージョン情報の開示方法がわ かる資料等 「要件定義書標準テンプレート」 3.非機能要件定義 3.8.中立性に関する事項 3.11.情報システム稼働環境に関する事項 任意追加項目 (加点項目) 9 生成AIシステムに入力されるプロンプトの一 部やパラメータが隠蔽されていないことの確 認のために、合理的な範囲での企画者へ の情報開示や情報提供ができる状態であ ること 合理的な範囲での開発・運用時におけるシステムプロンプ ト等の企画者への情報開示や情報提供が技術的に可 能であることを表明し保証する - LLMに入力されるプロンプトの一部やパラメータが隠 蔽されていないことを表明した資料等 「要件定義書標準テンプレート」 3.非機能要件定義 3.8.中立性に関する事項 3.10.情報セキュリティに関する事項 任意追加項目 (加点項目) 10 過去のチャット履歴の保存機能や、プロンプ トをテンプレートとして登録するとともに、それ らのデータをエキスポートする機能を提供す る技術を有していること 過去のチャット履歴の保存機能、プロンプトのテンプレート 化機能、それらのエキスポート機能の開発が可能かを表 明し保証する - 過去のチャット履歴の保存機能や、プロンプトをテン プレートとして登録するとともに、それらのデータをエキ スポート可能な機能の実装方法がわかる資料等 「要件定義書標準テンプレート」 3.非機能要件定義 3.8.中立性に関する事項 3.1.ユーザビリティ及びアクセシビリティに関する事項 3.13.移行に関する事項 任意追加項目 (加点項目) 11 特定のモデルの利用が主たる目的ではない 場合、LLMごとに異なる機能や動作に影 響する特徴があることを考慮し、複数の LLMの中から最適なLLMを選択又は組み 合わせて利用する技術を有していること ①複数のLLMが利用できること、②LLMの選択ができる こと(組み合わせて利用する場合も含む)等の技術を 有していることを表明し保証する - 複数のLLMの中から最適なLLMを選択又は組み 合わせて利用する技術を有している実績が分かる 資料等 「要件定義書標準テンプレート」 3.非機能要件定義 3.8.中立性に関する事項 3.11.情報システム稼働環境に関する事項 9 生成AIシステムのアップデートの考 慮 基本項目 12 メジャーアップデートもしくは移行に関する生 成AI固有の観点からリスク軽減していること LLMのメジャーアップデートやモデルの移行前に、移行候 補のLLMで、アウトプットの品質や安全性等について問題 ない性能かを検証できている - LLMのアップデート前に、移行候補のLLMで、アウト プットの品質や安全性等について問題ない性能かを 検証可能とする仕組みの実現方法がわかる資料 等 「要件定義書標準テンプレート」 3.非機能要件定義 3.16.運用に関する事項 3.17.保守に関する事項 10 文化的・言語的考慮 任意追加項目 (加点項目) 13 生成AIシステムのアウトプットが日本の言 語環境や文化環境に即したものになる状 態としていること 日本の言語環境や文化環境を踏まえたアウトプットを出 力可能な生成AIシステムを提供している - 日本の言語環境や文化環境に応じた出力結果と なっているかの確認方針がわかる資料、開発時に 学習データ等で日本の言語環境や文化環境に即 したものとなるよう、取組がなされていることがわかる 資料、日本語能力を測るベンチマークを活用した評 価結果がわかる資料(例えば、日本語能力を測る ベンチマークとしては、JGLUE(Japanese General Language Understanding Evaluation)、JMMLU(Japanese Massive Multitask Language Understanding Benchmark)等がある。)等 ※広く認知された一定の信頼性のある評価基準の 使用を否定するものではない 「要件定義書標準テンプレート」 3.非機能要件定義 3.1.ユーザビリティ及びアクセシビリティに関する事項 11 環境への配慮 任意追加項目 (加点項目) 14 環境に配慮した生成AIシステムを開発・提 供すること 電力効率が高い半導体を使用したハードを基に学習され たモデルを利用する等の環境への配慮をした生成AIシス テムを提供している又は利用している - 消費電力等環境性能が優れていることがわかる資 料等 「調達仕様書標準テンプレート」 4.作業の実施内容に関する事項 4.17.その他 生成AIシステ ムの基本機能 要件 12 有害情報の出力制御 基本項目 15 テロや犯罪に関する情報や攻撃的な表現 など、生成AIシステムによる有害情報の出 力を制御していること 有害情報を入力あるいは想定出力に含むテストデータを 入力した際、生成AIシステムの出力に当該情報が含ま れない、もしくは出力を拒否できるような仕組みを提供す る技術を有している サイバー攻撃やテロなどの犯罪、CBRN(Chemical, Biological,Radiological,Nuclear)に利用され得る情報を入力あるいは想定出力 に含むテストデータを入力した際、生成AIシステムの出力に有害情報が含まれない、も しくは出力を拒否することができるような仕組みを提供する技術を有している サイバー攻撃やテロなどの犯罪、CBRNに利用され 得る情報を入力あるいは想定出力に含むテスト データを入力した際、生成AIシステムの出力に有害 情報が含まれない、もしくは出力を拒否することがで きるような仕組みの実現方法がわかる資料等 「要件定義書標準テンプレート」 3.非機能要件定義 3.1.ユーザビリティ及びアクセシビリティに関する事項 差別表現などエンドユーザーが精神的な被害を受け得る情報を入力あるいは想定出力 に含むテストデータを入力した際、生成AIシステムの出力に有害情報が含まれない、も しくは出力を拒否することができるような仕組みを提供する技術を有している 差別表現などエンドユーザーが精神的な被害を受 け得る情報を入力あるいは想定出力に含むテスト データを入力した際、生成AIシステムの出力に有害 情報が含まれない、もしくは出力を拒否することがで きるような仕組みの実現方法がわかる資料等 生成AIシステムの出力の有害性スコア(攻撃的である かどうかなどの有害さを数値で表したもの)の測定及び評 価をしている - 生成AIシステムの出力の有害性スコア及びスコアの 測定方法がわかる資料等 13 偽誤情報の出力・誘導の防止 基本項目 16 生成AIシステムによる偽誤情報の出力の 防止措置を取っていること 異なるLLMに対し、事実を問う内容の同一のテストデータ を入力した際、意味的に同一の内容が出力され、かつ正 しい内容となるよう対策を講じている - 異なるLLMに対し、事実を問う内容の同一のテスト データを入力した結果が記載された資料等 「要件定義書標準テンプレート」 3.非機能要件定義 3.1.ユーザビリティ及びアクセシビリティに関する事項 偽誤情報の出力防止に関する評価項目のスコアを測定 した結果、スコアに問題がないことを確認している 生成AIシステムに対するプロンプトと出力データの関連性に係るスコアの測定及び評価 をしている 生成AIシステムに対するプロンプトと出力データの関 連性に係るスコア及びスコアの測定方法がわかる資 料等 生成AIシステムの出力データとRAGによる検索結果の関連性に係るスコアの測定及び 評価をしている ※RAGを利用した生成AIシステムのみ本項目の対象 生成AIシステムの出力データとRAGによる検索結 果の関連性に係るスコア及びスコアの測定方法がわ かる資料等 生成AIシステムの出力データとRAGによる検索結果の一貫性に係るスコアの測定及び 評価をしている ※RAGを利用した生成AIシステムのみ本項目の対象 生成AIシステムの出力データとRAGによる検索結 果の一貫性に係るスコア及びスコアの測定方法がわ かる資料等 正解データとRAGによる検索結果の意味的な一貫性に係るスコアの測定及び評価 、を している ※RAGを利用した生成AIシステムのみ本項目の対象 正解データとRAGによる検索結果の意味的な一貫 性に係るスコア及びスコアの測定方法がわかる資料 等 出力にコンテンツ認証がなされる生成AIシステムにおいて、様々なプロンプトを入力した 場合でも適切にコンテンツ認証がなされる仕組みを提供する技術を有している 生成AIシステムへ入力した様々なプロンプトに対 し、適切なコンテンツ認証がされることができるような 仕組みの実現方法がわかる資料等 RAGを利用した生成AIシステムで検索対象となるドキュメントや、評価のために評価者 が用意する正解データが、事実に基づいたデータであるかの確認ができる状態である ※RAGを利用した生成AIシステムのみ本項目の対象 RAGを利用した生成AIシステムで検索対象となる ドキュメントや、評価のために評価者が用意する正 解データが、事実に基づいたデータであることを確認 した記録等 国民等による府 省庁外利用の 場合は基本項 目として適用 17 エンドユーザに対し、生成AIシステムの出 力を人間から発せられた情報と区別できる ようにすること エンドユーザーに対し、生成AIシステムの出力を人間から 発せられた情報と区別できるような仕組みを提供する技 術を有している - エンドユーザーに対し、生成AIシステムの出力を人 間から発せられた情報と区別できるような仕組みの 実現方法がわかる資料等 「要件定義書標準テンプレート」 3.非機能要件定義 3.1.ユーザビリティ及びアクセシビリティに関する事項 18 生成AIシステムによる、エンドユーザーの意 思決定の不当な誘導を防止していること ニュース記事やソーシャルメディアなどにおいて、エンドユー ザーが生成AIシステムで出力したコンテンツであることを識 別できる仕組みを提供する技術を有している - ニュース記事やソーシャルメディアなどにおいて、エンド ユーザーが生成AIシステムで出力したコンテンツであ ることを識別できる仕組みの実現方法がわかる資料 等 「要件定義書標準テンプレート」 3.非機能要件定義 3.1.ユーザビリティ及びアクセシビリティに関する事項 生成AIシステムの推奨や指示により、エンドユーザーが主 観的又は客観的に不利益となる行動に誘導されることが ないよう対策を講じている - 生成AIシステムの推奨や指示により、エンドユー ザーが主観的又は客観的に不利益となる行動に誘 導される出力結果になっていないかの確認方法が わかる資料等 調達チェックシート 分類 評価 観点 # 評価観点 評価・選定時の 項目の分類 要求 事項 # 要求事項 対策例 対策例詳細 裏付けとなる情報の例 (参考) 「DS-120 デジタル・ガバメント推進標準ガイドライン実 践ガイドブック」の「各種テンプレート」との対応関係 ※「要求事項」を遵守するための方法論を例示。必ずしもこの対策例に準拠する必要はない。取捨選択の上、 必要なものに限り要求事項の詳細として、企画者が調達仕様書に盛り込む。 ※必要に応じて、事業者へ提供を依頼 するか否かを検討 ※調達仕様書で事業者に遵守を 求める内容を記載 生成AIシステムの出力において、生成AIシステムによる 誘導(URLリンク等を含むメッセージ生成など)のオプト インまたはオプトアウト手段が出力に含まれる仕組みを提 供する技術を有している - 生成AIシステムの出力において、生成AIシステムに よる誘導のオプトインまたはオプトアウト手段が出力 に含まれる仕組みの実現方法がわかる資料等 14 公平性と包摂性 国民等による府 省庁外利用の 場合は基本項 目として適用 19 生成AIシステムによる出力に有害なバイア スを含まず、不当な差別を含まない状態と していること 特定のグループ(人種、性別、国籍、年齢、政治的信 念、宗教等の多様な背景に関する)に対する有害なバ イアスの入力あるいは想定出力に含むテストデータを入力 した際、生成AIシステムが回答を拒否できる仕組みを提 供する技術を有している - 特定のグループ(人種、性別、国籍、年齢、政治 的信念、宗教等の多様な背景に関する)に対する 有害なバイアスの入力あるいは想定出力に含むテ ストデータを入力した際、生成AIシステムが回答を 拒否することができるような仕組みの実現方法がわ かる資料等 「要件定義書標準テンプレート」 3.非機能要件定義 3.1.ユーザビリティ及びアクセシビリティに関する事項 出力が人の属性に影響されないと想定されるテストデータ を入力した際、出力結果が属性による影響を受けないこ との対策を講じている - 出力が人の属性に影響されないと想定されるテスト データを入力した際、出力結果が属性による影響を 受けないことを確認しているテスト方針がわかる資料 等 特定のモデルの利用が主たる目的ではない場合、LLMご とに異なるイデオロギーやバイアスを持つことがあることを考 慮し、複数のLLMを利用する技術を有している - 複数のLLMを利用するシステム設計であることがわ かる資料等 学習データ、モデルの学習過程において、生成AIシステ ムに不公正なバイアスがないかを検証する手段を有してい る - 生成AIシステムの検証プロセス・検証方法が分かる 資料等 出力結果について有害なバイアスが含まれていないか定 期的にモニタリングしている - 有害なバイアスが含まれていないか定期的にモニタリ ングする際の確認観点がわかる資料等 基本項目 20 生成AIシステムの出力が全てのエンドユー ザーによって可読性の高い状態としているこ と 生成AIシステムの出力の流暢性スコア(出力が文法的 に適切かを数値で表したもの)の測定及び評価をしてい る - 生成AIシステムの出力の流暢性スコア及びスコアの 測定方針がわかる資料等 「要件定義書標準テンプレート」 3.非機能要件定義 3.1.ユーザビリティ及びアクセシビリティに関する事項 生成AIシステムの出力の読み易さに関するスコアの測定 及び評価をしている - 生成AIシステムの出力の読み易さに関するスコア及 びスコアの測定方針がわかる資料等 生成AIシステムに文法的に不適切なテストデータを入力 した場合でも、出力は文法的に適切であり、人間が理解 しやすいものとなるよう対策を講じている - 生成AIシステムに文法的に不適切なテストデータを 入力した場合でも、出力は文法的に適切であり、 人間が理解しやすいものとなっているかの確認方法 がわかる資料等 15 目的外利用への対処 基本項目 21 目的外利用の防止を行い、仮に目的外利 用された場合にも大きな危害・不利益が発 生しないような状態としていること 生成AIシステムに想定ユースケース以外の出力を想定し たテストデータが入力された場合でも、エンドユーザーの生 命・身体・財産等や各種の権利に危害を生じさせる出力 がされない、あるいは、出力を拒否できる仕組みを提供す る技術を有している - 生成AIシステムに想定ユースケース以外の出力を 想定したテストデータが入力された場合でも、エンド ユーザーの生命・身体・財産等や各種の権利に危 害を生じさせる出力がされない、あるいは、出力を 拒否することができるような仕組みの実現方法がわ かる資料等 「要件定義書標準テンプレート」 3.非機能要件定義 3.10.情報セキュリティに関する事項 想定された目的の範囲内の生成AIシステムのユースケー スにおいて、エンドユーザーの生命・身体・財産等や各種 の権利に危害を生じさせる出力がされない、あるいは、出 力を拒否できる仕組みを提供する技術を有している - 想定された目的の範囲内の生成AIシステムのユー スケースにおいて、エンドユーザーの生命・身体・財 産等や各種の権利に危害を生じさせる出力がされ ない、あるいは、出力を拒否することができるような 仕組みの実現方法がわかる資料等 エンドユーザーが生成AIシステムを安全かつ適正に利用 するため、生成AIシステムの利用方法や利用上の留意 点、想定利用環境、ガイドライン等が定められ、定期的 に更新されている - 生成AIシステムの利用方法や利用上の留意点、 想定利用環境等が記載された資料等 16 個人情報、プライバシー、知的財 産 個人情報、プラ イバシー、知的 財産を取り扱う 場合は基本項 目として適用 22 生成AIシステムにおいて取得・処理・保存 する個人情報について適切な取扱いが確 保されるとともに、知的財産とプライバシー が保護される状態としていること RAGを利用した生成AIシステムを利用し、RAGによる検 索先に個人に関する情報が含まれる場合、不適切な個 人情報の出力を制御できる仕組みを提供する技術を有 している ※RAGを利用した生成AIシステムのみ本項目の対象 - RAGを利用した生成AIシステムを利用し、RAGに よる検索先に個人に関する情報が含まれる場合、 不適切な個人に関する情報の出力を制御する仕 組みの実現方法がわかる資料等 「調達仕様書標準テンプレート」 6.作業にあたっての遵守事項 6.3.個人情報等の取扱い 「要件定義書標準テンプレート」 3.非機能要件定義 3.1.ユーザビリティ及びアクセシビリティに関する事項 プライバシー侵害を認識した場合等の対処方法について 定められている - プライバシー侵害時の対処手順がわかる資料等 個人情報保護法に準拠して、利用者からデータを収集し ている(個人情報保護委員会からの注意喚起参照: https://www.ppc.go.jp/files/pdf/230602_aler t_AI_utilize.pdf) - 個人情報保護法に準拠している旨が分かる資料 (ルールや規程、その運用状況の記録等) 17 セキュリティ確保 基本項目 23 生成AIシステム全体の脆弱性に対処し、 不正操作による影響を防いでいること 生成AIシステムが処理困難でコストのかかる複数のテス トデータを繰り返し入力した場合でも、生成AIシステムの 許容できないパフォーマンス低下やシステムの停止が発生 しないよう対策を講じている - 生成AIシステムが処理困難でコストのかかる複数の テストデータを繰り返し入力した場合でも、生成AI システムの許容できないパフォーマンス低下やシステ ムの停止が発生しないかの確認方法がわかる資料 等 「要件定義書標準テンプレート」 3.非機能要件定義 3.10.情報セキュリティに関する事項 3.4.性能に関する事項 3.5.信頼性に関する事項 プロンプトインジェクションなどにより生成AIシステムの防御 策の回避が可能ではないか、また、生成AIシステムのバッ クエンドシステムに意図していない操作が行われることがな いよう対策を講じている - プロンプトインジェクションなどにより生成AIシステムの 防御策の回避が可能ではないか、また、生成AIシ ステムのバックエンドシステムに意図していない操作 が行われることがないかの確認方法がわかる資料等 生成AIシステムに対する攻撃手法は日々新たなものが 生まれており、これらのリスクに対応するための仕組みを検 討・開発している、また必要に応じて導入することが可能 である - 最新の攻撃手法に対する対策についての資料等 RAGを利用した生成AIシステムにおいて、要機密情報が 出力されないよう、RAGによる検索先のアクセス権限の 設定等に不備がないことの対策を講じている ※RAGを利用した生成AIシステムのみ本項目の対象 - RAGを利用した生成AIシステムにおいて、要機密 情報が出力されないよう、RAGによる検索先のアク セス権限の設定等に不備がないかの確認方法がわ かる資料等 禁止リストを活用したプロンプト検知など、生成AIシステ ムへの入力段階での防御策を提供する技術を有している - 禁止リストを活用したプロンプト検知など、生成AIシ ステムへの入力段階での防御策の実装方法がわか る資料等 基本項目 24 生成AIシステムの開発の過程を通じて、適 切にセキュリティ対策を講じていること 生成AIシステムの開発の過程を通じて、採用する技術の 特性に照らして適切なセキュリティ対策技術を有している - セキュリティ対策についての資料等 「要件定義書標準テンプレート」 3.非機能要件定義 3.10.情報セキュリティに関する事項 3.4.性能に関する事項 3.5.信頼性に関する事項 18 説明可能性 基本項目 25 出力根拠が技術的に合理的な範囲で確 認できる状態としていること 出力根拠(内部動作やその状態、出典など)が可視 化される機能を備える生成AIシステムにおいて様々なテ ストデータを入力した際、出力根拠が表示される仕組み を提供する技術を有している - 出力根拠(内部動作やその状態、出典など)が 可視化される機能を備える生成AIシステムにおいて 様々なテストデータを入力した際、出力根拠が表 示される仕組みを提供する技術の実装方法がわか る資料等 「要件定義書標準テンプレート」 3.非機能要件定義 3.1.ユーザビリティ及びアクセシビリティに関する事項 調達チェックシート 分類 評価 観点 # 評価観点 評価・選定時の 項目の分類 要求 事項 # 要求事項 対策例 対策例詳細 裏付けとなる情報の例 (参考) 「DS-120 デジタル・ガバメント推進標準ガイドライン実 践ガイドブック」の「各種テンプレート」との対応関係 ※「要求事項」を遵守するための方法論を例示。必ずしもこの対策例に準拠する必要はない。取捨選択の上、 必要なものに限り要求事項の詳細として、企画者が調達仕様書に盛り込む。 ※必要に応じて、事業者へ提供を依頼 するか否かを検討 ※調達仕様書で事業者に遵守を 求める内容を記載 段階的な推論を行う生成AIシステムにおいて、出力に至 るまでの推論の過程をエンドユーザーに提示することが可 能となっているかの確認ができる状態である - 段階的な推論を行う生成AIシステムにおいて、出 力に至るまでの推論の過程をエンドユーザーに提示 することが可能となっているかの確認方法がわかる資 料等 生成AIシステムの開発過程、意思決定に影響を与える データ収集及びラベリング、使用されたアルゴリズム、生成 生成AIシステムのシステムアーキテクチャ、データの処理プ ロセス等について文書化を行っている - 生成AIシステムの開発過程、意思決定に影響を 与えるデータ収集及びラベリング、使用されたアルゴ リズム、システムアーキテクトやデータの処理プロセス が文書として管理されていることがわかる資料等 ※文書化した内容について開示するという意味では ない 19 ロバスト性 基本項目 26 生成AIシステムが入力に対して安定した出 力を行う状態としていること 生成AIシステムに同一のテストデータを複数回入力した 際の出力に一貫性があるよう対策を講じている - 生成AIシステムに同一のテストデータを複数回入 力した際の出力に一貫性があるかの確認方法がわ かる資料等 「要件定義書標準テンプレート」 3.非機能要件定義 3.4.性能に関する事項 3.5.信頼性に関する事項 3.9.継続性に関する事項 生成AIシステムに意味的に類似した複数のテストデータ を入力した際、出力に一貫性があるよう対策を講じている - 生成AIシステムに意味的に類似した複数のテスト データを入力した際、出力に一貫性があるかの確認 方法がわかる資料等 生成AIシステムに摂動したデータ(誤入力、敵対的プロ ンプト、文字化けデータ、表記ゆれを含むデータ等)を入 力した際も安定動作するよう対策を講じている - 生成AIシステムに摂動したデータ(誤入力、敵対 的プロンプト、文字化けデータ、表記ゆれを含むデー タ等)を入力した際も安定動作するかの確認方法 がわかる資料等 20 データ品質 基本項目 27 生成AIシステムがアクセスするデータを適切 な状態に保っていること 学習データ、モデルの学習過程において、バイアス(学習 データには現れない潜在的なバイアスを含む)が含まれう ることに留意し、生成AIシステムに悪影響を及ぼすデータ (事前学習データ、ファインチューニングやInContext Learning等に向けた学習データやテストデータ等)の品 質問題が生じていないことの対策を講じている 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データや テストデータ等生成AIシステムに影響を及ぼすデータの品質管理として、データの正確 性の管理及び、データに問題が生じないよう対策を講じている 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データやテストデータ等 生成AIシステムに影響を及ぼすデータの品質管理 として、正確性、機密性、完全性の管理方法がわ かる資料等 「調達仕様書標準テンプレート」 4.作業の実施内容に関する事項 4.13.データ管理方法 「要件定義書標準テンプレート」 2.非機能要件定義 2.4.データに関する事項 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データや テストデータ等生成AIシステムに影響を及ぼすデータの品質管理として、データの破損を 防ぐ管理及び、データに問題が生じないよう対策を講じている 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データやテストデータ等 生成AIシステムに影響を及ぼすデータの品質管理 として、正確性、機密性、完全性の管理方法がわ かる資料等 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データや テストデータ等生成AIシステムに影響を及ぼすデータに関して、データが文法的に適切 であり、人間が理解しやすい内容となるよう対策を講じている 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データやテストデータ等 生成AIシステムに影響を及ぼすデータに関して、 データが文法的に適切であり、人間が理解しやすい 内容となっているかの確認方法がわかる資料等 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データや テストデータ等生成AIシステムに影響を及ぼすデータに関して、データの分布に人種、性 別、国籍、年齢、政治的信念、宗教等による偏りがないよう対策を講じている 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データやテストデータ等 生成AIシステムに影響を及ぼすデータに関して、 データの分布に人種、性別、国籍、年齢、政治的 信念、宗教等による偏りがないかの確認方法がわ かる資料等 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データや テストデータ等生成AIシステムに影響を及ぼすデータに関して、 利用者に対して攻撃的 な言葉など、不適切な内容がデータに含まれないよう対策を講じている 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データやテストデータ等 生成AIシステムに影響を及ぼすデータに関して、 利 用者に対して攻撃的な言葉など、不適切な内容が データに含まれていないかの確認方法がわかる資料 等 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データや テストデータ等生成AIシステムに影響を及ぼすデータに関して、サイバー攻撃やテロ等に 利用され得る情報がデータに含まれないよう対策を講じている 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データやテストデータ等 生成AIシステムに影響を及ぼすデータに関して、サ イバー攻撃やテロ等に利用され得る情報がデータに 含まれていないかの確認方法がわかる資料等 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データや テストデータ等生成AIシステムに影響を及ぼすデータに関して、PETs(Privacy- Enhancing Technologies)などによる措置を行うことで、学習データとしての使用に 問題ない状態となっているかの確認できる状態である 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データやテストデータ等 生成AIシステムに影響を及ぼすデータに関して、 PETs(Privacy-Enhancing Technologies)な どによる措置を行うことで、学習データとしての使用 に問題ない状態となっているかの確認方法がわかる 資料等 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データや テストデータ等生成AIシステムに影響を及ぼすデータの品質管理として、 データの構成 管理及び、データに問題が生じないよう対策を講じている 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データやテストデータ等 生成AIシステムに影響を及ぼすデータの品質管理 として、 データの構成管理更新がわかる資料等 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データや テストデータ等生成AIシステムに影響を及ぼすデータの品質管理として、 アノテーション を自動化する場合、適切に行われるよう対策を講じている 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データやテストデータ等 生成AIシステムに影響を及ぼすデータの品質管理 として、 アノテーションを自動化する場合、適切に行 われているかの確認方法がわかる資料等 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データや テストデータ等生成AIシステムに影響を及ぼすデータの品質管理として、 悪意をもった、 あるいは誤動作させるテキスト・プログラム等がデータに含まれないよう対策を講じている 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データやテストデータ等 生成AIシステムに影響を及ぼすデータの品質管理 として、 悪意をもった、あるいは誤動作させるプログ ラムがデータに含まれていないかの確認方法がわか る資料等 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データや テストデータ等生成AIシステムに影響を及ぼすデータの品質管理として、 ツールなどによ り、データの来歴管理及び、データに問題が生じないよう対策を講じている 事前学習データ、ファインチューニングやInContext Learning等に向けた学習データやテストデータ等 生成AIシステムに影響を及ぼすデータの品質管理 として、 データの来歴管理方法がわかる資料等 任意追加項目 (加点項目) 28 生成AIシステムのアウトプットの高度化とし てインプットデータの適切な構造化を行って いること アウトプットの精度向上を目的とした、インプットデータの構 造化を必要に応じて検討・実施可能である - アウトプットの精度向上を目的とした、インプットデー タの構造化の実現方法がわかる資料等 「要件定義書標準テンプレート」 2.機能要件定義 2.4.データに関する事項 21 検証可能性 基本項目 29 生成AIシステムの開発・提供のプロセスを 検証可能な状態としていること システムやモデル、データに関する概要や、なりたち、動作 についてログや技術仕様等から検証可能な状態とする管 理及び、問題が生じないよう対策を講じている システムやモデル、データに関する概要やなりたち、動作についての検証可能性を確保す るため、システムカード、モデルカード、データカードを作成して管理及び、問題が生じない よう対策を講じている システムやモデル、データに関する概要やなりたち、 動作についての検証可能を確保するための技術仕 様書等の管理方針がわかる資料等 「要件定義書標準テンプレート」 3.非機能要件定義 3.16.運用に関する事項 3.17.保守に関する事項 システムやモデル、データに関する概要やなりたち、動作についての検証可能性を確保す るため、生成AIシステムに様々なテストデータを入力した際、適切にデータログが記録さ れるよう対策を講じている 生成AIシステムに様々なテストデータを入力した 際、適切にデータログが記録されているかの確認方 針がわかる資料等 出典:AI事業者ガイドライン「共通の指針」のチェックリスト(全主体向け)より https://www.meti.go.jp/shingikai/mono_info_service/ai_shakai_jisso/pdf/20240419_5.pdf 本チェックシートの概要 本チェックシートは、生成AIシステムを調達する際に、契約書に盛り込むことを検討すべき事項を整理したものである。(調達仕様書に盛り込むことが適当な場合は、 調達仕様書に盛り込む) 企画者は生成AIシステムの調達にあたって、契約書を作成する際には、本チェックシートを参考にする。 ただし、本チェックシートは「生成AIシステムの調達」に関して特有の留意すべき項目のみ掲載しており、各府省庁の契約書の雛形を参照し契約書を作成する必要があ る。 なお、本チェックシートでは、「【別紙4】契約チェックシート(生成AIシステム用)」を「契約チェックシート」と表現する。 本チェックシートの構成 【B列:契約時の項目】 取り決め事項として、事業者との契約時に考慮を求める項目を「基本項目」と記載。本ガイドライン「6.1.2 本ガイドラインに基づく対応事項」に記載のとおり、導入類 型、プロジェクトフェーズ、リスクレベル等を踏まえ、一部の取り決め事項の取捨選択又は拡充を検討する。 【C列:取り決め事項】 取り決め事項として、事業者との契約時に考慮を求める内容を記載 【D列:契約に盛り込む条項内容例】 「C列:取り決め事項」を満たす条項内容例を例示。必ずしもこの対策例に準拠する必要はない 【E列:補足説明】 「C列:取り決め事項」および「D列:契約書に盛り込む条項内容例」の補足説明を記載 別紙4 本チェックシートの利用方法 ・企画者は、「C列:取り決め事項」から必要なものを契約書または調達仕様書に取り込む。 ※「C列:取り決め事項」については、契約書または調達仕様書に盛り込む事項として原則として必須とする項目である。 ※「D列:契約書に盛り込む条項内容例」はあくまで例示であり、すべてを満たす必要はなく、また例示している方法以外で遵守されていても問題ない。 ※別途、調達時に作成する「要件定義書」や「調達仕様書」等を参照し、政府情報システムの調達に必要な項目も取り込むこと。 本チェックシートの対象 本チェックシートは、「2.2.1 本ガイドラインが対象とする情報システム」に記載した政府情報システムのうち、「2.2.2 本ガイドラインが対象とする生成AI」に記載した生 成AIを構成要素とするシステムに適用するものとする。 用語の補足 ・LLM:文章や単語の出現確率を深層学習モデルとして扱う言語モデルを、非常に大量の訓練データを用いて構築したもの。(出典:AIプロダクト品質保証コンソー シアム「AIプロダクト品質保証ガイドライン」10-1) ・生成AI:文章、画像、プログラム等を生成できるAIモデルに基づくAIの総称。(出典:「AI事業者ガイドライン」P .10) ・生成AIシステム:本ガイドラインが対象とする生成AIを構成要素とする政府情報システム。(AISI 「AIセーフティに関する評価観点ガイド(第 1.01 版)」P .9に 基づき作成) ・学習用の生データ:ユーザから事業者に提供された学習時に生成AIシステムにインプットするためのデータ。 ・学習用データ:ユーザから提供された学習用の生データを用いて、事業者による処理・加工等により作成した学習用のデータ。 ・インプット:プロンプト、学習用の生データ等。(※インプットの処理成果は含まれない) ・インプットの処理成果:学習用データ、中間生成物、派生的知的財産等。(※インプットに何らかの処理(加工等)を施した無体物を指し、「派生物」、「派生的 知的財産」、「派生データ」、「改良成果」等呼ばれることもある。生データに対する学習用データセット等の中間生成物が典型的に想定される。) ・アウトプット:AIシステム等の成果物、分析結果・コンテンツ等のAI生成物等。(※アウトプットの処理成果は含まれない) ・アウトプットの処理成果:AI関連サービスが出力するコンテンツをユーザが加工したもの等。(※アウトプットに何らかの処理(加工等)を施した無体物を指し、「派 生物」、「派生的知的財産」、「派生データ」、「改良成果」等呼ばれることもある。) ・ノウハウ:AI技術の研究・開発・利活用過程において、事業者またはユーザが有する知見、技術、情報等。(※ノウハウについて、生データの取得や学習に適した生 データ加工、学習用プログラムを用いた学習、学習済みモデルの調整、学習履歴、プロンプト履歴等が想定される。) ・情報セキュリティインシデント:JIS Q 27000:2019における情報セキュリティインシデントをいう。 ・生成AIシステム特有のリスクケース:生成AIシステムの特有のリスクが顕在化した状態又はその可能性を有する兆候や事象が認められる状態のうち、重大な影響を 及ぼし得るもの。 契約チェックシート 取り決め 事項# 契約時の 項目 取り決め事項 契約に盛り込む条項内容例 補足説明 1 基本項目 生成AIシステムに係るインプットの取り決め インプットについて、インプットの定義、インプットの利用目的、インプットの利用条件、イン プットの権利帰属に関して定める条項 事業者がインプットを自由に利用できる可能性があるため、契約による規律の対象となるインプットの範囲を定めること、事業者に対して生成 AIシステム関連の提供目的以外の目的でインプットを原則として利用・保持しないことを目的外利用禁止義務として定めること(※)、事業 者がインプットを利用することを認める場合の利用条件(学習の有無、データの保存方法等)を定めること、事業者がインプットに関して知的 財産権等一定の権利を取得する場合の権利取得条件(権利移転の対象、対価の有無、ライセンスの有無・内容その他の条件)を定める ことが望ましい。 ※オプトアウトによって目的外利用を遮断することも可能とするが、契約上オプトアウトで目的外利用を遮断する対応を取ることを明確とするこ と。 2 基本項目 生成AIシステムに係るインプットの処理成果の取り決め インプットの処理成果について、アウトプット以外のもので契約上規律の対象とするものの 定義、利用目的、利用条件、権利帰属に関して定める条項 事業者がインプットを自由に利用できる可能性があるため、契約による規律の対象となるインプットの処理成果の範囲を定めること、事業者に 対して生成AIシステム関連の提供目的以外の目的でインプットの処理成果を原則として利用・保持しないことを目的外利用禁止義務として 定めること、事業者がインプットの処理成果を利用することを認める場合の利用条件(学習の有無、データの保存方法等)を定めること、事 業者がインプットの処理成果に関して知的財産権等一定の権利を取得する場合の権利取得条件(権利移転の対象、対価の有無、ライセ ンスの有無・内容その他の条件)を定めることが望ましい。 3 基本項目 生成AIシステムに係るアウトプットの取り決め アウトプットについて、アウトプットの定義、事業者がユーザに対してアウトプットを提供する 義務の有無及びその内容、事業者に対してアウトプットに関する一定の保証を求めるこ と、ユーザがアウトプットを第三者に提供することができる場合にその条件を定める、事業 者がユーザに対しアウトプットを提供する場合にアウトプットの権利帰属に関して定める条 項 契約で規律の対象となるアウトプットとして、アウトプットの定義はユーザのサービス利用目的を十分にカバーできるよう範囲を定めること、事業 者がアウトプットを提供する義務がある場合にユーザのサービス利用目的に照らして、提供条件(提供時期、頻度、態様その他の条件)や 提供するアウトプットの内容(性質、量、粒度その他の内容)を定めること、事業者がアウトプットの保証・情報提供義務を負う場合の保証・ 情報提供の条件を定めること、第三者提供条件(提供先、提供範囲その他の条件)を定めること、ユーザがアウトプットに関して知的財産 権等一定の権利を取得する場合の権利取得条件(権利移転の対象、対価の有無、ライセンスの有無・内容その他の条件)を定めることが 望ましい。 4 基本項目 生成AIシステムに係るアウトプットの処理成果の取り決め アウトプットの処理成果について、契約上規律の対象とするものの定義、ユーザによる外 部提供、権利帰属に関して定める条項 契約で規律の対象となるアウトプットの処理結果として、アウトプットの処理結果の定義はユーザのサービス利用目的を十分にカバーできるよう 範囲を定めること、サービス利用目的に照らして外部提供条件(提供先、提供範囲その他の条件)を定めること、知的財産権等一定の権 利を取得する場合には権利取得条件(権利移転の対象、対価の有無、ライセンスの有無・内容その他の条件)を定めることが望ましい。 5 基本項目 生成AIシステムに係る契約上の取り決め 事業者が生成AIシステムを完成させる義務を定める条項 請負契約で事業者が生成AIシステムを完成する義務を負う場合、ユーザのサービス利用目的に照らして、どのような完成条件(完成時期、 検収条件等)を定めるべきか検討して契約に盛り込むことが望ましい。 6 基本項目 生成AIシステムに係るノウハウの取り決め 事業者またはユーザのノウハウに関して、ノウハウの定義、ユーザによる事業者のノウハウ の利用条件、事業者によるユーザーのノウハウの利用条件、ノウハウの権利帰属に関す る条項 ノウハウの定義に合致しない情報については、適用法令による制限がない限り、事業者がノウハウを自由に利用できる可能性があるため、この 条項により契約による規律の対象となるノウハウの範囲やユーザおよび事業者による利用条件(※)、権利帰属等を定めることが望ましい。 ※特に事業者の技術開発や学習目的等のサービス提供目的以外の目的で利用することを許容するか、検討して契約に盛り込むことが望まし い。 7 基本項目 情報セキュリティインシデント・生成AIシステム特有のリスクケースが発生した場合の 事業者の対応義務、協力及びその範囲に関する取り決め 情報セキュリティインシデント・生成AIシステム特有のリスクケースが発生した場合、事業 者に求める対応義務や協力、関係するデータの提供等を求める条項 事業者において発生した情報セキュリティインシデント・生成AIシステム特有のリスクケースによる被害を最小限に食い止めること、また原因を特 定するための情報やデータ(具体的には生成AIシステムの学習データやアルゴリズムを含み得る)を政府の求めに応じて合理的な範囲で提 供すること、サービスの停止や情報セキュリティインシデント・生成AIシステム特有のリスクケースの原因を特定し、改善措置を講じること、必要に 応じ監査を行うこと等について、あらかじめ事業者と合意しておく必要がある。 8 基本項目 期待品質が満たされなくなった場合等において、そこから生じる被害を最小限に食 い止めること及び、原因を特定し改善措置を講じる取り決め 生成AIシステムの期待品質が満たされなくなった場合等において、そこから生じる被害を 最小限に食い止めること及び、原因を特定し改善措置を講じることを求める条項 生成AIシステムの期待品質が満たされなくなった場合等において、そこから生じる被害を最小限に食い止めること及び、原因を特定し改善措 置を講じることについて、あらかじめ事業者と合意しておく必要がある。 ※本ガイドライン「6.1.2本ガイドラインに基づく対応事項」に記載のとおり、導入類型、プロジェクトフェーズ、リスクレベル等を踏まえ、取り決め事項の取捨選択又は拡充を検討する。