---

１．総論

このたび、欧州委員会が公表したAI白書^#1には、中小企業も含めた幅広い主体によるAIのイノベーションと、AIを活用するにあたっての「信頼あるエコシステム」構築の両面が記載され、経団連が目指す「信頼できる高品質AI (Trusted Quality AI) エコシステム」の構築と軌を一にしている。

しかし、欧州委員会が考えるAIは定義が広く、深層学習などの機械学習を利用したAIシステムや、記号処理を基盤としたAI、さらに、いわゆるAIの範囲を超えてデータ、アルゴリズム、コンピュータの計算能力を統合した技術のうちその判断過程がブラックボックスでないものなど、広範な情報システムもこの定義の中に含まれると考えられる。現状、一般に広く通用する精密なAIの定義を置くことに成功した主体はなく、その定義を定めることの難しさは理解しているが、定義の限定を慎重に検討するべきである。

AI技術やビジネスは発展途上であり、まずは、関係者との検討や効率の良いプロセスや技術の共有をさらに進めて共通認識を広めることが必要である。規制の拙速な策定は、AIの社会実装や事業活動を阻害するリスクがあることを明記すべきである。

AI分野の特徴である技術革新の早さ、Covid-19危機にて顕在化したプライバシーと個人の日常生活・安全・健康の確保という人権間の兼ね合い、事業活動としての収益性の確保が達成されなければ、必要なツールが維持されず社会的便益が損なわれる可能性がある。今後の議論において、バランスの取れた規制のあり方を模索するとともに、将来的な基準や規制の調和、ラベリングの相互認証等といった、AIエコシステムの整合化・調和の構築を期待する。

２．各論

p.7　E. Partnership With The Private Sector

(p.7 抜粋)

Action 5: In the context of Horizon Europe, the Commission will set up a new public private partnership in AI, data and robotics to combine efforts, ensure coordination of research and innovation in AI, collaborate with other public-private partnerships in Horizon Europe and work together with the testing facilities and the Digital Innovation Hubs mentioned above.

(意見)

• 日欧それぞれの強みを活かした連携はAIのイノベーション推進に貢献する。Horizon Europeに関して、日本の政府、研究機関、産業界との連携の検討を加速すべきである。

p.8　G. Securing Access To Data And Computing Infrastructure

(p.8 抜粋)

Promoting responsible data management practices and compliance of data with the FAIR principles will contribute to build trust and ensure re-usability of data. Equally important is investment in key computing technologies and infrastructures.

(意見)

• プライバシーの保護や個人の権利を確保することを前提としつつ、データの利活用が進むようなマネジメントやコンプライアンスのあり方が重要であることをふまえ、様々な国際的な枠組みの議論に基づき、「責任あるデータ管理」の具体的な検討を行うべきである。

p.8　H. INTERNATIONAL ASPECTS

(p.8-9 抜粋)

The EU will continue to cooperate with like-minded countries, but also with global players, on AI, based on an approach based on EU rules and values (中略) The Commission is convinced that international cooperation on AI matters must be based on an approach that promotes the respect of fundamental rights, including human dignity, pluralism, inclusion, non-discrimination and protection of privacy and personal data26 and it will strive to export its values across the world.

(意見)

• イノベーション推進を確保できる国際的なAI開発・利活用ルールの確立に向けて、OECDや立場を同じくする国との議論の深化を期待する。併せて、各地域の実情や価値観を考慮したうえで、G20等における首脳間合意の創出を期待する。

• AI技術は日々進化しているため、現在の基準で将来のAI技術を及ぼすことは望ましくない。規制の具体内容に不透明な部分が残るため、規制が施行され法的効力が生じる前に改めてEU域外企業からの意見を求め、それを踏まえて規制を見直す機会を設けることを希望する。

p.9　5. An Ecosystem Of Trust: Regulatory Framework For AI

(全体)

(意見)

• AIはあくまでツールであり、それ自体がハイリスクという考え方は適切でない。リスクは、技術自体ではなく、その使い方や運用者によってもたらされるのであり、「ハイリスク応用」や「ハイリスク運用者」を定義する方がより適切である。また、ハイリスク運用やハイリスク運用者の出現を避けるためには、ツールの適切な活用に向けた理解・倫理の啓発が必要である。技術革新に伴い社会の環境も大きく変化することも考え合わせると、民間事業者にとって実用的とならないばかりでなく、規制当局にとっても将来的な技術進歩への適応可能性を狭めかねない。現時点でハイリスクAIを定義し規制するのは時期尚早である。

• ハイリスクAIを定義すれば、定義された領域における技術開発の萎縮が懸念される。AIによって生じる潜在的な損害だけでなく、AIがもたらすはずだった利益が規制によって損なわれるという潜在的な社会損失にも目を向けることが重要である。過度な規制は欧州の産業育成や社会課題解決に資するイノベーションの阻害要因となる恐れがある。そのため、現時点で規制ではなく、指針に留めるべきである。

• 将来的に規制の導入を検討する場合においては、プロセスとして産業界とのより緊密かつ十分な対話を行うほか、規制導入前にパイロット運用を行い、リスク評価を十分に行うことが前提となる。法的安定性、予見可能性を確保した上で、真に重大なリスクを生じさせるものに限定すべきである。

• リスクの定義や責任の考え方は、領域（セクター）によって異なることから、全体に共通する基本的な考えを示したうえで、それぞれの領域の考え方をベースに領域毎に検討を進めることが望ましい。

• リスクの定義や要件基準については、将来的な国際的調和や標準化を念頭に、EU域内だけではなく、各国政府・産業界をはじめとする幅広いステークホルダーを巻き込みながら意見交換を進めることが望ましい。

• 規制の導入や見直しだけに着目せず、まずは幅広くギャップ分析を行ったうえで、オプションの一つとして規制導入・見直しについて検討を行うことが望ましい。

p.16　C. Scope of a Future EU Regulatory Framework

(p.17 抜粋)

A risk-based approach is important to help ensure that the regulatory intervention is proportionate.

(意見)

• リスクベースアプローチは確かに重要である。ただし、ハイリスクとされたAI活用についても、極めて高い性能が出ているシステムがあった場合には、技術の進歩のために一定の監視の下で試験的に運用できるスキームを検討すべきである。

(p.17 抜粋)

The determination of what is a high-risk AI application should be clear and easily understandable and applicable for all parties concerned.

(意見)

• 将来的にハイリスクAIを定義することについて検討する際には、事前に多様な関係者がリスク評価について十分に議論したうえで、真に重大なリスクを生じさせるものに限定すべきである。併せて、文書に記載のあるように、何がハイリスクAIであるかについて明確に決定されることにより、法的安定性、予見可能性を確保することが必要である。

p.18　D. Types Of Requirements

(全体)

(意見)

• (a)-(f)の各要件は公平・合理的・現実的であるべきであり、法的安定性、予見可能性を高められるように基準を明確化し、その基準の根拠、妥当性とともに示すべきである。併せて、テクノロジーの進展を考慮し、適宜基準を見直していくことも必要である。

p.18　a) Training data

(p.19 抜粋)

For instance, requirements ensuring that AI systems are trained on data sets that are sufficiently broad and cover all relevant scenarios needed to avoid dangerous situations.

(p.19 抜粋)

These requirements could entail in particular obligations to use data sets that are sufficiently representative, especially to ensure that all relevant dimensions of gender, ethnicity and other possible grounds of prohibited discrimination are appropriately reflected in those data sets;

(意見)

• 「十分広く全ての関連するシナリオをカバーするデータセット」に対する配慮は重要である一方で、その範囲を明確に定義することは困難であり、確実な危機回避を担保する訓練データの要件を定めることは現実的でない。同様に、「十分に代表的なデータセットを利用する義務」を課すことも、「十分に代表的なデータセット」の定義が困難なため現実的でないことから、慎重に議論を行うべきである。

(p.19 抜粋)

Requirements to take reasonable measures aimed at ensuring that such subsequent use of AI systems does not lead to outcomes entailing prohibited discrimination. These requirements could entail in particular obligations to use data sets that are sufficiently representative, especially to ensure that all relevant dimensions of gender, ethnicity and other possible grounds of prohibited discrimination are appropriately reflected in those data sets

(意見)

• AIによる差別を生じさせないようにバイアスのないデータセットを利用することは非常に重要であるが、実務において利用するデータセットにバイアスが含まれることは避けられない。バイアスのないデータセットの利用はあくまで推奨とし、元々のデータにバイアスが含まれる場合は、アルゴリズム等を用いてバイアスが緩和されれば利用可能とすべきである。

• 現時点ではデータセットにおける公平性の定義がなされていないため、定義と許容差の検討が必要である。

p.19　b) Keeping of records and data

(p.19 抜粋)

The records, documentation and, where relevant, data sets would need to be retained during a limited, reasonable time period to ensure effective enforcement of the relevant legislation. Measures should be taken to ensure that they are made available upon request, in particular for testing or inspection by competent authorities.

(意見)

• 監査に際しての安全性証明や、トレーサビリティの観点から、データの保管は基本的に必要と考える。その一方で、AIのアルゴリズム、アプリケーション開発は各社の長期的な研究開発の結果であり、そのために用いられたデータセットを全て記録保持することのコストや、EUを含む各プライバシールール（例：必要がなくなった個人情報の削除要求）との整合性を取るのが困難になることについて留意する必要がある。

• AIシステムの構築、試験、有効化に使ったプログラムに関する書類、教育方法、プロセスと技術は各社の機密情報であり、安易に提出求めるべきではない。仮に政府当局への提出を要請する場合には、根拠を明確にするとともに、必要最低限の内容とし、機密情報の取扱いには十分配慮するなど、適正な手続が求められる。

p.20　c) Information provision

(p.20 抜粋)

Ensuring clear information to be provided as to the AI system’s capabilities and limitations, in particular the purpose for which the systems are intended, the conditions under which they can be expected to function as intended and the expected level of accuracy in achieving the specified purpose.

(意見)

• 複雑なモデルによって高精度を実現する近年のディープラーニングに基づくAIにおいては、人間が理解しやすい表現で「能力や制約」を説明することは容易でない。そのため、人間に理解可能な形で読み解くために必要となる情報や方法を提供すべきである。

p.20　d) Robustness and accuracy

(p.20 抜粋)

AI systems — and certainly high-risk AI applications — must be technically robust and accurate in order to be trustworthy. That means that such systems need to be developed in a responsible manner and with an ex-ante due and proper consideration of the risks that they may generate. Their development and functioning must be such to ensure that AI systems behave reliably as intended. All reasonable measures should be taken to minimise the risk of harm being caused.

(意見)

• 「AIシステムが堅牢かつ正確」であることを技術的に保証するのは、ユーザーが安心してAIシステムを利用するうえで非常に重要であるが、少なくとも現時点においては事実上不可能である。したがって、外部攻撃の完全な防御等の過度な要求を事業者に課すのではなく、外部攻撃の早期検知やシステムへの影響の最小化等の実現可能な対応を求めるべきである。

(p.20 抜粋)

Requirements ensuring that outcomes are reproducible

(意見)

• AIのアルゴリズムの種類によっては、乱数を用いて学習する場合等、結果を事後的に完全に再現することが難しい場合がある点に留意すべきである。

(p.20 抜粋)

Requirements ensuring that AI systems can adequately deal with errors or inconsistencies during all life cycle phases

(意見)

• AIシステムは、製品の販売後に得たデータから学習し進化する場合もある。したがって、全ての製品ライフサイクルにおけるエラーや不整合に対して適切に対処できることを事前に保証することは困難である点に留意すべきである。

p.21　e) Human oversight

(p.21 抜粋)

Human oversight helps ensuring that an AI system does not undermine human autonomy or cause other adverse effects. The objective of trustworthy, ethical and human-centric AI can only be achieved by ensuring an appropriate involvement by human beings in relation to high-risk AI applications.

(意見)

• 人間がAIの結果を監視、判断することは重要だが、一方でIoT、M2Mを含め、AIの用途拡大が想定されるなか、人間の関与を過度に求めるとAIの適用が遅れ、イノベーションが阻害される可能性がある。したがって、要求する人間の関与レベルや、適用分野は慎重に検討すべきである。

• AI自身による動作確認の方が人間による動作確認よりもバイアスがない、または精度が高いことが証明される場合は人間監視の要件を除外することが望ましい。また、対象となる場合は実用的な監視要件とすることが望ましい。

(p.21 抜粋)

in the design phase, by imposing operational constraints on the AI system (e.g. a driverless car shall stop operating in certain conditions of low visibility when sensors may become less reliable or shall maintain a certain distance in any given condition from the preceding vehicle).

(意見)

• 設計にあたっては、故障や誤作動は起きるものという前提に立ち、安全な制御に移行するための方式や動作原理を組み込む必要がある。とりわけ、極めて複雑なモデルによって実現されている高精度なAIの設計では、その後に起こる事態も十分に考慮する必要がある。

• AIシステム全体としてリスク排除を可能とする設計が織り込まれていれば、人間監視の要件を除外することが望ましい。

p.18, p.21　f) Specific requirements for remote biometric identification

(p.18 抜粋)

注52 Remote biometric identification should be distinguished from biometric authentication --. Remote biometric identification is --.

(p.21 抜粋)

…The gathering and use of biometric data for remote identification purposes, for instance through deployment of facial recognition in public places, carries specific risks for fundamental rights.

(意見)

• 遠隔生体認証 (remote biometric identification) や生体確認 (biometric authentication) の定義の範囲・用途や両者の区別自体が明確でない。例示も含め、定義の範囲・用途と両者の区別を明確化すべきである。

• とくに公共の場所での顔認証には、入国手続や対犯罪等の公益用途において幅広い可能性がある。したがって、公益用途のための顔認証については、本人の同意が得られない場合であっても一律の規制は避けるべきである。

• 本人同意のある顔認証の民間活用を過度に抑制することのないよう、多様な関係者の意見を踏まえ、プライバシー侵害に配慮しつつ実施することが必要である。

• 遠隔生体認証や生体確認等の範囲・用途をはじめとした定義が明確でなく、顔認識や指紋データ等のバイオメトリクスデータの利用に係る法制度が未整備である。そのため、遠隔生体認証に関する規制の策定にあたっては、民間活用を過度に抑制することのないよう、定義を明確にしたうえで慎重に議論することが必要である。

• さらに、公衆衛生上の危機に対応する必要がある際などに、プライバシーに十分な配慮をしながらも国民の生命を守るという公益目的の達成を阻害する規制は望ましくない。

(p.22 抜粋)

the Commission will launch a broad European debate on the specific circumstances, if any, which might justify such use, and on common safeguards.

(意見)

• 多様な関係者の意見を聞き、公共の場所における生体認証目的でのAI使用のリスクを把握したうえで議論を進めることが必要である。

p.22　E. Addressees

(p.22 抜粋)

For example, while the developers of AI may be best placed to address risks arising from the development phase, their ability to control risks during the use phase may be more limited. In that case, the deployer should be subject to the relevant obligation. (中略) Under EU product liability law, liability for defective products is attributed to the producer, without prejudice to national laws which may also allow recovery from other parties.

(意見)

• 「開発者が関連する責任を負うべきである」とあるが、AIシステムやAI搭載製品・サービスの開発には複数の組織や責任者が関与する場合がほとんどであることをふまえ、「提供者」などの主体の定義、主体毎の具体的な説明責任範囲、および「欠陥」の定義や範囲を明確にする必要がある。

• 開発者やAIを利用してサービス提供を行う主体のみに責任を負担させるではなく、サービス提供を受ける主体などとの負担のバランスを考慮するきである。

p.23　F. Compliance and Enforcement

• 事前適合性審査の項目、基準を明確化し、法的安定性、予見可能性を高められるようにすることが必要である。

(p.23 抜粋)

In view of the high risk that certain AI applications pose for citizens and our society (see section A above), the Commission considers at this stage that an objective, prior conformity assessment would be necessary to verify and ensure that certain of the above mentioned mandatory requirements applicable to high-risk applications (see section D above) are complied with.

(注59)

The system would be based on conformity assessment procedures in the EU, --. See the Blue guide on the Implementation --.

(意見)

• 過度な事前適合性審査の実施は、煩雑な作業や時間の負荷増大により、AIシステムの市場投入やイノベーション阻害につながるおそれがある。事業者の自主的対応を適切に評価する官民共同のスキームを整備することが望ましい。

• 事前適合性審査を実施するにあたっては、項目、基準を明確化し、法的安定性、予見可能性を高める必要がある。「既存の事前適合性審査」の具体的な内容を明確にするとともに、交通や医療機器等の高度な安全性が求められる分野で審査に上乗せされる内容を明確にすべきである。

• AIの技術進歩や人材不足に鑑みると、事前適合性審査を当局が完全に実施することは極めて困難と考えられるため、開発者や提供者による自己評価についても検討すべきである。

(p.23 抜粋)

It could include checks of the algorithms and of the data sets used in the development phase.

(意見)

• 当局による事前適合性審査を実施する場合は、競争の源泉になりうる情報（例：アルゴリズム、データセットの詳細情報）の開示を安易に要求すべきではない。開示を要求する内容は、機密を含まない必要最低限の内容とし、根拠を明確にすることが必要である。

(p.23 抜粋)

In case the conformity assessment shows that an AI system does not meet the requirements for example relating to the data used to train it, the identified shortcomings will need to be remedied, for instance by re-training the system in the EU in such a way as to ensure that all applicable requirements are met.

(意見)

• 再訓練をEU域内で求めることは、外資系企業に対するパフォーマンス要求（ローカルコンテンツ使用要求、技術移転要求　等）につながる懸念があるため、要件を満たさなかった場合の再訓練等について、方法、場所を規定すべきでない。

• 物理的な安全措置や運用等により、ハイリスクAIを用いたシステム全体としてリスクが十分に排除・軽減されていることが事前適合性審査によって確認された場合、リスクの排除・軽減の内容に応じて、求められる要件の全部または一部を適用除外または緩和することが望ましい。

(p.24 抜粋)

Ex-post controls should be enabled by adequate documentation of the relevant AI application (see section E above) and, where appropriate, a possibility for third parties such as competent authorities to test such applications.

(意見)

• AIによる基本的な権利に対するリスクが生じた場合に当局が行う可能性があるとする市場投入後の調査につき、事業者の予見可能性を高めるため、明確な実施基準を示すべきである。

p.24　G. VOLUNTARY LABELLING FOR NO-HIGH RISK AI APPLICATIONS

(p.24 抜粋)

The voluntary label would allow the economic operators concerned to signal that their AI-enabled products and services are trustworthy. It would allow users to easily recognise that the products and services in question are in compliance with certain objective and standardised EU-wide benchmarks, going beyond the normally applicable legal obligations. This would help enhance the trust of users in AI systems and promote the overall uptake of the technology.

(意見)

• ラベリングスキームだけでなく、AIの信頼性を確立するための効率の良い技術・プロセスの提供など、産業界主導のグローバルな標準化活動を支援するというアプローチも検討べきである。

• 新たな技術の導入ステージでは、法や規制を過不足なく適用することが難しいため、事業者の自主規制や行動規範に委ねる余地を残すべきではないか。

p.25　H. Governance

(p.24 抜粋)

A European governance structure on AI in the form of a framework for cooperation of national competent authorities is necessary to avoid fragmentation of responsibilities, increase capacity in Member States, and make sure that Europe equips itself progressively with the capacity needed for testing and certification of AI-enabled products and services. In this context, it would be beneficial to support competent national authorities to enable them to fulfil their mandate where AI is used.

(意見)

• ガバナンス主体となる各国の当局または各国により調査を委託された機関には、十分な専門知識と、調査にあたって提供する機密情報の保全の確実な実施を求める。また、調査の実施基準および調査項目は各国において統一されるべきである。

• 欧州連合は、加盟国への調査権限の委譲も検討すべきである。各国に独立したAI規制当局を設立した場合、既存機構との二重行政の発生や、各業界の知見およびAIに関する専門知識が当局間で十分に補完されないことによる調査の実効性や効率の低下といった懸念が想定される。このような事態への対応に要するコストは、最終的にEU市民やエンドユーザーに転嫁される恐れがある。

(p.25 抜粋)

…The EU enjoys excellent testing and assessment centres and should develop its capacity also in the area of AI. Economic operators established in third countries wanting to enter the internal market could either make use of designated bodies established in the EU or, subject to mutual recognition agreements with third countries, have recourse to third-country bodies designated to carry out such assessment.

(意見)

• 進化が著しいAIアプリケーションに対する試験方法や評価制度の設定・更新においては、精度と迅速さの両立が実現するよう、人材育成、AIシステムの変化に応じた評価制度の変更等の観点から検討すべきである。

(p.25 抜粋)

The EU enjoys excellent testing and assessment centres and should develop its capacity also in the area of AI. Economic operators established in third countries wanting to enter the internal market could either make use of designated bodies established in the EU or, subject to mutual recognition agreements with third countries, have recourse to third-country bodies designated to carry out such assessment.

(意見)

• 相互認証合意がある場合には第三国の指定機関の評価を利用できるという方針に従い、先端的なAI技術を持つ国家間での相互認証が拡大することを期待する。