前言

近日欧盟发布两份重要文件 —— 《可信赖人工智能伦理指南》（Ethics Guidelines for Trustworthy AI）、《算法责任与透明治理框架》（A governance framework for algorithmic accountability and transparency），对自动驾驶的AI开发具有很大参考意义。

《可信赖人工智能伦理指南》简介：

一、可信赖人工智能的三个基本条件：(Principle)

1. 合法性（lawful）：可信赖AI应该遵守所有适用的法律法规，尊重人的基本权利；

2. 合伦理性（ethical）：可信赖AI需遵守人类伦理准则和价值观；

3. 鲁棒性（robust）：从技术和社会发展角度来看，可信赖AI必须是鲁棒的；否则，即便可信赖AI遵守了法律＆伦理要求，但由于系统缺乏可靠技术支持，仍旧会在无意中给人类造成伤害。

二、可信赖人工智能伦理框架的基本准则及其他四条伦理准则：（Design Criteria）

1. 基本准则要求：可信赖AI必须保证人格尊严（Respect for human dignity），人身自由（Freedom of the individual），民主、正义与法律（Respect for democracy, justice and the rule of law），平等、无歧视及团结（Equality, non-discrimination and solidarity），公民权利（Citizens' rights）。

2. 四条伦理准则：包括尊重人的自主性准则（respect for human autonomy）、防止损害准则（prevention of harm）、公平准则（fairness）和可解释准则（explicability）。a.尊重人的自主性准则：AI系统应当遵循以人为本的理念，用于服务人类、增强人类的认知并提升人类的技能；换句话说，与AI互动的人类必须拥有充分且有效的自我决定能力。b.防止损害准则：AI系统及其运行环境必须足够安全；必须足够鲁棒且不易被恶意使用；不给人类带来负面影响。c.公平准则：AI系统的开发、部署和应用要坚持实质公平和程序公平，确保利益和成本的平等分配、个人及群体免受歧视和偏见。受AI系统和拥有者影响的个体均有提出异议并寻求救济的权利。d.可解释性准则：目前的AI算法和模型都是黑盒子（Black Box）；但是可信赖AI系统的决策过程在可能的范围内需要向受决策结果直接或间接影响的人解释，其功能和目的必须保证公开透明，才能构建用户对AI系统的信任。

三、实现可信赖人工智能的七个关键要素：（Implementation）

1. 人类的能动性和监督：

a. AI应能帮助人类行使基本权利，当AI有损害人类基本权利的可能性时（技术能力限制），应当在AI系统开发之前就进行基本权利影响评估，并建立外部反馈机制来监控AI系统对基本权利的可能影响。b. AI应该支持人类个体基于目标作出理智抉择，AI系统的决策系统不能影响人类个体的自主决策权。c. 建立适当的监督机制，例如“human in the loop”、“human on the loop”以及“human in command”等。类似于自动驾驶系统的“driver in the loop”， human-in-loop代表AI系统的每个都可人为干预；human-on-the-loop表示AI系统设计周期进行人为干预；human-in-command表示监督AI的整体活动及影响并决定是否使用。

2. 系统鲁棒性和安全性：

a. 确保AI系统是准确、可靠且可被重复测试的，提升AI系统决策的准确率，完善评估机制，及时减少系统错误预测带来的意外风险。b. 保护AI系统以防漏洞、黑客攻击，开发和测试安全措施，最大限度地减少意外后果和错误，在系统出现问题时有可执行的后备计划。

3. 隐私和数据管理：

AI系统在整个生命周期内都必须严格保护用户隐私和数据，来保证收集的信息不被非法使用。过滤掉错误、不准确或有偏见的数据后，必须保证剩下数据的完整性，记录AI数据处理的全过程。同时加强数据访问协议的管理以控制数据访问条件，以及数据流的流动条件。

4. 透明性：

确保AI系统决策的数据集、过程和结果的可追溯性，保证AI系统的决策结果能够被人类理解并跟踪。当AI系统决策结果对人类个体产生重大影响时，应对AI系统的决策过程进行适当、及时的解释说明。AI系统开发者有责任提升用户对于AI系统的整体理解，包括用户与AI系统之间的交互活动，以及AI系统的精确度和局限性。

5. 多样性、非歧视性和公平性：

遵循普适性设计原则和相关可访问标准，满足最广泛的用户需求；同时促进多样性，允许利益相关者参与到AI整个生命周期中。避免AI系统对弱势/边缘群体造成偏见和歧视，以用户为中心并允许任何人使用AI产品，或允许任何人享受服务。

6. 社会和环境福祉：

鼓励AI系统担负起促进可持续发展和保护生态环境的责任，利用AI系统研究并解决全球问题。理想情况下，AI系统应该造福于当代社会和后代，促进积极的社会变革。因此，AI系统的开发、部署和使用应该充分考虑对环境、社会甚至民主政治的影响。

7. 问责制：

a. 建立问责机制，落实AI系统开发、部署和使用全过程的责任主体。b. 建立AI系统的审计机制，实现对算法、数据和设计过程的评估。c. 识别、记录并将AI系统对个人潜在的负面影响降低到最小，当AI系统产生不公正后果时，及时采取适当的补救措施。

四、可信赖人工智能的评估：（Validation）

评估清单主要是用于为实现以上7项关键需求提供指导，帮助公司或组织内不同层级或部门（管理层、法务、研发、质量、HR、采购、运营等部门）确保可信赖人工智能的实现。

《算法责任与透明治理框架》简介：

算法框架报告首先引用了一系列现实案例，阐明不公平算法产生的原因及可能导致的后果，分析了特定背景下实现算法公平的阻碍。

然后提出将算法透明和责任治理作为解决算法公平问题的工具；实现算法公平是算法治理的目的，同时强调RRI（Responsible Researchand Innovation，负责任的研究与创新）方法在促进实现算法公平中的作用和意义。

报告提出了4个层面的政策建议：

1. 提升公众的算法素养。a.教育公众理解关于算法选择、决策的核心概念；b.标准化算法的强制披露内容；c.为进行“算法问责”的新闻报道提供技术支持；d.出于公共利益考虑允许揭秘人在违反服务条款或侵犯知识产权情况下免于追究责任。

2. 相关公共部门建立算法问责机制。建立AIA（Algorithmic impact assessment，算法影响评估）算法评估流程：公共部门公布“算法系统”定义；公开披露算法目的、范围、预期用途、相关政策或实施；执行和发布算法的自我评估报告；公众参与；公布算法的评估结果；定期更新AIA流程。通过该评估流程，能够帮助政策制定者了解算法系统的使用场景，评估算法预期用途，并提出相关建议，帮助建立算法问责机制。

3. 完善监管机制和法律责任制度。算法透明并不是简单公开源代码，这样并不能提供有效的透明度，反而会威胁数据隐私或影响技术安全。对于现代AI系统，通过解释某个结果如何得出尔实现透明将面临巨大的技术风险，相反，在AI系统的行为和决策上实现有效透明将更可行。因此，a.对于可能引发严重或不可逆后果的算法决策系统，可以考虑强制AIA评估流程；b.对于仅具有一般影响的算法系统，则可要求系统操作者承担较为严重的侵权责任，同时减轻其评估认证算法系统、保证系统符合最佳标准的义务；c.建立专门的算法监管机构，其职责包括进行算法风险评估，调查涉嫌侵权人的算法系统的使用情况，为其他监管机构提供关于算法的建议，与标准制定组织、行业和民间社会协调确定相关标准和最佳实践。

4. 加强算法治理的国际合作。

（完）