机械工业仪器仪表综合技术经济研究所 史学玲

【摘要】埃塞航和狮航坠机的原因都是智能化系统的功能失效，自动驾驶汽车事故反应了目前机器学习技术存在的局限性。在我们推行智能制造、人工智能、工业互联网等新技术时，要考虑技术失败可能导致的人为灾难。应同步研究功能安全技术和标准，保证新技术在安全的框架内发展。
埃塞航飞机起飞仅仅6分钟后就坠毁，而类似空难则是近5个月前的狮航JT601，飞机起飞12分钟坠毁。由此引发了波音737MAX8的全球停飞。

一、这是两起功能安全事故

波音的坠落，是人工智能战胜人类的灾难性事件，也是智能化系统功能失效的典型案例。

波音737MAX8是波音成熟度最高的机型，燃料消耗是同类机型的30%，但发动机更改导致飞机机头容易抬高。因此，它使用了一个机动特性增强（MCAS）系统，在飞机迎角过大时系统会自动下调机头以进入它设定的安全状态。但实际上，MCAS是波音公司在737MAX8飞机里埋的炸弹[1]。

狮航空难事故调查已有结论，其直接原因是机头左侧攻角传感器故障，使MCAS错误地连续进入自杀式俯冲，一共26次，而悲剧的狮航飞行员则努力奋斗拉了33次机头[1]，试图拯救飞机。但最终人工操作没能成功纠偏。

埃塞航空难事故调查还在法国进行，但从已经披露的信息可以判断，飞机在起飞后，连续出现了爬升和下降两种飞行姿态，飞行员称无法控制飞机，最后导致坠毁。

这两起事故都是智能化系统功能错误导致的飞机失控，属功能安全事故。

二、什么是功能安全

功能安全是一门安全工程学科，专门研究复杂控制系统的功能失效避免。它的基础标准是2000年发布的IEC61508。近20年来，针对各领域的安全相关系统，已经发展出一个标准族群。

它主要从3个方向展开研究：

2．硬件随机性失效避免
组成安全相关系统的硬件系统必须具有足够的可靠性、足够的容错能力和诊断覆盖率。

1．设计缺陷[1]

2．狮航飞机的维护和操作问题
a）机务人员没有及时发现攻角传感器问题。狮航飞机空难前带着这个故障飞行了4次之多，事故前一天还出现过机头持续下压的危险状况，直到飞行员关闭MCAS才安全降落[2]。
b）狮航的维修工作及程序未能解决涉事客机的问题，而客机关键零件（攻角传感器）的安装及校准纪录不完整[3]。
c）飞行人员存在操作错误[3]。

1．“你不知道自己不知道什么”
从智能制造到人工智能、从5G到工业互联网，新的热点层出不穷，新的技术不断更新换代，智能化系统越来越复杂。互联互通、信息集成，要将系统所有边界情况一网打尽是天方夜谭。这种情况下，无论是设计者还是监管部门都严重缺乏经验，都面临“你不知道自己不知道什么”的困境。

3．智能化系统与人的关系
在智能化系统控制着的飞机上、自动驾驶汽车上、现代化的工厂里，人的错误可能是导致事故的重要原因。比如2009年6月1日法航447坠落事件中，空速管结冰导致飞行控制系统进入故障模式，副驾驶持续拉杆的错误动作导致飞机失速坠落。在波音这架飞机上，驾驶员与MCAS一直在抢夺控制权，最终驾驶员失败了。在危机时刻，该听谁的？这需要针对每个功能进行认真研究。

1．自动驾驶汽车事故
近年来，采用了机器学习技术的自动驾驶汽车是热点，但各地出现的车毁人亡事故又在不断地给这个热点泼冷水。 

2．其它设备故障导致系统失控的功能安全事故
由于设备故障，导致系统失控，最终发生严重事故，比如：
2013年3月15日，央视315晚会曝光大众汽车变速箱机电单元（DSG）存在问题。由于DSG电子故障，车辆动力输出中断，可致汽车在行驶过程中突然失速。这已经导致了多起重大事故。
2007年4月18日，辽宁铁岭钢铁厂，脱落钢水包口直对着工人开会的小屋，很多钢水灌入小屋，32位工人死亡。事故直接原因是：接触器锈蚀断开，导致钢包控制系统功能失效。
2005年3月23日，BP公司在美国德州的炼油厂在开车过程中发生了多起爆炸事故，造成15人死亡，170多人受伤。事故直接原因是：液位计失灵，导致高液位报警失效，缺少高液位判断功能。

六、在我们推行智能化与人工智能技术时，必须同步研究功能安全

研究智能化与人工智能时代的功能安全技术，制定相应标准，为智能制造与人工智能保驾护航。

面对更新换代的新技术和“层出不穷”的热点，我们必须理解风险埋藏在哪里，能够识别出那些未知且不安全的部分，然后将它们的风险控制在可容忍范围之内。对它们进行区分，拿出化解风险的方案并对其进行验证。需要制定标准规范行业行为，比如，制定安全标准以规范数据采集和学习系统的开发行为，以减少人工智能系统无意的偏差和数据失真问题。

七、结束语

埃塞航和狮航空难是巨大的悲剧，所有新技术失败导致的事故都是人为的灾难。看到这些灾难，不禁对智能化和人工智能等新技术心存敬畏。希望我们能深入研究功能安全技术，用标准和法规来保障新技术在安全的框架内发展。而任何一项新技术，也只有在解决了安全问题之后，才能真正为用户所接受。
参考文献
感谢舍弗勒公司薛剑波先生提供的汽车领域事故案例和ISO21448预期功能安全的相关资料。

[1]大水来，狮航空难：26次死亡俯冲和33次绝望拯救的背后故事[EB/OL]（2019-03-19）（2019-03-19）
https://news.online.sh.cn/news/gb/content/2019-03/19/content_9232111.htm

[2]张仲麟，狮航空难调查报告发布，锅归谁？【EB/OL】（2018-12-02）（2019-03-19）https://user.guancha.cn/main/content?id=58538

[3]香港东网，波音回应狮航空难初步调查报告：客机安全 操作及维修不当【EB/OL】 （2018-11-28）（2019-03-19）
https://news.163.com/18/1129/10/E1P82PRU0001899N.html

[4]新华社转西雅图时报，美媒：737MAX飞行控制系统的安全评估存在严重缺陷【EB/OL】（2019-03-18）（2019-03-19）
http://www.sohu.com/a/302127002_260616

[5]雷锋网，揭秘 ISO 21448，它是自动驾驶行业的新风向标？【EB/OL】（2019-03-11）（2019-03-19）
http://www.kejilie.com/leiphone/article/vmQzMn.html
作者简介：
史学玲， 1982年毕业于浙江大学。机械工业仪器仪表综合技术经济研究所副总工程师、功能安全中心主任。国家安全生产专家组成员，国际权威机构认证的功能安全专家。SAC/TC124/SC10系统及功能安全标准化技术委员会副主任委员，全国机械安全标准化技术委员会委员，全国电气安全标准化技术委员会委员，全国电工电子产品可靠性与维修性标准化技术委员会委员。