铁面无私的意思
我们正在创造一个新世界:眼观六路耳听八方的算法,让所有犯错的人都逃不脱惩罚。然而,这是我们想要的世界吗?图片来源:robocopmovie.net
(文/ Katia Moskvitch)约翰·加斯(John Gass)确信自己没有做错事情,然而白纸黑字写得清清楚楚:美国马萨诸塞州车辆管理局吊销了他的驾驶执照。
他花了接近两个星期,给车辆管理局打了好多次电话,,才把事情搞明白。对41岁的他来说,这是一场噩梦,因为这位职业驾驶员的生计遭到了威胁。在车辆管理局看来,问题一清二楚:加斯因为申请多张驾驶执照而犯下了诈骗罪——多亏一种面部识别算法才把他揪了出来。
在马萨诸塞以及美国的大多数州,成千上万张驾驶证上的证件照都要定期接受扫描,以便寻找逃犯、年龄不足的驾驶者、使用假名者,以及被禁驾车者。然而据《波士顿邮报》最初的报道,计算机在加斯的案子里犯了错误。这是一次算法警务出的问题。
过去几年里,执法机构开始用无所不察的高效算法代替人类警员。它们利用无所不在的传感器、摄像头、面部识别软件和智能计算机分析来留意犯罪的迹象。从交通违章到偷窃,算法监控发挥着越来越大的作用:通知警方,。
支持者主张,自动警务节约开支和资源,保证了违法者逃脱不了制裁。然而很多律师和计算机科学家警告称,我们也许并不希望生活在一个我们如今正在逐渐步入的、由算法来执法的世界里。它不仅违背了文明社会的一些基本原则——比如自由裁量权,还迫使我们以不情愿的方式改变自己的行为。
尽管自动警务的问题在最近几年才日显复杂,但是它的发端可以追溯到几十年的交通警务领域。最早的自动号牌识别摄像头于上世纪70年代出现在英国。到1979年,测试系统已经在英国里程最长的A1公路和伦敦达特福德隧道内运行。两年之后,英国警方实施了第一例依靠自动号牌识别摄像头定位被窃车辆的逮捕。
随后,世界各国都出现了监控交通信号灯、公交车线路之类的摄像头。最终它们都通过互联网连接到了处理中心,这些中心与警方和车辆注册数据库之间有着便捷的互通。例如,荷兰阿姆斯特丹史基浦机场从2008年开始,常规性地通过摄像头检查所有驶入车辆,使得当局能够在已知违法者打算逃离荷兰时及时注意到。
然而近几年最为显著的变化,是摄像头背后算法智能的提升。比如说,现在很多测速摄像头能够辨别出该地区的外来者。英国利兹都市大学的警务技术专家斯蒂夫·莱特(Steve Wright)说,外来者如果只是轻微超速,往往能够逃脱罚款。而超速程度相同的本地驾驶员如果被发现,则要面临更严厉的惩罚。
处理中心也已经变得高度自动化,每天处理数千起违章。荷兰国家公共检察官办公室交通执法组发言人恩斯特·寇尔曼(Ernst Koelman)说,欧洲的一些当局干脆已经取消了人类监控。寇尔曼说,如果荷兰某路边摄像头认为它抓取到了某违章司机的号牌,。那里的算法利用号牌搜索车主姓名和地址,然后计算罚款并准备通知单。“如果系统没有疑问,没有人能够看到通知单发送出去,”他说。
如今算法的应用已经不限于交通违章。算法越来越能够理解监控系统前的人类行为。在英国的一些停车场,安保系统内置的算法监视着偷车贼。它们推断,如果你径直走向一辆车开走,你便是车主。但如果某人躲在阴影中或者车位间的夹道里端详各个车辆,定是有些可疑的勾当。在人群中实时定位具有特定容貌、步态或者携带可疑包裹的人的算法,也正在接受测试。
“一个人或许能够同时监控4至5个监控系统摄像头,然而大概20至30分钟之后,他的注意力就会开始溜号,”IBM的罗恩·费洛斯(Ron Fellows)说。IBM是数家正在开发警务及反恐智能软件的公司之一。“我们的监控技术采用的程序,被设计为观察某一特定区域的人和事物在做什么事情,不仅能够发现某人正在经过那个区域,还能觉察到他们有没有扔下一个包裹便走开了。”
如今部署在美国和英国很多座城市的IBM软件,还能够预测犯罪地点。IBM以及位于美国加利福尼亚州圣塔克鲁兹的PredPol等公司开发的“预测警务”系统,过滤大量过去的犯罪纪录、天气、社交媒体和其他相关事件,然后预测哪里可能发生违法行为并显示在地图上,提议警方在特定时间增大巡逻力度。
随着执法者能够获得的数据流越来越多,以及算法智能的增长,自动警务的应用范围可能会扩展到更多类型的违法行为。
从一定程度上来说,所需的技术都已经具备了。想一想最近曝光的美国国家安全局棱镜计划吧。该计划利用算法,在所有电子交互中追踪可疑行为。
尽管很多支持者主张说,减少犯罪终归是好事,这种趋势却令其他一些人忧心忡忡。当智能城市和“物联网” 成为现实,无数感应器和追踪设备随之上线,算法将能够以前所未有的程度,监控和惩罚人类行为。纽约西点网络研究中心主任、军事情报官格力高里·孔提(Gregory Conti)说,这带来了很多可怕的可能性。
路旁、建筑内、车载及个人等各种设备上的传感器,将使哪怕最轻微的违法行为受到严厉的制裁。设想在美国某一个如下行为都属非法的州驾驶汽车。“超过限速一两英里要吃一张罚单;打开雨刷后过了一分钟才打开头灯再吃一张罚单;在一个荒废的路口越过停车线又是一张罚单。几个小时之内,甚至可能在几分钟之内,我们大家就都没有驾照了”孔提说。
摄像头和它们背后的算法已经无处不在,无时无刻不在监视人们的一举一动。图片来源:《新科学家》
当然,自动警务的维护者说,如果你无可隐瞒,你便无所畏惧。可是,代码总会出错。 铁面无私的意思
比如,令约翰·加斯蒙冤的驾驶执照错误——这样的疏漏绝非个例。据报道,2012年美国堪萨斯城居民斯蒂夫·米尔斯(Steve Mills)收到了一张逮捕令。这是因为一套自动红灯执法系统将一份罚款通知单送错了地址,而他没有缴纳,便引来了逮捕令。将无辜的人列入禁飞名单——甚至包括参议员和学步小童——的计算机错误,也已经是不胜枚举。
伦敦城市警察监控系统部门的米克·奈维尔(Mick Neville)说,基于这个原因,人类必须能够干预自动警务,“计算机应该是仆从,而不是主人”。微不足道的交通罚款大概还可以接受,“你或许会说,没人真正受到了伤害,但是我们不该按照机器的吩咐,。不过这样的事情还是发生了:2000年刚过,英国一位名叫德雷克·邦德(Derek Bond)的退休人员在南非度假时,因为名字被护照控制系统标记出来而被扣押了3个星期——这次错误是国际通缉犯数据库内部出了点乱子。
对很多人来说,值得关切的不止是错误。这些算法往往是专属的,其决策过程不可能被拆解,这一事实对法律的基本原则构成了挑战。“民主的宗旨之一便是,公民对其受到犯罪调查或者被阻止的原因了解得一清二楚,”右翼团体隐私国际的执行总裁格斯·侯赛因(Gus Hosain)说,“然而,算法的内在工作机理——做出决策的分析过程——是不大可能为众人所知的,因为执法机构不会希望泄露他们使用的数据点或者推理逻辑。”
在预测犯罪方面,推理逻辑不透明的问题可能格外突出。作为一种可能的先行者,如今在美国帮助做出很多假释决定的机器学习算法便是一个例子。通过对一名囚犯的个性和犯罪史进行统计分析,这些算法就一个人是否有可能再次违法,向假释委员会提出建议——但并不揭示原因。轻率地扩大这种不透明算法的使用范围,会把这个世界变得像是卡夫卡(Franz Kafka)的小说《审判》(The Trial)中描绘的那样,遭受指控的人没有为自己辩护的机会。
另一种顾虑在于,法律书籍在写就时并未考虑不知疲倦、全知全能的安全系统提供的“完美”执法。许多个世纪以来,法律受到了人类警官、陪审团成员和法官的折中与节制。社会的根基中各处存在着少许的悔罪和自由裁量。“尽管人类的判断可能带来随意及临时性的解释和不公正的判决,它也能用来应对未必能够事先得到预期的例外案例,”日本东京明治大学的安德鲁·亚当斯(Andrew Adams)说。作为例子,可以设想一位为了急着送重伤员去医院而超速的司机。对算法来说,一切都黑白分明,亚当斯说。
自由裁量权还允许执法者能够让最值得法官和陪审团关注的违法行为优先得到处理。“一名警官可以把更多的资源用于调查一台重大医疗设备的偷盗,而不是一台iPod的失窃,”美国斯坦福大学坎伯兰法学院的伍德罗·哈佐格(Woodrow Hartzog)说,“要把这样复杂的决策过程转变成代码,我们似乎还有很长的一条路要走。”
因此,当大量轻微违法,以及类似约翰·加斯身上发生的误报事件被输入司法系统,并由此造成法庭申诉量的相应增加,算法执法可能会给司法系统带来不曾预料的压力。哈佐格说:“正如被告经常质疑在犯罪证据的收集过程中雷达枪、速度计和其他技术的使用一样,检察官同样可以预料到,自动执法系统中其他技术也将遭到质疑。”比如在2010年,美国俄亥俄州的一个人在法庭上展示他手机上可以构成反面证据的GPS定位数据,试图以此对一张超速罚单提出质疑。孔提警告说,这样的法律争辩多起来之后,法庭有可能会“不堪重负, 诉讼程序的质量将不可避免地恶化”。
不过,算法执法必将带来的变化当中,最为显著的或许还是它会改变我们的日常行为。我们对“完美”执法的后果做好准备了吗?哈佐格解释说,当我们得知自己每时每刻都处于数字惩罚者的监视之下,随时会因为任何疏漏遭到它们的罚款甚至逮捕,我们的日常决定必然会发生变化。
“当人们得知他们可能正在受到监视,他们的自主性会减弱,采取人类发展所必须的重要行为的可能性会降低,”哈佐格说,“比如说,受监视者更不愿发出与政府意见相悖的声音,也不愿支持小众观点。”让一些人逃脱惩罚的风险,能否平衡对亿万公民自由的威胁?
自动警务肯定会抓住先前未被注意到的犯罪和不端行为。我们的技术也足以将它的作用范围扩展到更多类型的行为。然而,若要拥抱这样一个算法执法的世界,我们必然会付出代价。
编译自:《新科学家》,Penal code: The coming world of trial by algorithm
扩展阅读
请戳“阅读原文”
铁面无私的意思