美国司法部和11个州2020年10月20日宣布对谷歌公司发起反垄断诉讼，

指控其在搜索及搜索广告市场非法抑制竞争以维护垄断地位

　　当设计者将自身固有的社会成见植入规则中时，算法在反映这种偏见的同时，也可能会放大歧视倾向。

《环球》杂志记者/胡艳芬

　　不知从何时起，人们开始信奉“数据宗教”（以色列历史学家尤瓦尔·赫拉利的提法），认为相对于单凭人自身，人类借助算法、模型、机器学习等数学方法能够重塑一个更加客观的现实世界。

　　这恐怕是大部分人都会产生的偏见：算法决策更公平，因为数学关乎方程，而非肤色、种族、性别，而人类决策因为受到许多固有观念、有意无意的偏见及信息不充分等因素影响，其决策结果难以公正。

　　然而，无法忽略的算法歧视或者侵权现象，让人们不得不正视几个关键性问题：算法是由谁设计的？人类设计者能确保算法公正吗？公正又是什么，有精确的量化标准吗？算法所使用的数据量够充分吗？数据有没有被“污染”？……终究，算法依然逃脱不了人类社会的魅影，算法背后的人、利益团体以及算法规则的不透明性、数据使用的局限性等等，都限制着算法的客观和公正。

男性主导的算法

　　现在的人们比以往更关注从事算法相关工作人士的性别比，因为这关乎算法性别歧视这个敏感话题。

　　在美国田纳西州长大的亚裔女性爱丽丝，凭借自己的能力考入以白人为主的学校，进入“高级班”，她身边的同学主要来自中上层家庭。后来她考上了哈佛、牛津、耶鲁等精英大学，并专门从事算法公平性方面的研究。她说，在田纳西州长大的经历，让她认识到标签和类别“可能无法充分反映个体的复杂性和潜力”。

　　很快爱丽丝发现，她的同事中很少有女性或少数族裔。长期以来，从事技术工作的女性相比男性要少得多，尤其是在人工智能领域。根据2018年领英网和世界经济论坛的分析，机器学习研究人员中只有12%是女性，女性在全球人工智能专业人员中仅占22%。爱丽丝担心，“可能有一天，雇用我们，支配我们的医疗，在审判中决定判决的技术，几乎完全会从白人、受过良好教育的男性角度来设计。”

　　以亚马逊公司为例，根据公开数据，该公司的整体员工构成以男性为主。而从路透社整理的自2017年起的数据得知，在谷歌、苹果、微软、脸书这类科技公司中，男性平均占比达2/3，尤其是技术岗位，男性比例接近4/5。

　　当长期以来用来描述员工构成的“简历数据”被亚马逊用来训练招聘员工的算法，结果可想而知——亚马逊公司在2014年开发的用来筛选简历的“算法筛选系统”，对男性应聘者表现出明显的偏好。可以说，算法本身并无所谓歧视，它的歧视是从人类社会习得的。

　　另一个问题接踵而至，当算法掌握在某些男性手中，会不会使满足特定男性需求的歧视性、侮辱性、侵犯女性权利的产品应运而生？会，而且事实已在眼前。

　　2019年6月底，可以“一键脱衣”的应用程序DeepNude在网上受到追捧。这一应用借助神经网络技术，只需要上传一张女性照片，即可自动“脱掉”衣服，伪造出逼真的裸照。这款应用上线仅几个小时，下载量就突破50万次。吸引用户的“一键脱衣”效果是利用“深度伪造”技术实现的，即利用深度学习算法，实现音视频的模拟和伪造。

　　虽然DeepNude已在舆论批评声中下架了，但令人担忧的是它又出现在了即时消息应用程序Telegram中。一项来自美国网络安全公司Sensity的调查显示，截至2020年7月底，Telegram平台7个主要频道均在使用DeepNude软件，其使用者甚至还在Telegram上成立了社区，社区成员超过10万人。

　　目前DeepNude已经产生了68万以上女性的假裸照，Telegram平台公开发布了约10万张色情图片，最令人感到恐惧的是，这其中70%的图片来自社交媒体或私人渠道中分享的真实女性包括未成年人的图片。这意味着，人们日常在脸书、微博等社交媒体中分享的正常自拍照，有可能被人用来生成裸照。

　　更引起人们关注的是，这一软件由掌握算法技术的男性开发，且只针对女性。这位开发者化名阿尔贝托，他表示，软件是由开源算法pix2pix创建，训练数据仅为1万张女性裸图。

　　pix2pix开源算法本身并无所谓善恶，在技术人员看来，它甚至是一种非常有趣的图像到图像的转换策略，但它一旦被怀有恶意和私利的人利用，就会产生恶劣而危险的后果。

　　《如何输掉信息战》一书的作者尼娜·扬科维茨表示，DeepNude这款应用对世界各地的女性都有巨大的影响，尤其是在社会较为保守的国家。如果一张令人信服的假裸照被公开，受害者可能面临失去工作和生计的危险，有些人则可能面临伴侣暴力。

　　在数字时代，人类的面部与身份特征都被数字化，算法将人的身份拆解，传统意义上的身份特质被分解，并与他人的身份特质再组合重构。也就是说，如果算法被利用，人们将面对一个更加难辨真假的世界，当社会恐慌加剧，侵权案件频发，女性权利将面临进一步被侵犯的处境。

利益团体的手

　　算法能迅猛发展到目前的程度，不得不说它在解决问题、完成任务方面，极大地解放了人类的劳动力、提升了工作效率，现已渗入日常生活的各个方面。有了算法，人们可以更好地理解海量数据，激发科技上的突破，也会在日常生活中获得便利、提升效率，人类和信息会因此更紧密地联系起来。

　　但与算法相关的利益团体的资本嵌入，进一步导致了算法歧视。2014年，美国白宫发布的大数据研究报告指出，由设计者造成的算法歧视，企业可能是无意识的，但也可能是利益团体对于弱势一方的蓄意剥削。技术神话之下，用户对于数据的迷信，给予了资方用算法中立的外衣来操纵舆论、控制受众的机会。

　　出于对利益的追求，一些公司试图利用算法，寻求“垄断”的商业地位。

　　2019年有知情人士表示，亚马逊调整了其产品搜索系统，以更有利于展示亚马逊自身品牌，从而获得更丰厚的利润。这一举措在亚马逊内部也曾引发争议。参与这个项目的知情人士表示，2018年年底亚马逊优化了对产品进行排序的秘密算法，亚马逊不再像过去十多年那样，在客户搜索时主要向他们展示最相关和最畅销的产品，而是倾向于推销对该公司更有利可图的条目。

　　对亚马逊产品搜索系统的任何调整都具有广泛的意义，因为这家零售巨头的排名可以决定某个产品的成败。市场分析公司Jumpshot的数据显示，该网站的搜索栏是美国购物者最常用的在线查找商品的方式。

　　美国和欧盟也对亚马逊所扮演的双重角色——市场运营商和自有品牌产品的销售者——进行了研究。如果亚马逊的搜索系统并未像其所宣称的那样“做对客户最有利的事”，而是倾向于盈利，则可能会将客户引向数以千计的亚马逊内部产品，这些产品为亚马逊带来的利润率将高于网站上的竞争产品。

　　在脸书和谷歌等科技巨头对网络生态进行垄断的背景下，算法的设计和大量使用可能会限制人们的自由言论和表达。扎克伯格虽然声称，新闻推送把脸书变成了一份“个性化报纸”，让人们看到自己希望看到的个性化新闻，但这些新闻往往只是推送方想让人们看到的新闻；而用谷歌搜索时，不经意跳出的广告，也在潜移默化地阻碍着我们作出独立选择。

　　这就是福尔在《脸书与自由之战》一书中所揭示的：“当我们把思维外包给机器时，我们实际上是把思维外包给了运行机器的组织。”

算法折射人类偏见

　　算法在描绘和解释现实世界的同时，也对人类社会的结构型偏见进行了集成。有分析人士认为，智能算法的数据选取标准、数据模型的权重设定、语用分析和结果解读等各环节都贯穿着人为因素，因此算法不可避免地会反映设计者对于世界的认识。而当设计者将自身固有的社会成见植入规则中时，算法在反映这种偏见的同时，也可能会放大歧视倾向。

　　巴西Revista Pesquisa FAPESP杂志刊文表示，当算法以人类行为为基础，它们就会不断产生偏见，而且这很常见。云自然语言API是谷歌开发的一个工具，可以通过机器学习来识别文本的结构和意义，但它也产生了自己的偏见。

　　美国网站Motherboard的一项测试表明，在API分析文本以确定其是否具有“积极”或“消极”情绪时，算法将诸如“我是同性恋”和“我是黑人女同性恋”等陈述归类为“消极”。塔夫茨大学的尼克·西维尔表示：“创建智能算法的程序员需要意识到，他们的工具具有社会和政治含义。”

　　2016年，一个名叫罗萨莉娅的学生发现了一个奇怪的现象：用谷歌搜索“看起来工作不专业的发型”，结果搜索到的图片绝大多数都是一头自然卷的黑人女性；相反，如果搜索“看起来工作专业的发型”，结果就是铺天盖地的白人女性。

　　根据此前美国“为了人民”网站的调查结果，美国司法部使用的AI裁判算法COMPAS将黑人错误分类为潜在犯罪者的概率比白人高出2倍左右。虽然人类法官也有因偏见和环境原因作出错误判决的风险，但这使得人们对算法“公正性”的期待最终破灭。

　　脸部识别软件背后的算法也被偏见所“污染”。根据布奥拉米尼的最新论文，照片中的人如果是白人，软件分辨的准确率为99%，但肤色越暗，错误率就越高。特别是肤色暗淡的女性形象出现了最高35%的错误。

　　2020年年末，一份有关人脸识别人工智能问题的报告显示：“部分面部识别程序错误辨认亚洲、非洲裔的概率，是认错白人男性概率的100倍。”这是美国标准技术研究所（NIST）对近200个面部识别算法进行分析后得出的结果。

　　（实习生杨晓鸰对本文亦有贡献）

来源：2021年4月21日出版的《环球》杂志 第8期

《环球》杂志授权使用，其他媒体如需转载，请与本刊联系

本期更多文章敬请关注《环球》杂志微博、微信客户端：“环球杂志”