360AI安全风险白皮书:人工智能图片识别易被降维攻击

首页 > 网络 > 互联网 > 本文
2018年02月13日 20:26 | 砍柴网 esense

作为人工智能技术的重要分支,图像识别技术在众多领域一直受到广泛关注,然而不为人知是这项技术背后其实隐藏着一定的安全风险。日前,360安全研究院发布《AI安全风险白皮书》,白皮书中指便出360安全团队发现在图像识别深度学习的数据处理流程中存在安全风险。攻击者在不利用平台软件实现漏洞或机器学习模型弱点的情况下,只利用深度学习数据流中的处理问题,就可以实现逃逸或数据污染攻击。

相信许多人都听说过,人工智能深度学习系统的核心是神经元网络。通常情况下,图像识别深度学习使用的静态神经元网络会假定自己的输入是一个固定的维度。但是,实际情况却是:实际的输入并不一定与神经元网络模型输入具有相同的维度。

图1:通常情况下,原始图片会经过维度调整,深度学习系统才能识别其信息

要解决这一问题的方法有两种,一种是对输入的维度进行强行限制,另外一种方法是对输入进行维度调整。比如在图像识别应用中,深度学习系统会将大的输入图片进行维度缩减,小的图片进行维度放大,采用的算法包括最近点抽取和双线性插值等。这种处理的目的就是对图片降维的同时尽量保持图片原有的样子,以确保深度学习系统做出正确的判断。

但是,上述的情况非常理想化。在实际中,这些常用的降维算法并没有考虑恶意构造的输入。也就是说:攻击者可以事先对输入进行特殊构造处理。经过处理后,降维函数会输出异常的结果。

下面这组图片就是攻击者针对最常用的双线性插值构造的恶意攻击样本,虽然原始输入是一张羊群的图片,但是经过降维处理后,图像识别系统会将其误判为一只雪地里的白狼;虽然原始输入是一只卡通小羊,但图像识别系统会将其误判为一只可爱的小猫。

图2:降维处理后,图像识别系统可能输出谬误严重的结果

再比如下面这组实例,一些对于人来说很清楚的数字,深度学习系统却会误判。下面显示了了四组图片,每一组中,左边是对应用的输入,也就是人看到的图片;右边是人看不到,但是被机器学习模型最后处理的图片。

图3:降维算法可能让深度学习系统出现严重误判

根据360安全研究人员的分析:几乎所有网上流行的深度学习图片识别程序都有被降维攻击的风险,解决方法包括对人工过滤异常图片、人工对比识别结果,以及采用更为健壮的降维算法等。对此,白皮书特别强调:人工智能安全问题不容忽视,360安全研究院希望公众在拥抱人工智能热潮的同时,也能 持续关注深度学习系统中的安全问题。

  • 谷歌在商店当中封杀加密货币采矿应用程序
    谷歌最近宣布了计划在商店中限制加密货币采矿应用程序的分发。谷歌上个月更新其开发者政策,不允许在设备上挖掘加密货币的应用程序存在于谷歌当中,但是允许远程管理加密货币挖掘的应用程序。但这并不能阻止开发...... 互联网 2018-08-18 | 和讯网 小孟
  • 贾跃亭FF91国内首试来了:年底前完成量产准备
    8月14日下午消息,有国内媒体收到FF公司的邀请函,后者定于8月15日下午1430分举办旗舰车型FF19的......... 互联网 2018-08-17 | ITBEAR科技资讯 esense
  • 首批5G基站启用 北京正式迈入5G时代
    据中国之声《全国新闻联播》报道,北京联通日前宣布,首批4座5G基站已经建设完成,部分已经启用,这标志着首都北京正式迈如5G时代。北京联通5G基站将优先覆盖北京城市副中心、北京新机场、长安街沿线、金...... 互联网 2018-08-17 | 和讯网 小孟
  • 红芯浏览器发致歉信:宣传中存在夸大,不应特别强调国产自主
    《红芯致歉信》称,红芯浏览器内核Redcore是基于国际通用的开源Chromium内核架构进行的改造和创新,这一点前期宣传中没有明确提及,误导部分读者认为其从零开始研发了浏览器内核。公司在宣传过程中应...... 互联网 2018-08-17 | 和讯网 小孟
  • 顶级挑战!150城100万设计师,随设计大师绘敦煌论宝岛!
    当下的中国并不缺优秀的设计师和创意作品,但是缺少一个能正视他们价值的平台。红星美凯龙正在缔造这样一个属于设计师的梦想舞台。 8月16日晚,由红星美凯龙发起...... 互联网 2018-08-17 | 科技头条 小孔
  • 政府打击微商传销 韩庚公司投资的“达人店”中招被罚
    中国网财经8月17日讯 (记者 杨畅)近日,浙江工商、公安通报了一批网络传销违法犯罪典型案例,其中较为典型的就是微商传销,记者注意到十大案例的案例一为“余杭查处杭州达辰网络科技有限公司传销案”。该...... 互联网 2018-08-17 | 和讯网 小孟
  • 客如云6周年直播实录:进军国际化 商户量突破10万家
    8月15日,是客如云六周年的纪念日,从2012年破土而出,到如今已成行业领军企业,客如云始终秉持着“店开天下,客如云来”的企业愿景全速前进,致力于成为to B端的“苹果”,用自己的力量改变中国餐饮行业...... 互联网 2018-08-17 | 和讯网 小孟
  • 沃尔玛VS亚马逊:一场无处不在的战争
    早在2016年就建立的亚马逊高科技物流中心,采用全自动电子机器人进行物流分发及仓储。CNSPHOTO提供编译 年双渡《财富》日前发布的最新美国500强排行榜显示,沃尔玛已经连续第六年蝉联榜首,...... 互联网 2018-08-17 | 和讯网 小孟
  • 谷歌证实关闭位置记录后也能通过其他应用追踪用户位置
    TechWeb8月17日消息,据国外媒体报道,搜索巨头谷歌周四更新了位置追踪工具的帮助页面,证实用户关闭位置记录后,也能通过其他应用活动中的位置数据追踪用户位置。谷歌证实关闭位置记录后也能通过其他应用...... 互联网 2018-08-17 | 和讯网 小孟
  • 火币集团与5家公司达成合作 帮助它们推出自家交易平台
    TechWeb8月17日消息,据国外媒体报道,全球第三大加密货币交易所火币集团(Huobi Group)已与5家公司达成合作,帮助它们推出自己的交易平台。火币集团将使用上月推出的火币云(Huobi...... 互联网 2018-08-17 | 和讯网 小孟
  • 姚劲波:链家和贝壳的流量只达58房产业务的20% 没有威胁
    TechWeb8月17日,58同城发布了2018年第二季度财报,总营收为34.305亿元,同比增长32.3%;净利润6.853亿元,同比增长27.1%。在财报分析电话会议上58同城董事长兼CEO姚劲波...... 互联网 2018-08-17 | 和讯网 小孟
  • 第五批567家网站公布举报受理方式
    2014年至2017年,中国互联网违法和不良信息举报中心已经分四批组织1600余家网站向社会统一公布举报受理方式。为进一步扩大网络举报工作覆盖面,充分发挥网络举报工作在网络综合治理体系中的重要作用,推...... 互联网 2018-08-17 | 和讯网 小孟
  • 上海市与阿里达成合作 马云:业务将放在沪
    8月16日晚间消息,上海市和阿里巴巴、蚂蚁金服达成战略合作协议,上海市委书记李强会见阿里巴巴董事局主席马云一行,上海市市长应勇和马云共同见证了签约仪式。阿里方称,阿里巴巴此番与上海市开展高规格战略...... 互联网 2018-08-17 | 和讯网 小孟
  • 美国关闭根服务器分分钟掐断中国网络?专家:无稽之谈
    美国断了根服务器,并不能让中国断网,主要影响的是国际互通,比如国外网民可能访问不了中国的一些网站,但并不影响中国的网民访问中国的网站。他还表示,其实,网民在浏览网站的时候,域名解析并不是在根服务器中进...... 互联网 2018-08-17 | 和讯网 小孟
  • 科大讯飞:教育业务表现出良好增长态势
    关于教育业务上半年经营情况,科大讯飞(002230,股吧)(002230)周五在全景网投资者关系互动平台表示,教育业务总体增长良好。公司介绍,根据新的教育形势,公司上半年加大产品打磨,由于交付需要...... 互联网 2018-08-17 | 和讯网 小孟
  • 巨头争霸工业互联网平台 富士康BEACON如何出道
    近日,工业互联网界的巨头们动作频频,GE或出售Predix,西门子和阿里云合作入华,8月11日富士康的BEACON首次外部赋能,应用于安防企业。不论行业格局如何变化,中国和欧洲国家都在为工业互联网...... 互联网 2018-08-17 | 和讯网 小孟
  • 云+AI WPS 2019也有撩人新技能
    随着人工智能技术的日益成熟,它早已不仅限于自动驾驶、机器人等领域,音乐和电影推荐服务、智能家......... 互联网 2018-08-17 | ITBEAR科技资讯 esense
  • 蒂凡尼入驻阿里巴巴旗下天猫APP奢侈品平台
    既Kroger和星巴克之后,又一家美国知名品牌携手阿里巴巴。美国珠宝奢侈品牌蒂凡尼宣布入驻入驻阿里巴巴旗下天猫APP奢侈品平台Luxury Pavilion 。又一家美国知名品牌携手阿里巴巴。...... 互联网 2018-08-17 | 和讯网 小孟