决策主力股票论坛|今日股市行情大盘分析查询

 找回密码
 立即/注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

搜索
上证指数 2602.15 +8.06 +0.31% 香港恒生 26186.711 +415.041 +1.61% 日经225 21617.50 +469.48 +2.22% 韩国综合 2084.77 +31.80 +1.55%
道琼斯 24370.24 -53.02 -0.22% 纳斯达克 7031.83 +11.31 +0.16% 英国富时 6881.57 +74.63 +1.10% 德国DAX 10889.17 +108.66 +1.01%
人民币 6.8895 -0.0105 -0.15% 原油 52.58 +1.8006% NYMEX原油 黄金 1249.9 +0.2165% COMEX黄金全球股市行情 2018年12月12日18时45分
查看: 6306|回复: 0

AI技术领域未来几年最引人瞩目的新方向是什么?

[复制链接]
发表于 2018-11-16 17:00:05 | 显示全部楼层 |阅读模式


在调查近几年AI领域的过程中,我发现近几年对抗攻击的概念逐渐出现在全世界各国研究人员的视野中,我认为这将会是现在乃至未来几年最引人瞩目的新方向之一。
1.概述

我在国内的两个著名的学术搜索网站 AMiner 和 Acemap 进行了调查,以 adversarial attack和相近意思的 poisoning attack 等词作为关键词搜索了相关的论文,以下是两个网站给出的论文数据分析图表。

一方面,从图中很明显可以看出,在2015年直到今年,adversarial attack相关的论文显著增多,这说明了在机器学习发展飞速的今天,机器学习的安全问题逐渐被研究者们所重视。 所以我认为这个方向在未来几年应该会是一个新兴的热点。
另一方面,虽然这类论文在近几年显著增多,但是这并不能说明这个方向的前景更好、 可挖掘的知识更多。所以我又搜索了另一个现在已经成为热门方向的领域reinforcement learning的数据来作为对比。

通过对比  reinforcement learning 和 adversarial attack  的热度和论文发表数量,可以发现与强化学习这类已经成为热门的方向相同,对抗攻击也开始有论文、热度急剧上升的阶段,  但是与之不同的是,对抗攻击论文的绝对数量至今仍很少。
这说明了对抗攻击的可研究的东西还处于正在被研究者们逐渐挖掘的过程,还未形成一个体系。所以从这一点,直观上来说, 我认为最近的科技新词应当是 adversarial attack。
2.原理
对抗攻击的开山之作 Intriguing properties of neuralnetworks[12]中提到了神经网络的两个现象。
第一个是高维神经网络的神经元并不是代表着某一个特征,而是所有特征混杂在所有神经元中;第二个是在原样本点上加上一些针对性的但是不易察觉的扰动,就很容易导致神经网络的分类错误。
第二个性质就是对抗攻击的理论基础,后来Goodfellow 在 Explaining and Harnessing Adversarial Examples[13]中提出原因并非是深层神经网络的高度非线性和过拟合,即使是线性模型也存在对抗样本。在这篇论文中,我们可以粗浅地认为对抗攻击之所以能够成功的原因是误差放大效应:
假设我们给输入样本加入扰动,则对抗样本即为:x~= x + ,其中足够小(||  ),
我们考虑权重向量和对抗样本x~的内积:

虽然微小扰动通过神经网络权重的内积导致扰动放大,若权重维度为 n 均值为 m,则显然的最大值为mn,此时= sign()。因此在高维空间中,即使是很小的扰动,也会对最终的输出值产生很大的影响。
3.发展过程
在调研该领域的论文的过程中,我发现,作为machine learning security 的方向,对抗攻击的发展可以归结为两个核心:不断寻找新的应用场景,不断利用新的算法

3.1不断寻找新的应用场景
每当 machine learning有新的领域出现,研究者都会试图在该领域上进行对抗攻击的研究,来研究出攻击这种领域的方法和防御的方法。以下是我找到的一些典型领域的对抗攻击研究成果:

3.1.1Computer vision

   
    Attacks for classification
   
   
图片分类是计算机视觉最经典的任务,因此在这个应用场景的对抗攻击论文最多,比如:Jacobian-based Saliency Map Attack (JSMA)[1],One Pixel Attack[2],DeepFool[3]等。
这些论文的思想都是相同的:都是通过将图像的像素点按顺序或是随机一个一个改变,然后通过隐藏层的梯度来计算该点的改变对整张图片的攻击显著性并且根据梯度来选择下一个要改变的点,通过这样的训练最终可以找到最优的攻击像素。
其中,我认为 One Pixel Attack[2]的工作效果最显著,这篇论文仅改变一个像素就能完成对整张图片的攻击。我认为最有新意的一点是,作者运用了差分进化算法的思想,通过每一代不断变异然后优胜劣汰,最后可以找到足以攻击整张图片的一个像素点和其 RGB值的修改值,这种方法的优点是属于黑盒攻击,不需要知道网络参数等任何信息。效果如下,我认为很显著:

   
    Attacks on Semantic Segmentation and Object Detection
   
   
语义分割任务的对抗攻击要比分类任务要难很多,语义分割的对抗样本生成[4]利用了Dense Adversary Generation 的方法,通过一组pixels/proposal 来优化生成对抗样本损失函数,然后用所生成的对抗样本来攻击基于深度学习的分割和检测网络。
这篇论文的亮点我认为在于将对抗攻击的概念转换为对抗样本生成的概念,将一个攻击任务转换为生成任务,这就给我们提供了一种新的攻击思路:将这个任务转换为如何选取损失函数、如何搭建生成模型使得生成的对抗样本在攻击图片时有更好的效果。这种概念的转换使得对抗攻击不再拘束于传统的基于  FGSM 算法,也将更多的生成模型引入进来,比如GAN。
我认为在计算机视觉的对抗攻击的局限在于,由于计算机视觉的子领域非常多,所以有一些领域还没有人去尝试过,而且由于深度学习的不可解释性,现阶段只能也通过深度学习去生成对抗样本去破坏目标的学习,这样的攻击是没有方向性的,比如无法控制分类任务的欺骗方向,我认为下一步的发展应在于如何去定向欺骗深度学习网络,来达到一些更高要求的目的。
3.1.2. Graph
在今年的ICML和KDD的论文中,有两篇关于对图结构的对抗攻击的论文,一篇是Adversarial Attack on Graph Structured Data[5],另一篇是 Adversarial attacks on neuralnetworks for graph data[6]。这两篇论文都是对 graph 的攻击,这是以前从未有人做过的任务,是一种新的应用场景,因此前文我说对抗攻击发展还十分稚嫩,还在不断寻找新的应用场景。
由于 graph 结构数据可以建模现实生活中的很多问题,现在也有很多研究者在研究这种问题,比如知识图谱等领域。
拿知识图谱来举例,现在百度、阿里巴巴等公司都在搭建知识图谱,如果我能攻击知识图谱,在图上生成一些欺骗性的结点,比如虚假交易等行为,这会对整个公司带来很大损失,所以对图结构的攻击和防御都很有研究价值。
这两篇论文的出发点都是深度学习模型在图分类问题中的不稳定性。
第一篇论文定义了基于图模型的攻击:在保持图分类结果不变的情况下,通过小规模的增加和减少边的方式, 最大化分类结果的错误率。基于此,论文提出了基于分层强化学习的方法来创建对抗样本。
第二篇论文的思想是对于要攻击的目标节点,产生一个干扰图,使得新图上的目标节点的分类概率和老图上目标节点的分类概率的差距最大,作者提出了Nettack的攻击模型。
我认为现阶段对图结构的对抗攻击的局限在于以下两点:
1.没有有效的防御算法。两篇论文都在讲如何去攻击图分类问题,但是对于防御问题, 第一篇论文只简单讨论了一下,比如随机dropout,但是展示的结果很不理想,而第二篇论文根本没有讨论防御问题。因此对图结构的防御问题是接下来的一个可发展的方向。
2.现阶段图深度学习发展还不完善,没有形成一个像图片卷积神经网络那样的完整体系,GCN、随机游走等算法都各有利弊,所以在整个体系完成之前,对抗攻击的发展方向不是很明朗。我个人觉得随着可微池化[7]的概念的提出,GCN 应该是以后图深度学习的发展方向,所以对GCN的攻击或许很有潜力。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即/注册

本版积分规则



手机版|今日股市行情|联系我们|决策主力股票论坛 ( 鄂ICP备15023833号-1)点击这里给我发消息 鄂公网安备 42062502000040号

GMT+8, 2018-12-12 18:46

Powered by 今日股市

© 2001-2017 http://jue-ce.com/

快速回复 返回顶部 返回列表