当前位置:主页 > 外域赏析 >不用标记就可辨识图像!DeepMind最新研究用强化对抗学习 >
不用标记就可辨识图像!DeepMind最新研究用强化对抗学习
上传时间:2020-06-14点击:761次
不用标记就可辨识图像!DeepMind最新研究用强化对抗学习

近日,DeepMind 发表的一篇部落客中提到了一种新的人工智慧体,它可以推断数字,角色和肖像的构造方式。更为关键的是,它们是自己学会做这件事,而不是靠人工标记的数据集。

真实的世界并不仅仅是我们眼睛里所反映的图像。例如,当我们看建筑物并欣赏其设计的複杂性时,我们也欣赏它所需的工艺。这种思维方式可以使我们对世界有更加丰富的理解,也是人类智慧的重要体现之一。

DeepMind  的研究员希望它们的系统也能创造出同样丰富的世界表现形式。例如,观察绘画的图像时,希望系统能了解用于绘画的笔触,而不仅仅是表现在萤幕上的像素。

不用标记就可辨识图像!DeepMind最新研究用强化对抗学习

在这项工作中,研究员为人造智慧体配备了与人类用来生成图像相同的工具,并证明它们可以推断数字,人物和肖像的构造方式。更关键的是,它们是自学如何做到这一点,而不是人为标籤的数据集。这与最近的一项研究「A Neural Representation of Sketch Drawings」提到的依赖从人类经验中学习的方式恰恰相反。依赖于人类经验的学习通常是很耗时的。

不用标记就可辨识图像!DeepMind最新研究用强化对抗学习

研究员设计了一个可以与电脑绘图程式交互的深度强化学习智慧体,将笔触放在数位画布上并更改画笔大小,压力和颜色,未经训练的智慧体画笔很随意,并没有明显的意图或结构。为了克服这一点,研究员需要创建一种奖励方式,鼓励 agents 生成有意义的图片。

为此,研究员训练了第二个神经网路,称之为鉴别器。它唯一目的是预测特定图形是由 agents 製作的,还是从真实照片的数据集中採样的。agents 的奖励是用「欺骗」鉴别者认为它的绘画是真实的。换句话说,agents 的奖励本身就是学习的。虽然这与生成对抗网路中使用的方法类似,但并不相同。因为 GAN 网路设置中的生成器通常是直接输出像素的神经网路。而这里的 agents 是透过编写绘图程式来与绘图环境交互来生成图像。

不用标记就可辨识图像!DeepMind最新研究用强化对抗学习

在第一组实验中,agents 透过训练生成类似于 MNIST 数字的图像:它显示了数字的样子,但没有显示它们是如何绘製的。透过尝试生成欺骗鉴别器的图像,agents 学会控制画笔并操纵它以适应不同数字的风格,这是一种称为可视化程序合成的技术。

研究员也训练它重现特定图像的能力。在这里,鉴别器的目的是确定再现图像是否是目标图像的副本,或者是否由 agents 产生。鉴别器越难区分,agents 得到的奖励就越多。

最重要的是,这个框架也是可以解释的,因为它产生了一系列控制模拟画笔的动作。这意味着该模型可以将其在模拟绘图程序中学到的知识应用到其他类似环境中的字符重建,例如用在仿造的或真实的机械臂上。

还有可能将这个框架扩展到真实的数据集。agents 经过训练可以绘製名人脸部表情,能够捕捉到脸部的主要特徵,例如形状,色调和髮型,就像街头艺术家在使用有限数量的画笔描绘肖像时一样:

不用标记就可辨识图像!DeepMind最新研究用强化对抗学习

从原始感受中提取资料结构化表示是人类很容易拥有且经常使用的能力。在这项工作中,研究员表明可以透过让智慧体获得和人类重现世界的相同工具来指导智慧体产生类似的表示。在这样做时,它们学会製作可视化程式,简洁地表达因果关係,提升了它们的观察力。儘管该工作目前仅代表了向灵活的程序合成迈出一小步,但预计需要类似的技术才能使智能体具有类似人的认知,包括归纳概括和沟通交流等能力。

上一篇: 下一篇:

猜你喜欢