巴黎人贵宾会-巴黎人的平台网址

菜单导航

人工神经网络需学习也可实行任务

编辑:?巴黎人的平台网址 发布时间:?2020年10月15日 02:39:34

神经网络无需学习就能驾驶虚拟赛车。

动物生下来就具有天生的能力和禀性。马生下来几小时后就会走,鸭子孵出来后很快就会游,人类婴儿自然而然会被人脸吸引。大脑进化到了即使几乎没有经验也敢于面对世界的地步,许多研究人员希翼AI也有这种天生的能力。

新研究发现,人工神经网络可以进化到无需学习即可实行任务的程度。该技术有望带来这样的AI:极其擅长处理各种任务,比如为照片添加标签或驾驶汽车。

人工神经网络对彼此之间传输信息的小型计算单元(“神经元”)进行了排列。这种网络常常通过调整神经元之间连接的“权重”或强度来学习诸多任务,比如玩游戏或识别图像。一种名为神经网络架构搜索(neural architecture search)的技术试过众多网络形状和大小,以找到针对某特定用途提高学习能力的那种网络形状和大小。

新方法使用同样这种搜索技术来查找权重并不重要的网络。对于这种网络而言,网络的整体形状决定了它的智能,可能使其特别适合某些任务。

供职于GOOGLEBrain的论文主要编辑、计算机科学家Adam Gaier说:“如果动物有所有这些天生的行为,一些神经网络在未经大量训练的情况下就有出色的表现,大家想知道大家能将这个想法运用到多先进的程度。”

人工神经网络需学习也可实行任务

整个过程始于一组很简单的网络,这些网络将输入(比如来自机器人传感器的数据)与行为输出连接起来。它评估网络处理特定任务时的性能,保持网络处于最佳性能状态,并通过添加神经元、添加连接或改变神经元对输入总和的敏感度使网络发生突变。在评估阶段,为网络的所有权重赋予一个共享的随机数。(这实际上针对几个随机数来完成,然后对结果求平均值。)

结果名为与权重无关的神经网络(WANN)。这种网络因处理任务时表现出色和很简单而获得加分。处理该研究论文中那些任务的典型网络可能有数千个神经元和权重,而WANN只有少量的神经元和仅仅一个权重。

但令人惊讶的是,WANN仍表现不俗。研究团队将它们与标准网络架构进行了比较,标准网络架构的权重经过逐渐完善,可以熟练完成这三项模拟任务:驾驶赛车、使两足机器人行走以及控制双轮推车以平衡支杆。

两条腿旁边是神经网络及众多连接的示意图。尽管没有取得高分,但前一代网络中的极简架构仍能控制此处所示的向前行走的Bipedal Walker两足机器人。

与经过训练的网络相比,WANN得到的分数只有其分数的六分之一到一半。研究人员赋予表现最佳的权重而不是随机权重后,与经过训练的网络相比,WANN得到的分数提高到三分之二到五分之四。如果在进化后,以训练庞大标准网络的同一方式来训练WANN,其性能与标准网络相媲美。

在涉及识别手写数字的任务中,WANN的准确率超过90%(而针对这项任务训练的庞大网络的准确率为99%)。该研究论文上个月在加拿大温哥华的神经信息处理系统(NeurIPS)大会上公布。

优步AI实验室(Uber AI Labs)的计算机科学家Rosanne Liu没有参与这项研究,他说:“他们的整个系统切实可行,这非常了不起。”其他研究人员尝试开发不依赖权重的网络,但以失败告终。Gaier称,这个突破最初是为所有权重赋予同一数字的bug,却不料最终简化了网络搜索。

虽然WANN的性能未能超过经过训练的大型网络,但该方法为寻找专门适合不同任务的网络架构开辟了一条新途径,正如大脑各部位以不同的方式相连以适合特定的用途。比如说,卷积神经网络的特点是拥有适合图像识别的架构,可以映射大脑视觉皮层的结构。Gaier认为,可能还有多得多的构建模块,准备使AI一问世就很聪明。

XML 地图 | Sitemap 地图