当前位置:主页 > B云生活 >Nature刊登Deepmind论文,最强AlphaGoZe

Nature刊登Deepmind论文,最强AlphaGoZe

2020-06-08   分类: B云生活   参与: 738人  作者:
Nature刊登Deepmind论文,最强AlphaGoZe

AlphaGo「退役」了,但 Deepmind 在围棋上的探索并没有停止。

今年 5 月的乌镇大会的「人机对局」中,中国棋手、世界冠军柯洁 9 段以 0:3 不敌 AlphaGo。随后 Deepmind 创办人 Hassabis 宣布,AlphaGo 将永久退出竞技舞台,不再进行比赛。

Hassbis 当时表示:「我们计划在今年稍晚发布最后一篇学术论文,详细介绍我们在演算法效率上所取得的一系列进展,以及应用在其他更全面领域中的可能性。就像第一篇 AlphaGo 论文一样,我们希望更多的开发者能够接过接力棒,利用这些全新的进展开发出属于自己的强大围棋程式。」

今天,Deepmind 如约在 Nature 发布了这篇论文——在这篇名为《Mastering the game of Go without human knowledge》的论文中,Deepmind 展示了他们更强大的新版本围棋程式「AlphaGo Zero」,验证了即使在像围棋这样最具挑战性的领域,也可以通过纯强化学习的方法自我完善达到目的。

Nature刊登Deepmind论文,最强AlphaGoZe
论文摘要

人工智慧的一个长期目标是通过后天的自主学习,在一个具有挑战性的领域创造出超越人类的精通程度学习的演算法。之前,AlphaGo 成为首个战胜人类围棋世界冠军的程式,当时的 AlphaGo 通过深层神经网路进行决策,并使用人类专家下棋的资料进行监督学习,同时也通过自我对弈进行强化学习。在这篇论文中,我们将介绍一种仅基于强化学习的演算法,而不使用人类的资料、指导或规则以外的领域知识。AlphaGo 成为自己的老师,这一神经网路被训练用于预测 AlphaGo 自己的落子选择,提高了决策树搜寻的强度,使得落子品质更高,具有更强的自我对弈迭代能力。从一块白板开始,我们的新程式 AlphaGo Zero 表现惊人,并以 100:0 击败了之前版本的 AlphaGo。

全新强化学习算法:无需任何人类指导

这篇论文的最大亮点,在于无需任何人类指导,通过全新的强化学习方式,人工智慧的程式自己成为自己的老师,在围棋这一个最具挑战性的领域达到超过人类的精通程度。相比起之前使用人类对弈的数据,这一个新的演算法训练时间更短,仅用 3 天时间就达到了击败李世乭的 AlphaGo Lee 的水準,21 天就达到了之前击败柯洁的 AlphaGo Master 的水準。

在 3 天内——也就是 AlphaGo Zero 在击败 AlphaGo Lee 之前,曾进行过 490 万次自我对弈练习。相比之下,AlphaGo Lee 的训练时间长达数月之久。AlphaGo Zero 不仅发现了人类数千年来已有的许多围棋策略,还设计了人类玩家以前未知的的策略。

Nature刊登Deepmind论文,最强AlphaGoZe

据 Deepmind 部落格 介绍,AlphaGo Zero 採用了新的强化学习方法,从一个不知道围棋游戏规则的神经网路开始,通过将这个神经网路与强大的搜寻演算法结合,然后就可以实现自我对弈了。在这样的训练过程中,神经网路不断被更新和调整,并用于预测下一步落子和最终的输赢。

这一更新后的神经网路将再度与搜寻演算法组合,过程不断重複,最后建立了一个新的、更强大版本的 AlphaGo Zero。在每次迭代中,系统的性能和自我对弈的品质均能够有部分提高。「日拱一卒,功不唐捐」,最终的神经网路越来越精确,AlphaGo Zero 也变得更强。

AlphaGo Zero 与之前版本有如下不同:

上述差异均有主于提高系统的性能和通用性,但使最关键的仍是演算法上的改进,不仅使得 AlphaGo Zero 更加强大,在功耗上也更为高效。

Nature刊登Deepmind论文,最强AlphaGoZe
AlphaGo 不同版本所需的 GPU/TPU 资源

虽然这一技术还处于早期阶段,但 AlphaGo Zero 的突破使得我们在未来面对人类面对的一些重大挑战充满信心。

众所周知,深度学习需要大量的资料,而在很多情况下,获得大量资料的成本过于高昂,甚至根本难以获得。如果将该技术应用到其他问题上,将会有可能对我们的生活产生根本性的影响。

英国学者提 18 项战略,催生世界最佳人工智慧 孕育地Google 简立峰:AI 时代,如果你家有两个小孩,一个出国赚钱,另一个把家里 照顾好

相关文章

文章热点

最新信息

随机文章

申博138体育真人荷官|贴近百姓生活|生活消费互动|网站地图 申博官网备用网址_微信永和大厅牛牛透视 申博官网备用网址_众发娱乐app下载地址