欢迎您!
主页 > 香港马会开奖资料图库 > 正文
学会了《街头霸王2》的AI你怕不怕?
日期:2019-07-10 来源:本站原创 浏览次数:

  与本港台同步开奖现场,上周,在三星开发者大会(Samsung Developer Conference, SDC),出现了一个十分有趣的SDC展位,展位的主人是Gyroscope的团队,他们为了在展台上呆两天而不显得无聊,做了一件事:他们让Gyroscope的AI在超级任天堂上面征战“街头霸王2:究极格斗”,期望通过与各个角色之间的搏斗,让Gyroscope学会格斗技巧。

  Gyroscope的AI并不会玩电子游戏,他们的团队也没有超级任天堂的软件开发包。所以在SDC大会之前,Gyroscope团队先设法从“街头霸王2:究极格斗”中提取了游戏信息,从而建立了Gyroscope的超级任天堂SDK。然后让Gyroscope的AI与游戏内置的计算机对手进行上千场的游戏比拼,同时他们不断地调整AI参数,让它更加适应这个特殊的应用程序。

  在训练AI之前,首先要弄清楚究竟要解决什么问题,Gyroscope团队把“街头霸王2”的问题抽象为强化学习问题。在强化学习问题中,AI要评估各种方案,选择要采取的行动,最后获得“回报”。但这一次AI程序的目标是根据过去观察到的行为,采取最佳的行动,从而获得最高的“奖赏”。所以在开始应用AI之前,Gyroscope团队需要先定义“街头霸王2”的观察内容,换一个意思来讲,就是要让人工智能“看到”什么,以及如何行动从而获得某种“奖赏”。

  观察内容可以想象成AI在环境中“看到”的东西,比如人类观察游戏的时候,首先看到的是每个角色,以及角色的跳跃、移动、踢等动作,同时还能看到角色的血条与计时器,Gyroscope团队需要把这些信息提取出来,转化成AI可以理解的格式,这种格式通常被称为“观察空间”。

  在强化学习中,观察空间有两种常见的思路,传统的方法是测量人类认为与问题相关的具体信号;现代的方法是为AI提供每次行动后的全部环境图像,让AI决定图像中的重要元素。现代的方法要比传统方法更好,因为它有更好的普适性,不需要对特征的重要性做过多的假设,但这种方法往往需要更长的训练时间,因为时间的限制,Gyroscope团队选择了传统方法,并手动定义观察空间。

  当AI观察完环境之后必须采取行动,使角色行动起来最简单的方法是采用超级任天堂手柄上的按钮:上、下、左、右、A、B、X、Y、L、R。这几个按钮可以形成很多个按钮组合,如果要考虑所有可能的按钮组合,会产生1024(2^10)个可能的行动。这个可能的行动太多了,即使AI最终能够学会,也需要训练很长一段时间才能知道哪些行为有效,哪些不行,而且并不是所有的按钮都可以随时按下,许多动作要通过按键顺序才能达到更好的效果。

  “街头霸王2:究极格斗”充分利用了CAPCOM摇杆和超级任天堂手柄。下面的示意图包括8种基本控制的位置以及他们在游戏中的用法。

  从12点方法顺时针:跳跃,向前翻转,向前,进攻蹲伏,蹲伏,防御蹲伏,防御,向后跳跃。

  考虑到行动空间的另一个方向是一组动作,比如高踢、扔、勾拳等, 可以让AI选择一个动作,然后把这个动作转换成一组按钮。但确定一个角色的动作需要一段时间,不仅需要大量的查阅Google,还要自己亲自玩,并且要对每个角色都要重复这个过程。

  所以为了缩短训练时间,Gyroscope团队将动作空间简化为一个按下方向控制和按下一个按钮控制(例如“上+ A”或“L”)的组合,同时是否按下都是可选的,这一构建方法使得行动空间缩减成了35个可能的行动。更高级的动作和组合仍然可能随着训练时间的增加而出现,但是这部分留给了AI自行探索。

  最后,还要去思考这么一个问题:一旦采取行动,AI是否就能收到回报?因为当人类玩游戏的时候,会通过血条和伤害的大小,对游戏目前的状况大体上有一个认识。AI也需要通过一个数字的形式来理解游戏状况,让它们使这个数字最大化从而获得最佳奖励,Gyroscope团队选择了每一帧的血条差距作为回报。

  在每次观察时,AI都会得到相当于玩家之间血条差距的奖励。例如,如果AI通过踢动作使对方受到10点伤害,之后的血条差距将会是10点,AI得到同样数量的回报。但如果AI在下次观察后不采取行动,在“无”的情况下仍然得到10点,因为它保持了血条差距。相反的,如果AI被踢并且没有防御下来,则血条差距将会减小,所以这个差值也可能出现负的情况。

  以上是Gyroscope团队讨论的最终在比赛中采用的问题构建方法。同时Gyroscope团队也调整了AI系统的参数,因为Gyroscope的自主AI是一个算法的算法,它可以找到每个问题适用的算法,而有了这么多关于“街头霸王”问题的信息之后,Gyroscope选择深度Q网络 (Deep Q-network, DQN)作为强化学习方法,同时也对DQN进行了一些修改。

  值得一提的是基于图像观察空间缺失的修改:DQN使用模型来预测哪些行动最佳,而不是用穷举法测试每个可能的行动。毕竟考虑到观察空间的大小,探索每个可能的行动几乎是不可能的。

  在训练人工智能之前,需要先把它与街头霸王连接起来,因为没有超级任天堂的SDK,Gyroscope团队在某个社区找到了一款连接经典游戏机的工具,可以帮助他们测试超级任天堂的游戏,从而使用AI技术来玩这些游戏。

  为了使AI连接到游戏,不仅需要模拟器,还需要支持模拟器核心的工具。Gyroscope团队找到了BizHawk,它可以支持多种模拟器核心,包括超级任天堂的核心。

   一套控制台内存检查工具,以便检查游戏内存(全部或特定地址);

   运行中可以不受速度限制,也不需要显示,从而最大化游戏的帧率;

  特别对于“街头霸王”而言,Lua界面允许我们发送手柄按键信号,读取按下按钮信号,读取存储位置以及控制核心模拟器。内存检测器可以让我们获取对手的血条情况、对手的动作以及其他观察数据。

  为了提高速度,Gyroscope团队还将SDK代码从Lua转移到本地BizHawk工具,同时保留了之前写的python代码,他们把这些代码命名为模拟器控制器。而为了能更好的控制游戏和模拟器的方方面面,Gyroscope团队还做了一个使用C#操作街霸的工具。

  定义好观察结果、动作、奖励值,再将AI连接到超级任天堂,就可以开始训练它了。针对内置的游戏机器人,每个角色大约训练8小时或者3000场比赛。

  经过了观察空间、动作空间、奖励值函数和DQN参数的许多变体,最终得到了一个高胜率的AI。

  除了标准模型调优技术和良好的科学原则(一次只改变一个量),Gyroscope团队还有了一个重大发现:方向控制按压与按钮控制按压的权重不同。方向控制只对一帧有效,在游戏中影响很小;然而按钮控制一旦按下,作用会维持一系列帧,在游戏中影响重大。比如完成拳击这一动作需要很多帧。这意味着在一帧内采取的动作会延续很多帧。

  此外,虽然与方向控制按压相比,按钮按压非常重要,但相应地也需要更加频繁的按压才能起作用。为了完成这一游戏行为,也为了使AI行为更加人性化,他们让AI在20帧(即1/3秒)内一直重复按钮按压,完后再采取下一个动作。换句线秒游戏时间为单位来采取动作、观察结果,而不是以每帧为单位。

  至于Gyroscope团队为什么不用“获胜”作为奖励值。简单来说,这样做奖励值是延迟的,会导致训练更困难更耗时。

  刚开始训练的时候,AI随机行动,对战3星级对手(街霸采用星级评价体系)的胜率是20%。所以,20%胜率是底线%才能说明AI取得了成效。最后, AI对抗游戏内置3星级机器人的胜率达到90%!针对比赛,取得80%胜率后Gyroscope团队就停止了训练,以避免过拟合。

  AI获胜后,Gyroscope团队开始用街霸II的每个角色训练它。为了训练每个角色,他们使用Google云端平台,写了一些脚本进行全部的训练,训练需要通过一些脚本来自动完成玩家选择、游戏重置、模型记录、进度绘制等功能。

  会场上,Gyroscope团队布置了展位来展示四场AI战斗,场场都是两个AI控制的角色对抗。他们还画了比赛树状图安排展位没展示到的角色参加比赛。

  Guile对战Vega:Guile被吊打。Vega AI很快就学会了缩短距离,弯腰躲闪,刺向对方,并且还学会了神奇的走位,Vega胜出。

  第二天,重新开始比赛,M.Bison从比赛中除名,因为它在夜里私自使用兴奋剂(作弊代码)而被捕,Gyroscope团队准备让E.Honda加入,原因是它在测试时表现很差。

  这天的战斗格外引人注目,Vega对抗Sagat打了一场持久战,Vega靠近Sagat时,用神奇的走位至少躲过了三次Sagat的技能,一次是越过火球,两次是拿准时间弯腰躲闪,但很遗憾的是,Vega依然输掉了。

  决赛是E.Honda对抗Sagat,当战斗到最后的时刻,两个人物的血量都已经接近0了,但E.Honda出其不意的一击,使其获得了胜利。

  Gyroscope团队对E.Honda获得胜利感到不可思议,他们认为E.Honda的运气真的很好,因为他们又重新进行了100场E.Honda对战Sagat的比赛,E.Honda只赢了11场而已。

  本站资源均收集整理于互联网,其著作权归原作者所有,如果有侵犯您权利的资源,请来信告知,我们将及时撤销相应资源