高考考试网
当前位置: 首页 高考资讯

怎么用python做小游戏(还能训练AI模型:丹麦小哥大学项目火了)

时间:2023-07-03 作者: 小编 阅读量: 6 栏目名: 高考资讯

昨天,一款利用Python编写的Gameboy模拟器在社交网络上吸引了人们的广泛关注。作者在Reddit上发出的帖子迅速获得了上千点赞。该项目的作者之一MadsYnddal宣布,PyBoy的1.0版正式发布。虽然AlphaStar在这一环境中取得了令人瞩目的成果,但仍存在很多亟待解决的问题。所以它可以从另一个脚本进行初始化,并可以由该脚本控制和探测。

机器之心报道

机器之心编辑部

感觉用 Atari 游戏研究人工智能有点「不够接地气」?现在我们可以使用 Gameboy 模拟器了。

对于很多 80 后、90 后来说,任天堂 Gameboy 代表了青春的很大一部分。很多我们耳熟能详的游戏都是最初搭载在这款 8 位游戏掌机上的,包括鼎鼎有名的《马里奥》、《塞尔达》系列。对于国内玩家来说,我们玩得最多的则应该是《口袋妖怪》系列了。

这款游戏机距离首次发布已过去了 30 年时间,不过人们对于它的热情却丝毫不减。昨天,一款利用 Python 编写的 Gameboy 模拟器在社交网络上吸引了人们的广泛关注。

爷的青春回来了?作者在 Reddit 上发出的帖子迅速获得了上千点赞。

该项目的作者之一 Mads Ynddal 宣布,PyBoy 的 1.0 版正式发布。

PyBoy 是什么?

简而言之,它是一个完全用 Python 从头开始编写的 Game Boy 模拟器,并且支持通过 API 编写脚本。研究者添加了类型定义,使其可以使用 Cython 编译软件,从而获得与用 C 和 C编写的模拟器相媲美的性能。

项目链接:https://github.com/Baekalfen/PyBoy

特点

PyBoy 被设计成通过 Python 访问,因此支持并鼓励人们做实验研究,机器人和人工智能在作此尝试。研究者正在构建游戏特定的包装器,目前,包装器可让程序员与俄罗斯方块和超级玛丽进行交互,而不需要对 Game Boy 有深入的了解。可以参考该文档:https://docs.pyboy.dk。

项目作者还想学习和尝试更多奇特的功能,根据大学项目的研究,他们向模拟器添加了倒回功能,也就是说,您可以在任何游戏中倒回时间。

PyBoy 模拟器架构

1990 年,任天堂为 Game Boy 申请了专利。下图展示了该专利中 CPU、RAM、盒带和显示屏之间的集成与连接。

Game Boy 专利中的架构图。

PyBoy 项目成员基于此在 Python 中为每个组件制定类(class),从而在「主机系统」上为「客户系统」搭建了基础(系统运行 Python)。该客户系统就是虚拟的 Game Boy 硬件,理论上它能够运行为 Game Boy 编写的每一个软件部分。

下图展示了 PyBoy 模拟器中所有类及其关系:

PyBoy 对强化学习的意义以及与其他环境的比较

这些年来,已有很多人开发过 Gameboy 模拟器,现在的电脑和手机上都有可运行的工具。为什么要用 Python 来写一款呢?当然是用来训练人工智能的。

想打游戏?Gameboy 对于现在的人来说恐怕有点「难以上手」。

最接近通用人工智能的方法——强化学习

通用人工智能这一概念指的是机器能够成功完成任意一件人类能够做到的智力型任务。目前我们对 AI 的研究距离这一目标还差很远的距离,吴恩达之前就表示过,深度学习做的仅是高维的「curve fitting」。

不同于那些依靠预先收集数据(甚至需要大量人工标记)的机器学习算法,强化学习是一种仅通过环境奖赏进行训练的算法,其工作机制类似于人体内部的多巴胺系统。强化学习是目前最接近于人类从经验中学习这一能力的机器学习算法,尤其适用于智能体需要根据其所处环境进行决策的情景。

下图展示了 RL 智能体是如何仅以游戏图像作为输入,来学习马里奥控制策略的。

为什么大量关于 RL 的研究都在 Atari 上进行,而不是其他更实际的问题?

关于 RL 的研究使用 Atari 作为基准的原因主要有如下几点:

Atari 环境能够让我们使用相同的算法测试多个不同的环境,验证 RL 算法的通用性;

由于输入仅为游戏图像,增加了问题的复杂性;

Atari 为研究人员提供了一个公认的测试平台,能够较为公平地比较不同算法之间的性能;

RL 需要大量的交互数据进行学习,在真实环境中实际测试之前,Atari 为算法的初期验证提供了一个安全、快速、低成本的测试平台。

下图为一些 Atari 环境的展示:

Atari、PySC2 之类环境与 PyBoy 对比

上一小节介绍了在 Atari 环境中训练 RL 智能体的诸多优势,然而随着 RL 的发展,这一相对较简单的环境逐渐不再适用于目前新的 RL 研究。不久之前,由 DeepMind 提出的 Agent57 在所有 Atari 环境中表现均超越了人类玩家平均水平,也预示着在 Atari 环境上的 RL 研究逐渐进入尾声。

更困难环境有诸如 DeepMind 与暴雪合作的 PySC2,需要智能体学会复杂的协同、对抗策略。虽然 AlphaStar 在这一环境中取得了令人瞩目的成果,但仍存在很多亟待解决的问题。以下为 PySC2 环境示意图。

PyBoy 环境的难度可以说介于 Atari 与 PySC2 之间,它为我们提供了一个验证 RL 性能的新基准。在将 RL 应用于更复杂的实际问题之前,我们可以先在这一难度适中的环境中进行低成本、高效的测试。

就像特斯拉的人工智能和自动驾驶视觉总监 Andrej Karpathy 说的,「One should always try a BB gun before reaching for the Bazooka.」

Github 介绍

如何安装?

如果已经配置了一个能够正常运行 Python 的环境,那么安装会非常简单:

通过软件包管理器安装 SDL2(sudo apt install libsdl2-dev 或是 brew install sdl2)

使用 pip install pyboy 安装 Pyboy

可以直接从终端 $ pyboy file.rom 使用 PyBoy 或者在 Python 脚本中使用:

from pyboy import PyBoypyboy = PyBoy('ROMs/gamerom.gb')while not pyboy.tick(): pass

该项目同时支持 macOS, Raspberry Pi (Raspbian), Linux (Ubuntu), 以及 Windows 10.

PyBoy API 文档

如果用户需要创建一个自己的机器人或者是 AI,可以在 PyBoy Documentation (https://baekalfen.github.io/PyBoy/index.html) 找到所有用以支持的外部组件,其中各种类及其用法都非常详细,这里不再一一赘述。(如下图结构索引)

简短示例

PyBoy 可以作为 Python 中的对象加载。所以它可以从另一个脚本进行初始化,并可以由该脚本控制和探测。看一下 gamewrapper_tetris.py 上一个粗糙的「机器人」,正在与游戏进行交互。当然,所有的外部组件都可以在 PyBoy 文档中找到。

对于一般的 Game Boy 文档,可以查看 Pan Docs,其中包含了每个主题的详细信息。

以下是从屏幕读取数据的简短演示,该代码也可以在 gamewrapper_mario.py 中找到:

import osimport sysfrom pyboy import PyBoy, WindowEvent# Makes us able to import PyBoy from the directory belowfile_path = os.path.dirname(os.path.realpath(__file__))sys.path.insert(0, file_path"/..")# Check if the ROM is given through argvif len(sys.argv) > 1: filename = sys.argv[1]else: print("Usage: python mario_boiler_plate.py [ROM file]") exit(1)

quiet = "--quiet" in sys.argvpyboy = PyBoy(filename, window_type="headless" if quiet else "SDL2", window_scale=3, debug=not quiet, game_wrapper=True)pyboy.set_emulation_speed(0)assert pyboy.cartridge_title() == "SUPER MARIOLAN"

mario = pyboy.game_wrapper()mario.start_game()assert mario.score == 0assert mario.lives_left == 2assert mario.time_left == 400assert mario.world == (1, 1)assert mario.fitness == 0 # A built-in fitness score for AI developmentlast_fitness = 0print(mario)

pyboy.send_input(WindowEvent.PRESS_ARROW_RIGHT)for _ in range(1000): assert mario.fitness >= last_fitness last_fitness = mario.fitness

pyboy.tick() if mario.lives_left == 1: assert last_fitness == 27700assert mario.fitness == 17700 # Loosing a live, means 10.000 points in this fitness scoringprint(mario) breakelse: print("Mario didn't die?") exit(2)

mario.reset_game()assert mario.lives_left == 2

pyboy.stop()

如果你在加载了 Super Mario Land ROM 的情况下运行上述代码,则将在下面得到图片和终端输出。值得注意的是,Mario 的形态显示为索引 0,1,16,17。

作者简介

该项目的作者 Asger Anders Lund Hansen、Mads Ynddal 和 Troels Ynddal 均来自丹麦。毕业于丹麦哥本哈根大学的 Mads Ynddal 表示,事实上这一 Gameboy 模拟器可以追溯到 2015 年他在大学期间的项目。

Gameboy 模拟器的的 1.0 版发布了,但对于开发者们来说还有很多事可以去做。项目研发者表示,目前可以推进的方向包括为模拟器加入声音、彩色、Gameboy 模拟连线,以及更多游戏的封装,当然还有在其之上训练神经网络的示例。

希望在人们的努力下,Gameboy 中的游戏也能重获新生。更重要的是,它现在还有了训练人工智能的任务。

    推荐阅读
  • 手机怎么查询车辆违章记录(手机怎样查车辆违章)

    如查询到车辆有违章的记录,可以依法进行处理。例如定位的城市为广州,可以提供的查询功能有交通违章查询和交通违章办理。广州车主可以先绑定车辆以及车主的信息,验证过后,之后的违章情况都可以直接在这个地方输入正确的信息进行违章查询。交通违章处罚一般程序:调查取证,告知处罚事情、理由、依据和有关权利,听取陈述、申辩或者举行听证,作出处罚决定。

  • 诛仙之一念之间(仙侠7之诛仙天地不仁)

    中原大地山灵水秀,人气鼎盛,物产丰富,为正派诸家牢牢占据。其中尤以“青云门”、“天音寺”、和“焚香谷”为三大支柱,是为领袖。这个故事,便是从“青云门”开始的。诛仙属于一个时代。虽然碧瑶始终没有醒过来,她为小凡挡下那一剑,小凡为她,付出了那一生的执着。虽然陆雪琪与小凡共同经历生死,共受磨难,曾经握紧在一起的手,如今却仙魔两分,还好最后青云山下终于等到了那等待已久之人。

  • 苹果减肥法以后要如何保持瘦下来(三日苹果减肥法)

    有一种神秘的“苹果减肥法”,正在微博上热转。三天只吃苹果,就能轻松瘦身,平均能减掉3到5公斤。④苹果要吃新鲜的,而且要洗净削皮,避免农药残存。苹果减肥等于身体消化系统的大扫除。苹果减肥法能使胃部收缩,减肥后食欲变得容易控制,而且味觉变正常,不会喜欢刺激性食物或油腻食物。⑤苹果减肥可以促进血液内白血球的生成,提高人体的抵抗力和免疫力,同时促进神经和内分泌功能,有助美容养颜。

  • 生理期运动有必要吗(生理期可以运动吗)

    生理期的6个注意事项协和医生常青老师说生理期有六点要注意的。其中最重要的是要避免感染。红糖实际上就是未经提纯精炼的蔗糖,和普通白糖的差别其实没有那么大。还有一些说法是红糖水可以补血补铁,实际上这个作用也是微乎其微的。相比之下,100g菠菜的铁含量是2.9mg,瘦猪肉是3mg,木耳可以达到97mg。

  • 申请机动车临时号牌需要什么材料(申领和使用临时号牌)

    别看临时号牌小小一张纸注意事项可不少~临牌申领不得超过三次属于未销售或购买、调拨、赠予等方式获得机动车后尚未注册登记的,机动车所有人需要多次申领临时行驶车号牌的,车辆管理所核发临时行驶车号牌不得超过三次。车辆登记后临牌使用有限制机动车办理登记后,机动车所有人收到正式机动车号牌之日起三日后,临时行驶车号牌作废,不得继续使用。部分车主误以为窗口办理临牌需开车,结果被处罚款并扣分。

  • 作业帮和猿辅导为啥受处分(作业帮猿辅导)

    2021年5月10日,北京市市场监管局依法对作业帮和猿辅导两家校外教育培训机构,均处以警告和250万元顶格罚款的行政处罚。下一步,市场监管总局将持续聚焦民生领域案件,加大校外教育培训机构执法力度,严厉打击各类违法违规行为,规范市场经营秩序,维护人民群众合法权益。

  • 南方春节食物的寓意有哪些(南方春节必吃的食物有哪些)

    年糕皆因有个好彩头年高,有发财、步步高升、甜蜜的意义,寓意新一年圆满甜美的生活。古时中原地区,糖环用面粉制作,后来到了岭南则改为糯米粉,放到油锅里炸至熟透后,呈金黄色,亦有黄金满屋的寓意。据说元宵象征着阖家团圆,正月十五吃元宵,是全国各地的共同风俗。元宵节吃汤圆的习俗大约形成于宋代。元宵一开始多被称为汤圆,因为它开锅之后漂在水面上。天上明月,碗里汤圆,家家户户团团圆圆,象征着团圆吉利。

  • 江南百景怎么抓到贼(江南百景图介绍)

    江南百景怎么抓到贼江南百景抓到贼步骤:第一,打开州府,看到全县通缉。《江南百景图》是由椰岛游戏自主研发的古风模拟经营类手游,于2020年7月2日正式上线。玩家将梦回明朝江南地区,成为城市的设计师,描绘蓝图、兴造建筑、规划布局,经营赚钱。同时安排居民起居工作,写意世间百态,或带领大家奇遇探险。重绘明朝江南盛景,打造专属于玩家的江南百景图。

  • 东戴河是哪个省的城市(关于东戴河位置介绍)

    以下内容大家不妨参考一二希望能帮到您!东戴河是哪个省的城市东戴河旅游景区位于辽宁省葫芦岛市绥中县,交通网络四通八达。周边京沈铁路、秦沈客运专线、京沈高速公路、102国道和滨海公路,已于2013年开通动车站,快捷多样的交通方式使得更多游客纷至沓来。这里到北京298公里、到沈阳300公里,3个小时车程,距秦皇岛北戴河国际机场105公里。

  • 茶饮店出现咖啡(前有闭店危机后有奶茶夹击)

    当被问及有无关店计划时,该店员表示,自己所在门店并未接到相关通知,且近来店内生意一直很好。左宇坤摄“关闭亏损门店是在中国业务优化调整中的一部分,受门店客流及经济运营变化所带来的影响。”遭遇史上最惨财报后,星巴克不得不“断臂求生”。8月,星巴克宣布,计划未来18个月永久关闭美洲的约400家门店,并将本财年计划开设的新店数量削减一半,至300家左右。而在去年的榜单中,两者的排名仅为第十和第十五。