炼数成金 门户 商业智能 人工智能 查看内容

AI做梦都在练技能,就问你怕不怕?

2018-10-22 14:22| 发布者: 炼数成金_小数| 查看: 15992| 评论: 0|来自: SirajRaval

摘要: 近期在机器学习社区里有一篇论文很火,名叫《世界模型》(World Models)。他们训练了一个AI来在自己的梦境里开赛车。意思就是,AI先理解了游戏世界的样子,然后自己生成了一个类似的游戏世界,最后让自己进到这个自 ...

工具 模型 框架 案例 强化学习

1.内容提要
近期在机器学习社区里有一篇论文很火,名叫《世界模型》(World Models)。他们训练了一个AI来在自己的梦境里开赛车。意思就是,AI先理解了游戏世界的样子,然后自己生成了一个类似的游戏世界,最后让自己进到这个自己生成的游戏世界来训练。

2.这有什么稀罕?
这里所谓的世界,指的是AI自己创造的梦境,就好像人类通过观察学习后,在大脑中所认知理解的情景一样。算法的提出也是受到了人类观察世界方式的启发。


人类根据有限的认知,建立了大脑中的关于世界的心智模型。这个模型中包括了各种概念,以及概念之间的关系,从而可以描述更加复杂的概念。


然后我们就学会了用时间和空间中的信息来定义各种场景,预测未来的发展变化。比如打棒球。


这回AI智能体也实现了这样的能力,观察世界,建立认知模型,然后进行推理、预测和控制。

就问你厉不厉害?!


这样的原理几乎可以扩展到任何场景之中应用。

你说稀罕不稀罕?



3.白话背后的秘密
这里主要涉及到三个环节:观察、重构和训练。

首先智能体通过视觉表征方法,对赛车的场景进行了特征提取,形成了相应的场景模型。然后,利用重新生成的方法,将原始场景(或者叫“真实场景”)变成了智能体“心里的场景/梦境”。最后,在重构生成的梦境之中,智能体进行了赛车驾驶的训练,熟练掌握了开赛车的技能。

验证的时刻来了,我们将梦里训练出来的技能用于真实的赛车场景之中,结果表明,效果极佳,开得很溜。

这样,从技术原理上就走通了这个过程,一定程度的重构场景不会对智能体的推理、预测和控制能力造成影响,反而可以带来效率、成本上的更优。当然,多大程度的重构是适合的,在不同场景下如何迁移,这些问题仍有待于研究人员们继续探索。

4.行话技术原理
这里主要用到的是深度强化学习的技术原理,不再赘述基本概念,安利一波九三以前的关于强化学习的系列文章
《强化学习之资料篇》
《强化学习的一种经典框架》
《一份强化学习指南已送达》
《OpenAI Gym入门级导游》
《Q-learning算法初窥及路径寻优案例(一)》、《二》
《强化学习中的马尔可夫决策过程》



言归正传,技术框架如下所示,分为了三部分:视觉表征、建模和控制。每一步AI智能体都会收到对环境的观测结果。


1)视觉表征:负责每次对图像进行观测并生成压缩程度更高的低维表征。这里用到的是变分自编码器,对图像信息进行编码和解码,其中加入了一点随机性。


2)建模:认知模型将其作为输入,学习世界的运行方式,并预测下一步的状态。这里用的是RNN方法,通过前序的图像信息和学习的模型,来预测下一幅图像。


3)控制:视觉表征和建模生成的结果会输入给控制器模型,控制器模型再选择适合的行为。

控制器模型即为单层前馈神经网络,负责制定下一步采取的行动。以较大化AI智能体在环境中完成一次推算的期望收益。


这里用到的环境是OpenAI的Gym环境。代码详见下面视频或扩展资料。

5.扩展资料
相关项目代码:
https://github.com/llSourcell/world_models
更多相关资料:
https://worldmodels.github.io/
https://www.reddit.com/r/MachineLearning/comments/87nqbz/r_world_models/
https://medium.com/applied-data-science/how-to-build-your-own-world-model-using-python-and-keras-64fb388ba459
https://news.ycombinator.com/item?id=16860247
https://towardsdatascience.com/world-models-in-tensorflow-episode-1-2b3c217ebc8f
SirajRaval的Slack群(国内访问可能不稳定):https://wizards.herokuapp.com/
成为Python大神的必修课:https://learnpythonthehardway.org/

原文地址:https://mp.weixin.qq.com/s/EbqfiUj-As1XexaexBVrEg

声明:文章收集于网络,如有侵权,请联系小编及时处理,谢谢!

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-11-15 14:54 , Processed in 0.157780 second(s), 25 queries .