多智能体强化学习算法MADDPG（多智能体技术及应用）
cac55 2024-10-05 13:44 22 浏览 0 评论
MADDPG：Multi-Agent Deep Deterministic Policy Gradient，基于DDPG：深度确定性策略梯度算法的多智能体强化学习框架。
算法架构
模型由多个DDPG网络组成，每个网络学习policy π (Actor) 和 action value Q (Critic)；同时具有target network，用于Q-learning的off-policy学习。
损失函数
policy π 梯度：
J指的是总奖赏，当成损失函数看待时，需要最小化其负值；注意虽然Q是全局的，但更新策略梯度只和当前Actor的(s, a=μ(s))有关。
action value Q损失函数：
每一个Critic更新参数时，需要知道所有Actor的(s, a=μ(s), r, s_next, a'=μ'(s)), 其中a'来自其Target Policy。
学习过程
- 整体如图，采样收集数据即执行部分是分别进行的，训练学习是统一进行的。
- 各个Actor收集数据(s, a=μ(s), r, s_next, a'=μ'(s))，并存入Replay Buffer，当缓存池数量大于预设阈值时，开始学习。
- 每个Actor分别更新policy π参数，与DDPG一样，只需要当前(s, a=μ(s))。
- 每个Critic分别更新action value Q参数，注意每个Critic都能看到所有的Actor收集的数据，更新参数时会考虑所有Actor生成的数据，即优化的是每个Critic对全局的贡献最大。
- 重复2，3，4，直至收敛。
模型特点
- 通过基于Actor-Critic的DDPG作为基本结构，解决多智能体问题。
- 独立地采样，统一地学习。
- 通过所有Actor的数据更新Q的值，让系统比较平稳地优化。
- 框架没有对环境做限制，每个Agent可以有自己的Reward机制，并决定着整体是协作或是竞争。
- 对于每个Agent，测试时只需要当前Actor的数据进行预测；训练和测试输入数据不一致，这是个创新点。
相关推荐
- 14款健身APP蹿红 看看下载最多的是哪款?
-
Zombies,Run!（$3.99，安卓，iOS）如果你的运动理念是：除非有人追，否则绝不跑起来，那么这款APP应该适合你。Zombies,Run！这款程序把单调的跑步过程变身为躲避僵尸的游戏...
- 微软官方彩蛋庆祝《回到未来》纪念日
-
2015年10月21日，是MartyMcFly和Brown博士回到未来的时间。现在，这一天真的到了，那么当时影片中展示的一些科技产品究竟有多少实现了呢？作为一家走在技术前沿的公司，日前，微软就在M...
- 时尚圈最潮同志情侣 帅到没朋友（同志情侣微信头像）
-
来源：MSN时尚综合|2015-03-0419:45:15男演员ZacharyQuinto（中）与男模MilesMcMillan（右）于纽约街头公开热吻。情人节这个拥有不同起源传说，最早可以...
- IE浏览器阻止过期ActiveX控件或将影响网银的使用
-
IE浏览器网银IE浏览器网银如果经常使用IE浏览器浏览网页的用户，可能都有遇到过浏览器窗口提示安装ActiveX控件的情况，一般情况下用户也是会选择直接安装。ActiveX控件广义上是指微软公司的整...
- 如何使Microsoft Band连接到WP设备
-
如果你幸运地购买到了MicrosoftBand，那么恭喜你。现在我们（winbeta）推出了“帮助系列”，那些尚未买到MicrosoftBand的朋友可以了解设备的一些新功能，以及设备的其他关键特...
- 毕业生不得不看的五大骗局全揭秘（毕业生防骗）
-
目前，距离高校大学生毕业已不足100天，大部分毕业生都十分忙碌。论文定稿、答辩，参加招聘、面试等成了应届毕业生的头等大事。但随着毕业季的临近，不法分子专门针对毕业生的诈骗高发期也随之来临。360手机安...
- 菠萝觅生活是O2O应用流量入口最大的供应商
-
现在主流的传统O2O生活服务，他们其实都有一个共通点，那就是各行其道。打车有快的，滴滴，外卖有饿了么，买机票有去哪儿网…每个APP都有着自己的核心竞争力。而用户呢?既想拥有海量有趣应用，又担心占用过多...
- WP8.1版MSN健康应用，现已支持锁屏计步
-
IT之家（www.ithome.com）：WP8.1版MSN健康应用，现已支持锁屏计步@WP之家报道，微软今天已将必应系列应用品牌归为MSN，除此之外，WP8.1版MSN健康和天气应用也获得一些新的...
- 短信就能传播手机病毒?看完推理惊呆了!
-
很多人都收到过一种带网址的陌生短信，有的人会点击网址看看，有的还会在好奇心驱使下回复短信。近日《北京新发现》栏目报道了一起离奇的电信诈骗案，事主耿先生的银行卡从未离身，但是在收到一条带网址的陌生短信，...
- 微软OneClip:我承包了你的剪贴板（微软onedrive云空间）
-
不久前，Twitter用户WalkingCat曝光了微软一款名为OneClip的应用。这是一款剪贴板应用，根据描述这款应用将覆盖Windows10（包括桌面和移动）、iOS和Android平台，可以...
- Windows 10手机应该是什么样?微博用户给出了概念图
-
随着Windows10发布的不断临近，WindowsPhone的用户对Windows10的旗舰手机的期望也越来越高，我们WP中文网也在微博上发出了同样的问题，搜集用户对Windows10的硬...
- 云管家出席武汉2015年支付宝O2O生态峰会
-
2月4日，蚂蚁金服O2O生态峰会在武汉启幕。此次峰会展现了2015年蚂蚁金服在O2O领域的开放思路和策略，以及合作伙伴对O2O的创新观念及思路分享，吸引了武汉近3000名企业大佬、众多创业者、第三方服...
- 微软将于下周开启Windows开发中心帐号迁移工作
-
自下周开始微软将启动Windows开发中心的帐号迁移工作。根据WindowsBuildingApps博客透露Windows开发中心帐号迁移工作将会分为几个阶段。首个阶段从下周开始持续到今年7月份...
- 如何解绑已经合并的MSN账户和Skype账户?
-
如果您绑定的账户已经充值，建议您把产品消耗完毕后，再进行解绑。当您需要解绑合并的账户时，可登入Skype点卡账户自助操作。输入Skype或MSN账号、密码登录账户：登录后，可在页面左下角选择语言"中文...
- 微博账号已显示所属MCN机构，成为目前第二个上线该功能的平台
-
7月25日，多位网友发现，部分微博大V的个人主页已经显示其所属的MCN机构名称，微博也成为目前第二个上线该功能的平台。【来源：中新经纬】声明：此文版权归原作者所有，若有来源错误或者侵犯您的合法权益，您...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- 如何绘制折线图 (52)
- javaabstract (48)
- 新浪微博头像 (53)
- grub4dos (66)
- s扫描器 (51)
- httpfile dll (48)
- ps实例教程 (55)
- taskmgr (51)
- s spline (61)
- vnc远程控制 (47)
- 数据丢失 (47)
- wbem (57)
- flac文件 (72)
- 网页制作基础教程 (53)
- 镜像文件刻录 (61)
- ug5 0软件免费下载 (78)
- debian下载 (53)
- ubuntu10 04 (60)
- web qq登录 (59)
- 笔记本变成无线路由 (52)
- flash player 11 4 (50)
- 右键菜单清理 (78)
- cuteftp 注册码 (57)
- ospf协议 (53)
- ms17 010 下载 (60)