24小时热门版块排行榜

返回列表

当前只显示满足指定条件的回帖，点击这里查看本话题的所有回帖

sailovego

新虫 (初入文坛)

应助: 0 (幼儿园)
金币: 346.5
帖子: 12
在线: 6.4小时
虫号: 2317051
注册: 2013-03-04
专业: 控制理论与方法

[求助] 关于强化学习的一个问题

Q学习中的Q值更新公式为：Q t+1(st, at) = (1 - a) Qt(st, at) + [ Rt(st, at) + maxQ(st+1, ai)]
如果所有Q值初始化都为1的话，那么对于所有的Q t+1(st, at)在第二步的时候，这个公式的第一项(1 - a) Qt(st, at)是相同的，回报值Rt(st, at)是做出行为后的回报，也是相同的，而第三项也是相同的，这就导致所有的 Q t+1(st, at)都是相同的，就不能做出下一步的行为选择了.
一直被这个问题困扰，希望有懂的人给我解答一下，谢谢了

回复此楼

» 猜你喜欢

依托企业入选了国家启明计划青年人才。有无高校可以引进的。已经有11人回复
依托企业入选了国家启明计划青年人才。有无高校可以引进的。已经有10人回复
同年申请2项不同项目，第1个项目里不写第2个项目的信息，可以吗已经有9人回复
有时候真觉得大城市人没有县城人甚至个体户幸福已经有11人回复
表哥与省会女结婚，父母去帮带孩子被省会女气回家生重病了已经有7人回复
天津大学招2026.09的博士生，欢迎大家推荐交流（博导是本人）已经有9人回复
有院领导为了换新车，用横向课题经费买了俩车已经有10人回复
AI 太可怕了，写基金时，提出想法，直接生成的文字比自己想得深远，还有科学性已经有6人回复

» 本主题相关价值贴推荐，对您同样有帮助:

名师教学思想与教法研究—《课堂教学常见问题处理技能强化训练》【转载】已经有283人回复
请教关于考研准备后期英语学习的问题已经有11人回复
请教数学学习规划问题已经有8人回复
关于托福报班的一个问题已经有6人回复
我想问个问题，怎么才能克服在听英语的时候自动翻译，如果不翻译就听不懂的现象呀已经有8人回复
关于简历中学习和工作的时间连续性问题已经有9人回复
求助：机器学习和模式识别领域的一个基本问题已经有5人回复
申请博后关于提供学习成绩单的问题已经有13人回复
一篇关于基于强化学习的跟踪算法请问投哪些SCI期刊好中？感谢已经有4人回复
请教关于粉末冶金法制备颗粒弥散强化铜基复合材料工艺中的成型剂和润滑剂问题已经有7人回复
【专题】学习生物专业的人的工作问题已经有33人回复
【求助】关于时效强化问题。已经有12人回复
【问题求助】怎么才能让我快快的进入学习状态啊已经有39人回复
【问题求助】我该怎么办？脑袋里面总想着一个人，或一件事，而无法专心学习和工作。已经有76人回复
请教关于表面增强拉曼散射的问题, 谢谢! 已经有3人回复
求助：怎样增强论文的理论性？已经有5人回复

1楼 2013-03-11 20:44:04

已阅回复此楼关注TA 给TA发消息送TA红花 TA的回帖

sailovego

新虫 (初入文坛)

应助: 0 (幼儿园)
金币: 346.5
帖子: 12
在线: 6.4小时
虫号: 2317051
注册: 2013-03-04
专业: 控制理论与方法

引用回帖:

4楼: Originally posted by dreamrequiem at 2013-03-12 12:44:16
是，但是at指的是单独的一个action。

你所说的“所有的 Q t+1(st, at)都是相同的”。Q t+1(st, at)和Q t(st, at)是同一个东西，代表唯一的一个state action pair。何来“所有”之说？...

我之前没表达清楚，不好意思了，
我的意思是所有的状态-行为对Q的值，例如在初始化的时候都初始化为0，随机选择一个行为执行后，会产生一个Rt(st, at)，那么再计算Q t+1(st, at)的时候，在st状态下的所有行为ai的Q值都是相同的了