24小时热门版块排行榜    

查看: 1337  |  回复: 6
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

sailovego

新虫 (初入文坛)

[求助] 关于强化学习的一个问题

Q学习中的Q值更新公式为:Q t+1(st, at) = (1 - a) Qt(st, at) + [ Rt(st, at) + maxQ(st+1, ai)]
如果所有Q值初始化都为1的话,那么对于所有的Q t+1(st, at)在第二步的时候,这个公式的第一项(1 - a) Qt(st, at)是相同的,回报值Rt(st, at)是做出行为后的回报,也是相同的,而第三项也是相同的,这就导致所有的 Q t+1(st, at)都是相同的,就不能做出下一步的行为选择了.
一直被这个问题困扰,希望有懂的人给我解答一下,谢谢了

回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

sailovego

新虫 (初入文坛)

引用回帖:
4楼: Originally posted by dreamrequiem at 2013-03-12 12:44:16
是,但是at指的是单独的一个action。

你所说的“所有的 Q t+1(st, at)都是相同的”。Q t+1(st, at)和Q t(st, at)是同一个东西,代表唯一的一个state action pair。何来“所有”之说?...

我之前没表达清楚,不好意思了,
我的意思是所有的状态-行为对Q的值,例如在初始化的时候都初始化为0,随机选择一个行为执行后,会产生一个Rt(st, at),那么再计算Q t+1(st, at)的时候,在st状态下的所有行为ai的Q值都是相同的了
5楼2013-03-12 19:58:20
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 7 个回答

dreamrequiem

木虫 (小有名气)

【答案】应助回帖

感谢参与,应助指数 +1
Rt(st, at)为什么是相同的?
time t的reward只会用来更新Q(st,at),不影响其他state action pair的Q值。
2楼2013-03-12 04:39:49
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

sailovego

新虫 (初入文坛)

引用回帖:
2楼: Originally posted by dreamrequiem at 2013-03-12 04:39:49
Rt(st, at)为什么是相同的?
time t的reward只会用来更新Q(st,at),不影响其他state action pair的Q值。

Rt(st, at)不是t时刻行为at的reward吗,
3楼2013-03-12 10:26:23
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

dreamrequiem

木虫 (小有名气)

【答案】应助回帖

引用回帖:
3楼: Originally posted by sailovego at 2013-03-12 10:26:23
Rt(st, at)不是t时刻行为at的reward吗,...

是,但是at指的是单独的一个action。

你所说的“所有的 Q t+1(st, at)都是相同的”。Q t+1(st, at)和Q t(st, at)是同一个东西,代表唯一的一个state action pair。何来“所有”之说?
4楼2013-03-12 12:44:16
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[公派出国] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +4 TxdNP2oT1Q0A 2026-11-21 4/200 2026-11-23 04:21 by TU1sx51gX99i
[论文投稿] 售SCI一区文章,我:8.O.551.O.5.4,科目全,可伽急 +3 TxdNP2oT1Q0A 2026-11-21 4/200 2026-11-23 03:49 by TU1sx51gX99i
[博后之家] 售SCI一区T0P文章,我:8.O.55.1.O.5.4,科目全,可+急 +3 Gt0XhENGW3Q3 2026-11-21 3/150 2026-11-23 03:38 by TU1sx51gX99i
[基金申请] 售SCI一区T0P文章,我:8.O.55.1.O.54,科目齐全,可+急 +4 Gt0XhENGW3Q3 2026-11-21 5/250 2026-11-23 03:37 by TU1sx51gX99i
[找工作] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +3 Gt0XhENGW3Q3 2026-11-21 3/150 2026-11-23 03:04 by TU1sx51gX99i
[考博] 售SCI一区T0P文章,我:8O.55.1.O.54,科目全,可伽急 +5 YpGmINmR5fp3 2026-11-21 5/250 2026-11-23 02:42 by TU1sx51gX99i
[论文投稿] 售SCI一区文章,我:8.O.551.O.5.4,科目全,可伽急 +3 YpGmINmR5fp3 2026-11-21 4/200 2026-11-23 02:31 by TU1sx51gX99i
[论文投稿] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +6 K2uSGhxsSAvH 2026-11-21 8/400 2026-11-23 01:48 by TU1sx51gX99i
[论文投稿] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +6 YLsF7OSIoYU4 2026-11-21 7/350 2026-11-23 01:37 by TU1sx51gX99i
[论文投稿] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 +7 YLsF7OSIoYU4 2026-11-21 7/350 2026-11-23 01:25 by TU1sx51gX99i
[硕博家园] 售SCI一区T0P文章,我:8.O.55.1.O.54,科目齐全,可+急 +6 YLsF7OSIoYU4 2026-11-21 6/300 2026-11-23 01:15 by AyQg4gRU5coM
[博后之家] 售SCI一区T0P文章,我:8.O.55.1.O.54,科目齐全,可+急 +3 Xoz0hXWi9tT1 2026-11-21 4/200 2026-11-23 01:14 by AyQg4gRU5coM
[论文投稿] 售SCI一区文章,我:8O5.5.1.O5.4,科目全,可伽急 +7 Xoz0hXWi9tT1 2026-11-21 8/400 2026-11-23 01:04 by AyQg4gRU5coM
[基金申请] 售SCI一区文章,我:8O5.5.1.O5.4,科目全,可伽急 +5 Xoz0hXWi9tT1 2026-11-21 6/300 2026-11-23 01:03 by AyQg4gRU5coM
[考研] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +5 Xoz0hXWi9tT1 2026-11-21 8/400 2026-11-23 00:53 by AyQg4gRU5coM
[考研] 售SCI一区T0P文章,我:8O.55.1.O.54,科目全,可伽急 +5 Xoz0hXWi9tT1 2026-11-20 6/300 2026-11-23 00:41 by AyQg4gRU5coM
[硕博家园] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 +5 Xoz0hXWi9tT1 2026-11-20 6/300 2026-11-23 00:31 by AyQg4gRU5coM
[考博] 27材料申博求捞 10+4 Cosima1 2026-11-16 7/350 2026-11-22 18:31 by yanrding
[硕博家园] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +3 YpGmINmR5fp3 2026-11-21 3/150 2026-11-22 17:31 by 4xQThdVkmqn8
[基金申请] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +4 YLsF7OSIoYU4 2026-11-21 4/200 2026-11-22 04:08 by mNjrFMLoQVIW
信息提示
请填处理意见