2楼: Originally posted by dreamrequiem at 2013-03-12 04:39:49
Rt(st, at)为什么是相同的？
time t的reward只会用来更新Q(st,at)，不影响其他state action pair的Q值。

3楼: Originally posted by sailovego at 2013-03-12 10:26:23
Rt(st, at)不是t时刻行为at的reward吗，...

4楼: Originally posted by dreamrequiem at 2013-03-12 12:44:16
是，但是at指的是单独的一个action。

你所说的“所有的 Q t+1(st, at)都是相同的”。Q t+1(st, at)和Q t(st, at)是同一个东西，代表唯一的一个state action pair。何来“所有”之说？...

5楼: Originally posted by sailovego at 2013-03-12 19:58:20
我之前没表达清楚，不好意思了，
我的意思是所有的状态-行为对Q的值，例如在初始化的时候都初始化为0，随机选择一个行为执行后，会产生一个Rt(st, at)，那么再计算Q t+1(st, at)的时候，在st状态下的所有行为ai的 ...

6楼: Originally posted by dreamrequiem at 2013-03-13 03:02:52
不理解 。
单步只更新当前的Q(st, at)，其他的Q(st, ai)并不改变，何以“在st状态下的所有行为ai的Q值都是相同的了”...