(二) 1. Q-learning的遗憾界分析-结合置信上界的Q-learning算法

结合置信上界的Q-learning算法1. 表格型分幕式马尔可夫决策过程2. 结合了 UCB 探索策略的 Q-learning 变体2.1. 带有 Hoeffding 类型奖励的 Q-learning2.2. 带有 Bernstein 类型奖励的 Q-learning3. UCB-Hoeffding Q-learning 的证明3.1. 符号说明3.2. 学习率3.3. 关于Q k − Q ∗ Q^k - Q^*Qk−Q∗的界1. 表格型分幕式马尔可夫决策过程我们考虑表格型分幕式马尔可夫决策过程（Tabular Episodic MDP），记为 MDP( S , A , H , P , r ) (\mathcal{S}, \mathcal{A}, H, \mathbb{P}, r)(S,A,H,