强化学习蘑菇书第一章题目及答案

推荐蘑菇书写的很通俗易懂符号也很清晰 (n_n)b1-1 强化学习的基本结构是什么强化学习由两部分组成智能体和环境智能体和环境一直在交互智能体从环境中获取状态后会利用状态输出一个动作然后环境根据动作输出下一个状态以及这个动作带来的奖励1-2 强化学习相对于监督学习为什么训练过程会更加困难智能体不能获得及时反馈然而仍然需要在这个环境中学习1-3 强化学习的基本特征有哪些试错探索延迟奖励数据是时间关联的而不是独立同分布的智能体动作会影响之后的数据1-4 近几年强化学习发展迅速的原因有哪些更多的算力有了深度强化学习这个端到端的方法得到更强的决策网络1-5 状态和观测有什么关系状态是对世界的完整描述不会隐藏世界的信息观测是对状态的部分描述会遗漏一些信息1-6 一个强化学习智能体由什么组成策略价值函数模型策略即π(a∣s)或 argmaxa​π(a∣s)价值函数是对未来奖励的预测包括动作价值函数和状态价值函数模型由状态转移概率和奖励函数组成1-7 根据强化学习智能体的不同我们可以将其分为哪几类基于价值函数的智能体显式学习价值函数基于策略的智能体直接学习策略给定一个状态输出这个动作的概率并没有学习价值函数将两个结合的actor-critic 智能体1-8 基于策略迭代和基于价值迭代的强化学习方法有什么区别1-9 有模型学习和免模型学习有什么区别区别在于智能体是否知道状态转移函数和奖励函数如果知道的话模型直接在虚拟世界中学习和规划策略即可这种方法称为有模型强化学习免模型强化学习要在真实环境中通过一定的策略来执行动作等待奖励和状态迁移然后更新动作策略反复迭代直到学习到最优策略。两者的区别主要在于是否需要对于真实的环境进行建模, model-free不需要对于环境进行建模,直接与真实环境进行交互即可,所以其通常需要较大的数据或者采样工作来优化策略,这也帮助model-free对于真实环境具有更好的泛化性能; 而model-based 需要对于环境进行建模,同时再真实环境与虚拟环境中进行学习,如果建模的环境与真实环境的差异较大,那么会限制其泛化性能。现在通常使用model-free进行模型的构建工作。1-2 友善的面试官: 请问你认为强化学习、监督学习和无监督学习三者有什么区别呢监督学习需要有标签的样本来进行模型的构建强化学习和无监督学习的样本没有标签无监督学习直接对于给定的数据进行建模寻找数据给定的隐藏结构强化学习通过学习期望收益最大化策略得到的模型来得到正确目标的远近强化学习样本之间具有强相关性监督学习的样本独立同分布1-3 友善的面试官: 根据你的理解你认为强化学习的使用场景有哪些呢多序列决策问题这是最核心的特征。强化学习不解决单次静态的预测或分类问题而是专门针对需要“走一步看一步”、在时间序列上连续做出决策的场景。模型未知与渐进逼近在传统的控制理论中往往需要预先知道环境的精确数学模型。而在强化学习场景中智能体正是在与环境交互的过程中通过奖励反馈逐渐“摸索”并逼近真实环境的动态规律。马尔可夫性状态转移当前动作会实质性地改变环境状态且未来的决策仅依赖于当前状态或包含足够历史信息的状态这构成了强化学习算法如MDP成立的理论基石。状态的可重复到达可探索性如果环境状态是“一次性”的即发生错误后无法重置或回到之前的状态智能体就无法通过试错来收集足够的样本进行策略更新。因此环境必须具备可重置性或状态能够反复访问算法才能有效收敛。1-4 友善的面试官: 请问强化学习中所谓的损失函数与深度学习中的损失函数有什么区别呢DL中损失函数目的是让预测值和真实值差距最小RL中损失函数是奖励和的期望最大