双端队列
请先熟悉将用作重放缓冲区的数据结构——双端队列。
双端队列（Double-Ended Queue，deque）是一个容量有限的队列。随着时间推移加入新元素，它会"遗忘"最早的元素。这个特性非常适合作为重放缓冲区的抽象。
本练习是课程的一部分
Python 中的深度强化学习
交互式实操练习
通过完成这段示例代码来试试这个练习。
from collections import deque
buffer = deque(range(10))
print('Buffer initialized as:', buffer)
# Append 10 to the right of the buffer
buffer.____
print('Buffer after appending:', buffer)