asyncio.Queue 如何实现带优先级的队列(PriorityQueue)

推荐直接使用 asyncio.PriorityQueue 实现优先级队列,它是标准库中线程安全、协程友好的内置类,基于 heapq 自动排序,支持 await,优先级数值越小越先执行;避免手动维护排序。

asyncio.queue 如何实现带优先级的队列(priorityqueue)

asyncio.Queue 本身不支持优先级,但可以通过组合 asyncio.PriorityQueue(它已内置)或用 asyncio.Queue + 自定义优先级逻辑来实现。最直接、推荐的方式是直接使用 asyncio.PriorityQueue —— 它是标准库中专为异步场景设计的线程安全、协程友好的优先级队列。

✅ 使用 asyncio.PriorityQueue(最简单可靠)

asyncio.PriorityQueueasyncio.Queue 的子类,内部基于 heapq 实现,支持按优先级(数值越小优先级越高)自动排序。所有方法(put()get()qsize() 等)与 Queue 一致,且天然支持 await。

  • 入队时传入一个可比较的优先级项,通常为元组:(priority, item)
  • 优先级可以是整数、浮点数,甚至自定义对象(只要支持 比较)
  • 多个协程并发 get() 时,仍能保证每次取出当前最高优先级(最小 priority 值)的元素

示例:

import asyncio

async def main(): pq = asyncio.PriorityQueue()

# 先入低优先级(3),再入高优先级(1),最后入中等(2)
await pq.put((3, "task_c"))
await pq.put((1, "task_a"))  # 最先被 get
await pq.put((2, "task_b"))

print(await pq.get())  # (1, 'task_a')
print(await pq.get())  # (2, 'task_b')
print(await pq.get())  # (3, 'task_c')

asyncio.run(main())

Lumen5

Lumen5

一个在线视频创建平台,AI将博客文章转换成视频

下载

⚠️ 不要用 asyncio.Queue + sorted() 手动维护(不推荐)

有人尝试用普通 asyncio.Queue 存储元组,再每次 get() 后手动排序剩余元素——这不仅破坏了队列的原子性,还无法保证并发安全,且 Queue 内部结构不可直接访问或修改。切勿这样做。

? 如需更灵活的优先级逻辑(如动态权重、多级策略)

可封装一个包装类,内部用 asyncio.PriorityQueue,但把 put() 的优先级计算逻辑隐藏起来:

  • 例如:根据任务类型、超时时间、用户等级动态生成 priority 值
  • 确保 priority 值始终可比较、稳定(相同逻辑下相同输入产生相同 priority)
  • 避免在 priority 中嵌入不可比较对象(如未实现 __lt__ 的类实例)

示例(按截止时间优先):

import asyncio
from datetime import datetime

class DeadlinePriorityQueue: def init(self): self._pq = asyncio.PriorityQueue()

async def put(self, item, deadline: datetime):
    # 越早截止,priority 越小 → 越先执行
    priority = deadline.timestamp()
    await self._pq.put((priority, item))

async def get(self):
    _, item = await self._pq.get()
    return item

使用

async def demo():
q = DeadlinePriorityQueue()
await q.put("urgent", datetime(2024, 1, 1, 10, 0))
await q.put("later", datetime(2024, 1, 1, 12, 0))
print(await q.get()) # "urgent"

? 注意事项

  • asyncio.PriorityQueue 在 Python 3.7+ 中可用;3.6 及更早版本需自行实现或升级
  • 不要混用 put_nowait() / get_nowait() —— 它们不支持优先级调度,会绕过 heapq 排序逻辑,导致行为异常
  • 如果需要“取消某个待处理任务”,PriorityQueue 不提供 remove 接口,常见做法是加个“取消标记”字段,在 get() 后检查并跳过已失效项

https://www.php.cn/faq/2006344.html

发表回复

Your email address will not be published. Required fields are marked *