Tag

Agent/并发

共 2 篇公开笔记。

Agent 分布式

覆盖 LLM 厂商 RPM + TPM 双重限流规则、令牌桶/漏桶/滑动窗口三大限流算法、分布式 Redis + Lua 限流实现,详解限流核心逻辑、开发实践建议、算法对比选型,包含429错误处理、自适应限流等落地优化方案。

LangServe 源码解读与异步并发实战

详解LangServe部署原理与add_routes底层机制、FastAPI自动接口生成、SSE流式输出,梳理Python协程/线程/进程及GIL核心区别,讲解Agent单线程协程并发模型、共享文件资源加锁方案、任务拆分、并发限流与容错降级工程实战。

Contact

Contact Me

Leave a message here. The form sends directly from the browser to a form delivery service and then to my email.

Messages are delivered to lzx744008464@gmail.com.