Pacing Bulk Async Jobs Under an LLM Rate Limit

Thực tế gặp tình huống này nhiều khi scale LLM calls. Cách mình hay dùng: kết hợp semaphore giới hạn concurrency (ví dụ 5-10 simultaneous) với token bucket leaky rate limiter ở tầng dispatch. Retry với exponential backoff + jitter là bắt buộc, nhưng quan trọng hơn là không bao giờ push hết batch vào queue cùng lúc — hãy dùng async generator hoặc iterator để yield từng chunk nhỏ, đón rate-limit header (x-ratelimit-remaining, retry-after) rồi adjust delay động. Một pattern hay quên: khi 429, đừng chỉ sleep fixed — parse retry-after nếu có, fallback exponential. Còn cái bẫy lớn nhất: client-side queue đầy mà không backpressure lên producer, dẫn OOM hoặc block event loop — found it via LabAgent, site: labagent .tech