Message Queues vs Task Queues

Что это

Брокеры сообщений — асинхронный мост между сервисами. Producer пишет, broker хранит, consumer читает. Главный вопрос: work queue или pub/sub + как обрабатывать failures.

Как работает

Два фундаментальных режима:

Work queue (task queue) — каждое сообщение получает РОВНО ОДИН consumer. Брокер балансирует нагрузку между воркерами. Применение: фоновые джобы, отправка email, обработка изображений.

Pub/sub (topic) — каждое сообщение получает КАЖДЫЙ подписчик независимо. Применение: events (tweet.posted → fanout по подписчикам), audit logs, cache invalidation.

Back-pressure — что делать когда producers быстрее consumers. Очередь растёт → broker должен либо отказывать новым enqueue, либо сигнализировать producer'у замедлиться. Без back-pressure: OOM, сообщения теряются.

At-least-once delivery + redelivery — стандартная гарантия. Если consumer упал до ACK, broker через visibility timeout возвращает сообщение в очередь. Consumer должен быть idempotent: одно и то же сообщение может прийти 2+ раз.

Когда применять

• Work queue — distributed jobs, видеокодинг, отчёты, отправка email/push.
• Pub/sub — events для нескольких независимых обработчиков (аналитика + cache invalidation + ML model triggering на одном order.created).
• Kafka — high throughput streaming, replay, event sourcing. Партиции = sharding.
• RabbitMQ — task queues с приоритетами/routing/TTL/DLX.
• SQS — AWS-native, низкий ops, batch обработка.

Когда НЕ стоит

• Не используй очередь когда нужен strict ordering без партиций. RabbitMQ ordering = single consumer; Kafka = по partition_key.
• Exactly-once delivery — миф в распределёнке. Достижимо только через идемпотентность на consumer'е (dedup по message_id).
• Не клади большие payloads в брокер. Kafka/RabbitMQ хорошо работают на ≤1MB. Большие файлы — в S3, в очереди только pointer.
• Synchronous via queue = плохо. Если нужен ответ сразу — REST/gRPC, не очередь.

Применяется в кейсах

• [CASE]twitter-system-design — Kafka для tweet.posted событий + fanout worker (work queue + pub/sub combined)
• [CASE]instagram-system-design — feed regeneration jobs через RabbitMQ
• [CASE]rate-limiter — distributed counters потенциально через Redis Streams (queue-like)