Sharding Strategies

sharding-strategies.js·3 scenarios

Loading canvas…

Что это

Шардирование — горизонтальное разбиение данных на N независимых баз (шардов). Когда одна машина не тянет нагрузку или объём, шардинг позволяет масштабироваться линейно. Главный вопрос: как маппить ключи на шарды.

Как работает

Три базовых стратегии. Trade-off — между равномерностью распределения, range query эффективностью и стоимостью добавления шарда.

Range sharding — ключи разбиты по диапазонам (A-F → Shard 1, G-M → Shard 2). Плюс: range queries работают эффективно (SELECT WHERE created_at BETWEEN ...). Минус: skew-данные (timestamps, autoincrement) убивают равномерность — все свежие записи в один шард.

Hash sharding — hash(key) % N определяет шард. Идеально равномерное распределение, неважно какие ключи. Цена: range queries требуют scatter-gather по всем шардам. Дефолт для KV-доступа.

Consistent hashing — ключи и шарды размещаются на «кольце» хешей. Каждый ключ идёт на следующий по часовой стрелке шард. При добавлении шарда двигается только ~1/N ключей, не все. Применяется в DynamoDB, Cassandra, Redis Cluster.

Когда применять

Hash sharding — дефолт для KV-доступа в масштабе. user_id, order_id, account_id.

Range sharding — когда range queries доминируют (time-series, OLAP, sorted indexes) И ключи равномерные. С timestamps — только если префиксуешь рандомом (anti-skew).

Consistent hashing — когда шарды добавляются/удаляются часто. Auto-scaling cloud DBs, distributed caches.

Когда НЕ стоит

Шардить преждевременно. Single-node Postgres тянет десятки тысяч RPS на чтение с replicas. Pre-sharding = технический долг до того как понадобится.

Шардить когда нужны cross-shard JOIN'ы. Распределённые транзакции (2PC) дороги. Если приложение часто JOIN'ит — переосмысли модель данных.

Range sharding на skew-данных без anti-skew префикса. Hotspot гарантирован.