Aller au contenu principal

Dimensionnement et durcissement de ClickHouse

Recommandations matérielles​

Utilisez le tableau ci-dessous comme point de départ pour dimensionner le calcul, en fonction du nombre d'endpoints (machines) actifs qui remontent des données :

NiveauEndpointsCœurs ClickHouseRAM ClickHouseVolume de cache
Small~100416 GiB30Gi
Medium~1 000624 GiB50Gi
Large~10 0008+32 GiB+100Gi

Le CPU est le principal levier pour les requêtes d'agrégation les plus lourdes : augmentez le nombre de cœurs avec le volume de données plutôt que de surdimensionner uniquement la RAM. Commencez avec 4 GiB de RAM par cœur (le ratio « usage général » propre à ClickHouse), et passez à 8 GiB de RAM par cœur (leur ratio « entreposage de données ») si vous observez un déversement externe de GROUP BY/ORDER BY ou des rejets de requêtes pour limite de mémoire en charge normale : les deux sont des signes concrets que la RAM, et non le CPU, constitue le véritable goulot d'étranglement de votre charge d'agrégation (voir Métriques clés pour les compteurs exacts à surveiller).

  • Type de nœud : un type d'instance à usage général ou optimisé pour la mémoire, avec 4 à 8 GiB de RAM par cœur. Évitez les types d'instance optimisés pour le calcul : ils ont tendance à être sous-provisionnés en RAM pour les charges d'agrégation de ClickHouse.
  • Disque : utilisez du NVMe local ou du SSD attaché au réseau (IOPS élevés) pour les volumes de métadonnées et de cache. N'utilisez jamais de stockage de classe HDD ni de systèmes de fichiers réseau (NFS/EFS/Azure Files) ; leurs caractéristiques de latence sont incompatibles avec les schémas de lecture/écriture de ClickHouse.
  • Nœud dédié et stable : planifiez ClickHouse sur un nœud dédié à la demande (pas spot/préemptible) pour éviter les perturbations liées à la récupération de nœuds. Évitez de co-localiser des charges de type « voisin bruyant ».
  • Stockage objet : élastique par conception, ce n'est pas un facteur de dimensionnement comme l'est le disque local, puisqu'il évolue indépendamment de votre cluster.

Cache du système de fichiers​

Le cache du système de fichiers local se place devant le stockage objet et ne doit contenir que votre working set (les données réellement touchées par les requêtes récentes), et non l'intégralité de votre jeu de données historique. Comme les fonctionnalités d'analytics ne lisent généralement que l'état actuel par machine ou par compte, les données historiques remplacées ne gonflent pas le working set même lorsque votre empreinte totale de stockage objet croît : le cache suit votre nombre d'endpoints actifs, et non votre historique total accumulé.

Cela dit, le cache reste l'un des leviers les plus efficaces pour les performances des requêtes, et il est toujours préférable de le surdimensionner que de le sous-dimensionner : l'agrandir plus tard implique de redimensionner le modèle de revendication de volume persistant d'un StatefulSet, une opération que Kubernetes ne prend pas en charge sur place (voir la mise en garde ci-dessous).

Dimensionnez clickhouse.cache.size, le volume persistant du cache. Utilisez la colonne Volume de cache du tableau ci-dessus comme point de départ pour votre propre niveau. Ajustez-la à la hausse en fonction de la latence de lecture observée : des lectures constamment lentes sur des données déjà interrogées sont le signe que le cache est sous-dimensionné par rapport à votre working set. Réexaminez ce dimensionnement à mesure que votre nombre d'endpoints croît.

clickhouse:
cache:
size: 100Gi # Large tier from the table above; cacheMaxSize auto-derives to 98Gi
Redimensionner le volume de cache ultérieurement est une opération manuelle

Kubernetes ne permet pas de redimensionner sur place le modèle de revendication de volume persistant d'un StatefulSet, donc agrandir le volume de cache après l'installation (bien que tout à fait possible) nécessite une procédure manuelle, et non un simple changement de valeurs. Dimensionnez d'emblée à l'aide du tableau ci-dessus en fonction de votre nombre d'endpoints attendu, plutôt que de commencer petit en espérant redimensionner facilement plus tard. Si votre environnement est contraint en ressources, nous recommandons tout de même de ne pas descendre en dessous de 30Gi (le niveau Small) pour le volume de cache.

Mesurez le taux de succès réel du cache

system.events expose les compteurs bruts de succès/échec derrière le cache, un signal plus précis que la latence seule :

SELECT round(sumIf(value, event = 'CachedReadBufferReadFromCacheHits') / (sumIf(value, event = 'CachedReadBufferReadFromCacheHits') + sumIf(value, event = 'CachedReadBufferReadFromCacheMisses')), 4) AS cache_hit_ratio FROM system.events;

Un ratio constamment faible est un signal concret pour augmenter clickhouse.cache.size ci-dessus.

Ne définissez clickhouse.serverConfig.cacheMaxSize explicitement que si vous avez besoin d'autre chose que la valeur dérivée, par exemple pour laisser une marge de sécurité plus large que 2Gi :

clickhouse:
serverConfig:
cacheMaxSize: '90Gi' # explicit override, wider margin against a 100Gi cache volume than the 2Gi default
Maintenez cacheMaxSize en dessous de la taille du volume persistant du cache

cacheMaxSize est une limite souple que ClickHouse applique lui-même via l'éviction LRU, et non une garantie stricte contre le remplissage du volume sous-jacent. Laissez toujours une marge au volume persistant au-dessus de cette valeur, ne la dimensionnez jamais égale ou inférieure. La sortie d'installation/mise à niveau du chart lui-même vous avertit si un cacheMaxSize explicite laisse moins que la marge recommandée de 2Gi par rapport à clickhouse.cache.size ; la valeur par défaut auto-dérivée la respecte toujours.

Si le volume se remplit malgré tout, ClickHouse ne fait pas échouer les requêtes ni les insertions ; il consigne un avertissement et ignore la mise en cache de cette entrée, en se rabattant sur une lecture directe depuis le stockage objet. Non traité toutefois, cela dégrade définitivement les lectures sur ces données vers le chemin le plus lent au lieu du chemin mis en cache.

Volume de métadonnées​

Contrairement au cache, ce volume n'est pas dimensionné en fonction de votre working set : sa propre empreinte croît à peine avec le volume de données. Les métadonnées locales du disque S3 (un fichier de mappage par objet stocké, de quelques dizaines d'octets chacun) et les définitions de tables restent de l'ordre de quelques mégaoctets même à grande échelle, quel que soit le nombre d'endpoints ou la rétention.

Commencez tout de même avec un minimum de 20Gi. L'empreinte en elle-même n'a pas besoin d'autant, mais c'est une marge peu coûteuse face aux hardlinks FREEZE du sidecar de sauvegarde, qui coexistent brièvement sur ce même volume pendant un cycle de sauvegarde (voir Sauvegarde et restauration), ainsi qu'à toute table système locale que vous réactiveriez au-delà des valeurs par défaut du chart.

Ce qui se passe si ce volume se remplit

Contrairement au disque de cache, ClickHouse ne se dégrade pas gracieusement ici : il s'agit d'un volume porteur, et non d'un cache au mieux. S'il se remplit, les insertions et les fusions échouent avec de vraies erreurs au lieu de se rabattre ailleurs.

Planification et fiabilité​

Le chart applique par défaut un ensemble de garde-fous, afin que ClickHouse échoue de manière prévisible (rejets propres) plutôt que de déstabiliser le nœud en charge. Ceux ci-dessous nécessitent une saisie de votre part ; voir Autres garde-fous pour le reste.

Ressources réservées​

Définissez requests égal à limits pour le CPU et la mémoire du conteneur ClickHouse principal, afin que le planificateur réserve d'emblée la totalité au lieu de sur-engager le nœud. Plafonnez le CPU en dessous de la capacité allouable du nœud pour laisser de la marge au kubelet. Ajustez les valeurs ci-dessous pour correspondre à votre niveau de dimensionnement :

clickhouse:
resources:
requests:
cpu: 8
memory: 32Gi
limits:
cpu: 8
memory: 32Gi

Le sidecar clickhouse-backup dans le même pod s'exécute sur son propre budget distinct (et plus petit) (clickhouse.backup.sidecar.resources), de sorte que le pod dans son ensemble n'atteint pas la classe QoS Guaranteed de Kubernetes. Cela n'épingle que les ressources du conteneur principal.

Stabilité des nœuds​

Vous devez empêcher votre autoscaler Kubernetes, le cas échéant, de consolider ou d'évincer le nœud pendant que ClickHouse y est exécuté, ce qui détacherait et rattacherait son volume en pleine opération :

clickhouse:
podAnnotations:
karpenter.sh/do-not-disrupt: 'true' # adjust the annotation for your own cluster autoscaler if not using Karpenter

Dans la mesure du possible, épinglez ClickHouse sur un ou plusieurs nœuds dédiés et à la demande qui lui sont réservés : cela le maintient hors de la capacité spot/préemptible (un nœud spot récupéré signifie une éviction brutale et un rattachement de volume) et à l'écart des charges de type « voisin bruyant » qui se disputent le même CPU/mémoire :

clickhouse:
nodeSelector:
workload: clickhouse
tolerations:
- key: workload
operator: Equal
value: clickhouse
effect: NoSchedule

Ceci suppose un pool de nœuds dédié que vous avez provisionné à la demande (pas spot/préemptible), étiqueté workload: clickhouse et marqué (taint) workload=clickhouse:NoSchedule ; ajustez l'étiquette et le taint pour correspondre à la convention de votre propre cluster. Le nodeSelector épingle uniquement ClickHouse sur ce pool, il ne sélectionne pas le type de capacité du pool, donc le maintenir hors du spot dépend du fait que le pool lui-même soit à la demande.

Sur un nœud dédié et non partagé, vous pouvez aussi attribuer au pod ClickHouse un priorityClassName élevé. Là, c'est en grande partie une sécurité redondante (rien d'important ne se dispute le nœud), mais c'est un garde-fou de durcissement supplémentaire sans coût : même un nœud dédié exécute tout de même des DaemonSets (CNI, agents de logs/métriques), et la priorité détermine qui le kubelet évince en premier si le nœud subit une pression sur les ressources.

infrastructure-critical n'est pas une classe intégrée de Kubernetes (les seules natives, system-node-critical et system-cluster-critical, sont réservées aux pods du plan de contrôle/système), vous devez donc la créer au préalable dans votre cluster (le chart ne le fait pas) :

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
name: infrastructure-critical
value: 1000000 # above your default workloads, well below the system-* classes (~2e9)
globalDefault: false
description: 'High scheduling priority for infrastructure-critical workloads'

Puis référencez-la sur le pod ClickHouse :

clickhouse:
priorityClassName: infrastructure-critical
Assurez-vous que votre pool de nœuds réservé dispose de capacité dans la zone du PV

Les volumes de métadonnées et de cache (SSD attaché au réseau) sont verrouillés sur une zone une fois provisionnés. Si le nœud de ClickHouse est perdu et que votre pool de nœuds réservé ne peut pas provisionner de capacité de remplacement dans cette même zone, le pod reste Pending indéfiniment : il ne peut pas être replanifié sur un nœud d'une zone différente sans un nouveau volume. Assurez-vous que le pool de nœuds que vous dédiez à ClickHouse couvre (ou peut s'étendre à) chaque zone dans laquelle votre cluster provisionne des volumes.

Autres garde-fous​

Au-delà de la planification au niveau des nœuds, le chart configure également par défaut un ensemble de garde-fous côté serveur (limites de mémoire et de concurrence, marge de disque, seuils de déversement et de délai d'attente des requêtes, et déduplication des insertions) afin que ClickHouse échoue de manière prévisible au lieu de se déstabiliser en charge. Ils sont livrés avec des valeurs par défaut sensées et ne nécessitent aucune configuration de votre part.

Si vous observez des symptômes tels qu'un déversement sur disque, une pression mémoire ou des rejets de requêtes en forte concurrence sur le dashboard, veuillez contacter notre équipe de support pour évaluer une configuration mieux adaptée à votre charge.