Topologie de l'application
L'application GitGuardian est constituée de plusieurs ressources Kubernetes. Chaque pod nginx exécute un conteneur nginx servant le frontend du dashboard et agissant comme proxy pour le backend, ainsi qu'un certain nombre de conteneurs différents servant toutes les tâches du backend.
| Kind | Deployment Name | Usage |
|---|---|---|
| Front | nginx | Frontend du dashboard et proxy pour le backend |
| Backend | internal-api | Backend pour le Dashboard |
| Backend | internal-api-long | Backend pour le Dashboard (requêtes longues, sans timeout) |
| Backend | public-api | API publique et scans ggshield |
| Backend | hook | Récepteur d'événements webhooks VCS |
| Backend | app-exporter | Exporteur Prometheus pour les métriques applicatives |
| Backend | ml-secret-engine | Moteur de secrets Machine Learning |
| Backend | apache-tika | Scanner de fichiers pour le scan des sources non-VCS |
| Scheduler | beat | Planificateur de tâches Celery Beat |
| Worker | worker-worker | Worker polyvalent gérant les scans en temps réel, les nouvelles tentatives, les tâches honeytoken, les rapports (files : check_run, realtime, realtime_retry, honeytoken, reports, core_default, sources_default, incidents_default, individual_validity_check). |
| Worker | worker-check-runs | Worker dédié facultatif pour le traitement des check runs (file : check_run). Désactivé par défaut ; activez-le pour décharger check_run de worker-worker. |
| Worker | worker-check-run-scanners | Worker dédié facultatif pour les check runs basés sur le scan (limités aux PR) (file : check_run_scan). Désactivé par défaut ; la file se reporte sur worker-scanners. |
| Worker | worker-email | Gère les notifications par e-mail et la messagerie (files : email, notifier). |
| Worker | worker-scanners | Effectue les scans historiques pour les dépôts (files : basic_repo_scan, premium_repo_scan, manual_repo_scan, code_fixing). |
| Worker | worker-premium-scanners-retry | Worker à haute mémoire facultatif réessayant les scans échoués de grands dépôts (file : premium_repo_scan_retry). Désactivé par défaut ; voir Worker de nouvelle tentative de scan premium. |
| Worker | worker-incidents-disk | Worker dédié facultatif recalculant les emplacements des secrets (file : incidents_disk). Désactivé par défaut ; la file se reporte sur worker-scanners. |
| Worker | worker-long | Traite les tâches de longue durée telles que les vérifications de validité et l'ingestion NHI (files : background_validity_check, update_sources_state, nhi_ingestion, hmsl, core_long, sources_long, incidents_long, ml_backpopulate, endpoints, core_aspm, team_sync). |
| Worker | worker-automatic-severities | Worker dédié au calcul automatique de la sévérité (file : automatic_severities). 1 réplique par défaut, autoscaling jusqu'à 3. |
| Worker | worker-realtime-ods | Gère le traitement en temps réel pour les sources non-VCS telles que Slack et Jira (files : realtime_ods, realtime_retry_ods). |
| Worker | worker-long-ods | Traite les tâches de longue durée pour les sources non-VCS (file : long_ods). |
| Worker | worker-long-ods-io | Se concentre sur les tâches de longue durée intensives en IO pour les sources non-VCS (file : long_ods_io). |
| Worker | worker-scanners-ods | Exécute les scans historiques non-VCS pour Jira, Confluence, etc. (file : ods_scan). |
| Worker | worker-scanners-ods-highdisk | Gère les tâches à fort stockage pour les sources non-VCS (file : ods_scan_highdisk). |
| Worker | worker-scanners-slack | Exécute les scans historiques Slack (file : slack_scan). |
| Worker | worker-scanners-db-less-jira-cloud | Worker dédié facultatif pour les scans historiques Jira Cloud (file : db_less_scan_jira_cloud). Désactivé par défaut. Lorsqu'il a 0 réplique, worker-scanners-ods consomme la file, ou worker-scanners lorsque worker-scanners-ods a également 0 réplique. |
| Worker | worker-scanners-db-less-confluence-cloud | Worker dédié facultatif pour les scans historiques Confluence Cloud (file : db_less_scan_confluence_cloud). Désactivé par défaut. Lorsqu'il a 0 réplique, worker-scanners-ods consomme la file, ou worker-scanners lorsque worker-scanners-ods a également 0 réplique. |
| Worker | worker-container-registries | Gère le scan de secrets dans les Container registries (file : container_registries). |
| Worker | worker-public-monitoring | Gère les scans Public Monitoring (files : public_monitoring, public_monitoring_continuous_scan, public_monitoring_historical_scan, public_monitoring_realtime_scan). Actif uniquement sous licence. |
| Worker | worker-business-contribution | Gère les tâches de contribution métier (file : business_contribution). |
| Worker | worker-ml-api-priority | Priorise les tâches liées à l'API de machine learning (file : ml_api_priority). |
| Worker | worker-scanners-db-less | Worker facultatif pour les scans ne nécessitant pas d'accès à la base de données : JFrog Package Registries, SharePoint et OneDrive (file : db_less_scan). Désactivé par défaut ; la file se reporte sur worker-scanners. |
| Job | inapp-analytics | Calcule les métriques et agrège les données pour les dashboards Advanced Analytics. |
| Job | pre-deploy | Tâche de pré-déploiement effectuant les migrations de base de données |
| Job | post-deploy | Tâche de post-déploiement effectuant les longues migrations de données |
| Replicated | replicated | Gestion des licences et collecte des données d'usage |
| Replicated | kotsadm | KOTS Admin Console (installation basée sur KOTS uniquement) |
info
Nous avons défini un TTL (Time To Live) de 30 jours pour les tâches pre-deploy et post-deploy afin de permettre la récupération des logs si nécessaire. Il est recommandé de ne pas supprimer ces pods, car ils peuvent être utiles pour le dépannage.