Что мониторить — базовый набор

инфраструктура: CPU/RAM/disk/io, network, health checks, process uptime;
платформа: load-balancer, autoscaling events, container health, pod restarts;
приложение: latency, error rate, request rate, saturation (queues, DB connections);
безопасность/аудит: authentication failures, privilege changes, vuln alerts;
биллинг: расход по проектам/тегам.

Общая архитектура наблюдаемости

1. Метрики (time series) — короткая задержка, агрегации;

2. Логи — централизованный сбор, парсинг, retention;

3. Трейсы — distributed tracing для latency root-cause;

4. Synthetic/Uptime — внешние проверки доступности;

5. Alerts & Runbooks — автоматизация оповещений и инструкции.

AWS — конкретика и настройки

• Метрики: CloudWatch Metrics + Custom Metrics (push через API или CloudWatch Agent).

• Логи: CloudWatch Logs (агенты/FluentD для контейнеров).

• Трейсинг: AWS X-Ray.

• Контейнеры: CloudWatch Container Insights / EKS integration.

• Сеть и аудит: VPC Flow Logs, CloudTrail.

• Alerts: CloudWatch Alarms → actions via SNS (email/SMS/SQS/Lambda) → интеграции (PagerDuty, Slack).

• Synthetic: Route53 health checks / CloudWatch Synthetics.
  Настройка: поставить CloudWatch Agent на VM/контейнеры, создать Dashboards, сделать Alarm на важные метрики с action → SNS → on-call.

GCP — конкретика и настройки

• Метрики/алерты: Cloud Monitoring (Uptime checks, Alerting policies).

• Логи: Cloud Logging (сбор с GKE/VM через agents).

• Трейсинг: Cloud Trace; профилирование — Cloud Profiler; Error Reporting для исключений.

• GKE: Workload и Node metrics через Ops (Container Insights).

• Сеть/аудит: VPC Flow Logs, Audit Logs.

• Notification channels: email, SMS, PagerDuty, webhook.
  Настройка: включить agents, создать uptime checks, alert policy с notification channel, лог-метрики и dashboards.

Azure — конкретика и настройки

• Metrics + Logs: Azure Monitor + Log Analytics Workspace.

• App monitoring: Application Insights (traces, dependency maps, exceptions).

• Containers: Container Insights для AKS.

• Сеть/аудит: Network Watcher, NSG flow logs, Activity Logs.

• Alerts: metric alerts и log alerts → Action Groups (email, webhook, ITSM, Logic App).
  Настройка: установить Azure Monitor Agent, настроить diagnostic settings к ресурсам, создать action group и alert rules.

Лучшие практики алертинга и организация оповещений

• SLI/SLO → alerting по SLO burn rate (pager) и по symptom (warning).

• Три уровня: P0 (paged), P1 (notify), P2 (info).

• Минимизировать шум: группировка, dedup, suppression windows, sensible cooldown.

• Включать в уведомление контекст: link на dashboard, последние логи, runbook-шаги.

• Автотесты оповещений (test alerts) и регулярные ревью правил.

• Автоматическое ремедиирование (Lambda/Cloud Function/Logic App) для известных проблем + human approval.

Инструменты кросс-провайдера

• Prometheus + Grafana (в облаках: Managed Grafana, Cloud Monitoring Prometheus Bridge) для унификации;

• SIEM/observability платформа (например, сторонние SaaS) для централизованного кореляционного анализа.

Cost & retention

• Контролируйте cardinality метрик и логов (high-cardinality = expensive).

• Настройте sampling, лог-routing, и lifecycle (архив → дешёвый тариф).

Тестирование и операционная дисциплина

• Регулярно тестируйте failover и alerting; держите runbooks рядом; пересматривайте SLO/Escalation policy; проводите post-mortem и обновляйте триггеры.