Сервер в кладовке
мониторинг

Графики для домашнего сервера: Prometheus и Grafana

Мне хотелось видеть не только «работает или нет», но и историю: сколько места уходит в месяц, как ведёт себя температура летом, что грузит процессор ночью. Для этого хватило связки node_exporter, Prometheus и Grafana.

node_exporter

apt install prometheus-node-exporter

Он отдаёт сотни метрик о системе на порту 9100. Проверить можно прямо в браузере или так:

curl -s localhost:9100/metrics | grep node_load1

Prometheus

Он раз в 15 секунд забирает метрики и хранит их. Минимальный prometheus.yml:

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: node
    static_configs:
      - targets: ['localhost:9100']

Срок хранения по умолчанию — 15 дней. Мне нужен год, поэтому запускаю с параметром --storage.tsdb.retention.time=365d. Для одного сервера это около 2 ГБ.

Grafana

Рисовать панели с нуля не пришлось: есть готовая панель Node Exporter Full, импортируется по ID 1860. Из неё я потом оставил только то, что действительно смотрю: загрузка, память, место на дисках, температура, сеть.

Одно полезное правило

Уведомление, когда на любой файловой системе остаётся меньше 10% места:

- alert: DiskAlmostFull
  expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes < 0.10
  for: 30m

Оно уже дважды предупредило о переполнении раньше, чем начали падать сервисы.

Все три компонента слушают только локальную сеть. Открывать Grafana наружу без нормальной аутентификации не стоит.
← Все заметки