Графики для домашнего сервера: Prometheus и Grafana
Мне хотелось видеть не только «работает или нет», но и историю: сколько места уходит в месяц, как ведёт себя температура летом, что грузит процессор ночью. Для этого хватило связки node_exporter, Prometheus и Grafana.
node_exporter
apt install prometheus-node-exporter
Он отдаёт сотни метрик о системе на порту 9100. Проверить можно прямо в браузере или так:
curl -s localhost:9100/metrics | grep node_load1
Prometheus
Он раз в 15 секунд забирает метрики и хранит их. Минимальный prometheus.yml:
global:
scrape_interval: 15s
scrape_configs:
- job_name: node
static_configs:
- targets: ['localhost:9100']
Срок хранения по умолчанию — 15 дней. Мне нужен год, поэтому запускаю с параметром --storage.tsdb.retention.time=365d. Для одного сервера это около 2 ГБ.
Grafana
Рисовать панели с нуля не пришлось: есть готовая панель Node Exporter Full, импортируется по ID 1860. Из неё я потом оставил только то, что действительно смотрю: загрузка, память, место на дисках, температура, сеть.
Одно полезное правило
Уведомление, когда на любой файловой системе остаётся меньше 10% места:
- alert: DiskAlmostFull
expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes < 0.10
for: 30m
Оно уже дважды предупредило о переполнении раньше, чем начали падать сервисы.