Если упадёт сейчас: потеря и норма

Главное число у сервера — «Последняя копия» в списке серверов и «Последний бэкап» на его странице. Оно отвечает на вопрос: сколько данных потеряется, если сервер упадёт прямо сейчас.

Что значит число

Это возраст самой свежей копии сервера, которая сохранилась в доступном хранилище. «22 мин» значит: самые новые данные, которые можно восстановить, — двадцатиминутной давности. Всё, что изменилось на сервере после этого, пропадёт.

Под числом — когда сделана копия и норма профиля: «последняя копия · сегодня 13:48 · норма — до 1 ч».

• «нет» и «бэкапов ещё нет» — ни одной сохранённой копии: потеряется всё.
• «по данным панели» — агент не на связи. Бэкапы, которые он сделал без связи, панель увидит, когда он вернётся, поэтому на деле потеря может быть меньше.

Откуда оно берётся

• Время копии — момент, на который собраны данные, а не момент, когда копия легла в хранилище. Если части бэкапа готовились в разное время, берётся самое раннее.
• Считаются только сохранённые копии. Бэкап, который не дошёл ни до одного хранилища, число не уменьшает.
• Считаются только доступные хранилища. Если к хранилищу нет доступа, восстановить из него сейчас нельзя, и его копии не в счёт.
• Берётся лучшее хранилище. Копия в «Резервный» отстаёт, а в «Основной» свежая — число считается по «Основной».
• Агент молчит — панель раз в час сама смотрит список снимков в его репозиториях. Найдёт снимок новее известного — посчитает потерю по нему.

Число не говорит, полный ли бэкап. Если в последний бэкап не попала база, число может быть маленьким, но сервер будет «Критично» со строкой «… не попадает в бэкап». Подробно — неполный бэкап.

Норма и профили

Норма — насколько старой может быть последняя копия, чтобы всё было в порядке. Её задаёт профиль частоты в плане защиты, блок «Как часто». Профиль один на весь сервер.

Норма больше интервала: в неё входит время на сбор и отправку бэкапа и небольшие задержки. Норма — не обещание, а порог, после которого ЛК начинает предупреждать.

Цвет числа:

• обычный — копия не старше нормы;
• оранжевый — старше нормы, но не старше двух норм;
• красный — старше двух норм.

Когда копия «отстаёт»

Это про каждое хранилище отдельно — строка рядом с его именем у сервера:

На странице сервера рядом бывает «не сохранено 36 бэкапов подряд» и причина: код ответа S3 или строка restic. Почему именно отстаёт — в подсказке полоски истории и в журнале сервера.

Если копия в одном хранилище отстаёт, а в другом свежая, у сервера «Есть замечания»: данные есть, но одна из копий не обновляется.

Когда копии давно нет

Если ни в одном доступном хранилище нет копии не старше двух норм, сервер «Критично»: «Нет свежего бэкапа ни в одном хранилище: последний 26 ч назад». Копия в отдельном хранилище при этом по-прежнему подписана «отстаёт на …».

Что делать: откройте журнал сервера и посмотрите последние ошибки. Частые причины — агент не на связи, нет доступа к хранилищу, кончилось место в staging на сервере. После исправления можно не ждать расписания — «Бэкап сейчас».

Почему потеря бывает больше интервала

• Между бэкапами число растёт. При бэкапе раз в 6 часов перед следующим запуском потеря — почти 6 часов, и это нормально.
• Бэкап идёт не мгновенно. Пока он собирается и уходит в хранилище, число продолжает расти: перед тем как ляжет новая копия, потеря — интервал плюс длительность бэкапа.
• Запуски слегка сдвинуты. У каждого сервера постоянный сдвиг до 2 минут, чтобы серверы не начинали разом.
• Настройки отправки. Окно «Ночью, 01:00–06:00» — днём копия в этом хранилище отстаёт до ночи. Ограничение скорости — бэкап уходит дольше; если не успевает до следующего, отправляется последний готовый.
• Сбои. Хранилище было недоступно, рвалась сеть, агент молчал, сервер перезагружался — копия не легла и ждёт следующего бэкапа или повтора.
• Бэкап дольше интервала. Тогда у сервера замечание «Бэкап идёт 28 мин при расписании раз в 30 мин»: стоит выбрать профиль реже или разобраться, что занимает время.