Olvery

Документация к платформе «Olvery»

Инструменты пользователя

Инструменты сайта


runbooks:tpark-it-reconcile-test

Это старая версия документа!


Runbook: восстановление tpark-it.* после boot тестового srv-app.olvr

Область: только тестовый srv-app.olvr. На production это решение не распространяется.

Источник и решение: OLV-4169, Card 80NT (причинный разбор YiyxBP, решение Бориса 9fsxOA, позиция архитектора MA1sXZ). Эксплуатационное закрепление — Card a0V6. Существующий reconciler принят штатным механизмом; требование «без infra-reconciler» снято.

Причина и механизм

Standalone-контейнеры tpark-it.*, созданные через docker run –restart=always, подключены к swarm-overlay. При boot dockerd делает одну попытку их запуска после инициализации swarm. Если attach к overlay не завершился, процесс приложения не запускается: контейнер остаётся Exited с exit 255 и RestartCount=0; повтор этой boot-попытки не выполняется. Retry RabbitMQ/БД внутри приложения этот отказ не устраняет.

Существующий владелец восстановления:

  • unit: /etc/systemd/system/tpark-it-reconcile.service;
  • script: /usr/local/sbin/tpark-it-reconcile.sh, интерпретатор /bin/bash;
  • After=docker.service network-online.target, Requires=docker.service;
  • Type=oneshot, RemainAfterExit=yes, TimeoutStartSec=600;
  • включён в multi-user.target; 24 раунда с паузой 15 секунд, только Exited-контейнеры по name=^/tpark-it..

Историческое наблюдение сохранено в 80NT/YiyxBP: boot 07.09.2026, dockerd не запустил четыре контейнера из-за сетевого attach; reconciler поднял их в 20:08:28–34. Это уже полученное evidence, а не новый тест. Специальная перезагрузка или restart Docker для квалификации не нужны.

SSH-маршрут Olvery test

Прямой маршрут — root@srv-app.olvr, без перехода через gw1. Используйте собственный разрешённый project SSH key и существующий OpenSSH known_hosts своего operator; чужую .ssh не изменяйте.

Перед командой задайте PROJECT_SSH_KEY как путь к своему ключу, а PROJECT_KNOWN_HOSTS — как путь к существующему carrier с разрешённой записью этого target:

: "${PROJECT_SSH_KEY:?Укажите путь к собственному project SSH key}"
: "${PROJECT_KNOWN_HOSTS:?Укажите существующий OpenSSH known_hosts}"
ssh -F /dev/null -i "$PROJECT_SSH_KEY" \
  -o BatchMode=yes -o ConnectTimeout=10 \
  -o StrictHostKeyChecking=yes \
  -o UserKnownHostsFile="$PROJECT_KNOWN_HOSTS" \
  root@srv-app.olvr 'hostname'

Точный сохранённый пример: zIBX/fP8y5V, 01.10.2026 23:40:25 UTC; исполнитель использовал собственные /home/zIBX/.ssh/id_ed25519 и /home/zIBX/.ssh/known_hosts-Z0Ix. Эти пути — provenance выполненной команды, не инструкция создавать отдельный реестр или использовать чужие файлы. Успешный прямой маршрут со строгой проверкой закреплён в Z0Ix/ojhIxI от 01.10.2026 23:59:05 UTC.

Наблюдённый ED25519 fingerprint: SHA256:Ge9TS9DP0M09BK4unYE8GbV3v0ni7ZmjfKv3IqzKbNQ.

Применение переданной публичной записи для test разрешено РП OLVR: zIBX/USeeDT, 01.10.2026 23:39:06 UTC. Это разрешение применения, не независимое подтверждение подлинности хоста. Происхождение первоначального доверия остаётся неизвестным; строгая проверка закреплённого ключа эту границу не снимает. Отдельное независимое подтверждение не является условием этой документационной записи.

При отсутствующей записи, изменившемся ключе или отказе авторизации остановиться на штатном отказе SSH и передать РП OLVR точный недостающий вход. Не отключать host-key checking, не принимать новый ключ автоматически и не заменять имеющийся. Carrier проверки — OpenSSH known_hosts; fingerprint здесь — датированный evidence, а не второй реестр доверия.

Запись сохранена в Card Kt2U. Нового подключения для её публикации не выполнялось. Она относится только к test; vIup проверяет другой target — production srv-prod-app.olvr — и не является prerequisite этого маршрута.

Адресная проверка (read-only)

Выполнять с операционного рабочего места с разрешённым SSH-доступом; сначала подтвердить exact host:

ssh -o BatchMode=yes -o ConnectTimeout=10 root@srv-app.olvr 'hostname'
ssh root@srv-app.olvr 'systemctl cat tpark-it-reconcile.service'
ssh root@srv-app.olvr 'systemctl is-enabled tpark-it-reconcile.service'
ssh root@srv-app.olvr 'systemctl show tpark-it-reconcile.service -p ActiveState -p SubState -p Result -p After'
ssh root@srv-app.olvr 'cat /usr/local/sbin/tpark-it-reconcile.sh; /bin/bash -n /usr/local/sbin/tpark-it-reconcile.sh'
ssh root@srv-app.olvr 'docker ps -a --filter "name=^/tpark-it\." --format "{{.Names}} state={{.State}}"'
ssh root@srv-app.olvr 'docker ps -a --filter "name=^/tpark-it\." --filter status=exited --format "{{.Names}}"'
ssh root@srv-app.olvr 'journalctl -u tpark-it-reconcile.service -b --no-pager'

Нормальное состояние завершённого oneshot: enabled, active/exited, Result=success. active/exited у этого unit не означает Exited-контейнер.

Проверять именно состояния контейнеров: отсутствие строк с status=exited само по себе не доказывает, что все они running. Историческое wording «зависимость ещё не готова?» в логе скрипта не является диагностикой RabbitMQ/БД.

Восстановление существующим механизмом

Если на test после boot остались Exited tpark-it.*, сначала прочитать журнал Docker и reconciler. Когда Docker и сеть доступны, повторить уже существующий oneshot (это write-операция, не read-only проверка):

ssh root@srv-app.olvr 'systemctl restart tpark-it-reconcile.service'
ssh root@srv-app.olvr 'systemctl show tpark-it-reconcile.service -p ActiveState -p SubState -p Result; journalctl -u tpark-it-reconcile.service -b --no-pager; docker ps -a --filter "name=^/tpark-it\." --format "{{.Names}} state={{.State}}"'

Из-за RemainAfterExit=yes обычный start уже active unit не повторит выполнение; для повторного запуска нужен restart этого unit, не Docker. В a0V6 эта операция не выполнялась.

При ошибке unit или оставшихся non-running контейнерах сохранить время, имена и сетевую/стартовую диагностику без секретов, передать incident owner РП OLVR. Не менять данные, topology, olvery/cicd, backend retry; не создавать второй watchdog.

Observation и обратный ход

На ближайшем уже плановом reboot можно сохранить: время старта Docker, журнал reconciler, все tpark-it.* running не позже 6 минут после старта Docker без ручного вмешательства. Новая перезагрузка для этой работы не запрашивается.

Изменение a0V6 — только комментарий-обоснование скрипта; исполняемая логика и unit не изменены. Откат — восстановить прежний комментарий по diff и before-state в handoff a0V6, проверить /bin/bash -n. Перезапуск/daemon-reload не требуется. Не отключать принятый механизм как «откат документации».

Этот runbook не хранит копию исполняемого скрипта: фактический source поведения остаётся на указанном host, решения и датированное evidence — в Cards.

runbooks/tpark-it-reconcile-test.1790900837.txt.gz · Последнее изменение: — Boris Rudakov

Если не указано иное, содержимое этой вики предоставляется на условиях следующей лицензии: GNU Free Documentation License 1.3
GNU Free Documentation License 1.3 Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki