strace для мониторинга активности Dockerized приложений

Проблема с вашей комбинацией command+strace заключается в том, что у docker есть модель клиент/сервер, а ваш docker run представляет клиентскую сторону транзакции REST API, чтобы попросить демона docker запустить контейнер Apache от вашего имени. . В зависимости от того, как настроен ваш клиент, этот контейнер может даже не работать в той же системе, в которой вы вводите команду docker run.

Однако в самом простом случае, когда клиент Docker и демон находятся в одной системе, вы можете использовать ps найти PID работающего сервера Apache и использовать strace для присоединения и отслеживания уже запущенного процесса, если этого достаточно. для ваших потребностей в отслеживании.

Учитывая, что мне пришлось отлаживать несколько проблем с ранним запуском с помощью «runc», исполнителя для контейнеров в версии докера 1.11 и выше, я также создал небольшую оболочку для docker-runc, которая strace является процессом контейнера с самого начала (извне системы, поэтому strace не требуется в файловой системе контейнера). Вы можете найти его здесь, на GitHub, хотя справедливо предупреждаю, что он несколько глючит для регулярного использования, так как я считаю, что вызов оболочки + strace мешает некоторой передаче сигналов между containerd и реальным docker-runc и связанными процессами. Более элегантным решением могло бы быть создание варианта runc, который знает, как добавить перед фактическим началом содержащегося процесса оболочку strace, а не перехватывать весь вызов runc в strace.

Взгляните на решение, описанное в https://medium.com/@rothgar/how-to-debug-a-running-docker-container-from-a-separate-container-983f11740dc6, в котором рассказывается, как запустить контейнер с установленным strace, который находится в том же пространстве имен pid и network, что и контейнер/процесс, для которого вы хотите запустить strace.

Это хорошо, поскольку означает, что вам не нужно устанавливать strace в контейнере, который вы хотите отлаживать.

Суть его в том, что при отладке контейнера (caddy в приведенном ниже примере) вы запускаете док-контейнер под названием strace с установленными соответствующими инструментами:

docker run -t --pid=container:caddy \
  --net=container:caddy \
  --cap-add sys_admin \
  --cap-add sys_ptrace \
  strace

Предполагая, что вы сделаете это при сборке контейнера strace, у вас теперь будет оболочка с соответствующими инструментами, из которой вы сможете запустить ps и увидеть процесс в контейнере caddy, а также запустить против него strace.

Вы будете в другом контейнере с другой файловой системой, но вы можете видеть файловое пространство целевого контейнера в /prof/$PID/root.

Мне только что удалось найти контейнер докеров, выполнив следующие действия:

1. Выясните, на каком образе дистрибутива основан контейнер, затем получите двоичный файл strace из этого дистрибутива, например. установив соответствующий дистрибутив из контейнера, созданного для этой цели.

2. Скопируйте двоичный файл strace в том, который вы можете подключить к контейнеру.

3. Также создайте небольшой сценарий оболочки-оболочки с именем entry.sh, который содержит ваш вызов strace. В моем случае я написал это так:

   #!/bin/sh
   exec /path/to/strace -ff -o /path/to/dumps /bin/bash /original/entrypoint
   

   Предполагается, что исходная точка входа, которую вы читаете из Dockerfile образа, который хотите отладить, начинается с #!/bin/bash. Убедитесь, что вы установили бит выполнения этого скрипта и поместите его туда, где вы также разместили двоичный файл strace.

4. Запустите докер с помощью такой команды:

   docker run -v $PWD/shared:/path/to \
              --entrypoint="/path/to/entry.sh" \
              --cap-add SYS_PTRACE \
              image-name
   

Смонтированный том сделает strace и entry.sh доступными внутри докера. Точка входа выполнит вызов strace перед вызовом фактической точки входа. Это потенциально может вызвать некоторые проблемы с тем, что strace сам станет pid 1 в контейнере и не сможет собрать дочерние элементы. Если это проблема, лучше использовать другой подход, подобный предложенному Филом. Наконец, эта добавленная возможность сообщает докеру, что можно начинать трассировку процессов. В противном случае вы получите сообщения об ошибках, например

strace: …: PTRACE_TRACEME doesn't work: Operation not permitted

На самом деле указание на эту настройку возможности является причиной, по которой я пишу свой ответ. Я уже сделал шаги, кроме этого флага, и, ища там решение, я нашел и этот вопрос здесь, и запись в блоге Джона Гулы, содержащая эту информацию. Для полноты картины я думаю, что здесь следует упомянуть и флаг. Еще не пробовал подход Фила, поэтому я определенно не утверждаю, что мой подход лучше того, что он предложил. Я предполагаю, что это может работать легче в системах, где вы не хотите связываться с демоном докера.

мы можем добавить параметр --security-opt=seccomp:unconfined

Я пробовал, работает хорошо!!

docker run -it   --security-opt=seccomp:unconfined  centos:7 /bin/bash

yum install strace
strace ls

execve("/usr/bin/ls", ["ls"], [/* 8 vars */]) = 0
brk(NULL)                               = 0x1d0a000
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 
0) = 0x7ffb588da000
access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or 
directory)
open("/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3

см.: http://johntellsall.blogspot.com/2016/10/tip-use-strace-to-debug-issues-inside.html

попробуйте запустить Apache docker run -D -P apache и подключиться внутри docker exec -it container_id bash, а затем strace вашего процесса Apache.