Инструментирование CPython с помощью DTrace и SystemTap¶
- автор:
Дэвид Малкольм
- автор:
Лукаш Ланга
DTrace и SystemTap - это инструменты мониторинга, каждый из которых предоставляет возможность проверить, что делают процессы в компьютерной системе. Оба они используют языки, специфичные для конкретного домена, позволяющие пользователю писать скрипты, которые:
Фильтр, с помощью которого можно наблюдать за процессами
собирать данные об интересующих процессах
создавать отчеты по полученным данным
Начиная с Python 3.6, CPython может быть построен со встроенными «маркерами», также известными как «зонды», которые могут быть замечены скриптом DTrace или SystemTap, что облегчает мониторинг того, что делают процессы CPython в системе.
Детали реализации CPython: Маркеры DTrace - это детали реализации интерпретатора CPython. Не дается никаких гарантий совместимости маркеров между версиями CPython. Скрипты DTrace могут перестать работать или работать некорректно без предупреждения при смене версии CPython.
Включение статических маркеров¶
macOS поставляется со встроенной поддержкой DTrace. В Linux, чтобы собрать CPython со встроенными маркерами для SystemTap, необходимо установить средства разработки SystemTap.
На машине Linux это можно сделать с помощью:
$ yum install systemtap-sdt-devel
или:
$ sudo apt-get install systemtap-sdt-dev
В этом случае CPython должен быть configured with the --with-dtrace option
:
checking for --with-dtrace... yes
В macOS список доступных зондов DTrace можно получить, запустив в фоновом режиме процесс Python и перечислив все зонды, доступные провайдером Python:
$ python3.6 -q &
$ sudo dtrace -l -P python$! # or: dtrace -l -m python3.6
ID PROVIDER MODULE FUNCTION NAME
29564 python18035 python3.6 _PyEval_EvalFrameDefault function-entry
29565 python18035 python3.6 dtrace_function_entry function-entry
29566 python18035 python3.6 _PyEval_EvalFrameDefault function-return
29567 python18035 python3.6 dtrace_function_return function-return
29568 python18035 python3.6 collect gc-done
29569 python18035 python3.6 collect gc-start
29570 python18035 python3.6 _PyEval_EvalFrameDefault line
29571 python18035 python3.6 maybe_dtrace_line line
В Linux вы можете проверить наличие статических маркеров SystemTap в собранном бинарном файле, посмотрев, содержит ли он секцию «.note.stapsdt».
$ readelf -S ./python | grep .note.stapsdt
[30] .note.stapsdt NOTE 0000000000000000 00308d78
Если вы собрали Python как общую библиотеку (с опцией --enable-shared
configure), то искать нужно внутри общей библиотеки. Например:
$ readelf -S libpython3.3dm.so.1.0 | grep .note.stapsdt
[29] .note.stapsdt NOTE 0000000000000000 00365b68
Достаточно современный Readelf может распечатать метаданные:
$ readelf -n ./python
Displaying notes found at file offset 0x00000254 with length 0x00000020:
Owner Data size Description
GNU 0x00000010 NT_GNU_ABI_TAG (ABI version tag)
OS: Linux, ABI: 2.6.32
Displaying notes found at file offset 0x00000274 with length 0x00000024:
Owner Data size Description
GNU 0x00000014 NT_GNU_BUILD_ID (unique build ID bitstring)
Build ID: df924a2b08a7e89f6e11251d4602022977af2670
Displaying notes found at file offset 0x002d6c30 with length 0x00000144:
Owner Data size Description
stapsdt 0x00000031 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: gc__start
Location: 0x00000000004371c3, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf6
Arguments: -4@%ebx
stapsdt 0x00000030 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: gc__done
Location: 0x00000000004374e1, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf8
Arguments: -8@%rax
stapsdt 0x00000045 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: function__entry
Location: 0x000000000053db6c, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6be8
Arguments: 8@%rbp 8@%r12 -4@%eax
stapsdt 0x00000046 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: function__return
Location: 0x000000000053dba8, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bea
Arguments: 8@%rbp 8@%r12 -4@%eax
Приведенные выше метаданные содержат информацию для SystemTap, описывающую, как он может исправлять стратегически расположенные инструкции машинного кода, чтобы включить крючки трассировки, используемые сценарием SystemTap.
Статические зонды DTrace¶
Следующий пример сценария DTrace можно использовать для отображения иерархии вызовов/возвратов сценария Python, отслеживая только вызовы функции с именем «start». Другими словами, вызовы функций во время импорта в список не попадут:
self int indent;
python$target:::function-entry
/copyinstr(arg1) == "start"/
{
self->trace = 1;
}
python$target:::function-entry
/self->trace/
{
printf("%d\t%*s:", timestamp, 15, probename);
printf("%*s", self->indent, "");
printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
self->indent++;
}
python$target:::function-return
/self->trace/
{
self->indent--;
printf("%d\t%*s:", timestamp, 15, probename);
printf("%*s", self->indent, "");
printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
}
python$target:::function-return
/copyinstr(arg1) == "start"/
{
self->trace = 0;
}
Его можно вызвать следующим образом:
$ sudo dtrace -q -s call_stack.d -c "python3.6 script.py"
Выходные данные выглядят следующим образом:
156641360502280 function-entry:call_stack.py:start:23
156641360518804 function-entry: call_stack.py:function_1:1
156641360532797 function-entry: call_stack.py:function_3:9
156641360546807 function-return: call_stack.py:function_3:10
156641360563367 function-return: call_stack.py:function_1:2
156641360578365 function-entry: call_stack.py:function_2:5
156641360591757 function-entry: call_stack.py:function_1:1
156641360605556 function-entry: call_stack.py:function_3:9
156641360617482 function-return: call_stack.py:function_3:10
156641360629814 function-return: call_stack.py:function_1:2
156641360642285 function-return: call_stack.py:function_2:6
156641360656770 function-entry: call_stack.py:function_3:9
156641360669707 function-return: call_stack.py:function_3:10
156641360687853 function-entry: call_stack.py:function_4:13
156641360700719 function-return: call_stack.py:function_4:14
156641360719640 function-entry: call_stack.py:function_5:18
156641360732567 function-return: call_stack.py:function_5:21
156641360747370 function-return:call_stack.py:start:28
Статические маркеры SystemTap¶
Низкоуровневый способ использования интеграции SystemTap - это прямое использование статических маркеров. Для этого необходимо явно указать содержащий их двоичный файл.
Например, этот сценарий SystemTap можно использовать для отображения иерархии вызовов/возвратов сценария Python:
probe process("python").mark("function__entry") {
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
printf("%s => %s in %s:%d\\n",
thread_indent(1), funcname, filename, lineno);
}
probe process("python").mark("function__return") {
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
printf("%s <= %s in %s:%d\\n",
thread_indent(-1), funcname, filename, lineno);
}
Его можно вызвать следующим образом:
$ stap \
show-call-hierarchy.stp \
-c "./python test.py"
Выходные данные выглядят следующим образом:
11408 python(8274): => __contains__ in Lib/_abcoll.py:362
11414 python(8274): => __getitem__ in Lib/os.py:425
11418 python(8274): => encode in Lib/os.py:490
11424 python(8274): <= encode in Lib/os.py:493
11428 python(8274): <= __getitem__ in Lib/os.py:426
11433 python(8274): <= __contains__ in Lib/_abcoll.py:366
где находятся колонны:
время в микросекундах с момента запуска скрипта
имя исполняемого файла
ПИД процесса
а остальная часть указывает на иерархию вызовов и возвратов по мере выполнения сценария.
Для сборки CPython --enable-shared
маркеры содержатся в общей библиотеке libpython, и точечный путь пробника должен отражать это. Например, эта строка из примера выше:
probe process("python").mark("function__entry") {
следует читать:
probe process("python").library("libpython3.6dm.so.1.0").mark("function__entry") {
(при условии наличия debug build версии CPython 3.6)
Доступные статические маркеры¶
- function__entry(str filename, str funcname, int lineno)
Этот маркер указывает на то, что началось выполнение функции Python. Он срабатывает только для функций чистого Python (байткода).
Имя файла, имя функции и номер строки передаются скрипту трассировки в качестве позиционных аргументов, доступ к которым должен осуществляться через
$arg1
,$arg2
,$arg3
:$arg1
:(const char *)
имя файла, доступное с помощьюuser_string($arg1)
$arg2
: имя функции(const char *)
, доступное с помощьюuser_string($arg2)
$arg3
:int
номер строки
- function__return(str filename, str funcname, int lineno)
Этот маркер является обратным значением
function__entry()
и указывает на то, что выполнение функции Python завершилось (либо черезreturn
, либо через исключение). Он срабатывает только для функций чистого Python (байткода).Аргументы те же, что и для
function__entry()
.
- line(str filename, str funcname, int lineno)
Этот маркер указывает на то, что строка Python вот-вот будет выполнена. Это эквивалентно построчной трассировке в профилировщике Python. Он не срабатывает внутри функций C.
Аргументы те же, что и для
function__entry()
.
- gc__start(int generation)
Срабатывает, когда интерпретатор Python начинает цикл сборки мусора.
arg0
- это поколение для сканирования, как иgc.collect()
.
- gc__done(long collected)
Выполняется, когда интерпретатор Python завершает цикл сборки мусора.
arg0
- количество собранных объектов.
- import__find__load__start(str modulename)
Срабатывает перед тем, как
importlib
попытается найти и загрузить модуль.arg0
- это имя модуля.Added in version 3.7.
- import__find__load__done(str modulename, int found)
Срабатывает после вызова функции find_and_load модуля
importlib
.arg0
- это имя модуля,arg1
указывает, был ли модуль успешно загружен.Added in version 3.7.
- audit(str event, void *tuple)
Срабатывает при вызове события
sys.audit()
илиPySys_Audit()
.arg0
- имя события в виде строки C,arg1
- указательPyObject
на объект кортежа.Added in version 3.8.
Краны SystemTap¶
Более высокоуровневый способ использования интеграции SystemTap - это использование «tapset»: эквивалент библиотеки SystemTap, который скрывает некоторые детали нижнего уровня статических маркеров.
Здесь представлен файл tapset, основанный на нераспространенной сборке CPython:
/*
Provide a higher-level wrapping around the function__entry and
function__return markers:
\*/
probe python.function.entry = process("python").mark("function__entry")
{
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
frameptr = $arg4
}
probe python.function.return = process("python").mark("function__return")
{
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
frameptr = $arg4
}
Если этот файл установлен в директории tapset SystemTap (например, /usr/share/systemtap/tapset
), то эти дополнительные пробные точки становятся доступными:
- python.function.entry(str filename, str funcname, int lineno, frameptr)
Эта точка зондирования указывает на то, что началось выполнение функции Python. Она срабатывает только для функций чистого Python (байткода).
- python.function.return(str filename, str funcname, int lineno, frameptr)
Эта точка зондирования является обратной точкой
python.function.return
и указывает на то, что выполнение функции Python завершилось (либо черезreturn
, либо через исключение). Она срабатывает только для функций чистого Python (байткода).
Примеры¶
Этот скрипт SystemTap использует приведенный выше tapset для более чистой реализации приведенного выше примера трассировки иерархии вызовов функций Python, без необходимости напрямую называть статические маркеры:
probe python.function.entry
{
printf("%s => %s in %s:%d\n",
thread_indent(1), funcname, filename, lineno);
}
probe python.function.return
{
printf("%s <= %s in %s:%d\n",
thread_indent(-1), funcname, filename, lineno);
}
Следующий скрипт использует приведенный выше тапсет для получения вида сверху всего выполняющегося кода CPython, показывая 20 наиболее часто вводимых кадров байткода, каждую секунду, по всей системе:
global fn_calls;
probe python.function.entry
{
fn_calls[pid(), filename, funcname, lineno] += 1;
}
probe timer.ms(1000) {
printf("\033[2J\033[1;1H") /* clear screen \*/
printf("%6s %80s %6s %30s %6s\n",
"PID", "FILENAME", "LINE", "FUNCTION", "CALLS")
foreach ([pid, filename, funcname, lineno] in fn_calls- limit 20) {
printf("%6d %80s %6d %30s %6d\n",
pid, filename, lineno, funcname,
fn_calls[pid, filename, funcname, lineno]);
}
delete fn_calls;
}