Использование Python AST для обхода кода и извлечения операторов возврата
У меня есть скрипт Python, который я пытаюсь «декодировать», чтобы можно было преобразовать его в XML-файл, но для этого упражнения я просто пытаюсь разобраться с использованием ast.walk() и узнать, как лучше всего его получить. информация из него. Ниже приведена очень простая функция, которую я написал в simple_if.py, и я пытаюсь извлечь имя функции и возвращаемые операторы в виде списка по порядку.
def if_else(abc):
if abc > 0:
return "Hello"
elif abc < 0:
return "Goodbye"
return "Neither Hello Nor Goodbye"
Когда я помещаю приведенное выше в файл и запускаю на нем приведенные ниже функции ast, вот так
with open("simple_if.py", "r", encoding = "utf-8") as ast_tree_walker
tree = ast.parse(ast_tree_walker.read())
expList = []
counter = 0
for node in ast.walk(tree):
print(node)
if isInstance(node, ast.FunctionDef) and counter == 0:
expList.append(node.__dict__["name"]
counter = 1 # this adds the functiona name if_else to the list
print(node.__dict__)
Вышеупомянутое дало бы терминальный вывод узлов, диктовок и аргументов, но единственное, что мне удалось сделать, это извлечь имя функции, поскольку это первый узел в дереве, не являющийся модулем. Я знаю, что выбрасываю все, что «хочу», но мне не ясно, как мне следует отслеживать порядок, например, «Ни привет, ни до свидания» появится перед «Привет» или «До свидания», и хотя я предполагаю, что потому что с точки зрения дерева окончательный возврат находится на том же уровне, что и оператор if, мне неясно, как я могу поддерживать порядок (если вообще). По сути, кто-нибудь знает, как я могу вернуть список ["if_else", "Привет", "До свидания", "Ни привет, ни до свидания"]? На каком-то уровне я чувствую, что это глупая затея, но в поисках знаний я задаюсь вопросом, как это сделать.
Нюансированный вопрос, приведенный выше, отображает типы:
<ast.Module object at (random token string that I won't write)>, <ast.FunctionDef object at >, <ast.If object at >, <ast.Return object at >...
Когда я сталкиваюсь с объектом «<ast.If at>», должен ли я напрямую войти в ключ «body» или каким-то образом просто подождать, пока этот дочерний узел не будет посещен, а затем извлечь информацию?
#children of ast.If
{'test': <ast.Compare object at>, 'body" <ast.Return object at >, 'orelse': [<ast.If object at>, 'lineno':2, 'col_offset':7}
В любом случае порядок трёх returns не имеет смысла — их можно записать в любом порядке, просто изменив условия в if и elif.
Джейсон, я согласен, что в приведенном выше примере я мог бы переместить if/else/returns, чтобы задать другой порядок, но я хочу сохранить порядок, перейдя «прямо» вниз (dfs), и меня смутила документация, которая .walk() подразумевал, что узлы будут располагаться в случайном порядке, но, как правильно указывает ответ ниже, реализация - bfs (а также указывает мне на применение dfs). Я думаю, что большая часть моей путаницы была в документации, которая была неправильно указана.
Ответы 1
Хотя документация утверждает, что ast.walk генерирует узлы «в произвольном порядке» и даже ошибочно характеризует его поведение как «Рекурсивно возвращать все узлы-потомки...», беглый взгляд на исходный код показывает, что он действительно работает простой обход в ширину путем итеративного создания дочерних узлов в очереди:
def walk(node):
"""
Recursively yield all descendant nodes in the tree starting at *node*
(including *node* itself), in no specified order. This is useful if you
only want to modify nodes in place and don't care about the context.
"""
from collections import deque
todo = deque([node])
while todo:
node = todo.popleft()
todo.extend(iter_child_nodes(node))
yield node
Таким образом, узел для return "Neither Hello Nor Goodbye" создается раньше узла для return "Hello", потому что первый является непосредственным дочерним элементом def if_else(...), а второй является дочерним элементом своего дочернего элемента.
Чтобы создать узлы в желаемом порядке глубины, вы можете вместо этого написать собственную функцию рекурсивного обхода узлов:
import ast
def dfs_walk(node):
yield node
for child in ast.iter_child_nodes(node):
yield from dfs_walk(child)
так что:
tree = ast.parse('''\
def if_else(abc):
if abc > 0:
return "Hello"
elif abc < 0:
return "Goodbye"
return "Neither Hello Nor Goodbye"
''')
expList = []
for node in dfs_walk(tree):
if isinstance(node, ast.FunctionDef):
expList.append(node.name)
elif isinstance(node, ast.Return):
expList.append(node.value.value)
print(expList)
выходы:
['if_else', 'Hello', 'Goodbye', 'Neither Hello Nor Goodbye']
Демо здесь
В документации
ast.walk()говорится, что узлы не расположены в каком-то определенном порядке.