Пакет Python ast: перемещение иерархии объектов

Ниже приведен фрагмент кода на Python с использованием ast и symtable пакеты. Я пытаюсь разобрать код и проверить типы. Но я не понимаю, как перемещаться объекты, чтобы перейти к фактической переменной ссылаясь на.

Следующий код реализует NodeVisitor, и функция представляется компилятору и анализируется компилятором, а ast ходит. Анализируемая функция (eval_types) передается по нескольким объектам.

Ниже приведены фрагменты кода, которые составляют пример. Я добавил несколько комментариев для каждого фрагмента. Чтобы запустить код, необходимо выполнить сборку "кусков".

Импортирует и выполняет функцию un-indent блока кода для синтаксического анализа.

import inspect
import ast
import symtable
from tokenize import generate_tokens, untokenize, INDENT
from cStringIO import StringIO

# _dedent borrowed from the myhdl package (www.myhdl.org)
def _dedent(s):
    """Dedent python code string."""

    result = [t[:2] for t in generate_tokens(StringIO(s).readline)]
    # set initial indent to 0 if any
    if result[0][0] == INDENT:
        result[0] = (INDENT, '')
    return untokenize(result)

Ниже представлен посетитель node, он имеет общие неподдерживаемые и переименованные посетителя.

class NodeVisitor(ast.NodeVisitor):
    def __init__(self, SymbolTable):
        self.symtable = SymbolTable
        for child in SymbolTable.get_children():
            self.symtable = child
            print(child.get_symbols())

    def _visit_children(self, node):
        """Determine if the node has children and visit"""
        for _, value in ast.iter_fields(node):
            if isinstance(value, list):
                for item in value:
                    if isinstance(item, ast.AST):
                        print('  visit item %s' % (type(item).__name__))
                        self.visit(item)

            elif isinstance(value, ast.AST):
                print('  visit value %s' % (type(value).__name__))
                self.visit(value)

    def generic_visit(self, node):
        print(type(node).__name__)
        self._visit_children(node)

    def visit_Name(self, node):
        print('  variable %s type %s' % (node.id,
                                         self.symtable.lookup(node.id)))
        print(dir(self.symtable.lookup(node.id)))

Ниже перечислены некоторые простые классы, которые будут использоваться в функции, которая будет анализироваться и анализироваться с помощью AST.

class MyObj(object):
    def __init__(self):
        self.val = None

class MyObjFloat(object):
    def __init__(self):
        self.x = 1.

class MyObjInt(object):
    def __init__(self):
        self.x = 1

class MyObjObj(object):
    def __init__(self):
        self.xi = MyObjInt()
        self.xf = MyObjFloat()

Ниже приведена тестовая функция, функция eval_types - это функция, которая будет анализироваться с помощью AST.

def testFunc(x,y,xo,z):

    def eval_types():
        z.val = x + y + xo.xi.x + xo.xf.x

    return eval_types

Код для выполнения примера, компиляция функции и анализ.

if __name__ == '__main__':
    z = MyObj()
    print(z.val)
    f = testFunc(1, 2, MyObjObj(), z)
    f()
    print(z.val)
    s = inspect.getsource(f)
    s = _dedent(s)
    print(type(s))
    print(s)

    SymbolTable = symtable.symtable(s,'string','exec')
    tree = ast.parse(s)
    v = NodeVisitor(SymbolTable)
    v.visit(tree)

Ниже приведен пример вывода до первого посещения имени.

Module
  visit item FunctionDef
FunctionDef
  visit value arguments
arguments
  visit item Assign
Assign
  visit item Attribute
Attribute
  visit value Name
  variable z type <symbol 'z'>
['_Symbol__flags', '_Symbol__name', '_Symbol__namespaces', 
 '_Symbol__scope', '__class__', '__delattr__', '__dict__', 
 '__doc__', '__format__', '__getattribute__', '__hash__', 
 '__init__', '__module__', '__new__', '__reduce__', '__reduce_ex__', 
 '__repr__', '__setattr__', '__sizeof__', '__str__', 
 '__subclasshook__', '__weakref__', 'get_name', 'get_namespace', 
 'get_namespaces', 'is_assigned', 'is_declared_global', 
 'is_free', 'is_global', 'is_imported', 'is_local', 
 'is_namespace', 'is_parameter', 'is_referenced']

Создание посетителя node не похоже на плохое, но я не могу понять как перемещаться по иерархии объектов. В общем случае переменная доступ к ним может быть глубоко погружен в объект. Как добраться до фактической переменной, доступной от посетителя? Я вижу только, что объект находится в node, но нет дополнительной информации о том, какой доступ к переменной результата.

Ответ 1

Я не знаю, продолжаете ли вы это искать, но похоже, что вам просто нужно добавить visit_Attribute и вернуться назад. Если вы добавите это в свой пример:

def visit_Attribute(self, node):
    print('  attribute %s' % node.attr)
    self._visit_children(node)

Тогда вывод для xo.xf.x:

Add
  visit value Attribute
  attribute x
  visit value Attribute
  attribute xf
  visit value Name
  variable xo type <symbol 'xo'>
  visit value Load

В зависимости от того, что вы хотите сделать с этим, вам просто нужно сохранить атрибуты в списке до тех пор, пока не встретится Name, а затем отмените их.