Есть ли способ построить объект с помощью PyYAML Construction_mapping после завершения загрузки всех узлов?

Я пытаюсь создать последовательность yaml в python, которая создает собственный объект python. Объект должен быть построен с помощью словарей и списков, которые деконструируются после __init__. Однако похоже, что функция convert_mapping не строит все дерево вложенных последовательностей (списков) и словарей.
Обратите внимание на следующее:

import yaml

class Foo(object):
    def __init__(self, s, l=None, d=None):
        self.s = s
        self.l = l
        self.d = d

def foo_constructor(loader, node):
    values = loader.construct_mapping(node)
    s = values["s"]
    d = values["d"]
    l = values["l"]
    return Foo(s, d, l)
yaml.add_constructor(u'!Foo', foo_constructor)

f = yaml.load('''
--- !Foo
s: 1
l: [1, 2]
d: {try: this}''')

print(f)
# prints: 'Foo(1, {'try': 'this'}, [1, 2])'

Это прекрасно работает, потому что f содержит ссылки на объекты l и d, которые фактически заполняются данными после создания объекта Foo.

Теперь давайте сделаем что-нибудь посложнее:

class Foo(object):
    def __init__(self, s, l=None, d=None):
        self.s = s
        # assume two-value list for l
        self.l1, self.l2 = l
        self.d = d

Теперь мы получаем следующую ошибку

Traceback (most recent call last):
  File "test.py", line 27, in <module>
    d: {try: this}''')
  File "/opt/homebrew/lib/python2.7/site-packages/yaml/__init__.py", line 71, in load
    return loader.get_single_data()
  File "/opt/homebrew/lib/python2.7/site-packages/yaml/constructor.py", line 39, in get_single_data
    return self.construct_document(node)
  File "/opt/homebrew/lib/python2.7/site-packages/yaml/constructor.py", line 43, in construct_document
    data = self.construct_object(node)
  File "/opt/homebrew/lib/python2.7/site-packages/yaml/constructor.py", line 88, in construct_object
    data = constructor(self, node)
  File "test.py", line 19, in foo_constructor
    return Foo(s, d, l)
  File "test.py", line 7, in __init__
    self.l1, self.l2 = l
ValueError: need more than 0 values to unpack

Это связано с тем, что конструктор yaml начинается с внешнего уровня вложенности и строит объект до того, как все узлы будут завершены. Есть ли способ изменить порядок и начать сначала с глубоко встроенных (например, вложенных) объектов? В качестве альтернативы, есть ли способ заставить построение происходить по крайней мере после загрузки объектов узла?


python yaml pyyaml
person scicalculator    schedule 18.10.2013    source источник

Ответы (3)


arrow_upward
31
arrow_downward

Ну, что же вы знаете. Решение, которое я нашел, было таким простым, но не так хорошо задокументировано.

В документации класса Loader ясно показано, что метод construct_mapping принимает только один параметр (node). Однако, подумав о написании собственного конструктора, я проверил исходный код и получил следующий ответ: здесь! Метод также принимает параметр deep (по умолчанию False).

def construct_mapping(self, node, deep=False):
    #...

Итак, правильный метод конструктора для использования:

def foo_constructor(loader, node):
    values = loader.construct_mapping(node, deep=True)
    #...

Я предполагаю, что PyYaml могла бы понадобиться дополнительная документация, но я благодарен, что она уже существует.

person scicalculator    schedule 18.10.2013
comment
Спасибо! Это спасло меня от выдергивания волос. - person ; 13.03.2015
comment
МОЙ БОГ! в конце концов ! Я бы поцеловал тебя за этот пост :-) - person Penbeuz; 12.01.2016
comment
@HendrikWiese Это та ссылка, которую вы ищете? Новая гиперссылка на Github - person scicalculator; 11.04.2018

arrow_upward
11
arrow_downward

tl;dr:
замените foo_constructor на тот, что указан в коде внизу этого ответа

Есть несколько проблем с вашим кодом (и вашим решением), давайте рассмотрим их шаг за шагом.

Код, который вы представляете, не будет печатать то, что он говорит в комментарии в нижней строке ('Foo(1, {'try': 'this'}, [1, 2])'), поскольку для Foo не определено __str__(), он печатает что-то вроде:

__main__.Foo object at 0x7fa9e78ce850

Это легко исправить, добавив в Foo следующий метод:

    def __str__(self):
        # print scalar, dict and list
        return('Foo({s}, {d}, {l})'.format(**self.__dict__))

и если вы затем посмотрите на вывод:

Foo(1, [1, 2], {'try': 'this'})

Это близко, но не то, что вы обещали в комментарии. list и dict поменялись местами, потому что в вашем foo_constructor() вы создаете Foo() с неправильным порядком параметров.
Это указывает на более фундаментальную проблему, которую ваш foo_constructor() должен знать о создаваемом им объекте< /сильный>. Почему это так? Это не просто порядок параметров, попробуйте:

f = yaml.load('''
--- !Foo
s: 1
l: [1, 2]
''')

print(f)

Можно было бы ожидать, что это напечатает Foo(1, None, [1, 2]) (со значением по умолчанию неуказанного аргумента ключевого слова d).
Вы получите исключение KeyError для d = value['d'].

Вы можете использовать get('d') и т. д. в foo_constructor(), чтобы решить эту проблему, но вы должны понимать, что для правильного поведения вы должны указать значения по умолчанию из вашего Foo.__init__() (которые в вашем случае просто None), для каждого параметра со значением по умолчанию:

def foo_constructor(loader, node):
    values = loader.construct_mapping(node, deep=True)
    s = values["s"]
    d = values.get("d", None)
    l = values.get("l", None)
    return Foo(s, l, d)

держать это в курсе, конечно, кошмар обслуживания.

Поэтому выбросьте весь foo_constructor и замените его чем-то, что больше похоже на то, как PyYAML делает это внутри:

def foo_constructor(loader, node):
    instance = Foo.__new__(Foo)
    yield instance
    state = loader.construct_mapping(node, deep=True)
    instance.__init__(**state)

Это обрабатывает отсутствующие (по умолчанию) параметры и не требует обновления, если значения по умолчанию для ваших аргументов ключевого слова изменяются.

Все это в полном примере, включая самореферентное использование объекта (всегда сложно):

class Foo(object):
    def __init__(self, s, l=None, d=None):
        self.s = s
        self.l1, self.l2 = l
        self.d = d

    def __str__(self):
        # print scalar, dict and list
        return('Foo({s}, {d}, [{l1}, {l2}])'.format(**self.__dict__))

def foo_constructor(loader, node):
    instance = Foo.__new__(Foo)
    yield instance
    state = loader.construct_mapping(node, deep=True)
    instance.__init__(**state)

yaml.add_constructor(u'!Foo', foo_constructor)

print(yaml.load('''
--- !Foo
s: 1
l: [1, 2]
d: {try: this}'''))
print(yaml.load('''
--- !Foo
s: 1
l: [1, 2]
'''))
print(yaml.load('''
&fooref
a: !Foo
  s: *fooref
  l: [1, 2]
  d: {try: this}
''')['a'])

дает:

Foo(1, {'try': 'this'}, [1, 2])
Foo(1, None, [1, 2])
Foo({'a': <__main__.Foo object at 0xba9876543210>}, {'try': 'this'}, [1, 2])

Это было протестировано с использованием ruamel.yaml (а я автор), который является расширенной версией PyYAML. Решение должно работать так же и для самого PyYAML.

person Anthon    schedule 18.02.2016
comment
Для тех, кто интересуется кровавыми подробностями о том, почему вам нужно выдать (частично) созданный экземпляр, посмотрите на constructor.py:BaseConstructor.construct_object() там выполняется тест, чтобы увидеть, возвращает ли зарегистрированный конструктор (т.е. foo_constructor()) GeneratorType, и предпринимаются соответствующие действия. - person Anthon; 18.02.2016

arrow_upward
2
arrow_downward

В дополнение к вашему собственному ответу, scicalculator: если вы не хотите запоминать этот флаг в следующий раз и/или хотите чтобы иметь более объектно-ориентированный подход, вы можете использовать yamlable, я написал это для облегчения привязка yaml к объекту для нашего производственного кода.

Вот как бы вы написали свой пример:

import yaml
from yamlable import YamlAble, yaml_info

@yaml_info(yaml_tag_ns="com.example")
class Foo(YamlAble):
    def __init__(self, s, l=None, d=None):
        self.s = s
        # assume two-value list for l
        self.l1, self.l2 = l
        self.d = d

    def __str__(self):
        return "Foo({s}, {d}, {l})".format(s=self.s, d=self.d, l=[self.l1, self.l2])

    def to_yaml_dict(self):
        """ override because we do not want the default vars(self) """
        return {'s': self.s, 'l': [self.l1, self.l2], 'd': self.d}

    # @classmethod
    # def from_yaml_dict(cls, dct, yaml_tag):
    #     return cls(**dct) 


f = yaml.safe_load('''
--- !yamlable/com.example.Foo
s: 1
l: [1, 2]
d: {try: this}''')

print(f)

урожаи

Foo(1, {'try': 'this'}, [1, 2])

и вы тоже можете сбросить:

>>> print(yaml.safe_dump(f))

!yamlable/com.example.Foo
d: {try: this}
l: [1, 2]
s: 1

Обратите внимание, как два метода to_yaml_dict и from_yaml_dict можно переопределить, чтобы настроить сопоставление в обоих направлениях.

person smarie    schedule 11.07.2018