Как открыть этот XML файл для создания dataframe в Python?

Ответ 1

XML - это древовидная структура, а Pandas DataFrame - это 2D-табличная структура. Таким образом, нет автоматического способа конвертировать между ними. Вы должны понимать структуру XML и знать, как вы хотите сопоставить свои данные с 2D-таблицей. Таким образом, каждая проблема XML-to-DataFrame отличается.

В вашем XML есть 2 набора данных, каждый из которых содержит несколько рядов. Каждая серия содержит несколько элементов Obs.

Каждая серия имеет атрибут NAME, и каждый Obs имеет атрибуты OBS_STATUS, TIME_PERIOD и OBS_VALUE. Поэтому, возможно, было бы разумно создать таблицу с столбцами NAME, OBS_STATUS, TIME_PERIOD и OBS_VALUE.

Я нашел, что вытащить нужные данные из XML немного сложно, что делает меня сомнительным, что я нашел лучший способ сделать это. Но вот один из способов (идея PS Томас Мэлони начать с 2D-табличных данных XLS должна быть проще):

import lxml.etree as ET
import pandas as pd

path = 'feds200628.xml'

def fast_iter(context, func, *args, **kwargs):
    """
    http://lxml.de/parsing.html#modifying-the-tree
    Based on Liza Daly fast_iter
    http://www.ibm.com/developerworks/xml/library/x-hiperfparse/
    See also http://effbot.org/zone/element-iterparse.htm
    http://stackoverflow.com/a/7171543/190597 (unutbu)
    """
    for event, elem in context:
        func(elem, *args, **kwargs)
        # It safe to call clear() here because no descendants will be
        # accessed
        elem.clear()
        # Also eliminate now-empty references from the root node to elem
        for ancestor in elem.xpath('ancestor-or-self::*'):
            while ancestor.getprevious() is not None:
                del ancestor.getparent()[0]
    del context

data = list()
obs_keys = ['OBS_STATUS', 'TIME_PERIOD', 'OBS_VALUE']
columns = ['NAME'] + obs_keys

def process_obs(elem, name):
    dct = elem.attrib
    # print(dct)
    data.append([name] + [dct[key] for key in obs_keys])

def process_series(elem):
    dct = elem.attrib
    # print(dct)
    context = ET.iterwalk(
        elem, events=('end', ),
        tag='{http://www.federalreserve.gov/structure/compact/common}Obs'
        )
    fast_iter(context, process_obs, dct['SERIES_NAME'])

def process_dataset(elem):
    nsmap = elem.nsmap
    # print(nsmap)
    context = ET.iterwalk(
        elem, events=('end', ),
        tag='{{{prefix}}}Series'.format(prefix=elem.nsmap['kf'])
        )
    fast_iter(context, process_series)

with open(path, 'rb') as f:
    context = ET.iterparse(
        f, events=('end', ),
        tag='{http://www.federalreserve.gov/structure/compact/common}DataSet'
        )
    fast_iter(context, process_dataset)
    df = pd.DataFrame(data, columns=columns)

дает

            NAME OBS_STATUS TIME_PERIOD   OBS_VALUE
0        SVENY01          A  1961-06-14      2.9825
1        SVENY01          A  1961-06-15      2.9941
2        SVENY01          A  1961-06-16      3.0012
3        SVENY01          A  1961-06-19      2.9949
4        SVENY01          A  1961-06-20      2.9833
5        SVENY01          A  1961-06-21      2.9993
6        SVENY01          A  1961-06-22      2.9837
...
1029410     TAU2          A  2014-09-19  3.72896779
1029411     TAU2          A  2014-09-22  3.12836171
1029412     TAU2          A  2014-09-23  3.20146575
1029413     TAU2          A  2014-09-24  3.29972110

Ответ 2

Я бы экспортировал файл в формате XLS в файл CSV (используя свободно доступную программу, такую ​​как Gnumeric или LibreOffice, или если она у вас есть, Excel), а затем прочитайте CSV файл в pandas. Я знаю, что это не совсем ответ на ваш последний вопрос, но синтаксический анализ XML - слишком сложное решение для того, что вы пытаетесь сделать.

Что касается синтаксического анализа XML в Python, библиотека lxml - это моя любимая библиотека. Я считаю использование языка запросов XPath вместе с парсером lxml лучшим маршрутом.

Ответ 3

В этом коде он преобразуется в df для этого типа файла XML Excel:

import pandas as pd
from xml.sax import ContentHandler, parse

# Reference https://goo.gl/KaOBG3
class ExcelHandler(ContentHandler):
    def __init__(self):
        self.chars = [  ]
        self.cells = [  ]
        self.rows = [  ]
        self.tables = [  ]
    def characters(self, content):
        self.chars.append(content)
    def startElement(self, name, atts):
        if name=="Cell":
            self.chars = [  ]
        elif name=="Row":
            self.cells=[  ]
        elif name=="Table":
            self.rows = [  ]
    def endElement(self, name):
        if name=="Cell":
            self.cells.append(''.join(self.chars))
        elif name=="Row":
            self.rows.append(self.cells)
        elif name=="Table":
            self.tables.append(self.rows)

excelHandler = ExcelHandler()
parse('feds200628.xls', excelHandler)
df1 = pd.DataFrame(excelHandler.tables[0][10:], columns=excelHandler.tables[0][9])
print df1.head()

Я не могу комментировать (низкая репутация), но ответ на этот вопрос о Как открыть файл Excel XML программно" (с помощью python и pandas), он должен работать.