Мне нужно проанализировать потенциально большие XML файлы, из которых схема уже предоставлена мне в нескольких файлах XSD, поэтому привязка XML очень приветствуется. Я хотел бы знать, могу ли я использовать JAXB для анализа файла в кусках, и если да, то как.
Может ли JAXB анализировать большие XML файлы в кусках
Ответ 1
Поскольку код имеет значение, вот PartialUnmarshaller
, который читает большой файл в куски. Его можно использовать таким образом new PartialUnmarshaller<YourClass>(stream, YourClass.class)
import javax.xml.bind.JAXBContext;
import javax.xml.bind.JAXBException;
import javax.xml.bind.Unmarshaller;
import javax.xml.stream.*;
import java.io.InputStream;
import java.util.List;
import java.util.NoSuchElementException;
import java.util.stream.Collectors;
import java.util.stream.IntStream;
import static javax.xml.stream.XMLStreamConstants.*;
public class PartialUnmarshaller<T> {
XMLStreamReader reader;
Class<T> clazz;
Unmarshaller unmarshaller;
public PartialUnmarshaller(InputStream stream, Class<T> clazz) throws XMLStreamException, FactoryConfigurationError, JAXBException {
this.clazz = clazz;
this.unmarshaller = JAXBContext.newInstance(clazz).createUnmarshaller();
this.reader = XMLInputFactory.newInstance().createXMLStreamReader(stream);
/* ignore headers */
skipElements(START_DOCUMENT, DTD);
/* ignore root element */
reader.nextTag();
/* if there no tag, ignore root element end */
skipElements(END_ELEMENT);
}
public T next() throws XMLStreamException, JAXBException {
if (!hasNext())
throw new NoSuchElementException();
T value = unmarshaller.unmarshal(reader, clazz).getValue();
skipElements(CHARACTERS, END_ELEMENT);
return value;
}
public boolean hasNext() throws XMLStreamException {
return reader.hasNext();
}
public void close() throws XMLStreamException {
reader.close();
}
void skipElements(int... elements) throws XMLStreamException {
int eventType = reader.getEventType();
List<Integer> types = asList(elements);
while (types.contains(eventType))
eventType = reader.next();
}
}
Ответ 2
Это подробно описано в руководстве пользователя. Загрузка JAXB из http://jaxb.java.net/ включает пример того, как анализировать один кусок за раз.
Когда документ большой, это обычно потому, что повторяющиеся частей в нем. Возможно, это покупка заказ с большим списком позиций, или, возможно, это файл журнала XML с большое количество записей журнала.
Этот вид XML подходит для Кусок обработки; основная идея заключается в том, чтобы использовать API StAX, запустить цикл и немаршали отдельные куски в отдельности. Ваша программа действует на одиночный кусок, а затем отбрасывает его. Таким образом, вы будете держать самый один кусок в памяти, что позволяет вы обрабатываете большие документы.
См. потоковое-unmarshalling пример и частичное разграничение пример в распределении RI JAXB для получения дополнительной информации о том, как это сделать. пример потоковой-разборки преимущество в том, что он может обрабатывать куски на произвольный уровень гнезда, но это требует вы имеете дело с моделью push - JAXB unmarshaller будет "толкать" новые вам нужно, и вам нужно будет обрабатывайте их прямо там.
Напротив, частичное разборчивость пример работает в модели pull ( обычно упрощает обработку), но этот подход имеет некоторые ограничения в частях привязки данных, отличных от повторный часть.
Ответ 3
Ответ Yves Amsellem довольно хорош, но работает только в том случае, если все элементы имеют одинаковый тип. В противном случае ваш unmarshall выдает исключение, но читатель уже потребляет байты, поэтому вы не сможете восстановить его. Вместо этого мы должны следовать совету Скаффмана и посмотреть на образец из банки JAXB.
Чтобы объяснить, как это работает:
- Создайте unmarshaller JAXB.
- Добавить прослушиватель в unmarshaller для перехвата соответствующих элементов. Это делается путем "взлома" массива ArrayList, чтобы гарантировать, что элементы не будут сохранены в памяти после их отмены.
- Создайте парсер SAX. Здесь происходит потоковое вещание.
- Используйте unmarshaller для создания обработчика для анализатора SAX.
- Поток!
Я изменил решение на общий *. Однако это потребовало некоторого размышления. Если это не все в порядке, просмотрите образцы кода в банках JAXB.
ArrayListAddInterceptor.java
import java.lang.reflect.Field;
import java.util.ArrayList;
public class ArrayListAddInterceptor<T> extends ArrayList<T> {
private static final long serialVersionUID = 1L;
private AddInterceptor<T> interceptor;
public ArrayListAddInterceptor(AddInterceptor<T> interceptor) {
this.interceptor = interceptor;
}
@Override
public boolean add(T t) {
interceptor.intercept(t);
return false;
}
public static interface AddInterceptor<T> {
public void intercept(T t);
}
public static void apply(AddInterceptor<?> interceptor, Object o, String property) {
try {
Field field = o.getClass().getDeclaredField(property);
field.setAccessible(true);
field.set(o, new ArrayListAddInterceptor(interceptor));
} catch (Exception e) {
throw new RuntimeException(e);
}
}
}
Main.java
public class Main {
public void parsePurchaseOrders(AddInterceptor<PurchaseOrder> interceptor, List<File> files) {
try {
// create JAXBContext for the primer.xsd
JAXBContext context = JAXBContext.newInstance("primer");
Unmarshaller unmarshaller = context.createUnmarshaller();
// install the callback on all PurchaseOrders instances
unmarshaller.setListener(new Unmarshaller.Listener() {
public void beforeUnmarshal(Object target, Object parent) {
if (target instanceof PurchaseOrders) {
ArrayListAddInterceptor.apply(interceptor, target, "purchaseOrder");
}
}
});
// create a new XML parser
SAXParserFactory factory = SAXParserFactory.newInstance();
factory.setNamespaceAware(true);
XMLReader reader = factory.newSAXParser().getXMLReader();
reader.setContentHandler(unmarshaller.getUnmarshallerHandler());
for (File file : files) {
reader.parse(new InputSource(new FileInputStream(file)));
}
} catch (Exception e) {
throw new RuntimeException(e);
}
}
}
* Этот код не был протестирован и предназначен только для иллюстративных целей.