Apache Hadoop setXIncludeAware UnsupportedOperationException

Я пытаюсь запустить Apache Hadoop 1.21, но я получаю это исключение:

Failed to set setXIncludeAware(true) for parser org.apache.xerces.jaxp.DocumentBuilderFactoryImpl
[email protected]:java.lang.UnsupportedOperationException

полная трассировка стека:

13/10/17 17:22:52 ERROR conf.Configuration: Failed to set setXIncludeAware(true) for parser [email protected]:java.lang.UnsupportedOperationException:  setXIncludeAware is not supported on this JAXP implementation or earlier: class org.apache.xerces.jaxp.DocumentBuilderFactoryImpl
java.lang.UnsupportedOperationException:  setXIncludeAware is not supported on this JAXP implementation or earlier: class org.apache.xerces.jaxp.DocumentBuilderFactoryImpl
    at javax.xml.parsers.DocumentBuilderFactory.setXIncludeAware(DocumentBuilderFactory.java:589)
    at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:1131)
    at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:1107)
    at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:1053)
    at org.apache.hadoop.conf.Configuration.get(Configuration.java:460)
    at org.apache.hadoop.fs.FileSystem.getDefaultUri(FileSystem.java:132)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:124)
    at main.JobExecutor.executeModelCreation(JobExecutor.java:223)
    at main.JobExecutor.main(JobExecutor.java:256)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:601)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:160)

Я искал решение почти три дня, я нашел несколько сайтов (например, этот: Hadoop "Не удалось установить setXIncludeAware (true) для parser" и как его решить), в котором предлагается добавить xerces и xalan в зависимости от maven. Были и другие веб-сайты, которые предлагали почти наоборот: удалите все ссылки на xerces из classpath. Но не из предлагаемых решений работает:(

Я также попытался поставить:

System.setProperty("javax.xml.parsers.DocumentBuilderFactory", "com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderFactoryImpl");

в мой код. Но это не помогло:(

Я использую Apache Hadoop 1.21, как я сказал, и JDK 1.7.0-17.

ОТВЕТЫ

Ответ 1

В моем случае это была устаревшая зависимость компонента Maven от xerces-impl 2.4.0 (из-за mockrunner 1.0.3, используемого на тестовой фазе). После выполнения управляемой зависимости, добавленной в раздел <dependencyManagemen>, вы помогли.

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>xerces</groupId>
            <artifactId>xercesImpl</artifactId>
            <version>2.11.0</version>
        </dependency>
    </dependencies>
</dependencyManagement>

Версия Hadoop была 2.3.0. Вот еще одна статья, в которой описывается аналогичная ситуация.

Ответ 2

Попробуйте пройти   -Djavax.xml.parsers.DocumentBuilderFactory = com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderFactoryImpl

в качестве командной строки arg. Может быть, вы не устанавливаете свойство достаточно рано?