Хотите преобразовать некоторый R-код в Sparklyr, такие функции, как lmtest:: coeftest() и sandwich:: sandwich(). Попытка начать работу с расширениями Sparklyr, но довольно новая для API Spark и возникла проблема: (
Запуск Spark 2.1.1 и sparklyr 0.5.5-9002
Полагаем, что первым шагом было бы сделать объект DenseMatrix, используя библиотеку linalg:
library(sparklyr)
library(dplyr)
sc <- spark_connect("local")
rows <- as.integer(2)
cols <- as.integer(2)
array <- c(1,2,3,4)
mat <- invoke_new(sc, "org.apache.spark.mllib.linalg.DenseMatrix",
rows, cols, array)
Это приводит к ошибке:
Error: java.lang.Exception: No matched constructor found for class org.apache.spark.mllib.linalg.DenseMatrix
Хорошо, поэтому я получил исключение java lang, я уверен, что аргументы rows
и cols
были хороши в конструкторе, но не были уверены в последнем, который должен быть java Array
. Поэтому я попробовал несколько перестановок:
array <- invoke_new(sc, "java.util.Arrays", c(1,2,3,4))
но в итоге появится аналогичное сообщение об ошибке...
Error: java.lang.Exception: No matched constructor found for class java.util.Arrays
Я чувствую, что мне не хватает чего-то довольно простого. Кто-нибудь знает что?