Я мог бы найти много ответов в Интернете, используя sparklyr или используя различные искровые пакеты, которые на самом деле требуют разворота искрового кластера, который является накладными расходами. В python я мог бы найти способ сделать это, используя "pandas.read_parquet" или стрелку Apache в python - я ищу что-то похожее на это.
