Tenho dados de transmissão em tempo real que entram em faísca e eu gostaria de fazer uma previsão média móvel sobre esses dados de séries temporais. Existe alguma maneira de implementar isso usando uma faísca em Java Ive já mencionada. Gist. githubsamklr27411098f04fc46dcd05revisões e Apache Spark Moving Average, mas ambos esses códigos estão escritos em Scala. Como não estou familiarizado com Scala, não consigo julgar se eu acho útil ou até mesmo converter o código para Java. Existe alguma implementação direta de previsão em Spark Java perguntou 12 de agosto 15 em 12: 44 A média de migração é um problema complicado para Spark e qualquer sistema distribuído. Quando os dados estão espalhados por várias máquinas, haverá janelas de tempo que cruzam partições. Temos que duplicar os dados no início das partições, para que o cálculo da média móvel por partição dê uma cobertura completa. Aqui está uma maneira de fazer isso na Spark. Os dados de exemplo: um particionador simples que coloca cada linha na partição que especificamos pela chave: Crie os dados com a primeira janela - 1 linha copiada para a partição anterior: basta calcular a média móvel em cada partição: devido aos segmentos duplicados Isso não terá lacunas na cobertura.
No comments:
Post a Comment