Articles of apache spark

La mejor solución para el conflicto de versión en el progtwig Spark

Tengo un progtwig Spark que requiere varias dependencies. Una dependencia: a.jar es la versión de 2.8 en el clúster a_2.8.jar , sin embargo, necesito usar su versión 2.9, a_2.9.jar . Cada vez que ejecuto el progtwig, la chispa cargará automáticamente a_2.8.jar del clúster, en lugar de cargar a_2.9.jar , incluso he enviado este jar por […]

Necesito ayuda para comstackr Spark en Netbeans

He estado descargando todo el file .JAR que necesito para comstackr Spark en Netbeans. Pero ahora estoy atascado en un punto y no sé cómo continuar. Aquí está mi resultado cuando bash generar chispa: C:\Users\pstonge\Desktop\Workspace\Spark Source 2.6.3\src\java\org\jivesoftware\SparkStartupListener.java:31: error: package com.install4j.api.launcher.StartupNotification does not exist public class SparkStartupListener implements com.install4j.api.launcher.StartupNotification.Listener { C:\Users\pstonge\Desktop\Workspace\Spark Source 2.6.3\src\java\org\jivesoftware\launcher\Installer.java:23: error: package com.install4j.api.actions […]

¿Qué tipo de directory debo search para search mapnetworkinguce código fuente en chispa?

Estoy estudiando sobre mapnetworkinguce y spark, y tengo curiosidad sobre cómo funciona el process de chispa. En consecuencia, estoy buscando eso en ' https://github.com/apache/spark ', pero viendo ese sitio, no pude get ninguna pista sobre qué directory debería search para ver el código fuente mapnetworkinguce. Quiero decir en el siguiente código, hay funciones .flatMap (), […]

aplicar el parche en la installation de chispa

Tenemos un problema con nuestra installation de hortonworks, específicamente con nuestra versión de chispa 1.6. Tenemos una aplicación de chispa de transmisión que falla con este error: https://github.com/apache/spark/pull/10621 Lo sé, obviamente está resuelto y si descargo la versión más reciente de spark 1.6 resuelvo el problema, pero en mi caso tengo la versión de Hortonworks […]

Bluemix spark jazzhub addjar

Estoy tratando de agregar un jar en una Notebook Spark Scala en Bluemix. Los ejemplos hablan sobre el uso de una url pública github. Sin embargo, tengo mi código en un repository de Jazzhub git. El problema que encuentro es que con Jazzhub no tengo una url pública sin usuario y contraseña para acceder a […]

Windows: Apache Spark History Server Config

Quería usar el Servidor de historia de Spark para hacer uso de los mecanismos de logging de mi IU web, pero encuentro cierta dificultad para ejecutar este código en mi máquina con Windows. He hecho lo siguiente: Establecer mi file spark-defaults.conf para reflejar spark.eventLog.enabled=true spark.eventLog.dir=file://C:/spark-1.6.2-bin-hadoop2.6/logs spark.history.fs.logDirectory=file://C:/spark-1.6.2-bin-hadoop2.6/logs Mi spark-env.sh para reflejar: SPARK_LOG_DIR "file://C:/spark-1.6.2-bin-hadoop2.6/logs" SPARK_HISTORY_OPTS "-Dspark.history.fs.logDirectory=file://C:/spark-1.6.2-bin-hadoop2.6/logs" Estoy […]

Error al generar una chispa apache

Mientras construyo Spark y escribo este command en cmd (sbt clean assembly), comienza a build y luego me da este error … Entonces, ¿cuál es el problema aquí? java.util.concurrent.ExecutionException: java.lang.OutOfMemoryError: Jav espacio Use el last para el logging completo.

Error al intentar ejecutar Spark

Soy nuevo en chispa. He descargado la versión de chispa 1.3.1 precomstackda para la versión 2.6 de hadoop. Extraje y navegué a la carpeta y escribí el siguiente command: ./bin/spark-shell para el cual recibo un error que dice que no se encontró el command spark-shell. Hice lo mismo en Windows usando git bash, por lo […]