how to install hadoop2.4.1 in windows with spark 2.0.0
i want to setup a cluster using hadoop in yarn mode..i want to use spark API for map-reduce and will use spark submit to deploy my applications..i want to work on cluster..can anyone help me how to install HADOOP in cluster using windows
hogyan kell telepíteni a hadoop2.4.1-et
Ez önmagában egy különálló, tágabb kérdés. Olvassa el a Hadoop Cluster telepítési dokumentációját .
Azt javaslom, hogy szerezzen be egy csomópontot, majd pszeudo-disztribúciót, majd beállíthat egy fürtöt.
A Spark 2.0.0 használatával
Lépjen a Spark letöltési oldalára, válassza a "felhasználó által biztosított Hadoop" lehetőséget.
A Spark többnyire csak minimális szerkesztéssel fog működni. Hadoop-ot kell konfigurálni.
Győződjön meg arról, hogy
HADOOP_CONF_DIRvagyYARN_CONF_DIRarra a könyvtárra mutat, amely a Hadoop-fürt (ügyféloldali) konfigurációs fájljait tartalmazza.
Szerkesztheti spark-env Ha szükséges, akkor .sh és spark-defaults.conf .
Ha konkrét problémája van, kérjük, szerkessze a kérdését.
Vagy beállíthat egy Ambari szervert, és ez mindent beállít és telepít az Ön számára, feladja az SSH kulcskezelést.