Pyspark: python balíčků na exekutorské serveru

hlasů
-1

Jen jsem začal pracovat s Pyspark na novou aplikaci .. Nainstaloval jsem s pip všechny balíčky (závislostí mé žádosti), že jsem potřeboval na serveru, který běží jiskru odeslat. Musím nainstalovat python balíčků mé žádosti o dalších zapalovacích bran?

Dík.

Položena 20/10/2018 v 12:36
zdroj uživatelem
V jiných jazycích...                            


1 odpovědí

hlasů
0

Budete muset nainstalovat balíčky na všech pracovních uzlech. Dalo by se použít cssh , aby se váš život o něco jednodušší.

Alternativou k instalaci každý pip balíčku předem je použít requirements.txt (a prioritně s virtualenvironment). Chcete-li použít requirements.txt stačí spustit zážehovým předložit spolu s následujícími parametry:

--conf spark.pyspark.virtualenv.enabled=true  
--conf spark.pyspark.virtualenv.type=native 
--conf spark.pyspark.virtualenv.requirements=/Users/jzhang/github/spark/requirements.txt 
--conf spark.pyspark.virtualenv.bin.path=/Users/jzhang/anaconda/bin/virtualenv 
--conf spark.pyspark.python=/usr/local/bin/python3 spark_virtualenv.py

Další informace naleznete na 2 .

Odpovězeno 20/10/2018 v 16:57
zdroj uživatelem

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more