Hur ställer jag in Jupyter Notebook för att köra Scala och Spark?
Om du arbetar inom Data Science-domänen är du redan bekant med Jupyter Notebook. Det är ett av de mest populära interaktiva verktygen för att utveckla ML-projekt i Python. Men du kan också konfigurera din Jupyter Notebook för att köra Scala och Spark med några enkla steg.
Steg för att ställa in Jupyter Notebook för att köra Scala och Spark.
- Förutsättningar:
1. Se till att JRE är tillgängligt i din maskin och att det läggs till i VÄG miljöfaktor. I mitt system är Java Home: C:\Program Files\Java\jre1.8.0_281
2. Anaconda är installerat i ditt system.
3. Om du bara vill köra Scala-koder räcker det med ovanstående förutsättningar. Om du vill använda Spark också, se till att Spark är installerat i ditt system.
Jag kommer att skapa en annan handledning om hur man installerar Spark på ett Windows-system och kommer att länka det inlägget här. - Installera spylon-kernel-paketet
Öppna din Anaconda Powershell och kör kommandot nedan.
pip installera spylon-kernel
- Installera Jupyter kernal
Använd kommandot nedan för att installera Jupyter-kärnan. Om du möter något behörighetsproblem, starta sedan om Anaconda Powershell som administratör.
python -m spylon_kernel installation
- Starta Jupyter Notebook
Starta Jupyter notebook och klicka sedan på Ny och välj spylon-kärna.
- Kör grundläggande Scala-koder
Du kan se några av de grundläggande Scala-koderna som körs på Jupyter.
- Spark med Scala-kod:
Nu använder du Spark med Scala på Jupyter:
- Kontrollera Spark Web UI
Det kan ses att Spark Web UI är tillgängligt på port 4041. I Web UI gå till Miljö fliken och du kan se nedanstående detaljer.
