Hur ställer jag in Jupyter Notebook för att köra Scala och Spark?

Om du arbetar inom Data Science-domänen är du redan bekant med Jupyter Notebook. Det är ett av de mest populära interaktiva verktygen för att utveckla ML-projekt i Python. Men du kan också konfigurera din Jupyter Notebook för att köra Scala och Spark med några enkla steg.

Steg för att ställa in Jupyter Notebook för att köra Scala och Spark.

  1. Förutsättningar:

    1. Se till att JRE är tillgängligt i din maskin och att det läggs till i VÄG miljöfaktor. I mitt system är Java Home: C:\Program Files\Java\jre1.8.0_281
    2. Anaconda är installerat i ditt system.
    3. Om du bara vill köra Scala-koder räcker det med ovanstående förutsättningar. Om du vill använda Spark också, se till att Spark är installerat i ditt system.
    Jag kommer att skapa en annan handledning om hur man installerar Spark på ett Windows-system och kommer att länka det inlägget här.

  2. Installera spylon-kernel-paketet

    Öppna din Anaconda Powershell och kör kommandot nedan.

    pip installera spylon-kernel

    installera spylon-kernel

  3. Installera Jupyter kernal

    Använd kommandot nedan för att installera Jupyter-kärnan. Om du möter något behörighetsproblem, starta sedan om Anaconda Powershell som administratör.

    python -m spylon_kernel installation

    spylon kernal scala

  4. Starta Jupyter Notebook

    Starta Jupyter notebook och klicka sedan på Ny och välj spylon-kärna.

    kör jupyter scala

  5. Kör grundläggande Scala-koder

    Du kan se några av de grundläggande Scala-koderna som körs på Jupyter.

    scala-kod som körs på jupyter

  6. Spark med Scala-kod:

    Nu använder du Spark med Scala på Jupyter:

    gnista med scala på jupyter

  7. Kontrollera Spark Web UI

    Det kan ses att Spark Web UI är tillgängligt på port 4041. I Web UI gå till Miljö fliken och du kan se nedanstående detaljer.

    Spark Web UI Env

Relaterade Artiklar

Back to top button