管理人Kのひとりごと

デジモノレビューやプログラミングや写真など

DockerでPySparkとJupyterNotebook環境を利用する

PySparkとJupyterNotebookが使えるDockerコンテナがあったので使ってみました。すぐに使い始めることができるので、Dockerのありがたみを感じます。
EMRを使う前にスクリプトの動確できる環境が欲しかったので助かっています。

確認環境

Windows 10 Home 2004
Docker Desktop 3.0.4.51218
PSVersion  5.1.19041.610

コマンド

# /tmp/*.jsonみたいな感じでファイルを読み込むため、ローカルの対象ファイルが置いてあるディレクトリをマウントしています
docker run --rm -it -p 8888:8888 -v C:\users\hoge\:/tmp jupyter/pyspark-notebook

(おまけ) PowershellでLinuxの$PWDを実現する

dockerで、ローカルのカレントディレクトリをマウントしたいときに

-v $PWD:/tmp

と指定すると思うんですが、Powershellを使って以下のように指定したらできました。

 -v "${pwd}:/tmp"

参考にしました