PySparkとJupyterNotebookが使えるDockerコンテナがあったので使ってみました。すぐに使い始めることができるので、Dockerのありがたみを感じます。
EMRを使う前にスクリプトの動確できる環境が欲しかったので助かっています。
確認環境
Windows 10 Home 2004 Docker Desktop 3.0.4.51218 PSVersion 5.1.19041.610
コマンド
# /tmp/*.jsonみたいな感じでファイルを読み込むため、ローカルの対象ファイルが置いてあるディレクトリをマウントしています docker run --rm -it -p 8888:8888 -v C:\users\hoge\:/tmp jupyter/pyspark-notebook
(おまけ) PowershellでLinuxの$PWDを実現する
dockerで、ローカルのカレントディレクトリをマウントしたいときに
-v $PWD:/tmp
と指定すると思うんですが、Powershellを使って以下のように指定したらできました。
-v "${pwd}:/tmp"
参考にしました
