管理人Kのひとりごと

デジモノレビューやプログラミングや写真など

DockerでPySparkとJupyterNotebook環境を利用する

Docker Powershell Windows Spark Python

PySparkとJupyterNotebookが使えるDockerコンテナがあったので使ってみました。すぐに使い始めることができるので、Dockerのありがたみを感じます。
EMRを使う前にスクリプトの動確できる環境が欲しかったので助かっています。

  • 確認環境
  • コマンド
  • (おまけ) PowershellでLinuxの$PWDを実現する
  • 参考にしました
続きを読む

pysparkでFitbitの歩数JSONをパースして平日と休日の平均歩数を求めてみた

Python Spark

pysparkでFitbitの歩数JSONをパースして、平日と休日の平均歩数を求めてみました。

pysparkでの歩数JSONのパース↓

pythonでの歩数比較↓
www.k-hitorigoto.online

  • 確認環境
  • コード
  • 実行結果例
  • 2019年、2020年の月別、平日・休日別平均歩数
  • 参考にしました
続きを読む

boto2で「.」（ピリオド）が含まれるS3バケットを扱ったときにエラーが出た(boto3は出なかった)

Python AWS

boto2とboto3でバケット名に「.」(ピリオド)が含まれる場合の挙動が違ったので記録しておきます。

  • 確認環境
  • やりたかったこと
  • boto2,boto3と、バケット名に"."(ピリオド)がある、なしでの成否
  • boto2のソースとエラーメッセージ
  • （ちなみに）boto3のソース
  • この結果になった際に考えたこと
  • 参考にしました
続きを読む

「庫内の汚れとり」で食洗機のイヤーなにおいを消した話

生活

購入以来毎日使い続けている食洗機ですが、最近洗い終わりのイヤーなにおいが気になるようになりました。「庫内の汚れとり」という洗浄剤を使ってそのにおいの対処をしました。

  • 現在使用中の食洗機
  • 最近洗い終わりにイヤーなにおいが
  • 取説に従って対処→改善せず
  • 「庫内の汚れとり」を知り試す→改善！
続きを読む