特に何も設定せずにEMRのSparkを使うと、ログレベルがINFOなので、とにかくいっぱいログが出ます。 そのため、ログレベルを変更しようと思ったわけですが、クラスタ作成時に設定しておきたいなと思ったのでやってみたメモです。 検証環境 案1 ブートストラッ…

sedで複数ファイルの中身を一括置換する方法をメモ。Powershellで同じことをやってみました↓ www.k-hitorigoto.online 確認環境 複数ファイルの中身を一括置換 参考にしました

KEN_ALL.CSV(郵便番号データ)をsed等を使って、都道府県毎に分解したCSVファイルを作成してみました。 確認環境 KEN_ALL.CSVファイルの内容(一部抜粋) コード 実行結果と結果の確認 参考にしました

最近sedをよく使っています。既存のファイルに定型的な処理を施す場合に便利ですね。 最近よく使う用法をメモ。 確認環境 最近よく使うファイル操作 テスト用のファイルを作成(1行目:1～5行目:5の5行のファイル) 1行目に「0」を挿入 2行目に「1.5」を挿入 3…

掲題のようなことがあったので備忘。sedをほどんど使ったことなかったんですが、便利ですね。 やりかた 応用編