管理人Kのひとりごと

デジモノレビューやプログラミングや写真など

EMR

Windows10内蔵のssh.exeで多段SSH+ダイナミックポートフォワーディング

Windows10内蔵のssh.exeで多段SSH+ダイナミックポートフォワーディングする方法です。下記記事はTeratermを利用していますが、ダイナミックポートフォワーディングはTeraterm 4.104以上だとうまくいかないようなので、Windows10内蔵のSSHクライアントで試し…

EMRでタグをつけるとEC2にも同じタグが付与される

EMRクラスタにNameタグをつけたところ、クラスタを構成するEC2のNameタグにも同じ値が設定されました。 Amazon EMR クラスターにタグを追加すると、タグはクラスターに関連付けられているアクティブな Amazon EC2 インスタンスそれぞれに伝達されます。 docs…

EMR(Spark)のログレベルをクラスタ作成時に設定したい

特に何も設定せずにEMRのSparkを使うと、ログレベルがINFOなので、とにかくいっぱいログが出ます。 そのため、ログレベルを変更しようと思ったわけですが、クラスタ作成時に設定しておきたいなと思ったのでやってみたメモです。 検証環境 案1 ブートストラッ…

EMRのSparkやHiveでサブクエリが使えるか試してみた_その2

EMRのSparkやHiveでサブクエリが使えるか試してみたメモ。その2。前回、Hiveでは一部のサブクエリが実行できなかった。今回は、Existを利用したサブクエリが使えるかを確かめたメモ。 メタデータカタログはGlueデータカタログを使用。 確認環境 元ネタ 実行…

EMRのSparkやHiveでサブクエリが使えるか試してみた

EMRのSparkやHiveでサブクエリが使えるか試してみたメモ。 メタデータカタログはGlueデータカタログを使用。GlueのVPCエンドポイントを使ったところ、インターネットに出ずにデータカタログが参照できたのが意外だった。そちらの話はまた別途メモ予定。 確認…

プライベートサブネットに立てたEMRクラスタのGanglia等を表示したい(AWS,EMR)

プライベートサブネットに立てたEMRクラスタのGanglia等を表示したかったので試行錯誤したメモ。 手順は紹介されているけれど 確認環境 確認構成