管理人Kのひとりごと

デジモノレビューやプログラミングや写真など

AWS

AWS認定資格12冠しました

掲題の通り、AWS認定資格12冠しました。 12冠しようと思ったきっかけ 受験履歴、スコア、受験推奨順序、難易度 対策に使ったもの 1.CloudLicense 2.Udemy 3.Kindle 4.AWS関連のWebサイト、Bing Chat 感想など 3年経つと忘れている 今回は試験センターを利用 …

IAMユーザ名を変更する方法

AWS

IAMユーザ名を変更する方法。 前提 変更方法 参考URL 前提 AWSCLIから実行する 実行者が「iam:UpdateUser」権限を持っていること 変更方法 aws iam update-user --user-name <変更前ユーザ名> --new-user-name <変更後ユーザ名> 参考URL

AWSのドル円レート推移を見てみた(2020/9~2023/9請求分)

AWS

円安が進む昨今、AWSの請求額のドル円レートはどんな感じで推移しているのか、自身の請求額を基にグラフ化してみました。 紫色の線:AWS請求書記載の請求額(米ドル)と、実際に引き落とされた請求額(日本円)から算出したドル円レート オレンジ色の線:AWS請求…

Lightsailインスタンスのタイムゾーンを変更する

VPSとして、Amazon Lightsailを使っています。 www.k-hitorigoto.onlineデフォルトでタイムゾーンがUTCなので、JSTに変更しました。 確認環境 作業手順

Cloudwatchのメトリクス一覧をCLIで取得する

Cloudwatchのメトリクス一覧をCLIで取得しました。 検証環境(Cloudshell) Cloudwatchのメトリクス一覧をCLIで取得 コマンド 実行例

EMRでタグをつけるとEC2にも同じタグが付与される

EMRクラスタにNameタグをつけたところ、クラスタを構成するEC2のNameタグにも同じ値が設定されました。 Amazon EMR クラスターにタグを追加すると、タグはクラスターに関連付けられているアクティブな Amazon EC2 インスタンスそれぞれに伝達されます。 docs…

CloudShellを使ってEC2他の情報を表示する(awscli+jq)

CloudShell便利ですね。 aws.amazon.comCloudShellにはawscli、jqが入っているので、EC2やRedshiftの情報を一覧表示させてみました。 確認環境 一覧表示コマンド EC2 Redshift

docker on Lightsailで、ログをCloudWatch Logsに出力する

VPSとして、Amazon Lightsailを使ってみています。 aws.amazon.comLightsail上でdockerを稼働させて、各コンテナのログをCloudwatch Logsへ飛ばそうとしましたが、うまくいかなかったのでうまくいった方法を残します。 確認環境 logging設定だけではダメでし…

urllibを使ってインスタンスメタデータにアクセスする

Python標準モジュールのurllibを使う練習で、EC2のインスタンスメタデータにアクセスしてみました。 検証環境 ソース 文字列で返ってくるケース JSONで返ってくるケース 実行結果 文字列で返ってくるケース JSONで返ってくるケース 参考にしました

グローバルIPアドレスを確認する方法(http://checkip.amazonaws.com/)

http://checkip.amazonaws.com へアクセスするとグローバルIPアドレスを知ることができます。 Webブラウザから Curlから Invoke-WebRequestから

EMR(Spark)のログレベルをクラスタ作成時に設定したい

特に何も設定せずにEMRのSparkを使うと、ログレベルがINFOなので、とにかくいっぱいログが出ます。 そのため、ログレベルを変更しようと思ったわけですが、クラスタ作成時に設定しておきたいなと思ったのでやってみたメモです。 検証環境 案1 ブートストラッ…

RDSでインスタンスが停止してからの経過時間を調べる(Powershell)

RDSは停止保持は最大7日までです。それ以上経過すると起動します。 マネコンを見ずとも、指定したRDSインスタンスが停止してからどれくらい経ったかを知りたかったので、Powershellスクリプトを書いてみました。 対象となるRDSの状態を、CloudTrailの結果か…

boto2で「.」(ピリオド)が含まれるS3バケットを扱ったときにエラーが出た(boto3は出なかった)

boto2とboto3でバケット名に「.」(ピリオド)が含まれる場合の挙動が違ったので記録しておきます。 確認環境 やりたかったこと boto2,boto3と、バケット名に"."(ピリオド)がある、なしでの成否 boto2のソースとエラーメッセージ (ちなみに)boto3のソース こ…

特定のEC2だけを起動、停止可能なIAMポリシー

AWS

特定のEC2だけを起動、停止可能なIAMポリシーです。 ポリシーのJSON 実行結果

SecurityGroupをCLIで設定する(AWS CLI)

SecurityGroupをCLIで設定します。 確認環境 コマンド 参考にしました

SecurityGroupをシンプルに出力する(AWS CLI)

SecurityGroupの内向きのルールをさっと確認したかったので、AWS CLIだけを極力利用してやってみた。 queryオプションをすらすら書ける自信がないので、備忘として書いときます。 確認環境 コマンド 実行例 参考にしました

RedshiftのCPU使用率をテキスト形式で取得する

CloudWatchに蓄積されたメトリクスをテキスト形式で取得する。 今回の対象サービスはRedshift、取得メトリクスはCPU使用率、期間は5分、統計は「最大」で。 コマンド 取得結果例 参考にしました

S3に存在するフォルダ名を指定してフォルダを作るとどうなるか

AWS

S3はKVS形式であって、本当は「フォルダ」ではないのですが、「hogebucket/path1/path2/file1.txt」の「path1/path2」は今回は便宜上「フォルダ」ということでひとつ。 すでに存在するフォルダ名を指定してフォルダを作成するとどうなるかが気になったので試…

RedshiftでS3からコピーするとき

RedshiftでCopyコマンドを使ってS3から取り込む際に気を付けること S3を参照できるようにするための設定 フォルダ、ファイルあり/なしによる取り込み可否

AWS 認定ソリューションアーキテクト – プロフェッショナル(SAP-C01)に合格しました

掲題の通り、AWS 認定ソリューションアーキテクト – アソシエイト(SAP-C01)を9/26に受験し、合格しました。 SAAよりも圧倒的に難しかったです。正直ダメかなーと思っていたので、合格の文字を見たときびっくりしました。 スコア 対策期間・時間 対策に使った…

EMRのSparkやHiveでサブクエリが使えるか試してみた_その2

EMRのSparkやHiveでサブクエリが使えるか試してみたメモ。その2。前回、Hiveでは一部のサブクエリが実行できなかった。今回は、Existを利用したサブクエリが使えるかを確かめたメモ。 メタデータカタログはGlueデータカタログを使用。 確認環境 元ネタ 実行…

EMRのSparkやHiveでサブクエリが使えるか試してみた

EMRのSparkやHiveでサブクエリが使えるか試してみたメモ。 メタデータカタログはGlueデータカタログを使用。GlueのVPCエンドポイントを使ったところ、インターネットに出ずにデータカタログが参照できたのが意外だった。そちらの話はまた別途メモ予定。 確認…

AWSの簡易見積りツールの終了が延長されたようです

AWS

AWSの簡易見積りツール(SMC)↓ AWS費用の見積りでよく使っているのですが、2020/6/30でサービス終了がアナウンスされていました。 その代わりとして「AWS料金見積りツール」が用意されてはいるんですが、対応サービスに差があったり、CSVダウンロードが無かっ…

CloudFormationで既存VPC・サブネット内にEC2を立てる

遅ればせながら、CloudFormation始めました。手始めに、既存VPC・サブネット内にEC2を立てる、というのをやってみました。 CloudFormationのテンプレートです 参考にしました

Athenaでカラムの型を変換したい

AthenaでString→Timestampや、String→Decimalなどの変換を行いたく試行錯誤したのでメモ 検証環境 やりたいこと 実行SQLと実行結果 参考にしました

EBSのスナップショットはどれくらい圧縮されるのか調べてみた

EBSのスナップショットは圧縮されるとのことだけど、実際どれくらい圧縮されるのかは公開されていないようなので、実際にスナップショットをとって圧縮度合いを確認してみた。 検証環境 検証方法 EC2のインストール直後 EC2直後のEBSスナップショットの利用…

Lamda Layerに自作のPythonモジュールを登録して使いたい

LamdaのLayerはモジュールを共有できて便利ですよね。 そんなLayerに自作のPythonモジュールを登録して使いたかったのでメモ。 確認環境 自作モジュールをLayerに登録するために必要なこと 参考URL

プライベートサブネットに立てたEMRクラスタのGanglia等を表示したい(AWS,EMR)

プライベートサブネットに立てたEMRクラスタのGanglia等を表示したかったので試行錯誤したメモ。 手順は紹介されているけれど 確認環境 確認構成

CLIからAthena を使ってCTASでのParquet形式への変換を行う(AWS,Athena)

AthenaでCSVファイルのParque形式への変換ができるのですが、GUIからだけでなく、CUIからやったらできるかな、と試したらできたのでメモ。 実行したコマンド 補足 参考にしました

AWSのサポート費用を計算する(python)

AWSのサポートプランの一部(ビジネス、エンタープライズ)では、月の利用料金に応じて段階的にサポート費用が変動します。利用料金に応じたサポート費用を試算するため、pythonでスクリプトを書いてみました。 サポート費用の求め方(ビジネス) pythonでの計算…