管理人Kのひとりごと

デジモノレビューやプログラミングや写真など

Linux

Windows10内蔵のssh.exeで多段SSH+ダイナミックポートフォワーディング

Windows10内蔵のssh.exeで多段SSH+ダイナミックポートフォワーディングする方法です。下記記事はTeratermを利用していますが、ダイナミックポートフォワーディングはTeraterm 4.104以上だとうまくいかないようなので、Windows10内蔵のSSHクライアントで試し…

EMRでタグをつけるとEC2にも同じタグが付与される

EMRクラスタにNameタグをつけたところ、クラスタを構成するEC2のNameタグにも同じ値が設定されました。 Amazon EMR クラスターにタグを追加すると、タグはクラスターに関連付けられているアクティブな Amazon EC2 インスタンスそれぞれに伝達されます。 docs…

CloudShellを使ってEC2他の情報を表示する(awscli+jq)

CloudShell便利ですね。 aws.amazon.comCloudShellにはawscli、jqが入っているので、EC2やRedshiftの情報を一覧表示させてみました。 確認環境 一覧表示コマンド EC2 Redshift

docker on Lightsailで、ログをCloudWatch Logsに出力する

VPSとして、Amazon Lightsailを使ってみています。 aws.amazon.comLightsail上でdockerを稼働させて、各コンテナのログをCloudwatch Logsへ飛ばそうとしましたが、うまくいかなかったのでうまくいった方法を残します。 確認環境 logging設定だけではダメでし…

teeコマンドって何?

LinuxでPowershell試してみた際↓に、 www.k-hitorigoto.online RUN curl https://packages.microsoft.com/config/rhel/7/prod.repo | tee /etc/yum.repos.d/microsoft.repo という1行があり、「tee」ってなんだっけなと思ったので調べました。 検証環境 tee…

urllibを使ってインスタンスメタデータにアクセスする

Python標準モジュールのurllibを使う練習で、EC2のインスタンスメタデータにアクセスしてみました。 検証環境 ソース 文字列で返ってくるケース JSONで返ってくるケース 実行結果 文字列で返ってくるケース JSONで返ってくるケース 参考にしました

グローバルIPアドレスを確認する方法(http://checkip.amazonaws.com/)

http://checkip.amazonaws.com へアクセスするとグローバルIPアドレスを知ることができます。 Webブラウザから Curlから Invoke-WebRequestから

環境変数を設定する(Windows, Linux)

WindowsとLinuxで環境変数(一時的な環境変数)を設定する方法。※環境変数を確認する方法 www.k-hitorigoto.online 確認環境 Windows Linux 設定方法 Windows CMD Powershell Linux 参考にしました

bashの「-」て何...?

S3でファイルをコピーせずに表示するときの「-」や、「wget -O -」の「-」て何...?と思ったので調べました。 ずっと気になっていたので書けて良かった。 # こんな感じの使い方です。 aws --endpoint-url http://192.168.0.1:9000 s3 cp s3://test/test.txt …

CurlとWgetのダウンロード方法備忘

wgetを昔から使ってたのですが、環境によってはcurlのみ使えるということがあります。そのたびに毎度ググっているので、備忘として残しておきます。 バージョン コマンド 標準出力に結果を出力する(curl, wget -O -) ファイルをダウンロードする(ファイル名…

zipコマンド、unzipコマンド備忘

zipコマンドを使うとき、第一引数がzipファイル名?固めたいファイル名?となって毎回ググるので備忘。ついでに、unzipコマンドの使い方も備忘。 バージョン情報 コマンド 検証時の構成 フォルダ構成を保って圧縮(zip -r) fileC.txtをfileC.zipとして圧縮(相…

HTTPステータスコード429ってなんだっけ...("Too Many Requests"だそうです)

HTTPのステータスコードで429が返ってきたことがあったので、何だったか調べてみた。 429とは その他HTTPステータスコードおさらい

EMR(Spark)のログレベルをクラスタ作成時に設定したい

特に何も設定せずにEMRのSparkを使うと、ログレベルがINFOなので、とにかくいっぱいログが出ます。 そのため、ログレベルを変更しようと思ったわけですが、クラスタ作成時に設定しておきたいなと思ったのでやってみたメモです。 検証環境 案1 ブートストラッ…

環境変数を確認する(Windows, Linux)

WindowsとLinuxで環境変数を確認する方法 確認環境 Windows Linux 確認方法 Windows CMD Powershell Linux 参考にしました 確認環境 Windows C:\Users\hoge>systeminfo | findstr OS OS 名: Microsoft Windows 10 Home OS バージョン: 10.0.19041 N/A ビルド…

Dockerをバージョンアップしたら既存のコンテナで「Unknown runtime specified docker-runc」が発生したので対処したメモ

Dockerfileをビルドしたところ「invalid reference format」が表示されました。どうやらDockerが古いためらしく、Dockerをバージョンアップしました。その結果、既存のコンテナで「Unknown runtime specified docker-runc」が発生したので対処したメモです。…

lsでもkbやmbで表示したい

lsでもファイルサイズをkbやmbで表示できたのでメモ。 確認環境 lsでもファイルサイズをkbやmbで表示する 参考にしました

sedで複数ファイルの中身を一括置換

sedで複数ファイルの中身を一括置換する方法をメモ。Powershellで同じことをやってみました↓ www.k-hitorigoto.online 確認環境 複数ファイルの中身を一括置換 参考にしました

untrackedのファイルも含めてstashする(Git)

git stashで、untrackedのファイル(新規で作ってaddしていないファイル)も含めてstashする方法 確認環境 コマンド 退避 退避一覧の確認 退避から復帰(stashのリストからは削除されない) 退避から復帰(stashのリストからは削除される) stashのリストから削除…

Raspberry PiでGUIを起動させない方法

普段GUIでログインしないから無効化する方法を調べたのでメモ 確認環境 操作方法

Powershellでfindしてxargsしてgrepしたいとき

Powershellでfindしてxargsしてgrepしたいときのやり方メモ。 確認環境 やりたいこと Linuxでやる場合(今回はMinGWでやりました) Powershellでやる場合 対応表 参考にしました

スクリプトの実行パス(カレントパス)を取得する(bat,PowerShell)

DOSバッチと、Powershellでスクリプトの実行パス(カレントパス)を取得する方法。 実行環境 Windows10 1909 18363.752 DOSバッチの場合 %~dp0 REM 実行例(下記ディレクトリで実行した場合) C:\Users\hoge\Documents\ ※末尾の¥を取り除く方法 Powershellの場…

CentOS7にnslookupをインストールする

CentOS7にnslookupが入っていなかったのでインストールしたメモ 検証環境 nslookupをインストール おまけ DNSサーバを調べる 参考にしました

WindowsとLinuxでダミーファイルを作る方法

そこそこ大きいファイルを作りたいなーという時があるので、Windows、Linuxでそれぞれやり方をメモ。 Windowsの場合 # 1GB = 1*1024*1024*1024 のダミーファイルを作成する fsutil file createnew dummyfile 1073741824 Linuxの場合 # 1GB = 1*1M*1000のダミ…

EBSのスナップショットはどれくらい圧縮されるのか調べてみた

EBSのスナップショットは圧縮されるとのことだけど、実際どれくらい圧縮されるのかは公開されていないようなので、実際にスナップショットをとって圧縮度合いを確認してみた。 検証環境 検証方法 EC2のインストール直後 EC2直後のEBSスナップショットの利用…

ファイルを横方向に結合するpasteコマンド

catコマンドはファイルを縦方向に結合しますが、pasteコマンドは横方向に結合します。 検証環境 pasteを使ってみる 対象のファイル シンプルに横結合 デリミタを指定して横結合 一行毎ではなく, 一度に 1 つのファイルを貼付ける?

lsの結果を更新時間でソートする

自分用の備忘録。 検証環境 lsの結果を更新時間でソートする 実行例

KEN_ALL.CSVを都道府県毎に分解したCSVを作成する(sed等)

KEN_ALL.CSV(郵便番号データ)をsed等を使って、都道府県毎に分解したCSVファイルを作成してみました。 確認環境 KEN_ALL.CSVファイルの内容(一部抜粋) コード 実行結果と結果の確認 参考にしました

jsonを整形して表示したい(python)

jsonを手軽に整形表示したかったのでメモ。 pythonのjson.toolモジュールを使えば、jsonを整形して表示可能。 (json.toolはpython2.6以降標準モジュールだそうです) 確認環境 どうすればよいのか json.toolが入っていることを確認するには 参考にしました

sedでのファイル操作あれこれ

最近sedをよく使っています。既存のファイルに定型的な処理を施す場合に便利ですね。 最近よく使う用法をメモ。 確認環境 最近よく使うファイル操作 参考にしました

正規表現を使って特定の範囲の数値を含むファイル名を絞り込む

掲題のようなことがあったので備忘。正規表現検索にはegrepを使用。 やりたいこと、やったこと