Linux
気が付いたらdockerコンテナが出力するログが肥大化してディスクを圧迫することがありました。 以下のページを参考にログサイズと世代数を設定しました。it-web-life.com
定期的に調べるので記録 確認環境 コマンド 実行例 参考にしました 確認環境 [root@localhost hoge]# cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) コマンド # du -ah → 結果にファイルを含める、サイズをKやGで表示 # sort -hr → サイズ…
docker-composeで「the input device is not a TTY」が発生したので、対処したメモ。 確認環境 対処方法 関連
VPSとして、Amazon Lightsailを使っています。 www.k-hitorigoto.onlineデフォルトでタイムゾーンがUTCなので、JSTに変更しました。 確認環境 作業手順
Cloudwatchのメトリクス一覧をCLIで取得しました。 検証環境(Cloudshell） Cloudwatchのメトリクス一覧をCLIで取得 コマンド 実行例
Windows10内蔵のssh.exeで多段SSH＋ダイナミックポートフォワーディングする方法です。下記記事はTeratermを利用していますが、ダイナミックポートフォワーディングはTeraterm 4.104以上だとうまくいかないようなので、Windows10内蔵のSSHクライアントで試し…
EMRクラスタにNameタグをつけたところ、クラスタを構成するEC2のNameタグにも同じ値が設定されました。 Amazon EMR クラスターにタグを追加すると、タグはクラスターに関連付けられているアクティブな Amazon EC2 インスタンスそれぞれに伝達されます。 docs…
CloudShell便利ですね。 aws.amazon.comCloudShellにはawscli、jqが入っているので、EC2やRedshiftの情報を一覧表示させてみました。 確認環境 一覧表示コマンド EC2 Redshift
VPSとして、Amazon Lightsailを使ってみています。 aws.amazon.comLightsail上でdockerを稼働させて、各コンテナのログをCloudwatch Logsへ飛ばそうとしましたが、うまくいかなかったのでうまくいった方法を残します。 確認環境 logging設定だけではダメでし…
LinuxでPowershell試してみた際↓に、 www.k-hitorigoto.online RUN curl https://packages.microsoft.com/config/rhel/7/prod.repo | tee /etc/yum.repos.d/microsoft.repo という1行があり、「tee」ってなんだっけなと思ったので調べました。 検証環境 tee…
Python標準モジュールのurllibを使う練習で、EC2のインスタンスメタデータにアクセスしてみました。 検証環境 ソース 文字列で返ってくるケース JSONで返ってくるケース 実行結果 文字列で返ってくるケース JSONで返ってくるケース 参考にしました
http://checkip.amazonaws.com へアクセスするとグローバルIPアドレスを知ることができます。 Webブラウザから Curlから Invoke-WebRequestから
WindowsとLinuxで環境変数(一時的な環境変数)を設定する方法。※環境変数を確認する方法 www.k-hitorigoto.online 確認環境 Windows Linux 設定方法 Windows CMD Powershell Linux 参考にしました
S3でファイルをコピーせずに表示するときの「-」や、「wget -O -」の「-」て何...？と思ったので調べました。 ずっと気になっていたので書けて良かった。 # こんな感じの使い方です。 aws --endpoint-url http://192.168.0.1:9000 s3 cp s3://test/test.txt …
wgetを昔から使ってたのですが、環境によってはcurlのみ使えるということがあります。そのたびに毎度ググっているので、備忘として残しておきます。 バージョン コマンド 標準出力に結果を出力する(curl, wget -O -) ファイルをダウンロードする(ファイル名…
zipコマンドを使うとき、第一引数がzipファイル名？固めたいファイル名？となって毎回ググるので備忘。ついでに、unzipコマンドの使い方も備忘。 バージョン情報 コマンド 検証時の構成 フォルダ構成を保って圧縮(zip -r) fileC.txtをfileC.zipとして圧縮(相…
HTTPのステータスコードで429が返ってきたことがあったので、何だったか調べてみた。 429とは その他HTTPステータスコードおさらい
特に何も設定せずにEMRのSparkを使うと、ログレベルがINFOなので、とにかくいっぱいログが出ます。 そのため、ログレベルを変更しようと思ったわけですが、クラスタ作成時に設定しておきたいなと思ったのでやってみたメモです。 検証環境 案1 ブートストラッ…
WindowsとLinuxで環境変数を確認する方法 確認環境 Windows Linux 確認方法 Windows CMD Powershell Linux 参考にしました 確認環境 Windows C:\Users\hoge>systeminfo | findstr OS OS 名: Microsoft Windows 10 Home OS バージョン: 10.0.19041 N/A ビルド…
Dockerfileをビルドしたところ「invalid reference format」が表示されました。どうやらDockerが古いためらしく、Dockerをバージョンアップしました。その結果、既存のコンテナで「Unknown runtime specified docker-runc」が発生したので対処したメモです。…
lsでもファイルサイズをkbやmbで表示できたのでメモ。 確認環境 lsでもファイルサイズをkbやmbで表示する 参考にしました
sedで複数ファイルの中身を一括置換する方法をメモ。Powershellで同じことをやってみました↓ www.k-hitorigoto.online 確認環境 複数ファイルの中身を一括置換 参考にしました
git stashで、untrackedのファイル(新規で作ってaddしていないファイル)も含めてstashする方法 確認環境 コマンド 退避 退避一覧の確認 退避から復帰(stashのリストからは削除されない) 退避から復帰(stashのリストからは削除される) stashのリストから削除…
普段GUIでログインしないから無効化する方法を調べたのでメモ 確認環境 操作方法
Powershellでfindしてxargsしてgrepしたいときのやり方メモ。 確認環境 やりたいこと Linuxでやる場合(今回はMinGWでやりました) Powershellでやる場合 対応表 参考にしました
DOSバッチと、Powershellでスクリプトの実行パス(カレントパス)を取得する方法。 実行環境 Windows10 1909 18363.752 DOSバッチの場合 %~dp0 REM 実行例(下記ディレクトリで実行した場合) C:\Users\hoge\Documents\ ※末尾の￥を取り除く方法 Powershellの場…
CentOS7にnslookupが入っていなかったのでインストールしたメモ 検証環境 nslookupをインストール おまけ DNSサーバを調べる 参考にしました
そこそこ大きいファイルを作りたいなーという時があるので、Windows、Linuxでそれぞれやり方をメモ。 Windowsの場合 # 1GB = 1*1024*1024*1024 のダミーファイルを作成する fsutil file createnew dummyfile 1073741824 Linuxの場合 # 1GB = 1*1M*1000のダミ…
EBSのスナップショットは圧縮されるとのことだけど、実際どれくらい圧縮されるのかは公開されていないようなので、実際にスナップショットをとって圧縮度合いを確認してみた。 検証環境 検証方法 EC2のインストール直後 EC2直後のEBSスナップショットの利用…
catコマンドはファイルを縦方向に結合しますが、pasteコマンドは横方向に結合します。 検証環境 pasteを使ってみる 対象のファイル シンプルに横結合 デリミタを指定して横結合 一行毎ではなく, 一度に 1 つのファイルを貼付ける?
