Linux on ゲンゾウ用ポストイット

findコマンドを実行した結果、ファイルが 1 つも見つからなかった場合の判定

Tue, 28 Mar 2023 08:30:55 +0900

はじめに

今回は、findコマンドを使ってファイルが見つからなかった場合の処理について紹介します。

findコマンドは Unix 系 OS でファイルを検索するために使われます。ただファイルを検索するだけではなく、パイプでつなぐことで見つかったファイルに対して 1 つずつ何かの処理をすることもできます。

さて、find コマンドで検索した結果、該当のファイルが 1 つも見つからなかった場合の処理はどう書いたら良いのでしょうか？

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ find --version | head -n 2
find (GNU findutils) 4.9.0
Copyright (C) 2022 Free Software Foundation, Inc.

$ grep --version | head -n 2
grep (GNU grep) 3.7
Copyright (C) 2021 Free Software Foundation, Inc.

`find` を `grep` をパイプでつなぎ、ファイルの検出を判定

find の実行結果を grep -q . コマンドにパイプで渡します。

再ログインせずにログイン中ユーザの所属グループの変更を反映する方法

Wed, 22 Mar 2023 17:54:55 +0900

はじめに

UNIX 系の OS では、ログイン中のユーザの所属グループを変更した場合、一度ログアウトしなければ変更が反映されません。

しかし、あるコマンドを使えば再ログインせずにログイン中のユーザの所属グループを変更し、その変更を反映させる方法があります。

この記事では、その方法を紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

ログイン中のユーザの所属グループを変更しても直ちに設定が反映されない

実際に Linux 環境を使って検証してみます。

準備 : `sudo` 実行可能なテストユーザーを作成

最終的に以下のようなユーザーgenzouwを作成します。

ユーザー : genzouw
グループ : genzouw
セカンダリグループ : sudo

以下のコマンドを順番に実行していきます。

Bashシェルスクリプトで"while read"ループ内で"read"コマンドを使う方法

Sat, 18 Feb 2023 08:45:31 +0900

はじめに

決して多くないケースですが、 while read　ループ中で read コマンドを利用したいという場合に起きる問題と、その対処法について紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

`while read` ループ中で `read` コマンドを利用するとどうなるか？

while read ループ中で read コマンドを利用するとどうなるか。具体例をもとに見ていきます。

例えば、簡単な英単語の暗記スクリプトを作ってみます。

仕様は単純で、単語を１つ表示しては ENTER キーの入力を待つ、を繰り返します。

.netrcファイルについて知らなかったので調べてみました

Wed, 15 Feb 2023 09:12:54 +0900

はじめに

Heroku CLI のセットアップ中に作成された ~/.netrc というファイルについて。

これは一体どういったものなのか、いつ使われるものなのかを調べてみました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, version 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

$ docker --version
Docker version 20.10.21, build baeda1f

Man ページを参照

以下のページを見つけました。

Man page of NETRC

netrc, .netrc - ftp のためのユーザー設定ファイル … このファイルには、ファイル転送プロトコル ( File Transfer Protocol ) クライアント ftp ( 1 ) のための、設定情報と自動ログイン情報が書かれている。

FTP サーバに接続する際の認証情報を保存しておくファイルということです。

curl 関連の情報を調べているときにも .netrc の名前を見た記憶があるので、登場背景の FTP 以外でも使われるようになっているということでしょうか。

コマンドの出力結果からANSIエスケープシーケンスのカラーリングを取り除く方法

Thu, 09 Feb 2023 09:00:44 +0900

はじめに

ターミナル操作時、コマンドの実行結果が色付けされていることがあります。

僕がプログラミングを始めた頃はもう少し淡白なコマンドの出力結果ばかりだったのですが、最近のツールは出力結果がカラフルなものも多いです。

ターミナル上の出力結果をカラフルに色付けしてくれるための制御文字は ANSI エスケープシーケンスと呼ばれます。 ( 厳密に言うと、ANSI エスケープシーケンスには色付けだけでなく、カーソル位置、フォントスタイル、その他のオプションなどの制御文字が含まれているそうです。 )

コマンドによっては、出力結果をパイプで繋いだ場合にカラーリングの ANSI エスケープシーケンスを除去してくれ、パイプ先で文字列操作する際に大変便利です。

例えば、 ls コマンドは ls -l を実行すると色付けされますが、 ls -l | cat のようにパイプでつなぐと制御文字が除去されます。 cut で切り取る場合は制御文字が邪魔になるので大変便利な挙動です。しかし、コマンドによってはこのような色付けの制御文字を除去しません。

そんなときに ANSI エスケープシーケンスのカラーリング制御文字を取り除く方法について紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ sed --version | head -n 2
sed (GNU sed) 4.8
パッケージ作成者: Debian

`[...]` で囲まれた部分の文字列だけを取り出したいが ANSI エスケープシーケンスが邪魔をする場合

JavaScript 関連のツールを起動した際の文言として、以下のようなものがあります。

Bashシェルスクリプトで配列の全要素を連結(join)し文字列を生成する

Sun, 05 Feb 2023 09:00:17 +0900

はじめに

紹介してそうで紹介していなかった、Bash シェルスクリプトで配列の全要素を連結して文字列を生成する方法について。

多くのプログラミング言語では、 join や implode といった関数で提供されている機能になります。

Bash の場合にはこのような機能はどのように実現したら良いでしょうか。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

環境変数 `IFS` ( Internal Field Separator ) を変更する

配列を指定した区切り文字 ( デリミタ ) で連結し、文字列を生成するには環境変数 IFS の値を一時的に変更してやります。

パスワード付きzipファイルがどのぐらいでクラック(パスワード解析)できるか試してみる

Fri, 03 Feb 2023 08:40:16 +0900

はじめに

前回のエントリで zip ファイルにパスワードを設定する方法について紹介しました。

zip コマンドでパスワード付き圧縮ファイルを生成する | ゲンゾウ用ポストイット

標準的な zip ファイルは比較的容易にパスワード解析できるということなので、実際に突破できるか試してみることにしました。

総当りでクラック ( パスワードの解析 ) を行うスクリプトを適当に見繕って、試してみます。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

$ go version
go version go1.19.2 darwin/arm64

zip クラック用のスクリプトを探す

Github には、 zip ファイルのパスワードを解析するためのスクリプトがいくつも存在しています。

いくつかスクリプトを見て、適当なものを採用しました。

henriksb/ZipCrack: Crack password protected zip files

zip クラック環境セットアップ

henriksb/ZipCrack は Go 言語で実装されていたため、Go 実行環境が必要です。

zipコマンドでパスワード付き圧縮ファイルを生成する

Thu, 02 Feb 2023 19:55:55 +0900

はじめに

最近はめっきり使わなくなった zip ファイル形式。

圧縮率は gzip 、 bz 、 7z や Zsrtandard という圧縮アルゴリズムも登場していますが、未だに zip でファイルを公開してるサービスもあります。

そんな zip 形式の圧縮ファイルを生成するためのコマンド zip を使って「パスワード付き zip ファイル」を生成する方法について紹介します。

※「パスワード付き zip ファイル」というネタを扱うと、炎上しそうでドキドキします※。

検証環境

今回の検証環境は Ubuntu 22.10 を利用しますが、他の Linux ディストリビューションであれば大きな違いはないと思っています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ zip --version | head -n 2
Copyright (c) 1990-2008 Info-ZIP - Type 'zip "-L"' for software license.
This is Zip 3.0 (July 5th 2008), by Info-ZIP.

`zip` コマンドのインストール

もし zip コマンドがインストールされていない場合には、 apt コマンドでインストールしましょう。

anyenvで管理しているバージョン管理ツールを一括でアップデートする方法

Thu, 13 Oct 2022 12:00:54 +0900

はじめに

anyenv を使うと、 xxxenv 系のツールを管理できます。

ここで、 xxxenv 系のツールとは、例えば **pyenv ** や **goenv ** や nodeenv といったツールを指しています。

導入することで、1 台の作業用 PC 内に複数バージョンのプログラム言語実行・ビルド環境を構築できます。

最近は Docker の登場、普及により xxxenv 系ツールの需要も下がっています。しかし、Docker による仮想化の進んでいないコードベースもあるため、僕の PC 内では現役で活躍してくれています。

anyenv は、これら xxxenv 系のツールを一元管理するための上位のツールとなっています。

便利ですが anyenv でインストールされた xxxenv 系ツールで、最新バージョンがインストールできないときがあります。

具体的には anyenv を使ってインストールした goenv を使っていたときに、Go の最新バージョンをインストールできない時がありました。

この問題に対処します。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.2(1)-release (aarch64-apple-darwin21.6.0)

$ anyenv --version
anyenv 1.1.5

anyenv について

anyenv について、サラッと触れておきます。

シェルでsedを使ってパス文字列からディレクトリ名,ファイル名,拡張子を抽出する

Wed, 12 Oct 2022 12:00:05 +0900

はじめに

ネタが無いのでありふれたネタを取り上げてみました。

シェルでパス文字列をディレクトリ名、ファイル名、拡張子に分割する方法はいくつかあります。

過去に投稿した Bash 組み込みの正規表現機能を使ったり、Bash の変数を使ったり、　dirname + basename コマンドを使ったり、 grep を使ったり。

今回は sed のみで実現してみます。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ sed --version | head -n 2
sed (GNU sed) 4.8
パッケージ作成者: Debian

`sed` を使ったパス文字列分割の正規表現

以下のような sed を使った正規表現を用いて、パス文字列を分割できます。

Bashでテスト用に1GiBの大容量ファイル(バイナリ/テキスト)を作成する方法いろいろ

Tue, 08 Mar 2022 09:18:33 +0900

はじめに

アップロード・ダウンロード速度、通信速度を確認するために、サイズの大きなファイルを作成したいときがあります。

よく知られた方法ばかりですが、1GB の大容量のファイルを作成する方法を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (aarch64-unknown-linux-gnu)

NULL 文字（0x00）で埋められた「バイナリファイル」を作成

最もかんたんかつ高速なのは、 dd コマンドを使って NULL 文字（0x00）で埋められたバイナリファイルを作成する方法 です。

1
2
3
4


$ dd if=/dev/zero of=1Gi bs=1024 count=$((1024**2))
1048576+0 レコード入力
1048576+0 レコード出力
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 2.45573 s, 437 MB/s

bs でブロックサイズ 1024bytes を指定しています。このブロックを、count の回数分、つまり 1024**2 回書き込みます。

Linux ファイルシステムにおけるタイムスタンプ(mtime、atime、ctime)の違い、確認方法、変更方法

Mon, 07 Feb 2022 21:10:51 +0900

はじめに

Linux OS 上で行う操作はほぼ全て「ファイル」に対して行われます。

ファイルには「作成された時」や「更新された時」の「日時」の情報が付与されています。

タイトルにある mtime 、 atime 、 ctime というのはファイルに関する日時情報にあたりますが、 なぜ 3 つあるのか？ 、 それぞれどういった情報なのか? は即答が難しいです。

これら 3 つの「日時」情報を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

「タイムスタンプ」はファイル操作したときの日時情報

Linux ファイルシステムにおける日時情報のことを タイムスタンプ と呼びます。

タイムスタンプ はファイルに対して何らかの操作したときに記録されます。

ファイルが作られたタイミングでもタイムスタンプが記録されるので、「タイムスタンプが存在しない」ということはありえません。

「タイムスタンプ」はいくつかの種類がある

一口に「日時情報」といっても、Linux ファイルシステムには以下の 3 つの「タイムスタンプ」があり、更新されるタイミングが異なります。

Bashシェルスクリプトで1〜999の数字をあてるゲームを作ってみる

Tue, 01 Feb 2022 08:04:50 +0900

はじめに

「子供と遊ぶ」＋「プログラミングの学習」のために、1〜999の数字をあてるゲームを作ってみました。

過去に別の言語で作ったことはありましたが、最近プログラミングをしていなかったせいで衰えを感じたため、どのぐらい衰えたか心配になり試してみました。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

ソースコード

ここで掲載しているスクリプトはGithubにもプッシュしておきました。

`game_of_guess.sh`

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


#!/usr/bin/env bash
set -o errexit
set -o nounset

ANS=$((RANDOM % 999 + 1))

MAX_RETRY=10

for ((i = 0; i < MAX_RETRY; i++)); do
 read -r -p "数値(0〜999)を入力してください: " GUESS
 if [[ $GUESS -eq $ANS ]]; then
 echo "あなたの勝ち!"
 exit 0
 elif [[ $GUESS -gt $ANS ]]; then
 echo "大きすぎ! (残り $((MAX_RETRY - i - 1)))"
 else
 echo "小さすぎ! (残り $((MAX_RETRY - i - 1)))"
 fi
done

echo "あなたの負け! 答えは $ANS"
exit 1

実行

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


$ ./game_of_guess.sh
数値(0〜999)を入力してください: 500
大きすぎ! (残り 9)
数値(0〜999)を入力してください: 251
小さすぎ! (残り 8)
数値(0〜999)を入力してください: 375
小さすぎ! (残り 7)
数値(0〜999)を入力してください: 437
小さすぎ! (残り 6)
数値(0〜999)を入力してください: 468
小さすぎ! (残り 5)
数値(0〜999)を入力してください: 484
小さすぎ! (残り 4)
数値(0〜999)を入力してください: 497
あなたの勝ち!

おまけ：答えを自動的に求めるスクリプト

`game_of_guess_auto.sh`

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


#!/usr/bin/env bash
set -o errexit
set -o nounset

ANS=$((RANDOM % 999 + 1))

MAX_RETRY=10

TOP=1000
BOTTOM=1

for ((i = 0; i < MAX_RETRY; i++)); do
 GUESS=$(((TOP + BOTTOM) / 2))
 echo "数値(0〜999)を入力してください: "$GUESS
 if [[ $GUESS -eq $ANS ]]; then
 echo "あなたの勝ち!"
 exit 0
 elif [[ $GUESS -gt $ANS ]]; then
 echo "大きすぎ! (残り $((MAX_RETRY - i - 1)))"
 TOP=$GUESS
 else
 echo "小さすぎ! (残り $((MAX_RETRY - i - 1)))"
 BOTTOM=$GUESS
 fi
done

echo "あなたの負け! 答えは $ANS"
exit 1

ひとこと

実はコードの大部分は GitHub Copilot が作成してくれました。

trコマンドとsed(y)コマンドの動作の同じところ、違うところ

Mon, 31 Jan 2022 08:00:19 +0900

はじめに

tr コマンドは、「文字」を別の「文字」に置き換えるコマンドです。

同じようなコマンドとして、 sed コマンドの y 内部コマンドがあります。

両方のコマンドの挙動を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

`tr` コマンド

tr コマンドを使って、 “my name is test.” という文字を変換してみます。

tr コマンドは指定された複数の文字を、別の文字に変換するコマンドです。

具体例をもとに挙動を見ていきましょう。

例1

tr コマンドの第1引数と第2引数の文字数が同じ場合には、それぞれの文字位置が変換ルールとして対応します。以下のルールで変換されます。

t => a
e => b
s => c

1
2


$ echo 'my name is test.' | tr 'tes' 'abc'
my namb ic dbcd.

例2

tr コマンドの第2引数が第1引数の文字数よりも小さい場合は、以下のルールで変換されます。

Bashで"while read"ループ内で変更した変数がループ外に反映されないときの対処

Sat, 29 Jan 2022 08:00:31 +0900

はじめに

よく知られていることですが、あるコマンドの実行結果をパイプで渡し、 while read 命令で 1 行ずつ読み込んで処理する場合に注意しないといけないことがあります。

多くのエンジニアが一度はハマったことがあるはずです。

while read ループ内で変更した変数の内容がループ外でうまく参照できない、という事象です。

「注意事項」 と 「解決方法」 を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

`seq 1 5` の実行結果を合計してみる

1〜5 の数の中から、 3 の倍数 を求めてみます。

SUM という変数を用意し、1〜5の値を加算します。

最後に SUM 変数を出力すれば、 1〜5の合計値がわかります。

1
2
3
4
5
6
7
8


$ SUM=0

$ seq 1 5 | while read -r NUM; do
 ((SUM+=$NUM))
done

$ echo $SUM
0

実行結果は 0 となってしまいました。

Bashシェルスクリプトでランダムな数値(乱数)を生成する

Fri, 28 Jan 2022 12:00:29 +0900

はじめに

意外にも、初歩的な「乱数」に関するエントリを書いたことがなかった( 過去にサラリと触れていぐらいた )ようなので、今回ネタにすることにしました。

「ランダム」というキーワードを取り上げたエントリも参考に紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

乱数を取得するための組み込み変数「RANDOM」を使う

Bash には、乱数を取得するための組み込み変数として RANDOM というものが用意されています。

試しに $RANDOM を出力してみましょう。

1
2
3
4
5


$ echo $RANDOM
458

$ echo $RANDOM
11854

echo $RANDOM を実行するたびに、出力される数値が異なります。

2つのコマンドをパイプで繋いだときのパイプバッファをエディタで編集する方法

Tue, 25 Jan 2022 20:10:41 +0900

はじめに

以前コマンド実行結果を Vim や Visual Studio Code で開く方法というエントリで、あるコマンドの実行結果をエディタにわたすための方法を紹介しました。

今回はそれに関連したエントリです。

Linux には、「あるコマンドの ( 標準 ) 出力」を「別のコマンドの ( 標準 ) 入力」として渡すための方法として 「パイプ」 が用意されています。

例えば、 seq コマンドの実行結果を 2 行だけ抽出したい場合には、 head コマンドをパイプ (|)でつないで実行してやります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# 1から5まで5行出力
$ seq 5
1
2
3
4
5

# seq 5 の実行結果から先頭2行を出力
$ seq 5 | head -n 2
1
2

ここで seq 5 の実行結果が、 head -n 2 に渡る前にエディタで加工する方法があります。

コマンド実行結果をVimやVisual Studio Codeで開く方法

Sat, 22 Jan 2022 08:10:52 +0900

はじめに

先日、会社の後輩からターミナルでコマンドを実行した結果をエディタで開く方法がないか質問があったときに回答した内容を紹介します。

暗号化されているファイルを復号化した結果をエディタで開いて触りたいが、コマンド実行結果をクリップボードに貼り付けて、という操作が面倒というのが発端です。

Vim でのやり方を知っていましたが、後輩は Visual Code Studio 使いだったために「さあどうしようか」と思いました。ダメ元で Vim と同じ方法を実行してみたところ、うまく行けてびっくりしました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (x86_64-apple-darwin21.1.0)

コマンド実行結果をVimやVisual Studio Codeで開く方法

“Vim” の場合

Vim では、パイプで渡された文字列を開くことができます。

vim - というコマンドを利用します。

多くのコマンドで、 - という引数は 「標準入力」 を表します。

vim - とは 「標準入力の内容をファイルに見立ててエディタで開く」 という命令になります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 100 から 105 までの連番を出力するコマンド
$ seq 100 105
100
101
102
103
104
105

# seq コマンド実行結果をVimにパイプで渡す
$ seq 100 105 | vim -

Bashシェルスクリプトで2つのディレクトリ内のファイル名のみを比較する(ファイルの内容の違いは許容)

Fri, 21 Jan 2022 21:24:11 +0900

はじめに

過去に以下のようなエントリを投稿しました。

Bashシェルスクリプトで2つのディレクトリを比較し内容に差異があったファイルを一覧表示する | ゲンゾウ用ポストイット

今回は似ていますが、 存在するファイル名の違いを出力してみたいと思います。

ファイルの中身に違いがあっても差分として検出しません。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

検証のための事前準備

比較するための2つのディレクトリ dir1 と dir2 を作成し、いくつかのファイルを作成しておきます。

後ほどこの2つのディレクトリに含まれているファイル名を比較します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# dir1 とそのサブディレクトリ、含まれるファイルを作成
mkdir -p dir1/a dir1/b dir1/c/d
date >dir1/a/1.txt
date >dir1/b/2.txt
date >dir1/c/3.txt
date >dir1/c/4.txt
date >dir1/c/d/5.txt

# dir2 とそのサブディレクトリ、含まれるファイルを作成
mkdir -p dir2/a dir2/b dir2/c/d
date >dir2/a/1.txt
date >dir2/c/3.txt
date >dir2/c/5.txt
date >dir2/c/d/5.txt

tree コマンドでそれぞれのディレクトリの階層構造を確認してみましょう。

実行中のBashシェルスクリプトを書き換えると挙動が変わる問題とその対処法

Tue, 18 Jan 2022 08:00:07 +0900

はじめに

時事ネタに乗り遅れましたが、昨年末にTwitterで話題になっていた内容について、かんたんなスクリプトを取り上げながら理解を整理してみたいと思います。

bashは、シェルスクリプトの実行中に適時シェルスクリプトを読み込みます。この挙動による副作用を認識できておらず、実行中のスクリプトが存在している状態でスクリプトの上書きによりリリースしてしまったことで、途中から修正したシェルスクリプトの再読み込みが発生し、結果的に未定義の変数を含むfindコマンドが実行されてしまいました。

この結果、本来のログディレクトリに保存されたファイルの削除をする処理ではなく、 /LARGE0のファイルを削除してしまいました

引用 : 「https://www.iimc.kyoto-u.ac.jp/services/comp/pdf/file_loss_insident_20211228.pdf」

僕もよくお世話になっている企業様ですし、お詫びの文面を公開し紳士に対応する姿勢、素晴らしいと思います。（被害を受けた側は災難だったと思いますが。）

そして、こちらの問題、決して他人事にできないと思います。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

ケース1：永遠に終了しない

障害の原因は「Bashシェルスクリプトの実行中に適時シェルスクリプトを読み込む」という特性によるものということでした。

実験して特性を確認してみます。

シェルスクリプトで、自身の末尾に処理を追記する処理を実行し続けたらどうなるでしょう？

test1.sh を作成します。

1
2
3
4
5
6
7
8


#!/usr/bin/env bash

function hello() {
 echo 'hello' >>$0
 echo hello実行中
 sleep 1
}
hello

hello 関数は以下のような動作をします。

Bashシェルスクリプト(コマンドライン)でファイル名の一括置換を行う(ファイル名にスペースあり)

Mon, 17 Jan 2022 14:56:39 +0900

はじめに

昨年後半から仕事が忙しく、ブログ投稿を行っていました。些細なネタでもいいので毎日続けることが大事だと反省しました。

というのも、投稿を怠っていた間もブログを見てくれた方、訪問数、いいねの数が伸び続け、 月間の訪問者数もついに 5万PV/月となっていたためです ！

ありがとうございます。

今年一発目の投稿は多くの人がご存知の一発ネタですね。 Bashで特定のフォルダ配下にあるファイルの名前を一括置換する方法です。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


----------
$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)
----------

準備

適当なファイルとフォルダを作ります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# 適当なディレクトリを作成
$ mkdir -p dir1/ dir2/dir2-1


# 適当なファイルを作成
$ touch dir1/file-001.txt
$ touch dir2/file-002.txt
$ touch dir2/dir2-1/file-003.txt
$ touch dir3/dir3-1/file-004.txt
$ touch "dir3/dir3-1/file- -005.txt"

“file- -005.txt"だけ、ファイル名にスペースを含んでいることに注意です。

最近のtarコマンドは展開時だけでなく、圧縮時もフォーマットを自動判定してくれる

Tue, 24 Aug 2021 12:00:19 +0900

はじめに

随分眺めの夏休みでした。ブログ投稿も二週間空いてしまいました。一度途絶えた習慣をもう一度体に染み込ませるのは骨が折れます。早くも頭が抵抗して「面倒くさい」気持ちが生まれてしまいました。気を取り直して。

こちらのエントリを書くきっかけは以前投稿した以下のエントリです。

tar コマンドで”z フラグを付ける”、”ハイフンを付けない”のはおっさんだそうです | ゲンゾウ用ポストイット

tarball ファイルを 展開する 際に、最近は圧縮フォーマットが自動判定されるため、 z (gzip ファイル展開時) やら j (bzip2 ファイル展開時) やら J (xz ファイル展開時)のオプションは指定不要ということでした。

追加で調べてみると、展開時だけでなく 圧縮時 もフォーマット指定が不要ということがわかりました。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ tar --version
tar (GNU tar) 1.26
Copyright (C) 2011 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

Written by John Gilmore and Jay Fenlason.

`-a` オプションを使う

いろんな圧縮フォーマットのファイルを圧縮する際に、 z / j / J その他と使い分けるのは面倒です。忘れてしまっていたらいちいち調べないといけないのも手間ですね。

自作したシェルスクリプトをLinuxのsystemdサービスとして起動する方法

Mon, 05 Jul 2021 15:41:56 +0900

はじめに

最近は Kubernetes や サーバレス なしくみを用いたサービス運用が進んでいるため、Linux の Systemd を触る機会はほぼありません。

利用機会は今後どんどん減ってでしょう。

しかし、担当しているサービスの一部で Google Compute Engine を利用しており、 Systemd を使ってシェルスクリプトをサービス化しています。

AWS EC2 を使ったサーバー構築の可能性もあり、 Systemd を使ったサーバーを構築する機会はまだ残り続けるでしょう。

そこで Systemd を使ってシェルをサービス化する方法をまとめておきます。

概要

当エントリでは Linux サーバー上が起動してたタイミングで、Systemd からシェルスクリプトを自動的に実行する方法 について紹介します。

“Systemd” とは？

Systemd は、LinuxOS の起動、管理、および終了に関するサービス管理システムです。従来は SysVinit という仕組みが使われていました。今は SysVinit が Systemd に置き換わり、OS の起動とサービスの管理を行う仕組みとなりました。

Systemd は、LinuxOS の初期化プロセスとして起動し、サービスの管理、ネットワークの設定、ログの管理などを主に担当しています。

管理者は簡単にシステムの状態を監視し、サービスの状態をコントロールできます。以下は、管理者が利用する Systemd の基本的なコマンドの例です。

systemctl start [サービス名] : サービスを開始します。
systemctl stop [サービス名] : サービスを停止します。
systemctl enable [サービス名] : システムの起動時にサービスを自動的に起動します。
systemctl disable [サービス名] : システムの起動時にサービスを自動的に起動しないようにします。
systemctl status [サービス名] : サービスの状態を確認します。

“Systemd” の実行プロセス

Systemd の実行プロセスは以下のような性質を持っています。

Bashシェルスクリプトで空ディレクトリを再帰的に検索し削除する

Mon, 28 Jun 2021 20:20:44 +0900

はじめに

開発が進むと、アプリケーション内に不要な空ディレクトリが誕生することがあります。そのまま残り続けていると、本当に必要なディレクトリなのかわからなくなることがあります。あるいはサーバのデータディレクトリ、ワークディレクトリも削除処理が実装されていない場合に不要な空ディレクトリが残ってしまう場合があります。

そんなときな空ディレクトリを再帰的に検索して一気に削除してしまいましょう。

シェルで実現するためのかんたんなワンライナーを紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ find --version | head -n 2
find (GNU findutils) 4.5.11
Copyright (C) 2012 Free Software Foundation, Inc.

動作確認のための準備

動作確認のために適当なディレクトリツリーを作成しておきます。

【衝撃】シェルスクリプトなら素数を列挙する問題が１行(ワンライナー)で書ける！

Thu, 25 Mar 2021 12:00:24 +0900

はじめに

シェルスクリプトだと FizzBuzz が１行(ワンライナー)で書けると同じようにワンライナーネタです。

最近は Go 言語 を少しずつ勉強しています。

Go 言語用ポストイット | Go 言語の学習メモをポストイットのように貼り付けていきます

その中で素数を求める問題を説いてみよう！と思ったのですが、すぐに脇道にそれて 「Bash 上でシェルを使って得ならどう書くか？」 に頭を使っているうちにエントリを書くことにしました。

ぜひ、「孤独な数値」を数えて落ち着きたい方にどうぞ。

検証環境

1
2
3
4
5
6


$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 5.1.4(1)-release (x86_64-apple-darwin20.2.0)

動画解説

動画でも解説しています。

ただし、1 は素数と言ったり、素因数のことを約数と言ってみたり、数学をかじった人たちからマサカリが飛んできそうな内容になっています。。。。

素因数分解をしてくれるコマンド `factor` を活用

素数を求めるために、 factor コマンドを活用します。 ( もしインストールされていないなら yum install coreutil あるいは apt install coreutil をどうぞ )

ログを "tail -f" で監視している時にログローテートや "mv" されると何も表示されなくなってしまうことに対処

Wed, 24 Mar 2021 12:00:10 +0900

はじめに

サーバの運用作業を行っているとき、リリース作業を行っているときにログを監視するために tail -f コマンドを利用します。

tail -f でログを監視している時にログが急に止まってしまい、「ドキッ」としたことはないでしょうか。実際にはログローテートされていたり、ログファイルがリネームされただけだった、というケースがあります。

さて、この ログファイルがリネームされた時に tail -f で監視していたログ出力が止まってドキッとしてしまう問題 をなんとかできないものでしょうか。

今回はこの問題に対する対処法を紹介します。

動画解説

動画でも解説しています。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ tail --version | head -n 2
tail (GNU coreutils) 8.32
Copyright (C) 2020 Free Software Foundation, Inc.

問題の再現方法

説明文だけではわかりにくいので、実際に問題を発生させてみます。

今回はターミナルを 3 つ立ち上げる必要があります。

"bash -c"コマンド実行で子プロセスが作られる時、作られない時

Fri, 08 Jan 2021 20:28:00 +0900

はじめに

KubernetesのマニフェストファイルやDockerのビルドファイル、Docker Composeの設定ファイルを閲覧、編集することが増えてきました。

それらのファイルの中で bash -c というコマンドが実行されていることがあります。 bash の新しいプロセスを立ち上げ、 -c オプションで渡されたコマンドを実行する命令になります。

ps コマンドを使い、実行中の bash -c プロセスを見ていたところ、プロセスツリーの表示が時々で異なっていたため不思議に思い調べてみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

改めて、 `bash -c` って何？

bash -c "echo hello" といったように、 -c コマンドに文字列を渡すことで、文字列をコマンドとして実行させることができます。多くの言語系で実装されている eval 関数のようなものですね。

1
2
3


# 10秒待ってからhelloが表示される
$ bash -c "echo hogehoge"
hogehoge

コマンドは ; で区切って複数実行させることもできます。

1
2
3


# 10秒待ってからhelloが表示される
$ bash -c "sleep 10; echo hello;"
hello

`bash -c "sleep 10; echo hello;"` を実行したときのプロセスツリー

ここで、 bash -c "sleep 10; echo hello;" というコマンドを実行します。

Bashでコマンドライン上にタブ文字をはりつけると消える問題に対応

Wed, 18 Nov 2020 08:13:35 +0900

はじめに

MacのデフォルトシェルもZshになったこともあり、最近インタラクティブな操作目的でBashを起動する機会は徐々に減っています。とはいえ、やはりサーバのログインシェルに利用されているのは未だBashが多く、今後もこの状況が続くでしょう。

Bashのコマンドライン上にタブ文字を含む文字列を貼り付けた場合、タブ文字が消えてしまうことがないでしょうか？このタブ文字が消える問題への対処法について紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

タブ文字が消える問題について

ここで、Bashのヒアドキュメント機能を利用して文字列を出力させたい、というケースを考えてみます。出力させない内容は、タブ区切り文字列である TSV 形式となっています。

以下のような3行からなるTSVです。

1
2
3


aa	bb	cc
aa	bb	cc
aa	bb	cc

cat コマンドと ヒアドキュメント を使って出力してみます。以下の内容をコピーして、Bashシェル上に貼り付けてみます。

1
2
3
4
5


cat <<EOF
aa	bb	cc
aa	bb	cc
aa	bb	cc
EOF

うまくいく環境もあるでしょうが、僕の環境ではタブが消えてしまいます。

Bashシェルスクリプト上での"[..]"と"[[..]]"の違い

Tue, 09 Jun 2020 08:38:36 +0900

はじめに

Bash上で作業を行ったり、Bashのシェルスクリプトを書いたりする場合に条件分岐を使うケースがあります。

if [ -f $FILE ]; then と記述する場合もあれば、 if [[ -f $FILE ]]; then のように [ を2つ続けて記述する場合もあります。両者の違いについて、知っている範囲でまとめました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

かんたんな文字列比較処理を書いてみる

変数 X の値が想定通りの場合に ok と出力するだけのかんたんな条件分岐を記述してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# 変数を作成
$ X=1223

# [...] を使用するケース
$ [ $X = "1223" ] && echo ok
ok

# [[...]] を使用するケース
$ [[ $X = "1223" ]] && echo ok
ok

ちなみに、上記の処理は以下と同義です。

Crontabにシステム起動時に1度だけコマンドが実行されるように設定する方法

Fri, 05 Jun 2020 08:45:36 +0900

はじめに

man 5 crontab を読んでいてたまたま見つけたので紹介。

crontab の実装の違いにより使える、使えないがあるが、システム起動時に 1 度だけコマンドが実行されるような設定をかんたんに追加できます。

検証環境

1
2


$ uname -moi
x86_64 unknown GNU/Linux

man ページに書かれている

man 5 crontab をしたところ以下のように記述されています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


 string meaning
 ------ -------
 @reboot Run once, at startup.
 @yearly Run once a year, "0 0 1 1 *".
 @annually (same as @yearly)
 @monthly Run once a month, "0 0 1 * *".
 @weekly Run once a week, "0 0 * * 0".
 @daily Run once a day, "0 0 * * *".
 @midnight (same as @daily)
 @hourly Run once an hour, "0 * * * *".

 Please note that startup, as far as @reboot is concerned, is the time when the cron(8) daemon startup. In particular, it may be before some system
 daemons, or other facilities, were startup. This is due to the boot order sequence of the machine.

crontab の各行の左 5 列は時間指定のために使われますが（ ex: 0 12 * * * echo hoge で「毎日 12:00 に echo hoge を実行」）、この部分に @reboot と記述することでサーバ再起動時に 1 回だけ実行されるような設定ができます。

sedを使って条件に一致した行をテンプレートファイルの内容で置き直す

Tue, 12 May 2020 08:00:45 +0900

はじめに

あまり使うことがない機能ですが、 sed で特定条件に合致した場合に、テキストファイルの内容を差し込むことができます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

準備

10から30までの数値を行ごとに出力します。以下のコマンドを利用します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


$ seq 10 30
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

この出力内容のうち、 3 が含まれている行の後ろに任意のテキストファイルの内容を差し込んでみます。

Bashシェルスクリプトで文字列を右(左)からN文字取り出す

Mon, 11 May 2020 08:53:23 +0900

はじめに

シェルスクリプトで右からN文字、あるいは左からN文字切り取る方法。

多くの言語でStringクラスの right() メソッド、 left() メソッドとして提供されている機能になります。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ cut --version | head -n 1
cut (GNU coreutils) 8.32

$ sed --version | head -n 1
sed (GNU sed) 4.8

`cut` を使う方法

1
2
3
4
5
6
7


## 左から3文字取り出す
$ echo 0123456789 | cut -c -3
012

## 右から3文字取り出す
$ echo 0123456789 | rev | cut -c -3 | rev
789

左から切り取る場合は rev コマンドで一度左右を反転させるのがポイントです。

Bashシェルスクリプトで数値配列の合計値を算出する

Thu, 07 May 2020 10:22:50 +0900

はじめに

Bash シェルスクリプトでは type または declare コマンドを利用することで配列変数を宣言できます。

この「配列変数」の合計値を算出する簡単な方法は無いか考えたことを公開します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

方法 1 - ループする方法

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ declare -a NUMS=(
 1 2 3 4 5
)

$ SUM=0
$ for N in ${NUMS[@]}; do
 ((SUM+=N))
done

$ echo $SUM
15

実行結果は 15 となります。

シェルスクリプトで`while read`ループすると最終行が読み込まれない場合への対処

Wed, 15 Apr 2020 14:04:08 +0900

はじめに

シェルスクリプトでファイルの各行に対して複雑なロジックを書かざるを得ない場合、 while read を使って一行ずつ読み込む処理を騎獣します。

echo や cat を使ってファイルを作成した場合はファイルの末尾に必ず改行コード（LF）が付与されますが、少々変わったファイルの作り方をすると改行コードが付与されないことがあります。（どきどきチームで開発しているソースコードにもこういうファイルが紛れ込むケースもありますね。）

そんなファイルを while read する場合に最終行がループ処理の対象にならない、とハマりがちなので対処法をまとめます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.16(1)-release (x86_64-apple-darwin18.7.0)

普通に作成したファイルを `while read` して一行ずつ読み込んでみる

普通に作成したファイルを while read して一行ずつ読み込む場合、以下のようなコードになるかと思います。

( IFS= を付与しないと、 read 時に行頭・行末のスペースが除去されてしまいます。 -r オプションがないと各行末に \ があった場合におかしな挙動をしてしまいます。 )

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


# 後述するケースにつながるため、あえてちょっと変わった書き方で echo しています。
$ echo "\
aaa
 bbb
ccc" >test1.txt

# ファイルの中身は3行となっています。
$ cat test1.txt
aaa
 bbb
ccc

# 一行ずつ読み込んでみます
$ cat test1.txt | while IFS= read -r LINE; do
 echo "${LINE}"
 done
aaa
 bbb
ccc

問題なく3行とも読み込めました。

「too many levels of symbolic links」というエラーメッセージについて

Wed, 08 Apr 2020 08:00:21 +0900

はじめに

僕は出会ったことはないのですが、 「too many levels of symbolic links」 というエラーメッセージに遭遇したという話を聞いて再現方法を調べてみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.16(1)-release (x86_64-apple-darwin18.7.0)

エラーを再現させてみる

早速再現させてみます。通常はこんなことは起きないとは思いますが、 自分自身を参照するシンボリックリンク hoge を作成します。

1
2
3
4
5


$ ln -s hoge hoge

$ ls -l
total 0
lrwxrwxrwx 1 root root 4 Apr 7 14:33 hoge -> hoge

このシンボリックリンク hoge をフォルダとみなして、 hoge/x というファイルを作成してみます。

1
2


$ touch hoge/x
touch: cannot touch 'hoge/x': Too many levels of symbolic links

エラーが再現しました。

treeコマンドでフォルダ構成をツリー表示しつつ所有者・パーミッションを表示

Tue, 07 Apr 2020 23:27:37 +0900

はじめに

Linuxにおける tree コマンドは、フォルダ構成を視覚的に確認するために便利なコマンドです。僕は特にドキュメントの作成時に tree コマンドを利用しフォルダ構成を図示します。

特定のアプリケーションのセットアップドキュメントを作成する際に、ツリー構造を表示しつつ想定するパーミッションを表示したい場合がありました。

tree コマンドのオプションを付与することでかんたんに実現できました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ tree --version
tree v1.6.0 (c) 1996 - 2011 by Steve Baker, Thomas Moore, Francesc Rocher, Kyosuke Tokoro

かんたんなフォルダ構成を作成

tree コマンドの動作を見るためにかんたんなフォルダ構成を用意します。

1
2
3
4
5


# 適当にディレクトリを作成
$ mkdir -p aaa bbb ccc/ddd

# 適当にファイルも配置
$ touch aaa/1.txt bbb/2.txt ccc/ddd/3.txt

結果、以下のようなファイルツリーが作成されました。

sedで置換処理が行われなかった場合に終了ステータスを0以外にする方法

Sun, 05 Apr 2020 21:54:09 +0900

はじめに

sed コマンドで s 内部コマンドを使って置換処理を行った場合、条件に該当する文字列が見つからず置換が行われなかったとしても、終了ステータス $? は 0 になります。

実際に置換されたのか？置換されなかったのか？を終了ステータス $? で判定する方法について紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ sed --version | head -n 1
sed (GNU sed) 4.8

準備

サンプルテキストデータ

動作確認のために置換処理に利用するテキストファイル ( test.txt ) を作成します。

1
2
3


cat <<EOF >test.txt
この文章はダミーです。文字の大きさ、量、字間、行間等を確認するために入れています。
EOF

sedで置換が行われた場合、行われなかった場合の終了コードを確認

sedで 置換が行われた場合 の終了ステータスを確認してみます。

1
2
3
4
5


$ sed 's/ダミー//' test.txt
この文章はです。文字の大きさ、量、字間、行間等を確認するために入れています。

$ echo $?
0

sedで 置換が行われなかった場合 の終了ステータスを確認してみます。

Bashシェルスクリプト内でaliasコマンドを使う方法

Mon, 16 Mar 2020 09:09:18 +0900

はじめに

Bashシェルスクリプト内で alias コマンドを使ってエイリアス設定しようとしてもデフォルトのままでは設定できません。

設定する方法について紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.16(1)-release (x86_64-apple-darwin18.7.0)

シェルスクリプト内で`alias`コマンドを使ってみる

ls -l コマンドをかんたんに扱うための ll というエイリアスを作成し、実行するスクリプトを用意してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# ファイルを作成
$ echo <<EOF > test.sh
#!/usr/bin/env bash

alias ll='ls -l'

ll /tmp/
EOF

# 実行権限を付与
$ chmod 700 test.sh

これを実行してみます。

シェルスクリプトでマルチバイト文字の文字数を確認する際の注意事項（おまけでJSTなど）

Wed, 04 Mar 2020 08:58:51 +0900

はじめに

Bashシェルスクリプトで日本語の全角文字（ex: あいう）の文字数を取得したかったのですが環境の設定に注意しないといけないことがありました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

マルチバイト文字のを含む文字列の「バイト数」「文字数」を取得

マルチバイト文字のを含む文字列の「バイト数」「文字数」をそれぞれ取得してみたいと思いました。

クリーンな環境が欲しかったので、 docker run で CentOS7 環境を利用してみました。

1
2
3
4


# 以下のコマンドでCentOS7上のログインシェルが起動
$ docker run --rm -it centos:7

[root@fbdeab6f7982 /]#

ここで、 あいう という全角3文字のバイト数、文字数を取得してみます。それぞれ wc -c 、 wc -m というコマンドに対してパイプ経由で文字列を渡してやります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


# -nオプション無しでechoすると改行文字が含まれてしまうことに注意！
$ echo あいう | wc -c
10

# これで改行が除外される（プロンプトがおかしな場所に出力されていることからわかる）
$ echo -n あいう
あいう$

# wc -c でバイト数を取得
$ echo -n あいう | wc -c
9

# wc -c で文字数を取得
$ echo -n あいう | wc -m
9

# 変数に代入して、変数の文字列長を取得する命令を利用してみる
$ X=あいう
$ echo ${#X}
9

「バイト数」は想定通りでしたが、「文字数」が正しく取得できません。（バイト数と同じ値になってしまいました。）

シェルスクリプトでクリップボードの監視をしてみる

Fri, 14 Feb 2020 08:30:53 +0900

はじめに

技術調査のためにひたすら参考になるキーワードをコピペしていましたが、自動的にテキストファイルに吐き出したかったのでスクリプトを書いてみました。

デフォルト状態ではMacで用意されているpbcopy/pbpasteコマンドで動作しますが、同等のコマンド名を引数で渡してやればLinuxやCygwinでも動作します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

スクリプト

watch_cb.sh という名前で作成しました。

クリップボードの内容が変わったタイミングで出力が行われます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


#!/usr/bin/env bash
set -o errexit
set -o nounset
set -o noclobber

COMMAND_TO_COPY="${1:-pbcopy}"
COMMAND_TO_PASTE="${2:-pbpaste}"

echo '' \
 | "${COMMAND_TO_COPY}"

PRE_CLIP=
while :; do
 CLIP="$(${COMMAND_TO_PASTE})"
 if [[ ${PRE_CLIP} != "${CLIP}" ]]; then
 # ---- Event occurs ----
 PRE_CLIP="${CLIP}"
 echo "${PRE_CLIP}"
 fi
 sleep 1
done

実行方法

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# コンソール上に表示するだけ
$ ./watch_cb.sh

# ファイルにも保存したい
$ ./watch_cb.sh | tee memo.txt

# 追記
$ ./watch_cb.sh | tee -a memo.txt

# 特定の条件に合致したものだけに絞り込む
$ ./watch_cb.sh | grep https | tee memo.txt

ひとこと

イベント発生部分を汎用化させれば、もっと色々できそう。

シェルスクリプトでデータを文字列の長い行順にソートする方法

Thu, 13 Feb 2020 08:32:20 +0900

はじめに

データを文字列の長い行順（あるいは短い行順）に並び替えする方法について説明します。

もともとのきっかけは、findコマンドで検出したディレクトリを階層の深い順に削除しないとエラーメッセージが表示される問題を解消したいということでした。「階層が深いディレクトリ＝パスの文字列が長いディレクトリ」をどうやってソートしようかなと考えて当エントリをまとめることにしました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

準備

適当にディレクトリを作成して試してみます。

スペースを含んでも正しく動作するかを確認したかったので、ここではあえてスペースを含むディレクトリも作ってみました。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


# 適当なディレクトリを作成する
$ mkdir -p aaa/bbb/ccc 'aaa/d ddd/ee'

# treeコマンドでディレクトリ構成を確認してみる
$ tree
.
└── aaa
 ├── bbb
 │   └── ccc
 └── d ddd
 └── ee

5 directories, 0 files

単純に`find`で出力してみる

まずは単純にfindでディレクトリのみを出力してみます。

シェルスクリプトでファイルに特定の文字が含まれているかどうかを高速に判定する方法

Mon, 10 Feb 2020 09:00:05 +0900

はじめに

ファイルに特定の文字が含まれていたら処理を行う、という分岐を書くときにgrepの実行結果を>/dev/nullに捨てる、という方法をとっていましたが、>/dev/nullを使わなくても良いということを知りました。

>/dev/nullを使う場合と比べてのメリットについても取り上げます。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ grep --version | head -n 1
grep (GNU grep) 2.20

`>/dev/null`を使ったやり方

今までは標準出力を無効化するために>/dev/nullを使っていました。

1から100まで書かれている100行のテキストファイルtest.txtについて、grepを行い分岐処理を行ってみます。まずはテストに使用するテキストファイルを作成します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# `seq` コマンドでファイルを作成
$ seq 1 100 >test.txt

# 確認。最初の3行を出力してみる
$ head -n 3 test.txt
1
2
3

# 確認。最後の3行を出力してみる
$ tail -n 3 test.txt
98
99
100

このファイルを使ってファイル内の文字列存在チェックを行ってみます。

DockerfileのVOLUME命令とはなにか？どのように利用すると便利か？

Sat, 08 Feb 2020 22:58:25 +0900

はじめに

Docker を使うに当たり Dockerfile の各種命令の理解は必須です。 FROM や RUN などは確実に登場します。

ただ、 VOLUME という命令を使う機会が多くなかったため、改めて理解を整理してみます。また、どういうときに便利に利用できるのかについても取り上げてみたいと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ docker --version
Docker version 19.03.5, build 633a0ea

VOLUME 命令の記述方法

まずは動作確認のために、VOLUME 命令を使用したかんたんな Dockerfile を作成してみます。

1
2
3
4
5
6
7


$ cat <<EOF >Dockerfile
FROM alpine:3.11.3

RUN mkdir -p /hoge /fuga

VOLUME ["/hoge"]
EOF

記述している内容は 3 命令しかありません。

FROM : ベースとして利用するコンテナイメージ。何でも良いがここでは Alpine Linux を利用しています。
RUN : ルートディレクトリ直下に２つのディレクトリを作成しています。( /hoge, /fuga)
VOLUME : 配列で複数指定可能。ボリュームとしたいパスを指定。

ここでは、 /hoge というディレクトリを ボリューム として定義しています。

インデントされたファイルを "while read" コマンドでループさせるとインデントが消えてしまう問題に対処

Fri, 07 Feb 2020 20:18:14 +0900

はじめに

シェルスクリプトで、インデントされたテキストファイルを while read 構文で読み込み処理したいが、インデントされている行の行頭のスペースが消えてしまうのでなんとかしたいという質問がありました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

問題

以下のようなファイルがあります。2行目がスペースでインデントされています。

1
2
3
4


$ cat a.txt
111
 222
333 444

これを while read 構文で読み込みループさせたいが、2行目の行頭のスペースが消えてしまうということでした。

1
2
3
4
5
6
7


$ while read -r line; do
 echo "$line"
 done <a.txt

111
222
333 444

解決方法は `IFS` 環境変数のクリア

解決方法は非常に単純で、 IFS 環境変数をクリア（空）にしてやることで対処できます。

1
2
3
4
5
6
7


$ while IFS= read -r line; do
 echo "$line"
 done <a.txt

111
 222
333 444

IFS 環境変数はinternal fieled separatorの省略で、 情報を分離するために利用される文字 が格納されています。 read コマンドはシェルのビルドインコマンドです。

シェルで全角/半角/大文字/小文字/ひらがな/カタカナ/英字の変換を行うためにuconvを使う

Wed, 05 Feb 2020 19:45:37 +0900

はじめに

コマンドラインから全角/半角/大文字/小文字/ひらがな/カタカナ/英字の変換を行うために便利そうな uconv というツールを見つけたので紹介します。サイトには以下のように書かれていました。

iconv(1) に加えて、Unicode 用の国際化コンポーネント (ICU) ツールセットの一部である uconv(1) コマンドも、1 つのエンコーディングから別のエンコーディングへの変換に使用できます。uconv は、229 のエンコーディングと、1000 を超える別名をサポートしています。

簡単にいうと iconv の上位互換ですね。もうこれがあったら文字列変換の多くが実現できるんじゃないかと思いました。

検証環境

1
2


$ uconv --version
uconv v2.1 ICU 64.2

インストール

uconv コマンドは icu というパッケージに含まれています。 RedHat系ディストリビューションとDebian系ディストリビューションでインストール方法に違いがあるので注意。

RedHat系

1
2
3


$ sudo yum install icu

$ uconv --version

Debian系(Ubuntu)

1
2
3


$ sudo apt-get install icu-devtools

$ uconv --version

※手前味噌ですが、Dockerイメージも公開しました。インストールは不要です。

1
2
3
4
5


$ docker run -i --rm genzouw/uconv --version
uconv v2.1 ICU 64.2

# ~/.bashrcや~/.zshrcにエイリアス設定しておくと便利
$ alias uconv='docker run -i --rm genzouw/uconv'

色々変換してみる

早速いろいろ変換してみます。

シェルスクリプトで数値を3桁ごとにカンマ区切りで表示する（Number Format）

Tue, 04 Feb 2020 14:00:39 +0900

はじめに

桁数の多い数値を見やすくするために、3 桁ごとにカンマ区切りで表示することがあります。昔の現場では「カンマ編集」と言われていました。また、多くのプログラミング言語に組み込み関数として用意されています。

金額をページ内に表示するとき利用されますね。

ex) 1,234,567

シェルスクリプトで実現する方法について取り上げます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

`printf`コマンドを使う ( シェルが`Bash 5系`である場合 )

printf コマンドを利用すれば OK。

シェルがBash 5系以上である場合は、組み込みコマンドであるprintfが利用できます。数値を出力するためのフォーマットは%dですが、%とdの間に'（シングルクォート）を挿入するとカンマ区切りで表示されます。

1
2
3
4
5
6
7


# 普通にprintfで数値を出力する場合
$ printf "%d\n" 1234567890
1234567890

# カンマ区切りのフォーマッタを使って出力する場合
$ printf "%'d\n" 1234567890
1,234,567,890

`sed`コマンドを使う ( シェルが`Bash 5系`でない場合 )

Bash が利用できなかったり、バージョンが古い場合にはsedで頑張ってみます。

1
2


$ echo 1234567890 | sed -E ':l; s/^([0-9]+)([0-9]{3})/\1,\2/; t l;';
1,234,567,890

簡単に解説すると、以下のような処理をsedで行っています。

docker-compose.ymlのcommandプロパティに複数コマンドを設定する方法

Tue, 28 Jan 2020 12:00:14 +0900

はじめに

Docker Compose は非常に便利ですね。

3 層構造 ( クライアント、Web、DB ) のアプリケーションを作る際には、最低限 Web のコンテナ、DB のコンテナの 2 つを同時に立ち上げる必要があります。

Docker Compose なら簡単に環境を構築できます。

これらのコンテナを立ち上げる前の準備処理を行ってきたい場合があります。 ( init コンテナとでも呼びましょうか。例えば設定ファイルを作ったり。 )

docker-compose.yml の command プロパティにこれらの初期処理を設定したかったのですが、シェルを複数コマンド記述したり、リダイレクトさせたりで少々ハマったので共有します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ docker-compose --version
docker-compose version 1.25.2, build 698e2846

どんなことがしたかったか？

初期処理として、以下のような 2 行のコマンドを実行してファイルを作成したいとします。

1
2


echo "Konnichiwa!" > /shared_dir/hello.txt
chmod 600 /shared_dir/hello.txt

シェルで記述すると非常に簡単です。ワンライナーだと以下のように記述できますね。

1

echo "Konnichiwa!" > /shared_dir/hello.txt; chmod 600 /shared_dir/hello.txt

改行で区切る代わりに ; を指定しています。

スタンドアロンKubernetesクラスタにIngressを設定しWebサーバを公開する

Sun, 26 Jan 2020 23:47:02 +0900

はじめに

余ったPC1台を使ってKubernetesクラスタを構築してみるでKubernetesの検証環境を構築できました。

せっかくできたこの環境を使って外部からアクセス可能なWebサーバを構築し、公開してみたいと思います。

Ingressとは

Ingressとは、Kubernetesで利用できるL7(HTTP/HTTPS)ロードバランサです。クラスタ内のコンテナ(正確にはPod)を外部に公開できます。

似たようなものとしてLoad Balancer Serviceというものがあります。こちらはL4(TCP/UDP)ロードバランサです。後々やってみたいと思っているTLSターミネーションやURLマップができません。

したがって、Ingressを使ってみたいと思います。

セットアップ

検証環境

前回のエントリの続きのため、Ubuntu環境を利用しました。

1
2


$ uname -v
40~18.04.1-Ubuntu SMP Thu Nov 14 12:06:39 UTC 2019

Ingress Nginx Controller

Ingressとは先程触れたとおり、Kubernetesで利用できるL7(HTTP/HTTPS)ロードバランサです。

Ingressの内部実装はIngress Controllerと呼ばれており、GCPで動作するもの、AWSで動作するものなど色々あります。

ここではオンプレミス環境でも利用できるIngress Nginx Controllerをインストールします。

Ingress Nginx ControllerをHelmというツールを使ってセットアップを行います。 *Helm**を利用する理由は、クラスタ外からアクセスするためのIPアドレス（external_ip）の設定が容易なためです。

Helmのインストール

公式ページに記載されている方法でインストールします。

1
2
3
4
5
6
7


# Install
$ curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3
$ chmod 700 get_helm.sh
$ ./get_helm.sh

# Initialize
$ helm repo add stable https://kubernetes-charts.storage.googleapis.com/

次に外部からアクセスする際のクラスタのIPについて確認します。スタンドアローンのクラスタなので、 マスタサーバ で ip addr を実行した結果のIPアドレスを利用します。

セットアップスクリプトなどでmkdir,cp,chown,chgrp,chmodが頻発するときにシンプルに記述する方法

Tue, 21 Jan 2020 12:00:17 +0900

はじめに

アプリケーションのセットアップスクリプト や Dockerfile 、 Vagrantfile を記述しているときに、以下のようなコマンドが乱立することがあります。

mkdir
cp
chown
chgrp
chmod

mkdir でコピー先のディレクトリを作成し、 cp でファイルをコピー、 chown / chgrp で所有者を変更し、 chmod でパーミッションを変更、といった記述をしだすと、4コマンドは実行することになります。

これを1コマンドでやってしまおうというのが今回のエントリです。

検証環境

今回は非常に軽量なDcokerイメージである alpine でも使えることを確認したいため、以下の環境を利用しました。

1
2
3
4
5


$ uname -moi
x86_64 unknown Linux

$ sh --help 2>&1 | head -n 1
BusyBox v1.30.1 (2019-06-12 17:51:55 UTC) multi-call binary.

ちなみに「Alpine Linux」は docker コマンドが利用できれば簡単に起動できます。

1

$ docker run -i -t --rm alpine

4つのコマンドを1コマンドで実現するためのコマンド `install`

答えとしては非常に簡単で、 install コマンドを利用します。

シェルである文章内からある単語の登場回数を調べる

Sun, 19 Jan 2020 07:30:52 +0900

はじめに

文章内から特定の単語の登場回数を調べる方法について紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

サンプル文章の用意

サンプル文章を用意します。

Wikipedia の「ONE_PIECE」のページをサンプルとして利用したいと思います。

1

$ curl -s https://ja.wikipedia.org/wiki/ONE_PIECE > one_piece.html

HTMLのタグが混ざり込んでいますが、特定の検索キーワードを探す分には問題ないでしょう。

`grep` を使って「特定の単語」の登場回数を調べる方法

はじめに断っておくと、 grep -c を使う方法はおすすめしません。

grep -c で検索対象の単語の登場回数を調べることができます。

1
2


$ grep -c ワンピース one_piece.html
138

ただし、注意が必要です。 grep -c の検索結果数は、 「単語の登場回数」 ではなく 「単語が1文字以上見つかった行数」 になっています。

1
2
3
4
5
6
7
8
9


# 3行の中に "ワンピース" の文字が6回登場している
$ grep ワンピース one_piece.html | head -n 3
<td>この項目では、尾田栄一郎の漫画について説明しています。アニメ版については「<a href="/wiki/ONE_PIECE_(%E3%82%A2%E3%83%8B%E3%83%A1)" title="ONE PIECE (アニメ)">ONE PIECE (アニメ)</a>」を、その他の「ワンピース」については「<a href="/wiki/%E3%83%AF%E3%83%B3%E3%83%94%E3%83%BC%E3%82%B9_(%E6%9B%96%E6%98%A7%E3%81%95%E5%9B%9E%E9%81%BF)" class="mw-disambig" title="ワンピース (曖昧さ回避)">ワンピース (曖昧さ回避)</a>」をご覧ください。
<p>『<b>ONE PIECE</b>』（ワンピース）は、<a href="/wiki/%E5%B0%BE%E7%94%B0%E6%A0%84%E4%B8%80%E9%83%8E" title="尾田栄一郎">尾田栄一郎</a>による<a href="/wiki/%E6%97%A5%E6%9C%AC" title="日本">日本</a>の<a href="/wiki/%E5%B0%91%E5%B9%B4%E6%BC%AB%E7%94%BB" title="少年漫画">少年漫画</a>作品。『<a href="/wiki/%E9%80%B1%E5%88%8A%E5%B0%91%E5%B9%B4%E3%82%B8%E3%83%A3%E3%83%B3%E3%83%97" title="週刊少年ジャンプ"> 週刊少年ジャンプ</a>』（<a href="/wiki/%E9%9B%86%E8%8B%B1%E7%A4%BE" title="集英社">集英社</a>）にて<a href="/wiki/1997%E5%B9%B4" title="1997年">1997年</a>34号より連載中。略称は「<b>ワンピ</b>」。
<li class="toclevel-2 tocsection-60"><a href="#ワンピース・プレミア・サマー"><span class="tocnumber">12.2</span> <span class="toctext">ワンピース・プレミア・サマー</span></a></li>

# この結果を `grep -c` で検索すると、 6ではなく3という結果が帰ってくる
$ grep ワンピース one_piece.html | head -n 3 | grep -c ワンピース
3

`grep -o ... | wc -l` を使う方法

行数ではなく単語の登場回数を知りたい場合には、 grep -o の結果を wc -l にパイプで繋いでやるほうが良いでしょう。

Bashシェルスクリプトで文字列変数を部分的に切り出す（substring）

Sat, 18 Jan 2020 11:30:34 +0900

はじめに

Bash シェルスクリプトで変数に格納されている文字列を部分的に切り出す方法について。

サンプルコードを掲載しますが、 GNU Bash でのみ動作する機能もありますので、ご注意ください。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

先頭（左）から数文字切り出す

文字列が格納された変数に対して、 先頭（左）から数文字切り出す には、以下のようなコマンドを利用します。

※先頭から 4 文字を切り出してみます 。

1
2
3
4


$ STR="Hello World"

$ echo ${STR:0:4}
Hell

Bash の変数は、 ${STR:offset:length} の形式で参照すれば文字列の一部を切り出すことができます。

offset : 切り出し開始位置(先頭から切り取りたい場合は 0 を指定)
length : 切り出し文字数

また、 0 は省略可能です。

1
2
3


# echo ${STR:0:4} と同じ結果となります
$ echo ${STR::4}
Hell

末尾（右）から数文字切り出す

先程と同じ変数参照の機能を利用します。

Bashシェルスクリプトで数値の絶対値を算出する方法

Wed, 15 Jan 2020 12:30:53 +0900

はじめに

以前もエントリを書きましたが、簡単な計算であればBash上で計算できます。

整数のみの計算であれば、以下のように実現できます。

1
2


$ echo $((10/2))
5

今回は絶対値を計算する方法について考えてみます。

検証環境

1
2
3
4


x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

1.計算結果が正か負かの判定を行う方法

判定処理を行い大きい方から小さい方を引き算する方法です。

1
2
3
4
5
6
7
8
9


$ A=10
$ B=15

# 普通に計算するとマイナスになる
$ echo $((A-B))
-5

# 三項演算子を使って演算を反転してやる
$ echo $((A > B ? A - B : B - A))

2.マイナスを削り取る方法

単純に計算結果の先頭１文字が - だった場合には削り取ります。

Bashシェルスクリプトでログ出力をシンプルに実現する方法

Mon, 06 Jan 2020 12:00:27 +0900

はじめに

シェルスクリプトはお世辞にも読みやすいコードとは言えません。なのでできる限りシンプルに、短く記述したいのですが、工夫をしないと ログ出力 処理がごちゃごちゃしてしまいます。

例えば、すべての出力、エラー出力をログとして保存しようとすると以下のような記述ができます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


#!/usr/bin/env bash

LOG_OUT=/tmp/stdout.log
LOG_ERR=/tmp/stderr.log

# 標準出力
echo foo1 >>$LOG_OUT 2>>$LOG_ERR
echo foo2 >>$LOG_OUT 2>>$LOG_ERR
echo foo3 >>$LOG_OUT 2>>$LOG_ERR
# 標準エラー出力
ls /foo >>$LOG_OUT 2>>$LOG_ERR
rm /foo >>$LOG_OUT 2>>$LOG_ERR

実行結果は以下のようになります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ ./test.sh

$ cat /tmp/stdout.log
foo1
foo2
foo3

$ cat /tmp/stderr.log
ls: cannot access '/foo': No such file or directory
rm: cannot remove '/foo': No such file or directory

スクリプトが小さな間は良いのですが、大きくなってきた場合、このような記述が乱立していると非常に見にくいです。

Bashシェルスクリプトでiniファイルを読み、環境変数を定義する

Mon, 23 Dec 2019 15:00:05 +0900

はじめに

$HOME/.bitbucket という INI ファイル形式のファイルを読み込み、 ... = ... 形式で書かれている行から環境変数を定義したくなりました。簡単なコードで実現してみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

`sed` を使う

sed を使って、 ... = ... というフォーマットの行だけを抽出して source コマンドに食わせます。

1
2
3
4
5


# iniファイルのファイルパスを定義
$ declare -r INI_FILE="$HOME/.bitbucket"

# ... = ... 形式の行のみを抽出して、 source コマンドに食わせる
$ source <(sed -n -E 's/^\s*(\S+)\s*=\s*(.+)$/\1=\2/p' <"${INI_FILE}")

ちなみに、特定のセクション ( [ ... ] )以降に書かれている設定のみを読み込むには以下のように記述します。

fzfを使ってghqで取得したリポジトリ一覧を検索しcdするためのコマンドを作成

Fri, 20 Dec 2019 15:51:22 +0900

はじめに

既存のすべてのBitbucketリポジトリをGithubに移行するためのシェルコマンドで、 Github や Bitbucket のリポジトリの取得方法、取得したソースコードの配置場所を統合できましたが、これらのリポジトリの検索や移動がもっと楽にするために検索・移動コマンドを作成してみたいと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

必要なもの

作成したコマンド（関数）

以下の関数を定義します。

1
2
3
4


$ fgh() {
 declare -r REPO_NAME="$(ghq list >/dev/null | fzf-tmux --reverse +m)"
 [[ -n "${REPO_NAME}" ]] && cd "$(ghq root)/${REPO_NAME}"
}

ghq で取得したリポジトリを検索したい場合はこの関数を実行します。

1

$ fgh

以下に今回作成した関数を実行した動画を共有します。

~/.bashrc や ~/.zshrc に追記しておくと良いですね。

ひとこと

各ネタが付きたので軽めのエントリでした。

Bashシェルスクリプトで文字列を分割(split)する方法いろいろ

Tue, 17 Dec 2019 12:00:57 +0900

はじめに

最近、Bash で特定の文字 ( あるいは文字列 ) で連結されている文字列を分割して配列に代入したい場合の方法について聞かれることがあったのでまとめました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

大きく 2 つのケースを考えてみる

文字列の分割 ( split ) について、大きく 2 つのケースを考えてみます。

単一の文字で分割
複数の文字 ( 文字列 ) で分割

単一の文字で分割する方法

1.変数参照時に置換する

Bash では、スペースを区切り文字として取り扱います。したがって、区切り文字をスペースに置換し、 (..) で囲んで配列にします。最も簡潔に実現できます ( 問題点については後述 ) 。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


$ STR="I,am,a,pen"

# split
$ ARR=(${STR//,/ })

# 配列の1番目の要素
$ echo ${ARR[0]}
I

# 配列の2番目の要素
$ echo ${ARR[1]}
am

# ループで1要素ずつ出力
$ for S in "${ARR[@]}"; do echo "$S"; done
I
am
a
pen

※ただし、この方法には問題があります。本来区切り文字でないスペースが含まれている場合、スペースで区切られてしまいます。

Bashシェルスクリプトでは、関数の中に関数がかける

Mon, 16 Dec 2019 12:00:58 +0900

はじめに

GitHub 上のシェルスクリプトを見ていたときに面白そうな機能を見つけたので投稿しておきます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

関数の中に関数がかける

スクリプトを見ながら確認してみましょう。

まずは関数を定義します。

1
2
3


$ func1 () {
 echo "Hello world"
}

定義した関数を呼び出してみます。

1
2


$ func1
Hello world

ここから、 func1 の定義を変更します。 func1 の中で func2 という関数を定義し、さら呼び出してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# 関数を定義する
$ func1 () {
 # 関数func2を定義する
 func2 () {
 echo "I am sub function."
 }

 echo "Hello world"

 # func2を呼び出す
 func2
}

関数 func1 を実行した結果は以下のようになります。

lessコマンドで文字列検索したときに大文字小文字を無視させる設定方法

Sat, 14 Dec 2019 15:56:31 +0900

はじめに

古いサーバー環境では less の検索機能で大文字小文字を区別していなかったのに、新しく構築したサーバで大文字小文字を区別するようになって使いづらかったため、設定方法について書こうと思います。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ less --version | head -n 2
less 458 (POSIX regular expressions)
Copyright (C) 1984-2012 Mark Nudelman

大文字小文字を無視するオプション `-i`

less コマンド実行時に、 -i オプションを指定することで、 less コマンド起動後の検索で大文字小文字を無視させることができます。

/etc/passwd ファイルを less で開いて検索する例を取り上げます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


$ cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

以下のように less コマンドをパイプで繋いで起動してみます。

Bashシェルスクリプトで変数の値を変数名として別の変数を参照する方法

Fri, 13 Dec 2019 12:00:03 +0900

はじめに

Bash で変数の値を使って、別の変数を参照するにはどう書けばよいでしょう？

少々説明がくどいですが、PHP や他の言語では普通にできるコードを書けるか？というお話です。

実際に PHP で書く場合と Bash で書く場合を見ていきます。

検証環境

1
2
3
4
5
6


$ uname -moi
x86_64 MacBookPro11,4 Darwin


$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

PHP のコードサンプル

以下のように $var1 , $var2 , $var3 の 3 つの変数を、ループを使って参照する場合には以下のようなコードで実現できます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


<?php

$var1 = '111';
$var2 = '222';
$var3 = '333';

for ($i = 1; $i <= 3; ++$i) {
 $varName = "var${i}";
 echo "$i = ${$varName}" . PHP_EOL;
}

1
2
3
4


$ php test.php
1 = 111
2 = 222
3 = 333

Bash のコードサンプル

方法は 2 つあります。

Bashシェルスクリプトで「.」や「source」コマンド経由で呼び出されていないかをチェックする方法

Thu, 05 Dec 2019 08:00:06 +0900

はじめに

Bashシェルスクリプトで関数のコールスタックを取得・出力するの続きです。続きというよりも、当エントリを書きたかったための前振りが上記のエントリです。

実行するシェルスクリプトが、 . や source コマンド経由で呼び出された場合には、内部で定義されている変数や関数がカレントプロセス上に展開されることになります。スクリプトのファイル内に書かれている変数や関数が漏れてしまうのを避けるための方法を共有します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`$FUNCNAME` 変数をハックする

Bashシェルスクリプトで関数のコールスタックを取得・出力するで見たとおり、 . または source コマンドを使って呼び出されたスクリプトは、 $FUNCNAME 変数のスタックトレース上に source という関数スタックが積まれます。

この仕組みを利用し、 is_sourced という関数を作成し、判定を行います。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


#!/usr/bin/env bash

function is_sourced() {
 [[ "${FUNCNAME[1]}" == "source" ]] && return 0 || return 1
}

# 真の場合は0となり、 `&&` の後ろのコマンドが実行される。
# 偽の場合は1となり、 `&&` の後ろのコマンドは実行されない。
is_sourced \
 && echo '. や source コマンドを使って呼び出してはだめだよ！！'

ひとこと

. または source コマンドを使って呼び出されることを期待する場合には以下のように記述すればOKですね。

Bashシェルスクリプトで関数のコールスタックを取得・出力する

Wed, 04 Dec 2019 21:25:15 +0900

はじめに

Bashシェルスクリプトでログを出力する際などに以下のような情報が欲しい場合がありました。

「現在実行中の関数」の名前
「現在実行中の関数」の呼び出し元

これらの情報を取得する方法を説明します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`$FUNCNAME` 変数を使って「コールスタック」を参照する

$FUNCNAME という配列の変数を参照することで、関数の「コールスタック」情報が取得できます。

サンプルスクリプトを通して、使い方を見ていきましょう。

サンプルスクリプトで確認してみる

以下のような2つのスクリプトを作成して動作を確認してみます。

1
2


$ ls
script_main.sh script_sub.sh

1
2
3
4
5
6
7
8


$ cat script_main.sh
#!/usr/bin/env bash

./script_sub.sh

echo

. ./script_sub.sh

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


$ cat script_sub.sh
#!/usr/bin/env bash

f1 () {
 declare -p FUNCNAME
 echo "${FUNCNAME[@]}"
 echo "0 = ${FUNCNAME[0]}"
 echo "1 = ${FUNCNAME[1]}"
 echo "2 = ${FUNCNAME[2]}"
 echo "3 = ${FUNCNAME[3]}"
}

f2 () {
 f1
}

f2

f1 関数を呼び出すまでの流れは大きく以下のようになっています。

Alpine Linuxのapkコマンドでインストール可能なパッケージを検索する方法

Thu, 28 Nov 2019 17:34:00 +0900

はじめに

dig コマンドや nmap をつかって、サーバの外部からの見え方を調査する必要がありました。軽量でクリーンなLinux環境がほしかったので、 Alpine Linux を使ってみたのですが、パッケージの探し方について yum や apt との違いが理解できていませんでした。

特に導入したいコマンドを含むパッケージをどうやって探すかについて知らなかったので調べてみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

まずは “Alpine Linux” の起動

docker コマンドを使って、 “Alpine Linux” を起動します。以下のコマンドを実行すれば初回実行時のみ、 “Docker Hub” からイメージファイルがダウンロードされます。ダウンロードが完了していれば、直ちに “Alpine Linux” コンテナが起動し、ログイン済み状態となります。

1
2


$ docker run -i -t --rm alpine
/ #

1. 「インストール可能なパッケージ」をWebから検索する方法

“Alpine Linux” で使えるパッケージは Alpine Linux packages というサイトから検索できる。

オープンできるファイル数上限を管理する「ファイルディスクリプタ」について（ `Too many open files` エラーを理解する）

Tue, 28 May 2019 09:00:21 +0900

はじめに

プロジェクトで大量のファイルを扱う必要があり、ファイルディスクリプタの話が出てきたので整理してみました。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


$ uname -moi
x86_64 x86_64 GNU/Linux

$ cat /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:centos:centos:7"
HOME_URL="https://www.centos.org/"
BUG_REPORT_URL="https://bugs.centos.org/"

CENTOS_MANTISBT_PROJECT="CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION="7"
REDHAT_SUPPORT_PRODUCT="centos"
REDHAT_SUPPORT_PRODUCT_VERSION="7"

ファイルディスクリプタとは

OSが以下のようなものにアクセスする場合に用いる識別子（ニックネームのようなもの）を 「ファイルディスクリプタ」 といいます。
- ファイル
- 標準入出力など

0から順番に整数の値が割り当てられますが、通常、以下の3つはOS（シェル）が最初に用意します。

sedコマンドの内部コマンドの適用範囲を指定する際には終了条件に注意！(最終行まで適用されてしまう場合)

Tue, 19 Mar 2019 08:32:23 +0900

はじめに

前回( sedコマンドを全行に実行させたくない場合は内部コマンドの適用範囲を指定しよう（含む、含まない、特定の行のみ、数行毎に、など） ) みた sed コマンドの範囲指定方法について、振り返ります。

sed の内部コマンド適用範囲は 「アドレス」 というもので設定できる
「アドレス」 は 0個か1個か2個を指定できる。
「アドレス」 にはパターンを表す正規表現か行番号が使える
「アドレス」 の指定方法は 行アドレス と パターンアドレス がある

「アドレス」 については、以下の5つの大原則がありました。

*「アドレス」が指定されていなければ、コマンドは全ての行に適用される *「アドレス」が一個だけ指定されると、コマンドはその「アドレス」にマッチする全ての行に適用される

カンマで区切られた2個の「アドレス」が指定されると最初の「アドレス」にマッチしたから2番目の「アドレス」にマッチするまでその行も含むすべての行にコマンドが適用される *「アドレス」の後ろにエクスクラメーションマークをつけると「アドレス」にマッチしない全ての行にコマンドが適用される

「行アドレス」例

1
2
3
4
5


# 5行目を削除
$ cat any-file.txt | sed '5d'

# 5行目から10行目を削除
$ cat any-file.txt | sed '5,10d'

「パターンアドレス」例

1
2
3
4
5


# コメント行を削除
$ cat any-file.txt | sed '/^\s*\#/d'

# '---' から 次の '---' まで削除
$ cat any-file.txt | sed '/---/,/---/d'

カンマの後ろの条件指定に注意しないと予期しない挙動をする！

前回さらっと流してしまったが、sedコマンドのアドレス指定範囲で意外とハマってしまうケースがあります。「範囲指定がうまく動作しない！」という方の参考になれば幸いです。

「名前付きパイプ」（FIFO/Named Pipe）を使ってプロセス間通信を試してみる

Mon, 18 Mar 2019 12:00:25 +0900

はじめに

Bash のストリーム/パイプ処理を視覚的に理解するのエントリで触れましたが、「名前付きパイプ」というものがあって今のプロジェクトで使う可能性が出てきたので取り上げてみました。

本稼働するシステムで使うことは初めてになりそうなので、楽しみです。

検証環境

1
2
3
4
5
6


$ uname -moi
x86_64 MacBookPro11,4 Darwin


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

通常のパイプ

「通常のパイプ」は「無名」です。使用しているプロセスが動作中の間だけ存在しますプロセスが終了するとともに消えてしまいます。

パイプを挟んで前後にプロセスが 1 つずつ存在します。一方は「パイプ」へ出力、他方は「パイプ」からの入力を待ちます。

(例)

1
2


# `seq` で 1から10 の数値を出力し、 `tail` で入力を受け付ける。
$ seq 1 10 | tail -f

“名前付きパイプ” とは？

「名前付きパイプ」 は「ファイル名」を持ちます。
プロセスが消滅しても存在し続けます。(そのため、使わなくなったら削除する必要があります。)
プロセス間通信 (IPC) を行うためにプロセスがオープンして使用します。

試してみる

簡単な例を上げます。

名前付きパイプの作成

mkfifo というコマンドを実行すると、 「名前付きパイプ」 ファイルが作成できます。ここでは Named Pipe の頭文字をとって np としています。

Redhat系Linux（CentOS7）にVim8をインストールする方法いろいろ

Wed, 27 Feb 2019 07:50:21 +0900

Vim8のインストール方法について。

未だにCentOS7系でデフォルトインストールされるVimが7系なので、8系のインストール方法についてまとめてみました。是非Vim8と、8系でしか使えないプラグインを使ってみてほしいです。

検証環境

クリーンな検証環境を構築するために、 Docker を使いました。

※もちろんクリーンなCentOS環境を再構築できるなら別の方法でもよいが、これが一番手軽かつ安価なんですよね。

1

$ docker run --rm -it centos:centos7 bash

YUMをそのまま使う（Vim7がインストールされてしまう）

1
2
3
4
5
6
7
8
9


$ yum install -y vim

$ vim --version
VIM - Vi IMproved 7.4 (2013 Aug 10, compiled Oct 30 2018 19:56:57)
Included patches: 1-160, 399, 402-403, 1099
Modified by <bugzilla@redhat.com>
Compiled by <bugzilla@redhat.com>
Huge version without GUI. Features included (+) or not (-):
...

ソースコードをビルド(Vim8)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


$ yum install -y \
 curl \
 git \
 make \
 gcc \
 ncurses-devel

$ [ ! -d "/usr/local/src" ] \
 && mkdir -p "/usr/local/src"

$ cd "/usr/local/src"

$ git clone https://github.com/vim/vim.git

$ cd /usr/local/src/vim

$ ./configure \
 --disable-selinux \
 --enable-cscope \
 --enable-fontset \
 --enable-gpm \
 --enable-multibyte \
 --enable-rubyinterp \
 --enable-xim

$ make

$ make install

バージョン確認

AWSのLambdaファンクションの作成、実行、削除をコマンドラインから操作する

Tue, 26 Feb 2019 07:59:59 +0900

S3にファイルがアップロードされたことを検知して、処理を行うような仕組みを作り必要がありました。

処理の部分のロジックはまだ未決定事項が多いため、とりあえずは Lambdaファンクション呼び出しからCloudWatchLogへログを吐き出すところまでの仕組みを作成してみることにしました。

※作成したLambdaファンクションをS3へのファイルアップロードのつなぎこみは次回調査

`aws-cli` (AWSコマンドの利用可能な環境づくり)

AWSコマンドを使うための環境をDockerを使って構築(Mac/Linux/WindowsでもPythonなしで動くよ) | ゲンゾウ用ポストイットで環境構築済み。

AWS Lambdaファンクションの作成

AWS Lambda については以下の記事がわかりやすかった。

初めてのAWS Lambda　～AWS Lambdaで始めるイベントドリブンアプリケーション (1/5)：CodeZine（コードジン）

Lambda作成にあたってやらないといけないことは以下の2つ。

Lambdaファンクションの実行ロールを作成する
Lambdaファンクションを作成する

実行ロールの作成

まずは初期ポリシーファイルを作成します。 Lambdaファンクションの実行に関するフル権限を与えました。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


# ファイル名は何でも良い
$ cat <<EOF >logging-function-role-policy.json
{
 "Version": "2012-10-17",
 "Statement": [
 {
 "Effect": "Allow",
 "Principal": {
 "Service": "lambda.amazonaws.com"
 },
 "Action": "sts:AssumeRole"
 }
 ]
}
EOF

作成したポリシーファイルを元に、ロールを作成。

AWSのS3バケットの作成、削除、タグ付与、ポリシー設定をコマンドラインから操作する

Sun, 24 Feb 2019 10:00:22 +0900

S3のバケット作成、削除、ポリシー設定をWeb上から操作することが多いです。 Web操作の解説も多いです。

でも、コマンドラインからの実行を解説しているケースはさほど多くないですね。。

S3はバックアップデータ置き場、ログ置き場として使うことが多いが、特に検証時に作っては消し、また作るを繰り返す… 繰り返しが疲れてきたのでコマンドラインでのやり方をまとめてみました。

ここではよく使用される aws s3 コマンドではなく aws s3api コマンドについてできるだけ触れてみます。

`aws-cli` (AWSコマンドの利用可能な環境づくり)

AWSコマンドを使うための環境をDockerを使って構築(Mac/Linux/WindowsでもPythonなしで動くよ) | ゲンゾウ用ポストイットを参照。

上記記事では Mac、Linux、Windowsの環境の差異を無視できるよう、またPythonなしでも動作するように Docker を利用しました。

S3バケットの作成 ( `aws s3api create-bucket` / `aws s3 mb` )

aws s3api create-bucket コマンドを使う。

create-bucket — AWS CLI 1.16.111 Command Reference

ここでは genzouw-test-bucket というバケット名で作成してみます。

1
2
3
4
5
6
7
8


$ aws s3api create-bucket \
 --bucket genzouw-test-bucket \
 --create-bucket-configuration "LocationConstraint=ap-northeast-1"

# 環境変数 AWS_DEFAULT_REGION が設定されていれば、以下のコマンドでも良い。
## aws s3api create-bucket \
## --bucket genzouw-test-bucket \
## --create-bucket-configuration "LocationConstraint=${AWS_DEFAULT_REGION}"

何度か --create-bucket-configuration オプション無しで実行してみたが、以下のようなエラーが発生しました。
AWS_DEFAULT_REGION の設定があったとしても指定が必要な模様。

シェルスクリプトでディレクトリ配下を検索した結果を、フォルダ階層を保ったまま別ディレクトリにコピーする

Wed, 20 Feb 2019 23:18:09 +0900

はじめに

タイトルがわかりにくいので、早速、具体的な例を上げて説明します。

EC-CUBEのソースコードを拝借し、 Tag という文字を名前に含むファイルを、階層構造を保ったまま別のフォルダ ( /tmp/ec-cube ) にコピーしてみます。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro10,1 Darwin


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)
Copyright (C) 2019 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

準備

1
2
3
4


$ git clone https://github.com/EC-CUBE/ec-cube.git

$ ls -l
drwxrwx--- 40 genzouw staff 1280 2 20 22:43 ec-cube/

やりかた

Tag という文字を名前に含むファイルは以下のコマンドで見つけられます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# 一部のファイルだけに絞り込まれて出力されている
## -type f => ファイルのみを対象。ディレクトリは非対称。
## -name => Tagという文字を含むもののみを対象
$ find ec-cube -type f -name '*Tag*'
ec-cube/tests/Eccube/Tests/Web/Admin/Product/TagContorllerTest.php
ec-cube/tests/Eccube/Tests/DependencyInjection/Compiler/AutoConfigurationTagPassTest.php
ec-cube/src/Eccube/Form/Type/Admin/ProductTag.php
ec-cube/src/Eccube/Form/Type/Admin/TagType.php
ec-cube/src/Eccube/Repository/ProductTagRepository.php
ec-cube/src/Eccube/Repository/TagRepository.php
ec-cube/src/Eccube/Entity/ProductTag.php
ec-cube/src/Eccube/Entity/Tag.php
ec-cube/src/Eccube/Controller/Admin/Product/TagController.php
ec-cube/src/Eccube/DependencyInjection/Compiler/AutoConfigurationTagPass.php

これを階層構造を保ったまま /tmp/ec-cube にコピーするには、 tar コマンドを使います。

Bashシェルスクリプトで浮動小数点計算（答えが小数となる除算）

Mon, 18 Feb 2019 12:21:58 +0900

はじめに

Bashの組み込みの数値演算機能では、少数が取り扱えません。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


$ X=10
$ Y=2
$ Z=4

# こちらは問題ない
$ echo $((X/Y))
5

# これでも結果はおなじ
$ echo $(($X/$Y))
5

# こちらの結果がおかしい
$ echo $((X/Z))
2

echo $((X/Z)) の実行結果は 2.5 となってほしいが、小数点以下が切り捨てられてしまいます。

対処方法はいくつかあります。

`bc` コマンドを使う

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# このままだと変わりなし
$ bc <<< "$X/$Z"
2

# 少数第何位まで計算するかを指定
$ bc <<< "scale=4; $X/$Z"
2.5000

$ # 無限循環小数
$ bc <<< "scale=4; $X/3"
3.3333

問題は scale の値をいくつにするかを予め知っておかないといけないこと。 卵が先か、鶏が先か。

シェルスクリプトのコードを整形してくれるツール `shfmt`

Fri, 15 Feb 2019 08:50:03 +0900

シェルスクリプトでコーディングする際に使っているツールを紹介。 ( とりあえず殴り書きして、コードフォーマットツールに食わせて整形します。 )

GitHub - mvdan/sh: A shell parser, formatter, and interpreter (POSIX/Bash/mksh)

必要なもの

Go
- Macなら brew install golang
- CentOSなら yum install golang

インストール方法

Gihtubのshfmtトップページにインストール方法が書かれています。

2019-02-15現在、 go コマンドが使えれば、以下のコマンドだけでインストールされます。

1

$ go get -u github.com/mvdan/sh/cmd/shfmt

正常にインストールされていれば、以下のフォルダにコマンドがインストールされています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


# 僕の環境
$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

# HOMEディレクトリ配下にコマンドがインストールされている
$ cd
$ ls .go/bin/shfmt
.go/bin/shfmt*

# 頻繁に使うので、 `$HOME/.go/bin` にパスを通しておく
echo 'export PATH="$PATH:$HOME/.go/bin"' >> ~/.bashrc

# コマンドが実行できるか確認
$ shfmt --help

※ちなみに、CentOS7系サーバでセットアップを行うと、 $HOME/.go ではなく $HOME/go ディレクトリにコマンドがインストールされます。なぜパスが違う？？

シェルスクリプトで変数の先頭・末尾のtrim処理いろいろ

Thu, 14 Feb 2019 08:18:19 +0900

ユーザの入力情報を取り扱うときには、誤ってスペースを入力されたことを考慮した対策が必要です。入力情報を変数に代入していた場合は先頭・末尾のtrim処理を行っておくと良いです。

Bashシェルスクリプトでtrimを実行する方法はいくつかあるので取り上げてみました。

前提

入力情報は INPUT という変数に格納しておきます。

1
2
3
4


$ INPUT=' genzouw postit '
 # スペースがあることがわかるようにカッコを付与しています
$ echo "[${INPUT}]"
[ genzouw postit ]

変数の前後から不要なスペースを除去し、以下のように出力されるようにしたいと思います。

1

[genzouw postit]

trimの方法1：sed

僕の中ではセオリー。

余談ですが、 sed が使えると head や tail や tr も代用できるし非常に便利です。万能ナイフ。

1
2


$ echo "${INPUT}" | sed 's/^ *\| *$//'
genzouw postit

変数に代入して使うこともできます。

$ X="$(echo "${INPUT}" | sed 's/^ *\| *$//')"

$ echo "${X}"
genzouw postit

trimの方法2：単純にechoする

ただechoに食わせるだけ。

1
2


$ echo ${INPUT}
genzouw postit

簡単でよいが、問題はあります。中央部分のスペースが1つにマージされてしまいます。

CSVデータに対してSQLのwhere、order by、group by、joinができる "q" コマンド（活用編）

Wed, 13 Feb 2019 08:39:30 +0900

はじめに

以下のエントリの続き。

CSV データに対して SQL の where、order by、group by、join ができる “q” コマンド（導入編） | ゲンゾウ用ポストイット

前回は q コマンドの導入とテストデータ作成（ 年次別にみた出生数・率（人口千対）・出生性比及び合計特殊出生率 ）まで。

今回は実際に q コマンドでデータを操作してみます。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ bash -version | head -n 2
GNU bash, version 5.0.17(1)-release (x86_64-pc-linux-gnu)
Copyright (C) 2019 Free Software Foundation, Inc.

$ cat /etc/os-release | head -n 2
NAME="Ubuntu"
VERSION="20.04.3 LTS (Focal Fossa)"

$ q --version
q version 3.1.6
Python: 3.8.11 (default, Jul 24 2021, 23:08:48) // [Clang 12.0.1 ]
Copyright (C) 2012-2021 Harel Ben-Attia (harelba@gmail.com, @harelba on twitter)
http://harelba.github.io/q/

単純なデータの出力

CSV ファイルを DB のテーブルと見直したクエリを実行することができます。
- from 句に CSV ファイルを指定
- 今回は各列がカンマ ( , ) で区切られているので、デリミタとして , を指定します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


$ q -d , "select * from mb010000-utf8.csv"
1899,1386981,713442,673539,32.0,105.9,...
1900,1420534,727916,692618,32.4,105.1,...
1901,1501591,769494,732097,33.9,105.1,...
1902,1510835,773296,737539,33.6,104.8,...
1903,1489816,763806,726010,32.7,105.2,...
1904,1440371,738230,702141,31.2,105.1,...
1905,1452770,735948,716822,31.2,102.7,...
1906,1394295,726155,668140,29.6,108.7,...
1907,1614472,818114,796358,34.0,102.7,...
1908,1662815,850209,812606,34.7,104.6,...
1909,1693850,863855,829995,34.9,104.1,...
1910,1712857,872779,840078,34.8,103.9,...
...(省略)...

ダウンロードしてきたデータの最終列がよくわからない。なぜドット。。。もともとのデータの 1〜9 行目を見る限り、列情報の意味は左から以下のようになっているようです。

CSVデータに対してSQLのwhere、order by、group by、joinができる `q` コマンド（導入編）

Tue, 12 Feb 2019 08:30:34 +0900

はじめに

年度末が近づいてきて、仕事でも CSV データをこねくり回す機会が増えてきました。（ログデータ集計、デバッグだけでなく、確定申告の金額計算など）

CUI 好きの自分も grep / sed / sort / uniq / join / paste のコマンドを毎回毎回パイプラインでつないでいるのは多少面倒になる。

CSV データを SQL で操作できればいいのに、と思う人も少なくないはずです。僕も SQL でデータ操作するほうがなれている人間のひとりです。

そんな方におすすめなのが、 q コマンド。名前のせいでググラビリティが低いのが難点だがとっても便利。

今回は主に導入方法について紹介し、次回で使い方に触れたいと思います。

検証環境

1
2
3
4
5
6
7


$ bash -version | head -n 2
GNU bash, version 5.0.17(1)-release (x86_64-pc-linux-gnu)
Copyright (C) 2019 Free Software Foundation, Inc.

$ cat /etc/os-release | head -n 2
NAME="Ubuntu"
VERSION="20.04.3 LTS (Focal Fossa)"

インストール方法

Github の以下のページを参照。OS ごとにインストール方法が記載されています。

Download and Install

RedHat 系 OS、Debian 系 OS 向けにそれぞれのインストールパッケージも用意されています。

Bashシェルスクリプトで大文字<=>小文字の変換方法いろいろ

Fri, 08 Feb 2019 08:09:04 +0900

前回 大文字あるいは小文字専用の変数を作成する方法について 触れたので、 文字列の大文字<=>小文字の変換方法 について紹介します。

`tr` コマンドを使う方法

おそらく最も古典的かつベーシックな方法です。

全文を変換

1
2
3
4
5
6
7


# 大文字→小文字
$ echo 'Hello World!' | tr '[:upper:]' '[:lower:]'
hello world!

# 小文字→大文字
$ echo 'Hello World!' | tr '[:lower:]' '[:upper:]'
HELLO WORLD!

一部変換

おそらく tr を使う方法ではできないのでは？

`sed` コマンドを使う方法

こちらも比較的よく見る方法です。ポイントは \L と \U 。置換したい文字列を指定する箇所の先頭に付与すると、 L の場合には小文字に、 U の場合には大文字に変換されます。

全文を変換

1
2
3
4
5
6
7


# 大文字→小文字
$ echo 'Hello World!' | sed 's/.\+/\L\0/'
hello world!

# 小文字→大文字
$ echo 'Hello World!' | sed 's/.\+/\U\0/'
HELLO WORLD!

一部を変換

最初の単語のみに適用。

Bashシェルスクリプト上での `read` コマンドの便利な使い方いろいろ

Thu, 07 Feb 2019 08:03:11 +0900

Bashシェルスクリプトで標準入力からの情報を取り扱う read コマンドと declare コマンドを組み合わせると便利で read コマンドについて触れたついでに、 read コマンドの便利な使い方にも触れておきます。

検証環境

1
2
3
4


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)
Copyright (C) 2019 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

変数をバラす

read コマンドは 区切り文字を元に標準入力からのデータをばらして変数に投入してくれる という機能があるので、それを上手に使うと変数をバラすのが楽になります。

例)年、月、日を別の変数に代入する

date コマンドを3回実行すれば取得できます。

1
2
3
4
5
6
7
8


# 年、月、日を取得
$ Y="$(date +%Y)"
$ M="$(date +%m)"
$ D="$(date +%d)"

# 確認してみる
$ echo "$Y と $M と $D"
2019 と 02 と 07

date コマンドの実行結果を read コマンドに食わせることで同じことができます。

Bashシェルスクリプトで標準入力から配列を生成する "read -a" コマンドが便利

Wed, 06 Feb 2019 08:15:05 +0900

はじめに

Bash のビルトインコマンド “declare” の使い方紹介 ( その１ ) で 配列型の変数 について触れました。

その後 Bash のビルトインコマンド “declare” の使い方紹介(その２) で 大文字専用の変数 あるいは 小文字専用の変数 について取り扱ったので、少しだけ関係する read ビルトインコマンドについても触れておきます。

read を使うと、標準入力から読み込んだデータの取り扱いが用意になる場合があります。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

`read` ビルトインコマンドとは？

特徴を簡単に列挙してみます。

標準入力を読み、一行ずつ読み込む
終了コードは、行を読み込めたときは 0 、読み込めなかったとき ( EOF も含む ) は 1
- ループの終了判定に使うことができる
引数にシェル変数名が指定し、読み込んだ行を変数に格納する
- 行末の改行は削除される

ベーシックな使い方として、ファイルの内容を１行ずつ読み込む処理として使われます。 while コマンドと一緒にループ処理を記述する際に使われます。

事前準備 ( サンプルデータ作成 )

動作を見ていくために、適当なデータを作成しておきます。

Bashのビルトインコマンド"declare"の使い方紹介（変数の global スコープ/参照渡し）

Tue, 05 Feb 2019 07:58:31 +0900

またまた以下の内容の続きです。まだまだ書き足りないけど今回で小休止を入れたいと思います。

前回関数内で declare コマンドを使って定義した変数は、自動的に local スコープになるというところで終わりました。では、関数内の local スコープ変数をもっと広いスコープにするにはどうしたらよいでしょう？

`-g` オプション

declare コマンドのオプションに -g と言うものがあります。デフォルトの local スコープよりさらに広い global スコープを設定してやることができます。関数の内部で定義した変数を関数の外部でも利用できるようになります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37


# 関数を定義
f () {
 # -gオプションを付与して、globalスコープとする
 declare -g -i N=4
 echo "f: N=$N"
}

# 関数呼び出し前なので空
$ echo "N=$N"
N=

# 関数呼び出し。関数内の変数は当然見れる
$ f
f: N=4

# 関数呼び出し後はglobal変数が関数の外からも見れる
$ echo "N=$N"
N=4

# 変数を表示するだけの関数を作成
$ show_var () {
 echo "show_var : N=$N"
}

# 表示させてみる
$ show_var
show_var : N=4

# 再度定義し直したらどうなるの？
$ f2 () {
 declare -g -i N=5
 echo "f2: N=$N"
}

# 上書きできちゃう
$ f2
f2: N=5

関数の外で参照できるだけでなく、他の関数からも参照できるようになります。けれども、あんまり広いスコープの変数を使うことはないと思います。

Bashのビルトインコマンド `declare` の使い方紹介（変数のlocalスコープ）

Mon, 04 Feb 2019 08:07:46 +0900

またまた、以下のエントリの続き。

※だんだんシリーズみたいになってきました（笑）

今回は前回の続きで、Bash における変数のスコープ（参照可能な範囲）について。

検証環境

1
2


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

`declare` コマンドで定義した変数は関数の中だけのいのち

読み取り専用の変数を定義するためには、declare -p を使っても readonly を使っても違いはなさそうというところまで確認しました。

1
2
3
4
5
6
7
8


$ declare -r A=a1
$ readonly B=b1

# `-p` オプションで変数がどのように定義されたものかを確認できます。
# 変数名を複数指定して、いっぺんに出力することもできます。
$ declare -p A B
declare -r A="a1"
declare -r B="b1"

Bash のビルトインコマンド “declare” の使い方紹介（その３）の終わりでも話したとおり、これは 関数の外部で変数が定義された場合 のみの話。関数の内部で定義された変数の場合には事情が異なります。関数の内部で定義された場合の両者の違いを見ていきましょう。

Bash のビルトインコマンド "declare" の使い方紹介（その３:読み取り専用）

Fri, 01 Feb 2019 08:17:07 +0900

以下のエントリの続き。

今回は 変数に型以外の情報を付与する機能 について。他の言語で言う public とか final の キーワード をイメージしてもらえばよいです。

別の表現をすると、以下の属性を付与する機能と言えますね。

変数のスコープ
変数の読み取り専用(書き込み禁止)

declare コマンド以外でも設定できる内容であり、以下のキーワードとも絡めて話をしたいと思います。

readonly
export
local

検証環境

1
2
3
4
5
6
7


$ bash --version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)
Copyright (C) 2019 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

declare オプション（変数の利用を制限・開放するもの）

`-r` オプション

読込専用な変数を定義。 値を代入 したりや unset をできなくなる。

Bash のビルトインコマンド "declare" の使い方紹介（その２:大文字小文字の自動変換）

Thu, 31 Jan 2019 08:00:16 +0900

以下のエントリの続き。

前回まで見てきたオプションは、変数の定義時に 型を指定 し、 想定通りの値が格納されていることを担保する ためのものです。他の言語で言う 連想配列 、配列、整数の３つの型について取り扱いました。

今回紹介するのは 文字列型 の機能について。

文字列型の変数に格納されている値が全て大文字であること、あるいは全て小文字であることを担保するためのオプションです。

検証環境

1
2


$ bash --version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

declare オプション（変数の型を定義するもの）

`-l` オプション

大文字を自動的に小文字に変換する変数を定義。 LowerCase の頭文字からとっているのだろう。

変数への値には必ず小文字の英字しか格納されていないことが担保されます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


# 全て小文字は当然何も起こらない
$ declare -l LSTR=abcde
$ echo ${LSTR}
abcde

# 大文字の値を代入しても変換される
$ LSTR="Hello World"
$ echo ${LSTR}
hello world

# 大文字を含むと変換される
$ declare -l LSTR2=ABCDE
$ echo ${LSTR2}
abcde

# 他の文字が混ざっていても大文字は小文字に変換される
$ declare -l LSTR3=aB1C3DE
$ echo ${LSTR3}
ab1c3de

# 全角英大文字を混ぜてみたところ...なんということでしょう！
$ declare -l LSTR4=abCＡＢＣ
$ echo ${LSTR4}
abcａｂｃ

驚いたのは全角英大文字もしっかり小文字に変換されていたことです。 Bash のバージョンによるのでしょうか？

Bashのビルトインコマンド"declare"の使い方紹介（その１）

Wed, 30 Jan 2019 08:16:00 +0900

シェルスクリプトサンプルコードでよく見かけるtypesetやdeclareってなに？の続きです。 ( declare や typedef について知りたい方は前回のエントリのほうが参考になるかもしれません。 )

Bash のビルトインコマンドである declare を使って変数を定義できますが、 オプションを指定することで真価を発揮します 。 declareオプションを見ていきましょう。

オプションは３つに分類できます。（僕が勝手に分類した）

変数の型を定義するもの
変数の利用を制限・開放するもの
その他

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

declareオプション（変数の型を定義するもの）

`-A` オプション

連想配列として変数を定義できます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35


# 連想配列を定義
$ declare -A MAP

# 要素を代入
$ MAP['a']=11
$ MAP['b']=22
$ MAP['c']=33

# 単純にechoしても何も出力されない
$ echo $MAP

# 添字を指定すればOK
$ echo ${MAP[a]}
11
$ echo ${MAP["a"]}
11

# カッコが足りないと正しく出力されない(T_T)
$ echo $MAP[a]
[a]
$ echo $MAP["a"]
[a]

# ちょっと特殊な書き方をしてやると出力できるが、値の一覧だけしか出力されない
$ echo "${MAP[@]}"
11 22 33

# "!" をつけてやると連想配列のキーも取得できます。（ここまで来るといよいよ意味不明。呪文じみてくる）
# ただ、この方法を使えばキーでループさせることが可能。
$ echo "${!MAP[@]}"
a b c

# -p オプションを使うとデバッグしやすい（後述）
$ declare -p MAP
declare -A MAP=([c]="33" [b]="22" [a]="11" )

ちなみに、変数の定義タイミングで値を代入するリテラル記述も存在します。

シェルスクリプトサンプルコードでよく見かける typeset や declare ってなに？

Tue, 29 Jan 2019 08:19:26 +0900

後日投稿したエントリで、サンプルコードとともに検証をしてみました。興味があればそちらも御覧ください。

古いシェルスクリプトコードでは、以下のような命令で変数を定義する方法が取られていることが多いです。

1
2
3
4
5
6


# 定義
$ VAR1=123

# 出力
$ echo "$VAR1"
123

一方、Github で公開されているシェルスクリプトを見ていると、 typeset や declare を使って変数を定義している例をよく見かけます。

それぞれの違いと使い方について調べてみました。

変数定義の方法は３つ

改めて Bash の変数定義方法を列挙してみます。

Bash では 定義なしに変数を生成 することができるが、 明示的に定義して変数を生成 することもできます。
変数の生成方法は以下の 3 つ。（だと思っている）

VAR1=123
declare VAR1=123
typeset VAR1=123

それぞれの違いは何？便利な機能もありそうなので調べてみました。

1. `declare` / `typeset` なしの変数定義

最もよく見る変数定義方法。記述もシンプルで流れるようにコーディングしているときにはよく記述します。

1
2
3
4


$ X=hello

$ echo "$X"
hello

2. `declare` を使った変数定義

1
2
3
4


$ declare X=hello

$ echo "$X"
hello

一緒に見えますね。

Bashのストリーム/パイプ処理を視覚的に理解する

Sat, 26 Jan 2019 09:42:10 +0900

はじめに

今日、サーバOSとしてLinuxが占める割合は非常に多いです。 Linuxサーバへログインして作業をすすめるにあたり、 Bash に上手に仕事を依頼できるかで生産性に大きな違いが出てきます。なぜなら、多くのLinuxサーバに標準搭載されているUIは、Bashだからです。

現在携わっているサービスのサーバも例に漏れずLinuxが利用されています。

“ストリーム/パイプ"を理解すれば"Bash"が理解できる

“ストリーム/パイプ"を理解すれば"Bash"が、そして"Bash"の 便利さ が理解できます。

ですが、“Bash” のコマンドは処理の複雑さの割に短く、理解が進むまでは非常に敷居の高い仕組みになっています。そこで、 “ストリーム/パイプ芸” 達を視覚化してみることにしました。

以降、 “ストリーム/パイプ芸” たちをサンプルコードとともに掲載します。サンプルコードの意味は説明を最小限にしますが、替わりに視覚化していきます。

当エントリの最後に"ストリーム/パイプ芸"を大変わかりやすく紹介しているページのURLを紹介しておきます。

図の見方

登場人物 は以下のものたちです。

“ストリーム/パイプ” パターン紹介

1.単純に実行（非ストリーム/パイプ）

まずはじめに ストリーム/パイプを利用していない例 から。出力結果を次のコマンドに渡すためには、一時的にファイルに書き出す必要があります。

サンプルコード

1
2
3


$ C1 > S12.txt
$ C2 < S12.txt > S23.txt
$ C3 < S23.txt

具体例

1
2
3


$ seq 1 100 > S12.txt
$ sort -rn < S12.txt > S13.txt
$ cat -n < S13.txt

視覚化してみました

Linuxサーバからログアウトしたタイミングで処理を実行させる方法（例えばメールを飛ばす）

Fri, 25 Jan 2019 08:45:59 +0900

職場の踏み台サーバを経由してオペレーションを実行すると、オペレーションログが１ファイル作成されます。このファイルのフルパスをログアウトごとに記録しておく必要があったのだが面倒なので自動化してみました。

追記 : 後日、Bash の trap 機能について追加のエントリを書きました。trap コマンドの詳細を知りたい方はどうぞ 。

Bash シェルスクリプトで終了前に後始末をさせたい時は trap コマンドを活用しよう | ゲンゾウ用ポストイット

前提

ログファイルは以下のフォルダに配置される。
- /var/log/script
ファイル名にはログインユーザ名が付与されている。
ファイル名にはタイムスタンプがが付与されている。

具体的には以下のようなファイル形式となります。

/var/log/script/genzouw_20190125_082914.log

検証環境

1
2
3
4
5
6
7


$ bash -version
GNU bash, バージョン 4.2.46(1)-release (x86_64-redhat-linux-gnu)
Copyright (C) 2011 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

ログアウトタイミングに処理を実行させるための方法

Bash の trap コマンド を使って実現しました。

【TMUX】新しいWindowを開いたときに、直前のカレントディレクトリを引き継ぐ設定

Wed, 23 Jan 2019 22:18:37 +0900

TMUXでWindowを開くたびに直前のカレントディレクトリに cd することが多く、面倒だったので調べてみました。

環境

自分のTMUX環境を確認

1
2


# tmux -V
tmux 2.8

設定

以下の設定を ~/.tmux.conf に追記すればOK。

1

vi ~/.tmux.conf

1
2
3
4
5
6


# 新しいPaneを開く場合
bind c new-window -c '#{pane_current_path}'
# 現在のPaneを水平分割してWindowを開く
bind '%' split-window -h -c '#{pane_current_path}'
# 現在のPaneを垂直分割してWindowを開く
bind '"' split-window -v -c '#{pane_current_path}'

TMUX のトリガとなるキーを入力後、 % キーで水平に分割、 " キーで垂直に分割されるようにショートカットを設定していますが、分割後の ペイン ではもとのカレントディレクトリが引き継がれています。

すでにTMUXプロセスが起動中の場合は、以下のコマンドを実行しないと正しく反映されないことに注意！

1

tmux source-file ~/.tmux.conf

Bashでリダイレクトにより誤って既存ファイルを上書きしてしまわないようにする

Wed, 16 Dec 2015 02:12:14 +0900

背景

bash クックブック を読み進めています。

標準で ON にしておくと良さそうな設定がありました。 Bash でリダイレクトにより誤って既存ファイルを上書きしてしまわないようにする設定です。

環境

1
2
3
4
5
6
7
8
9


$ uname -a
Darwin genzouw-MacBook-Pro.local 15.2.0 Darwin Kernel Version 15.2.0: Fri Nov 13 19:56:56 PST 2015; root:xnu-3248.20.55~2/RELEASE_X86_64 x86_64 i386 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 4.3.42(1)-release (x86_64-apple-darwin14.5.0)
Copyright (C) 2013 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>
This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

set -o noclobber を実行すると、すでに存在しているファイルをリダイレクトにより上書きできなくなります。ファイルが存在しない場合は問題なく新規作成されます。追記も問題なくできます。

ssh-copy-idを使ってssh公開鍵を対象サーバーに配置する

Wed, 09 Dec 2015 21:29:03 +0900

背景

ssh-copy-id という、操作中のユーザーのSSH公開鍵を対象サーバーに簡単に配置するためのコマンドを知ったので使ってみた。

環境

1
2
3
4
5
6


$ uname -a
Darwin genzouw-MacBook-Pro.local 15.0.0 Darwin Kernel Version 15.0.0: Sat Sep 19 15:53:46 PDT 2015; root:xnu-3247.10.11~1/RELEASE_X86_64 x86_64 i386 MacBookPro10,1 Darwin
$ bash -version
GNU bash, バージョン 4.3.42(1)-release (x86_64-apple-darwin14.5.0)
$ zsh --version
zsh 5.1.1 (x86_64-apple-darwin15.0.0)

検証

Vagrantで新しいLinuxサーバーを立てる

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


$ vagrant init

# ここではすでにBoxを追加していたため、Vagrantfileを編集して利用するBoxを設定した
$ vi Vagrantfile
$ vagrant up

# ログイン
$ vagrant ssh

[vagrant@vagrant-centos65 ~]$ sudo useradd genzouw
[vagrant@vagrant-centos65 ~]$ sudo su - genzouw

# sshの鍵の設定はない状態
[genzouw@vagrant-centos65 ~]$ mkdir .ssh
[genzouw@vagrant-centos65 ~]$ chmod 700 .ssh/
[genzouw@vagrant-centos65 ~]$ exit
logout

# 初期パスワードを設定
[vagrant@vagrant-centos65 ~]$ sudo passwd genzouw
[vagrant@vagrant-centos65 ~]$ exit
logout
Connection to 127.0.0.1 closed.

Mac上に ssh-copy-id がインストールされていなかったのでインストール

1
2
3
4
5
6
7
8
9


$ brew install ssh-copy-id
==> Downloading https://homebrew.bintray.com/bottles/ssh-copy-id-6.8p1.el_capitan.bottle.tar.gz
####################################################################### 100.0%
==> Pouring ssh-copy-id-6.8p1.el_capitan.bottle.tar.gz
? /usr/local/Cellar/ssh-copy-id/6.8p1: 7 files, 344K

# 試しに実行
$ ssh-copy-id
Usage: /usr/local/bin/ssh-copy-id [-h|-?|-n] [-i [identity_file]] [-p port] [[-o <ssh -o options>] ...] [user@]hostname

早速鍵の設定

1

$ ssh-copy-id genzouw@127.0.0.1 -p2222

結果

おもむろにVagrant環境に接続してみる

yumでインストールしたパッケージのバージョンを確認

Mon, 15 Apr 2013 10:05:06 +0900

phpで利用するmcryptのバージョンを確認したかった。以下のコマンドで確認できた。

1
2
3
4
5


$ sudo yum list installed | grep -i mcrypt
cryptsetup-luks.x86_64
cryptsetup-luks-libs.x86_64
libmcrypt.x86_64 2.5.8-9.el6 @epel
php-mcrypt.x86_64 5.4.14-1.el6.remi @remi

Ubuntuの各種メディア配置のデフォルトディレクトリ名を日本語から英語にする

Sun, 16 Dec 2012 14:44:31 +0900

コマンドラインから操作することが多いと、ディレクトリ名は日本語表記よりも英語表記のほうが操作しやすい。Ubuntuのデスクトップ、ダウンロード、ピクチャなどのディレクトリ名を英語表記に変更する方法をまとめる。

簡単だった。以下のファイルを編集するだけ。

1

$ vi ~/.config/user-dirs.dirs

僕の環境では以下のようになっていた。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


# This file is written by xdg-user-dirs-update
# If you want to change or add directories, just edit the line you're
# interested in. All local changes will be retained on the next run
# Format is XDG_xxx_DIR="$HOME/yyy", where yyy is a shell-escaped
# homedir-relative path, or XDG_xxx_DIR="/yyy", where /yyy is an
# absolute path. No other format is supported.
#
XDG_DESKTOP_DIR="$HOME/デスクトップ"
XDG_DOWNLOAD_DIR="$HOME/ダウンロード"
XDG_TEMPLATES_DIR="$HOME/"
XDG_PUBLICSHARE_DIR="$HOME/"
XDG_DOCUMENTS_DIR="$HOME/"
XDG_MUSIC_DIR="$HOME/"
XDG_PICTURES_DIR="$HOME/ピクチャ"
XDG_VIDEOS_DIR="$HOME/ビデオ"

例えばピクチャディレクトリの名前を変更したい場合は以下のように設定。

Bashシェルスクリプトで変数からパターンに合致した文字列を除去する(dirname、basenameの代替として利用可能)

Fri, 14 Dec 2012 12:49:10 +0900

はじめに

いつも前方から除去するのか、後方から除去するのかごっちゃになっています ^^;

たとえばファイルのフルパスからファイル名だけを取得する場合。 basename コマンドや dirname コマンドを使えば解決なのだが、これらを使わない場合について紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

コマンド

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


$ FILEPATH=/opt/groovy/bin/groovy

$ echo ${FILEPATH#*/}
opt/groovy/bin/groovy

# === basenameと一緒 ===
$ echo ${FILEPATH##*/}
groovy

# === dirnameと一緒 ===
$ echo ${FILEPATH%/*}
/opt/groovy/bin

# 何も表示されない
$ echo ${FILEPATH%%/*}

${変数名##pattern} で、 前方一致 でパターンにマッチした文字列を除去した結果を取得できる。 # だと貪欲でない(最短一致)検索、 ## だと貪欲な検索が行われる。 ${変数名%%pattern} で、 後方一致 になる。 % だと貪欲でない(最短一致)検索、 %% だと貪欲な検索が行われる。

Bashシェルスクリプトのおける関数の定義方法（ `function` キーワードは必須ではなかった。）

Thu, 13 Dec 2012 12:40:47 +0900

いつも、 function というキーワードを利用して以下のように定義していた。

1
2
3


function xxx() {
 echo "xxx"
}

キーワードを利用しなくても、関数名の後ろに () を追記すれば関数扱いになる。

1
2
3


xxx() {
 echo "xxx"
}

readコマンドで読み込んだ行からカラムを取り出す方法

Wed, 12 Dec 2012 10:07:07 +0900

今迄、 read コマンド を一行ずつで読み込んでくりかえし処理する用途でしか使用していませんでした。ほんのちょっとだけ突っ込んだ使い方を学んだ。

行をカラム分割する

たとえば以下のような csv から 2 列目と 3 列目の情報を取り出す。

1
2
3
4
5


1,2,3,4,5
2,3,4,5,6
3,4,5,6,7
4,5,6,7,8
5,6,7,8,9

今迄のやり方

1
2
3
4
5
6
7


$ cat report.csv | while read line; do
 c2=$(echo "$line" | cut -d, -f 2)
 c3=$(echo "$line" | cut -d, -f 3)

 echo "$c2"
 echo "$c3"
done

結果は以下の通り

もう何が何やら

シェルでユーザの所属グループを設定するコマンドusermodとgpasswdの違い

Thu, 06 Dec 2012 23:49:39 +0900

はじめに

以下のサイトでさくら VPS をセットアップしています。

さくらの VPS 入門 (全 21 回) - プログラミングならドットインストール

新規作成したユーザーを特定のグループに所属させる場合に usermod コマンドを使ったり、 gpasswd を使ったりとそれぞれのケースが有ったのですが、どう違うのか調べてみました。

※ここでは group1 グループ 、 group2 グループ がすでに存在しているものとします。

usermod を利用

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ sudo useradd xxxxx

# group1を設定
$ sudo usermod -G group1 xxxxx
$ id xxxxx
uid=1002(xxxxx) gid=1002(xxxxx) groups=1002(xxxxx),1003(group1)

# group2を設定
$ sudo usermod -G group2 xxxxx
$ id xxxxx
uid=1002(xxxxx) gid=1002(xxxxx) groups=1002(xxxxx),1004(group2)

gpasswd を利用

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ sudo useradd xxxxx

# group1を設定
$ sudo gpasswd -a xxxxx group1
Adding user xxxxx to group group1
$ id xxxxx
uid=1002(xxxxx) gid=1002(xxxxx) groups=1002(xxxxx),1003(group1)

# group2を設定
$ sudo gpasswd -a xxxxx group2
Adding user xxxxx to group group2
$ id xxxxx
uid=1002(xxxxx) gid=1002(xxxxx) groups=1002(xxxxx),1003(group1),1004(group2)

まとめ

usermod は Bash でいうリダイレクト “>” のようにセカンドグループを上書き、 gpasswd は “»” のようにセカンドグループを追加する。 gpasswd の方が使いやすいです。

Ubuntu Serverの言語設定

Wed, 05 Dec 2012 23:05:51 +0900

さくらのVPS設定を週末から進めている。
以下のサイトがさくらのVPS設定を行う際にとても参考になる。
さくらのVPS入門 (全21回) - プログラミングならドットインストール

以下の節について設定を進めていたところ、**CentOS**の場合の言語設定は

1

/etc/sysconfig/i18n

というファイルで変更できるよとのこと。
#04 さくらのVPSへ接続してみよう | さくらのVPS入門 - プログラミングならドットインストール

では**Ubuntu**の場合はというと以下のファイルを触る。

1

/etc/default/local

MacのOpenコマンドをLinuxで

Mon, 06 Feb 2012 07:17:37 +0900

以下のエントリを見て、Macの open コマンドが便利そうだなと思いました。

MacのOpenコマンドのすすめ - それマグで！

open コマンドで、関連付けされた適切なアプリケーションが起動するようです。 Linuxにも同様なコマンドがないか？と探していたらありました。

gnome-open コマンドというらしい。

長くて打ち込みにくいのでエイリアスをつけることをおすすめ。

1

$ alias open='gnome-open'

ubuntuでimeの辞書登録的なことを行う

Sun, 09 Oct 2011 23:17:02 +0900

1
2
3
4
5
6


$ uname -a
Linux genzou-desktop 2.6.38-11-generic #50-Ubuntu SMP Mon Sep 12 21:18:14 UTC 2011 i686 i686 i386 GNU/Linux
$ anthy-agent --version
anthy-agent 9100h
$ anthy-dic-tool --version
Anthy-dic-util 9100h.

日本語入力にはanthyを利用しているが、anthyにimeでいう単語の辞書登録を行う方法を調べてみた。

辞書に単語を登録

kasumiっていうコマンドを使える
KotoDama | Welcome to KotoDama

辞書をバックアップ

~/.anthy/private_words_defaultをバックアップすればよい
Ubuntu日本語フォーラム / 日本語変換の辞書登録分のバックアップ

コマンド一発で、あるPostgreSQLサーバから別のPostgreSQLサーバにデータをコピーする

Fri, 27 May 2011 00:15:02 +0900

トイレに行く前にターミナルから一発実行したコマンド。

PostgreSQLデータベースのデータをあるサーバから別のサーバに持っていきたいときに便利なコマンド。

これだとゴミファイルも残らない。

以下の部分には適当に書き換えて使ってください。

文字列	説明
from_user	コピー元サーバーユーザ
from_server	コピー元サーバーホスト
from_dbuser	コピー元 DBユーザ
from_dbpass	コピー元 DBパスワード
from_dbname	コピー元 DB名
————-	—————————–
to_user	コピー先サーバーユーザ
to_server	コピー先サーバーホスト
to_dbuser	コピー先 DBユーザ
to_dbpass	コピー先 DBパスワード
to_dbname	コピー先 DB名

コマンド

1
2


$ ssh from_user@from_server "PGPASSWORD=from_dbpass pg_dump -c -U from_dbuser from_dbname | gzip -c" \
 | ssh to_user@to_server "gunzip -c | PGPASSWORD=to_dbpass psql -U to_dbuser to_dbname"

事前に設定しておくと良い設定

ssh-keygenで秘密鍵を作っておくと ssh コマンド実行時のパスワード入力に悩まされない。

Windowsクライアントで作成した資材をLinuxサーバー上に配置するときに結構よくやる失敗

Fri, 18 Feb 2011 02:09:49 +0900

LinuxクライアントからLinuxサーバー、WindowsクライアントからWindowsサーバーでは発生しないが、Windowsクライアントで作成したシェルスクリプトなどをLinuxサーバーに持っていったりするときによくやる失敗について。

「改行コードが CRLF となっている」

これは非常によくやる失敗ですよね。単純だが意外と目立たないです。

まったく動かない場合もありますが、微妙に動いたりする場合もあるのでさらに分かりにくい。

数日間もこれに費やしてしまいました。。。

無料版Oracle Databaseを試す

Tue, 08 Jun 2010 06:18:49 +0900

Oracle Databaseに関して技術検証の必要があった。
大量にユーザーを作成する必要があるため、社内開発用DBサーバーを利用するのはさけ、無料版Oracle Databaseである**Oracle XE**を試してみた。

以下のサイトが参考になった。
404 Not Found

手順を箇条書きしてみる。

1
2
3
4
5
6
7


# http://oss.oracle.com/debian unstable main non-free の一行を追加
$ sudo vi /etc/apt/sources.list
$ wget http://oss.oracle.com/el4/RPM-GPG-KEY-oracle -O- | sudo apt-key add -
$ sudo apt-get update
# 2010/06/08現在、10.2.0.1-1.1 がインストールされた
$ sudo apt-get install oracle-xe-universal
$ sudo /etc/init.d/oracle-xe configure

DenyHostsいいね！

Wed, 26 May 2010 14:19:44 +0900

セキュリティ対策のためのssh設定 | ページ 1273612638 | ゲンゾウ用ポストイットに引き続きセキュリティ対策中に見つけた。

まめ畑を見て、 DenyHosts というアプリを導入。

DenyHostsの機能

引用します。

DenyHostsは不正な攻撃を察知して防御するためのツールです。設定した回数不成功ログインが繰り返された場合に、そのIPアドレスを/etc/hosts.denyに記録し接続を拒否します。また、怪しい活動をしているIPアドレスを集めている専用サーバからIPアドレスをダウンロードして予防したり、こちらからアップロードすることも出来ます。不成功ログイン回数の設定、一定時間後の解除までの時間、レポートメールなどの設定が可能です。ここでは基本的な設定を説明します。

インストール

Ubuntuなら以下のコマンドでインストール可能だった。

1

$ sudo apt-get install denyhosts

先のサイトを参考に、設定ファイルを開いて適当に書き換える。

1

$ sudo vi /etc/denyhosts.conf

効果のほどは？

設定後は /var/log/auth.log に不正なアクセスがまったくなくなった。ある日の22:00ぐらいにしかけ、翌朝見ると06:00ぐらいに /etc/hosts.deny にIPアドレスのリストが追加されていた。WEBに公開されている不正なIPアドレスリストが自動的に追加される模様。これはよい。

セキュリティ対策のためのssh設定

Wed, 12 May 2010 06:17:18 +0900

sshポートにブルートフォースアタックされています。 | ゲンゾウ用ポストイットに引き続き。

ちょうど id:jyukutyo さんのところでsshの設定についてのエントリがあった。

SSHの鍵を作成してパスワードログインを無効にする - Fight the Future

参考にして /etc/ssh/sshd_config の設定を変更。

sshポートにブルートフォースアタックされています。

Sat, 01 May 2010 23:48:33 +0900

少し前から家のサーバーをインターネット上に公開している。職場から必要なコードを抜けるようということもあるし、出先でノートPCからアクセスできるようにというのもある。

ただし、セキュリティにはやはり気をつけなければいけなかった。 iptablesでsshポートのみを公開しているのだが、そのsshポート(ポート番号22)に対して5秒に一度外部からアクセスされていた。

1

grep -i invalid /var/log/auth.log | more

こんなちっぽけなPCへアタックをかけにくる人間などいないだろうと軽く考えていた。まさかこれほどとは。このような闇雲にパスワード総当たりでアクセスしにくるアタックをブルートフォースアタックと言うそうだ。

「ブルートフォースアタック」（総当たり攻撃）とは - ＠IT

現時点で想定されているアクセス元となるPCは特定されているし、パスワード打ち込むのが面倒というだけの理由で公開鍵認証方式にてアクセスしている。したがって、sshサーバーで公開鍵認証によるアクセスのみを許可するようにできればいい。

/etc/ssh/sshd_configに以下の追加。

1

PasswordAuthentication no

早急にアタックに対するセキュリティについて勉強が必要そうだ。

BashのTab補完機能で大文字小文字を区別させなくする方法

Mon, 01 Feb 2010 20:38:36 +0900

もっと早く知っていればよかったです。

$HOME/.inputrc に以下の一行を追加すると、Bash操作中にTabを押した場合の補完で大文字小文字を区別なくなります。

`$HOME/.inputrc`

1

set completion-ignore-case on

以下のコマンドをターミナルに貼り付けて実行すればすぐに追記できます。

1
2
3


$ cat <<'EOF' >~/.inputrc
set completion-ignore-case on
EOF

Linux on ゲンゾウ用ポストイット

findコマンドを実行した結果、ファイルが 1 つも見つからなかった場合の判定

はじめに

検証環境

find を grep をパイプでつなぎ、ファイルの検出を判定

再ログインせずにログイン中ユーザの所属グループの変更を反映する方法

はじめに

検証環境

ログイン中のユーザの所属グループを変更しても直ちに設定が反映されない

準備 : sudo 実行可能なテストユーザーを作成

Bashシェルスクリプトで"while read"ループ内で"read"コマンドを使う方法

はじめに

検証環境

while read ループ中で read コマンドを利用するとどうなるか？

.netrcファイルについて知らなかったので調べてみました

はじめに

検証環境

Man ページを参照

コマンドの出力結果からANSIエスケープシーケンスのカラーリングを取り除く方法

はじめに

検証環境

[...] で囲まれた部分の文字列だけを取り出したいが ANSI エスケープシーケンスが邪魔をする場合

Bashシェルスクリプトで配列の全要素を連結(join)し文字列を生成する

はじめに

検証環境

環境変数 IFS ( Internal Field Separator ) を変更する

パスワード付きzipファイルがどのぐらいでクラック(パスワード解析)できるか試してみる

はじめに

検証環境

zip クラック用のスクリプトを探す

zip クラック環境セットアップ

zipコマンドでパスワード付き圧縮ファイルを生成する

はじめに

検証環境

zip コマンドのインストール

anyenvで管理しているバージョン管理ツールを一括でアップデートする方法

はじめに

検証環境

anyenv について

シェルでsedを使ってパス文字列からディレクトリ名,ファイル名,拡張子を抽出する

はじめに

検証環境

sed を使ったパス文字列分割の正規表現

Bashでテスト用に1GiBの大容量ファイル(バイナリ/テキスト)を作成する方法いろいろ

はじめに

検証環境

NULL 文字（0x00）で埋められた「バイナリファイル」を作成

Linux ファイルシステムにおけるタイムスタンプ(mtime、atime、ctime)の違い、確認方法、変更方法

はじめに

検証環境

「タイムスタンプ」はファイル操作したときの日時情報

「タイムスタンプ」はいくつかの種類がある

Bashシェルスクリプトで1〜999の数字をあてるゲームを作ってみる

はじめに

検証環境

ソースコード

game_of_guess.sh

実行

おまけ：答えを自動的に求めるスクリプト

game_of_guess_auto.sh

ひとこと

trコマンドとsed(y)コマンドの動作の同じところ、違うところ

はじめに

検証環境

tr コマンド

例1

例2

Bashで"while read"ループ内で変更した変数がループ外に反映されないときの対処

はじめに

検証環境

seq 1 5 の実行結果を合計してみる

Bashシェルスクリプトでランダムな数値(乱数)を生成する

はじめに

検証環境

乱数を取得するための組み込み変数「RANDOM」を使う

2つのコマンドをパイプで繋いだときのパイプバッファをエディタで編集する方法

はじめに

コマンド実行結果をVimやVisual Studio Codeで開く方法

はじめに

検証環境

`find` を `grep` をパイプでつなぎ、ファイルの検出を判定

準備 : `sudo` 実行可能なテストユーザーを作成

`while read` ループ中で `read` コマンドを利用するとどうなるか？

`[...]` で囲まれた部分の文字列だけを取り出したいが ANSI エスケープシーケンスが邪魔をする場合

環境変数 `IFS` ( Internal Field Separator ) を変更する

`zip` コマンドのインストール

`sed` を使ったパス文字列分割の正規表現

`game_of_guess.sh`

`game_of_guess_auto.sh`

`tr` コマンド

`seq 1 5` の実行結果を合計してみる

`-a` オプションを使う

素因数分解をしてくれるコマンド `factor` を活用

改めて、 `bash -c` って何？

`bash -c "sleep 10; echo hello;"` を実行したときのプロセスツリー

`cut` を使う方法

普通に作成したファイルを `while read` して一行ずつ読み込んでみる