CentOS on ゲンゾウ用ポストイット

findコマンドを実行した結果、ファイルが 1 つも見つからなかった場合の判定

Tue, 28 Mar 2023 08:30:55 +0900

はじめに

今回は、findコマンドを使ってファイルが見つからなかった場合の処理について紹介します。

findコマンドは Unix 系 OS でファイルを検索するために使われます。ただファイルを検索するだけではなく、パイプでつなぐことで見つかったファイルに対して 1 つずつ何かの処理をすることもできます。

さて、find コマンドで検索した結果、該当のファイルが 1 つも見つからなかった場合の処理はどう書いたら良いのでしょうか？

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ find --version | head -n 2
find (GNU findutils) 4.9.0
Copyright (C) 2022 Free Software Foundation, Inc.

$ grep --version | head -n 2
grep (GNU grep) 3.7
Copyright (C) 2021 Free Software Foundation, Inc.

`find` を `grep` をパイプでつなぎ、ファイルの検出を判定

find の実行結果を grep -q . コマンドにパイプで渡します。

再ログインせずにログイン中ユーザの所属グループの変更を反映する方法

Wed, 22 Mar 2023 17:54:55 +0900

はじめに

UNIX 系の OS では、ログイン中のユーザの所属グループを変更した場合、一度ログアウトしなければ変更が反映されません。

しかし、あるコマンドを使えば再ログインせずにログイン中のユーザの所属グループを変更し、その変更を反映させる方法があります。

この記事では、その方法を紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

ログイン中のユーザの所属グループを変更しても直ちに設定が反映されない

実際に Linux 環境を使って検証してみます。

準備 : `sudo` 実行可能なテストユーザーを作成

最終的に以下のようなユーザーgenzouwを作成します。

ユーザー : genzouw
グループ : genzouw
セカンダリグループ : sudo

以下のコマンドを順番に実行していきます。

Bashシェルスクリプトで"while read"ループ内で"read"コマンドを使う方法

Sat, 18 Feb 2023 08:45:31 +0900

はじめに

決して多くないケースですが、 while read　ループ中で read コマンドを利用したいという場合に起きる問題と、その対処法について紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

`while read` ループ中で `read` コマンドを利用するとどうなるか？

while read ループ中で read コマンドを利用するとどうなるか。具体例をもとに見ていきます。

例えば、簡単な英単語の暗記スクリプトを作ってみます。

仕様は単純で、単語を１つ表示しては ENTER キーの入力を待つ、を繰り返します。

.netrcファイルについて知らなかったので調べてみました

Wed, 15 Feb 2023 09:12:54 +0900

はじめに

Heroku CLI のセットアップ中に作成された ~/.netrc というファイルについて。

これは一体どういったものなのか、いつ使われるものなのかを調べてみました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, version 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

$ docker --version
Docker version 20.10.21, build baeda1f

Man ページを参照

以下のページを見つけました。

Man page of NETRC

netrc, .netrc - ftp のためのユーザー設定ファイル … このファイルには、ファイル転送プロトコル ( File Transfer Protocol ) クライアント ftp ( 1 ) のための、設定情報と自動ログイン情報が書かれている。

FTP サーバに接続する際の認証情報を保存しておくファイルということです。

curl 関連の情報を調べているときにも .netrc の名前を見た記憶があるので、登場背景の FTP 以外でも使われるようになっているということでしょうか。

コマンドの出力結果からANSIエスケープシーケンスのカラーリングを取り除く方法

Thu, 09 Feb 2023 09:00:44 +0900

はじめに

ターミナル操作時、コマンドの実行結果が色付けされていることがあります。

僕がプログラミングを始めた頃はもう少し淡白なコマンドの出力結果ばかりだったのですが、最近のツールは出力結果がカラフルなものも多いです。

ターミナル上の出力結果をカラフルに色付けしてくれるための制御文字は ANSI エスケープシーケンスと呼ばれます。 ( 厳密に言うと、ANSI エスケープシーケンスには色付けだけでなく、カーソル位置、フォントスタイル、その他のオプションなどの制御文字が含まれているそうです。 )

コマンドによっては、出力結果をパイプで繋いだ場合にカラーリングの ANSI エスケープシーケンスを除去してくれ、パイプ先で文字列操作する際に大変便利です。

例えば、 ls コマンドは ls -l を実行すると色付けされますが、 ls -l | cat のようにパイプでつなぐと制御文字が除去されます。 cut で切り取る場合は制御文字が邪魔になるので大変便利な挙動です。しかし、コマンドによってはこのような色付けの制御文字を除去しません。

そんなときに ANSI エスケープシーケンスのカラーリング制御文字を取り除く方法について紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ sed --version | head -n 2
sed (GNU sed) 4.8
パッケージ作成者: Debian

`[...]` で囲まれた部分の文字列だけを取り出したいが ANSI エスケープシーケンスが邪魔をする場合

JavaScript 関連のツールを起動した際の文言として、以下のようなものがあります。

Bashシェルスクリプトで配列の全要素を連結(join)し文字列を生成する

Sun, 05 Feb 2023 09:00:17 +0900

はじめに

紹介してそうで紹介していなかった、Bash シェルスクリプトで配列の全要素を連結して文字列を生成する方法について。

多くのプログラミング言語では、 join や implode といった関数で提供されている機能になります。

Bash の場合にはこのような機能はどのように実現したら良いでしょうか。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

環境変数 `IFS` ( Internal Field Separator ) を変更する

配列を指定した区切り文字 ( デリミタ ) で連結し、文字列を生成するには環境変数 IFS の値を一時的に変更してやります。

Bashでテスト用に1GiBの大容量ファイル(バイナリ/テキスト)を作成する方法いろいろ

Tue, 08 Mar 2022 09:18:33 +0900

はじめに

アップロード・ダウンロード速度、通信速度を確認するために、サイズの大きなファイルを作成したいときがあります。

よく知られた方法ばかりですが、1GB の大容量のファイルを作成する方法を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (aarch64-unknown-linux-gnu)

NULL 文字（0x00）で埋められた「バイナリファイル」を作成

最もかんたんかつ高速なのは、 dd コマンドを使って NULL 文字（0x00）で埋められたバイナリファイルを作成する方法 です。

1
2
3
4


$ dd if=/dev/zero of=1Gi bs=1024 count=$((1024**2))
1048576+0 レコード入力
1048576+0 レコード出力
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 2.45573 s, 437 MB/s

bs でブロックサイズ 1024bytes を指定しています。このブロックを、count の回数分、つまり 1024**2 回書き込みます。

Linux ファイルシステムにおけるタイムスタンプ(mtime、atime、ctime)の違い、確認方法、変更方法

Mon, 07 Feb 2022 21:10:51 +0900

はじめに

Linux OS 上で行う操作はほぼ全て「ファイル」に対して行われます。

ファイルには「作成された時」や「更新された時」の「日時」の情報が付与されています。

タイトルにある mtime 、 atime 、 ctime というのはファイルに関する日時情報にあたりますが、 なぜ 3 つあるのか？ 、 それぞれどういった情報なのか? は即答が難しいです。

これら 3 つの「日時」情報を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

「タイムスタンプ」はファイル操作したときの日時情報

Linux ファイルシステムにおける日時情報のことを タイムスタンプ と呼びます。

タイムスタンプ はファイルに対して何らかの操作したときに記録されます。

ファイルが作られたタイミングでもタイムスタンプが記録されるので、「タイムスタンプが存在しない」ということはありえません。

「タイムスタンプ」はいくつかの種類がある

一口に「日時情報」といっても、Linux ファイルシステムには以下の 3 つの「タイムスタンプ」があり、更新されるタイミングが異なります。

Bashシェルスクリプトで1〜999の数字をあてるゲームを作ってみる

Tue, 01 Feb 2022 08:04:50 +0900

はじめに

「子供と遊ぶ」＋「プログラミングの学習」のために、1〜999の数字をあてるゲームを作ってみました。

過去に別の言語で作ったことはありましたが、最近プログラミングをしていなかったせいで衰えを感じたため、どのぐらい衰えたか心配になり試してみました。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

ソースコード

ここで掲載しているスクリプトはGithubにもプッシュしておきました。

`game_of_guess.sh`

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


#!/usr/bin/env bash
set -o errexit
set -o nounset

ANS=$((RANDOM % 999 + 1))

MAX_RETRY=10

for ((i = 0; i < MAX_RETRY; i++)); do
 read -r -p "数値(0〜999)を入力してください: " GUESS
 if [[ $GUESS -eq $ANS ]]; then
 echo "あなたの勝ち!"
 exit 0
 elif [[ $GUESS -gt $ANS ]]; then
 echo "大きすぎ! (残り $((MAX_RETRY - i - 1)))"
 else
 echo "小さすぎ! (残り $((MAX_RETRY - i - 1)))"
 fi
done

echo "あなたの負け! 答えは $ANS"
exit 1

実行

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


$ ./game_of_guess.sh
数値(0〜999)を入力してください: 500
大きすぎ! (残り 9)
数値(0〜999)を入力してください: 251
小さすぎ! (残り 8)
数値(0〜999)を入力してください: 375
小さすぎ! (残り 7)
数値(0〜999)を入力してください: 437
小さすぎ! (残り 6)
数値(0〜999)を入力してください: 468
小さすぎ! (残り 5)
数値(0〜999)を入力してください: 484
小さすぎ! (残り 4)
数値(0〜999)を入力してください: 497
あなたの勝ち!

おまけ：答えを自動的に求めるスクリプト

`game_of_guess_auto.sh`

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


#!/usr/bin/env bash
set -o errexit
set -o nounset

ANS=$((RANDOM % 999 + 1))

MAX_RETRY=10

TOP=1000
BOTTOM=1

for ((i = 0; i < MAX_RETRY; i++)); do
 GUESS=$(((TOP + BOTTOM) / 2))
 echo "数値(0〜999)を入力してください: "$GUESS
 if [[ $GUESS -eq $ANS ]]; then
 echo "あなたの勝ち!"
 exit 0
 elif [[ $GUESS -gt $ANS ]]; then
 echo "大きすぎ! (残り $((MAX_RETRY - i - 1)))"
 TOP=$GUESS
 else
 echo "小さすぎ! (残り $((MAX_RETRY - i - 1)))"
 BOTTOM=$GUESS
 fi
done

echo "あなたの負け! 答えは $ANS"
exit 1

ひとこと

実はコードの大部分は GitHub Copilot が作成してくれました。

trコマンドとsed(y)コマンドの動作の同じところ、違うところ

Mon, 31 Jan 2022 08:00:19 +0900

はじめに

tr コマンドは、「文字」を別の「文字」に置き換えるコマンドです。

同じようなコマンドとして、 sed コマンドの y 内部コマンドがあります。

両方のコマンドの挙動を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

`tr` コマンド

tr コマンドを使って、 “my name is test.” という文字を変換してみます。

tr コマンドは指定された複数の文字を、別の文字に変換するコマンドです。

具体例をもとに挙動を見ていきましょう。

例1

tr コマンドの第1引数と第2引数の文字数が同じ場合には、それぞれの文字位置が変換ルールとして対応します。以下のルールで変換されます。

t => a
e => b
s => c

1
2


$ echo 'my name is test.' | tr 'tes' 'abc'
my namb ic dbcd.

例2

tr コマンドの第2引数が第1引数の文字数よりも小さい場合は、以下のルールで変換されます。

Bashで"while read"ループ内で変更した変数がループ外に反映されないときの対処

Sat, 29 Jan 2022 08:00:31 +0900

はじめに

よく知られていることですが、あるコマンドの実行結果をパイプで渡し、 while read 命令で 1 行ずつ読み込んで処理する場合に注意しないといけないことがあります。

多くのエンジニアが一度はハマったことがあるはずです。

while read ループ内で変更した変数の内容がループ外でうまく参照できない、という事象です。

「注意事項」 と 「解決方法」 を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

`seq 1 5` の実行結果を合計してみる

1〜5 の数の中から、 3 の倍数 を求めてみます。

SUM という変数を用意し、1〜5の値を加算します。

最後に SUM 変数を出力すれば、 1〜5の合計値がわかります。

1
2
3
4
5
6
7
8


$ SUM=0

$ seq 1 5 | while read -r NUM; do
 ((SUM+=$NUM))
done

$ echo $SUM
0

実行結果は 0 となってしまいました。

Bashシェルスクリプトでランダムな数値(乱数)を生成する

Fri, 28 Jan 2022 12:00:29 +0900

はじめに

意外にも、初歩的な「乱数」に関するエントリを書いたことがなかった( 過去にサラリと触れていぐらいた )ようなので、今回ネタにすることにしました。

「ランダム」というキーワードを取り上げたエントリも参考に紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

乱数を取得するための組み込み変数「RANDOM」を使う

Bash には、乱数を取得するための組み込み変数として RANDOM というものが用意されています。

試しに $RANDOM を出力してみましょう。

1
2
3
4
5


$ echo $RANDOM
458

$ echo $RANDOM
11854

echo $RANDOM を実行するたびに、出力される数値が異なります。

2つのコマンドをパイプで繋いだときのパイプバッファをエディタで編集する方法

Tue, 25 Jan 2022 20:10:41 +0900

はじめに

以前コマンド実行結果を Vim や Visual Studio Code で開く方法というエントリで、あるコマンドの実行結果をエディタにわたすための方法を紹介しました。

今回はそれに関連したエントリです。

Linux には、「あるコマンドの ( 標準 ) 出力」を「別のコマンドの ( 標準 ) 入力」として渡すための方法として 「パイプ」 が用意されています。

例えば、 seq コマンドの実行結果を 2 行だけ抽出したい場合には、 head コマンドをパイプ (|)でつないで実行してやります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# 1から5まで5行出力
$ seq 5
1
2
3
4
5

# seq 5 の実行結果から先頭2行を出力
$ seq 5 | head -n 2
1
2

ここで seq 5 の実行結果が、 head -n 2 に渡る前にエディタで加工する方法があります。

コマンド実行結果をVimやVisual Studio Codeで開く方法

Sat, 22 Jan 2022 08:10:52 +0900

はじめに

先日、会社の後輩からターミナルでコマンドを実行した結果をエディタで開く方法がないか質問があったときに回答した内容を紹介します。

暗号化されているファイルを復号化した結果をエディタで開いて触りたいが、コマンド実行結果をクリップボードに貼り付けて、という操作が面倒というのが発端です。

Vim でのやり方を知っていましたが、後輩は Visual Code Studio 使いだったために「さあどうしようか」と思いました。ダメ元で Vim と同じ方法を実行してみたところ、うまく行けてびっくりしました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (x86_64-apple-darwin21.1.0)

コマンド実行結果をVimやVisual Studio Codeで開く方法

“Vim” の場合

Vim では、パイプで渡された文字列を開くことができます。

vim - というコマンドを利用します。

多くのコマンドで、 - という引数は 「標準入力」 を表します。

vim - とは 「標準入力の内容をファイルに見立ててエディタで開く」 という命令になります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 100 から 105 までの連番を出力するコマンド
$ seq 100 105
100
101
102
103
104
105

# seq コマンド実行結果をVimにパイプで渡す
$ seq 100 105 | vim -

Bashシェルスクリプトで2つのディレクトリ内のファイル名のみを比較する(ファイルの内容の違いは許容)

Fri, 21 Jan 2022 21:24:11 +0900

はじめに

過去に以下のようなエントリを投稿しました。

Bashシェルスクリプトで2つのディレクトリを比較し内容に差異があったファイルを一覧表示する | ゲンゾウ用ポストイット

今回は似ていますが、 存在するファイル名の違いを出力してみたいと思います。

ファイルの中身に違いがあっても差分として検出しません。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

検証のための事前準備

比較するための2つのディレクトリ dir1 と dir2 を作成し、いくつかのファイルを作成しておきます。

後ほどこの2つのディレクトリに含まれているファイル名を比較します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# dir1 とそのサブディレクトリ、含まれるファイルを作成
mkdir -p dir1/a dir1/b dir1/c/d
date >dir1/a/1.txt
date >dir1/b/2.txt
date >dir1/c/3.txt
date >dir1/c/4.txt
date >dir1/c/d/5.txt

# dir2 とそのサブディレクトリ、含まれるファイルを作成
mkdir -p dir2/a dir2/b dir2/c/d
date >dir2/a/1.txt
date >dir2/c/3.txt
date >dir2/c/5.txt
date >dir2/c/d/5.txt

tree コマンドでそれぞれのディレクトリの階層構造を確認してみましょう。

実行中のBashシェルスクリプトを書き換えると挙動が変わる問題とその対処法

Tue, 18 Jan 2022 08:00:07 +0900

はじめに

時事ネタに乗り遅れましたが、昨年末にTwitterで話題になっていた内容について、かんたんなスクリプトを取り上げながら理解を整理してみたいと思います。

bashは、シェルスクリプトの実行中に適時シェルスクリプトを読み込みます。この挙動による副作用を認識できておらず、実行中のスクリプトが存在している状態でスクリプトの上書きによりリリースしてしまったことで、途中から修正したシェルスクリプトの再読み込みが発生し、結果的に未定義の変数を含むfindコマンドが実行されてしまいました。

この結果、本来のログディレクトリに保存されたファイルの削除をする処理ではなく、 /LARGE0のファイルを削除してしまいました

引用 : 「https://www.iimc.kyoto-u.ac.jp/services/comp/pdf/file_loss_insident_20211228.pdf」

僕もよくお世話になっている企業様ですし、お詫びの文面を公開し紳士に対応する姿勢、素晴らしいと思います。（被害を受けた側は災難だったと思いますが。）

そして、こちらの問題、決して他人事にできないと思います。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

ケース1：永遠に終了しない

障害の原因は「Bashシェルスクリプトの実行中に適時シェルスクリプトを読み込む」という特性によるものということでした。

実験して特性を確認してみます。

シェルスクリプトで、自身の末尾に処理を追記する処理を実行し続けたらどうなるでしょう？

test1.sh を作成します。

1
2
3
4
5
6
7
8


#!/usr/bin/env bash

function hello() {
 echo 'hello' >>$0
 echo hello実行中
 sleep 1
}
hello

hello 関数は以下のような動作をします。

Bashシェルスクリプト(コマンドライン)でファイル名の一括置換を行う(ファイル名にスペースあり)

Mon, 17 Jan 2022 14:56:39 +0900

はじめに

昨年後半から仕事が忙しく、ブログ投稿を行っていました。些細なネタでもいいので毎日続けることが大事だと反省しました。

というのも、投稿を怠っていた間もブログを見てくれた方、訪問数、いいねの数が伸び続け、 月間の訪問者数もついに 5万PV/月となっていたためです ！

ありがとうございます。

今年一発目の投稿は多くの人がご存知の一発ネタですね。 Bashで特定のフォルダ配下にあるファイルの名前を一括置換する方法です。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


----------
$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)
----------

準備

適当なファイルとフォルダを作ります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# 適当なディレクトリを作成
$ mkdir -p dir1/ dir2/dir2-1


# 適当なファイルを作成
$ touch dir1/file-001.txt
$ touch dir2/file-002.txt
$ touch dir2/dir2-1/file-003.txt
$ touch dir3/dir3-1/file-004.txt
$ touch "dir3/dir3-1/file- -005.txt"

“file- -005.txt"だけ、ファイル名にスペースを含んでいることに注意です。

自作したシェルスクリプトをLinuxのsystemdサービスとして起動する方法

Mon, 05 Jul 2021 15:41:56 +0900

はじめに

最近は Kubernetes や サーバレス なしくみを用いたサービス運用が進んでいるため、Linux の Systemd を触る機会はほぼありません。

利用機会は今後どんどん減ってでしょう。

しかし、担当しているサービスの一部で Google Compute Engine を利用しており、 Systemd を使ってシェルスクリプトをサービス化しています。

AWS EC2 を使ったサーバー構築の可能性もあり、 Systemd を使ったサーバーを構築する機会はまだ残り続けるでしょう。

そこで Systemd を使ってシェルをサービス化する方法をまとめておきます。

概要

当エントリでは Linux サーバー上が起動してたタイミングで、Systemd からシェルスクリプトを自動的に実行する方法 について紹介します。

“Systemd” とは？

Systemd は、LinuxOS の起動、管理、および終了に関するサービス管理システムです。従来は SysVinit という仕組みが使われていました。今は SysVinit が Systemd に置き換わり、OS の起動とサービスの管理を行う仕組みとなりました。

Systemd は、LinuxOS の初期化プロセスとして起動し、サービスの管理、ネットワークの設定、ログの管理などを主に担当しています。

管理者は簡単にシステムの状態を監視し、サービスの状態をコントロールできます。以下は、管理者が利用する Systemd の基本的なコマンドの例です。

systemctl start [サービス名] : サービスを開始します。
systemctl stop [サービス名] : サービスを停止します。
systemctl enable [サービス名] : システムの起動時にサービスを自動的に起動します。
systemctl disable [サービス名] : システムの起動時にサービスを自動的に起動しないようにします。
systemctl status [サービス名] : サービスの状態を確認します。

“Systemd” の実行プロセス

Systemd の実行プロセスは以下のような性質を持っています。

Dockerコンテナ環境でmanコマンドを使えない問題を解決する方法

Wed, 20 Jan 2021 20:09:39 +0900

はじめに

飽きずに毎日Bashやシェルスクリプト関連の記事を書いているわけですが、記事の内容が本当に正しいのかを確認するためにDockerコンテナ環境内で動作を確認しています。

僕のMac環境は随分汚れてしまっているので、正しい動作を確認するためにはクリーンな環境が必要なわけです。

執筆の合間にBashの正しい挙動はどう定義されているのかを書くにするために man コマンドを実行したくなることもあるのですが、Dockerコンテナ内で man bash を実行してもマニュアルが確認できません。

コンテナイメージのサイズが大きくなってしまいますが、事前にインストールしておこうと思いました。

検証環境

いつも執筆の際に利用しているディストリビューションは CentOS です。 ( 未だにCentOS なので、いい加減Ubuntuあたりに移行したい。 ) 大体 docker run --rm -it centos:centos7 bash を実行して、検証環境を立ち上げています。

1
2
3
4
5
6
7
8


$ cat /etc/os-release | head -n 1
NAME="CentOS Linux"

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`man` コマンドをインストールしてはみるが…

CentOSのパッケージ管理ツールといえば YUM です。 yum コマンドで man をインストールします。

1
2
3
4


$ yum install man -y

$ type man
man is /usr/bin/man

正しくインストールされたのを確認し、次のステップへ。

"bash -c"コマンド実行で子プロセスが作られる時、作られない時

Fri, 08 Jan 2021 20:28:00 +0900

はじめに

KubernetesのマニフェストファイルやDockerのビルドファイル、Docker Composeの設定ファイルを閲覧、編集することが増えてきました。

それらのファイルの中で bash -c というコマンドが実行されていることがあります。 bash の新しいプロセスを立ち上げ、 -c オプションで渡されたコマンドを実行する命令になります。

ps コマンドを使い、実行中の bash -c プロセスを見ていたところ、プロセスツリーの表示が時々で異なっていたため不思議に思い調べてみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

改めて、 `bash -c` って何？

bash -c "echo hello" といったように、 -c コマンドに文字列を渡すことで、文字列をコマンドとして実行させることができます。多くの言語系で実装されている eval 関数のようなものですね。

1
2
3


# 10秒待ってからhelloが表示される
$ bash -c "echo hogehoge"
hogehoge

コマンドは ; で区切って複数実行させることもできます。

1
2
3


# 10秒待ってからhelloが表示される
$ bash -c "sleep 10; echo hello;"
hello

`bash -c "sleep 10; echo hello;"` を実行したときのプロセスツリー

ここで、 bash -c "sleep 10; echo hello;" というコマンドを実行します。

Bashでコマンドライン上にタブ文字をはりつけると消える問題に対応

Wed, 18 Nov 2020 08:13:35 +0900

はじめに

MacのデフォルトシェルもZshになったこともあり、最近インタラクティブな操作目的でBashを起動する機会は徐々に減っています。とはいえ、やはりサーバのログインシェルに利用されているのは未だBashが多く、今後もこの状況が続くでしょう。

Bashのコマンドライン上にタブ文字を含む文字列を貼り付けた場合、タブ文字が消えてしまうことがないでしょうか？このタブ文字が消える問題への対処法について紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

タブ文字が消える問題について

ここで、Bashのヒアドキュメント機能を利用して文字列を出力させたい、というケースを考えてみます。出力させない内容は、タブ区切り文字列である TSV 形式となっています。

以下のような3行からなるTSVです。

1
2
3


aa	bb	cc
aa	bb	cc
aa	bb	cc

cat コマンドと ヒアドキュメント を使って出力してみます。以下の内容をコピーして、Bashシェル上に貼り付けてみます。

1
2
3
4
5


cat <<EOF
aa	bb	cc
aa	bb	cc
aa	bb	cc
EOF

うまくいく環境もあるでしょうが、僕の環境ではタブが消えてしまいます。

Bashシェルスクリプト上での"[..]"と"[[..]]"の違い

Tue, 09 Jun 2020 08:38:36 +0900

はじめに

Bash上で作業を行ったり、Bashのシェルスクリプトを書いたりする場合に条件分岐を使うケースがあります。

if [ -f $FILE ]; then と記述する場合もあれば、 if [[ -f $FILE ]]; then のように [ を2つ続けて記述する場合もあります。両者の違いについて、知っている範囲でまとめました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

かんたんな文字列比較処理を書いてみる

変数 X の値が想定通りの場合に ok と出力するだけのかんたんな条件分岐を記述してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# 変数を作成
$ X=1223

# [...] を使用するケース
$ [ $X = "1223" ] && echo ok
ok

# [[...]] を使用するケース
$ [[ $X = "1223" ]] && echo ok
ok

ちなみに、上記の処理は以下と同義です。

Crontabにシステム起動時に1度だけコマンドが実行されるように設定する方法

Fri, 05 Jun 2020 08:45:36 +0900

はじめに

man 5 crontab を読んでいてたまたま見つけたので紹介。

crontab の実装の違いにより使える、使えないがあるが、システム起動時に 1 度だけコマンドが実行されるような設定をかんたんに追加できます。

検証環境

1
2


$ uname -moi
x86_64 unknown GNU/Linux

man ページに書かれている

man 5 crontab をしたところ以下のように記述されています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


 string meaning
 ------ -------
 @reboot Run once, at startup.
 @yearly Run once a year, "0 0 1 1 *".
 @annually (same as @yearly)
 @monthly Run once a month, "0 0 1 * *".
 @weekly Run once a week, "0 0 * * 0".
 @daily Run once a day, "0 0 * * *".
 @midnight (same as @daily)
 @hourly Run once an hour, "0 * * * *".

 Please note that startup, as far as @reboot is concerned, is the time when the cron(8) daemon startup. In particular, it may be before some system
 daemons, or other facilities, were startup. This is due to the boot order sequence of the machine.

crontab の各行の左 5 列は時間指定のために使われますが（ ex: 0 12 * * * echo hoge で「毎日 12:00 に echo hoge を実行」）、この部分に @reboot と記述することでサーバ再起動時に 1 回だけ実行されるような設定ができます。

sedを使って条件に一致した行をテンプレートファイルの内容で置き直す

Tue, 12 May 2020 08:00:45 +0900

はじめに

あまり使うことがない機能ですが、 sed で特定条件に合致した場合に、テキストファイルの内容を差し込むことができます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

準備

10から30までの数値を行ごとに出力します。以下のコマンドを利用します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


$ seq 10 30
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

この出力内容のうち、 3 が含まれている行の後ろに任意のテキストファイルの内容を差し込んでみます。

Bashシェルスクリプトで文字列を右(左)からN文字取り出す

Mon, 11 May 2020 08:53:23 +0900

はじめに

シェルスクリプトで右からN文字、あるいは左からN文字切り取る方法。

多くの言語でStringクラスの right() メソッド、 left() メソッドとして提供されている機能になります。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ cut --version | head -n 1
cut (GNU coreutils) 8.32

$ sed --version | head -n 1
sed (GNU sed) 4.8

`cut` を使う方法

1
2
3
4
5
6
7


## 左から3文字取り出す
$ echo 0123456789 | cut -c -3
012

## 右から3文字取り出す
$ echo 0123456789 | rev | cut -c -3 | rev
789

左から切り取る場合は rev コマンドで一度左右を反転させるのがポイントです。

Bashシェルスクリプトで数値配列の合計値を算出する

Thu, 07 May 2020 10:22:50 +0900

はじめに

Bash シェルスクリプトでは type または declare コマンドを利用することで配列変数を宣言できます。

この「配列変数」の合計値を算出する簡単な方法は無いか考えたことを公開します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

方法 1 - ループする方法

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ declare -a NUMS=(
 1 2 3 4 5
)

$ SUM=0
$ for N in ${NUMS[@]}; do
 ((SUM+=N))
done

$ echo $SUM
15

実行結果は 15 となります。

シェルスクリプトで`while read`ループすると最終行が読み込まれない場合への対処

Wed, 15 Apr 2020 14:04:08 +0900

はじめに

シェルスクリプトでファイルの各行に対して複雑なロジックを書かざるを得ない場合、 while read を使って一行ずつ読み込む処理を騎獣します。

echo や cat を使ってファイルを作成した場合はファイルの末尾に必ず改行コード（LF）が付与されますが、少々変わったファイルの作り方をすると改行コードが付与されないことがあります。（どきどきチームで開発しているソースコードにもこういうファイルが紛れ込むケースもありますね。）

そんなファイルを while read する場合に最終行がループ処理の対象にならない、とハマりがちなので対処法をまとめます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.16(1)-release (x86_64-apple-darwin18.7.0)

普通に作成したファイルを `while read` して一行ずつ読み込んでみる

普通に作成したファイルを while read して一行ずつ読み込む場合、以下のようなコードになるかと思います。

( IFS= を付与しないと、 read 時に行頭・行末のスペースが除去されてしまいます。 -r オプションがないと各行末に \ があった場合におかしな挙動をしてしまいます。 )

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


# 後述するケースにつながるため、あえてちょっと変わった書き方で echo しています。
$ echo "\
aaa
 bbb
ccc" >test1.txt

# ファイルの中身は3行となっています。
$ cat test1.txt
aaa
 bbb
ccc

# 一行ずつ読み込んでみます
$ cat test1.txt | while IFS= read -r LINE; do
 echo "${LINE}"
 done
aaa
 bbb
ccc

問題なく3行とも読み込めました。

「too many levels of symbolic links」というエラーメッセージについて

Wed, 08 Apr 2020 08:00:21 +0900

はじめに

僕は出会ったことはないのですが、 「too many levels of symbolic links」 というエラーメッセージに遭遇したという話を聞いて再現方法を調べてみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.16(1)-release (x86_64-apple-darwin18.7.0)

エラーを再現させてみる

早速再現させてみます。通常はこんなことは起きないとは思いますが、 自分自身を参照するシンボリックリンク hoge を作成します。

1
2
3
4
5


$ ln -s hoge hoge

$ ls -l
total 0
lrwxrwxrwx 1 root root 4 Apr 7 14:33 hoge -> hoge

このシンボリックリンク hoge をフォルダとみなして、 hoge/x というファイルを作成してみます。

1
2


$ touch hoge/x
touch: cannot touch 'hoge/x': Too many levels of symbolic links

エラーが再現しました。

Bashシェルスクリプト内でaliasコマンドを使う方法

Mon, 16 Mar 2020 09:09:18 +0900

はじめに

Bashシェルスクリプト内で alias コマンドを使ってエイリアス設定しようとしてもデフォルトのままでは設定できません。

設定する方法について紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.16(1)-release (x86_64-apple-darwin18.7.0)

シェルスクリプト内で`alias`コマンドを使ってみる

ls -l コマンドをかんたんに扱うための ll というエイリアスを作成し、実行するスクリプトを用意してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# ファイルを作成
$ echo <<EOF > test.sh
#!/usr/bin/env bash

alias ll='ls -l'

ll /tmp/
EOF

# 実行権限を付与
$ chmod 700 test.sh

これを実行してみます。

シェルスクリプトでマルチバイト文字の文字数を確認する際の注意事項（おまけでJSTなど）

Wed, 04 Mar 2020 08:58:51 +0900

はじめに

Bashシェルスクリプトで日本語の全角文字（ex: あいう）の文字数を取得したかったのですが環境の設定に注意しないといけないことがありました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

マルチバイト文字のを含む文字列の「バイト数」「文字数」を取得

マルチバイト文字のを含む文字列の「バイト数」「文字数」をそれぞれ取得してみたいと思いました。

クリーンな環境が欲しかったので、 docker run で CentOS7 環境を利用してみました。

1
2
3
4


# 以下のコマンドでCentOS7上のログインシェルが起動
$ docker run --rm -it centos:7

[root@fbdeab6f7982 /]#

ここで、 あいう という全角3文字のバイト数、文字数を取得してみます。それぞれ wc -c 、 wc -m というコマンドに対してパイプ経由で文字列を渡してやります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


# -nオプション無しでechoすると改行文字が含まれてしまうことに注意！
$ echo あいう | wc -c
10

# これで改行が除外される（プロンプトがおかしな場所に出力されていることからわかる）
$ echo -n あいう
あいう$

# wc -c でバイト数を取得
$ echo -n あいう | wc -c
9

# wc -c で文字数を取得
$ echo -n あいう | wc -m
9

# 変数に代入して、変数の文字列長を取得する命令を利用してみる
$ X=あいう
$ echo ${#X}
9

「バイト数」は想定通りでしたが、「文字数」が正しく取得できません。（バイト数と同じ値になってしまいました。）

オープンできるファイル数上限を管理する「ファイルディスクリプタ」について（ `Too many open files` エラーを理解する）

Tue, 28 May 2019 09:00:21 +0900

はじめに

プロジェクトで大量のファイルを扱う必要があり、ファイルディスクリプタの話が出てきたので整理してみました。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


$ uname -moi
x86_64 x86_64 GNU/Linux

$ cat /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:centos:centos:7"
HOME_URL="https://www.centos.org/"
BUG_REPORT_URL="https://bugs.centos.org/"

CENTOS_MANTISBT_PROJECT="CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION="7"
REDHAT_SUPPORT_PRODUCT="centos"
REDHAT_SUPPORT_PRODUCT_VERSION="7"

ファイルディスクリプタとは

OSが以下のようなものにアクセスする場合に用いる識別子（ニックネームのようなもの）を 「ファイルディスクリプタ」 といいます。
- ファイル
- 標準入出力など

0から順番に整数の値が割り当てられますが、通常、以下の3つはOS（シェル）が最初に用意します。

sedコマンドの内部コマンドの適用範囲を指定する際には終了条件に注意！(最終行まで適用されてしまう場合)

Tue, 19 Mar 2019 08:32:23 +0900

はじめに

前回( sedコマンドを全行に実行させたくない場合は内部コマンドの適用範囲を指定しよう（含む、含まない、特定の行のみ、数行毎に、など） ) みた sed コマンドの範囲指定方法について、振り返ります。

sed の内部コマンド適用範囲は 「アドレス」 というもので設定できる
「アドレス」 は 0個か1個か2個を指定できる。
「アドレス」 にはパターンを表す正規表現か行番号が使える
「アドレス」 の指定方法は 行アドレス と パターンアドレス がある

「アドレス」 については、以下の5つの大原則がありました。

*「アドレス」が指定されていなければ、コマンドは全ての行に適用される *「アドレス」が一個だけ指定されると、コマンドはその「アドレス」にマッチする全ての行に適用される

カンマで区切られた2個の「アドレス」が指定されると最初の「アドレス」にマッチしたから2番目の「アドレス」にマッチするまでその行も含むすべての行にコマンドが適用される *「アドレス」の後ろにエクスクラメーションマークをつけると「アドレス」にマッチしない全ての行にコマンドが適用される

「行アドレス」例

1
2
3
4
5


# 5行目を削除
$ cat any-file.txt | sed '5d'

# 5行目から10行目を削除
$ cat any-file.txt | sed '5,10d'

「パターンアドレス」例

1
2
3
4
5


# コメント行を削除
$ cat any-file.txt | sed '/^\s*\#/d'

# '---' から 次の '---' まで削除
$ cat any-file.txt | sed '/---/,/---/d'

カンマの後ろの条件指定に注意しないと予期しない挙動をする！

前回さらっと流してしまったが、sedコマンドのアドレス指定範囲で意外とハマってしまうケースがあります。「範囲指定がうまく動作しない！」という方の参考になれば幸いです。

「名前付きパイプ」（FIFO/Named Pipe）を使ってプロセス間通信を試してみる

Mon, 18 Mar 2019 12:00:25 +0900

はじめに

Bash のストリーム/パイプ処理を視覚的に理解するのエントリで触れましたが、「名前付きパイプ」というものがあって今のプロジェクトで使う可能性が出てきたので取り上げてみました。

本稼働するシステムで使うことは初めてになりそうなので、楽しみです。

検証環境

1
2
3
4
5
6


$ uname -moi
x86_64 MacBookPro11,4 Darwin


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

通常のパイプ

「通常のパイプ」は「無名」です。使用しているプロセスが動作中の間だけ存在しますプロセスが終了するとともに消えてしまいます。

パイプを挟んで前後にプロセスが 1 つずつ存在します。一方は「パイプ」へ出力、他方は「パイプ」からの入力を待ちます。

(例)

1
2


# `seq` で 1から10 の数値を出力し、 `tail` で入力を受け付ける。
$ seq 1 10 | tail -f

“名前付きパイプ” とは？

「名前付きパイプ」 は「ファイル名」を持ちます。
プロセスが消滅しても存在し続けます。(そのため、使わなくなったら削除する必要があります。)
プロセス間通信 (IPC) を行うためにプロセスがオープンして使用します。

試してみる

簡単な例を上げます。

名前付きパイプの作成

mkfifo というコマンドを実行すると、 「名前付きパイプ」 ファイルが作成できます。ここでは Named Pipe の頭文字をとって np としています。

goofysを使ってEC2上のLinuxにS3をマウントする

Thu, 07 Mar 2019 08:05:00 +0900

はじめに

S3をファイルシステムとしてマウントするための方法を整理してみました。

AWSを利用していて、S3をサーバーマウントする技術として s3fs が有名
- s3fs は遅い
代替策として goofys がある
- goofys は速い

goofys の方が評判が良いようなのでgoofysを検証しました。

ちなみに goofys のGithubページにベンチマークが掲載されています。

(引用) Using –stat-cache-ttl 1s –type-cache-ttl 1s for goofys -ostat_cache_expire=1 for s3fs to simulate cold runs. Detail for the benchmark can be found in bench.sh. Raw data is available as well. The test was run on an EC2 m4.16xlarge in us-west-2a connected to a bucket in us-west-2. Units are seconds.

今回のゴール

起動時にS3バケットが所定のディレクトリに自動マウントされるようになるまで設定します。

※ちなみに、Dockerが利用できる場合にはgoofysを手軽に利用できるDockerイメージを公開していますのでお使いください。

Redhat系Linux（CentOS7）にVim8をインストールする方法いろいろ

Wed, 27 Feb 2019 07:50:21 +0900

Vim8のインストール方法について。

未だにCentOS7系でデフォルトインストールされるVimが7系なので、8系のインストール方法についてまとめてみました。是非Vim8と、8系でしか使えないプラグインを使ってみてほしいです。

検証環境

クリーンな検証環境を構築するために、 Docker を使いました。

※もちろんクリーンなCentOS環境を再構築できるなら別の方法でもよいが、これが一番手軽かつ安価なんですよね。

1

$ docker run --rm -it centos:centos7 bash

YUMをそのまま使う（Vim7がインストールされてしまう）

1
2
3
4
5
6
7
8
9


$ yum install -y vim

$ vim --version
VIM - Vi IMproved 7.4 (2013 Aug 10, compiled Oct 30 2018 19:56:57)
Included patches: 1-160, 399, 402-403, 1099
Modified by <bugzilla@redhat.com>
Compiled by <bugzilla@redhat.com>
Huge version without GUI. Features included (+) or not (-):
...

ソースコードをビルド(Vim8)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


$ yum install -y \
 curl \
 git \
 make \
 gcc \
 ncurses-devel

$ [ ! -d "/usr/local/src" ] \
 && mkdir -p "/usr/local/src"

$ cd "/usr/local/src"

$ git clone https://github.com/vim/vim.git

$ cd /usr/local/src/vim

$ ./configure \
 --disable-selinux \
 --enable-cscope \
 --enable-fontset \
 --enable-gpm \
 --enable-multibyte \
 --enable-rubyinterp \
 --enable-xim

$ make

$ make install

バージョン確認

シェルスクリプトでディレクトリ配下を検索した結果を、フォルダ階層を保ったまま別ディレクトリにコピーする

Wed, 20 Feb 2019 23:18:09 +0900

はじめに

タイトルがわかりにくいので、早速、具体的な例を上げて説明します。

EC-CUBEのソースコードを拝借し、 Tag という文字を名前に含むファイルを、階層構造を保ったまま別のフォルダ ( /tmp/ec-cube ) にコピーしてみます。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro10,1 Darwin


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)
Copyright (C) 2019 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

準備

1
2
3
4


$ git clone https://github.com/EC-CUBE/ec-cube.git

$ ls -l
drwxrwx--- 40 genzouw staff 1280 2 20 22:43 ec-cube/

やりかた

Tag という文字を名前に含むファイルは以下のコマンドで見つけられます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# 一部のファイルだけに絞り込まれて出力されている
## -type f => ファイルのみを対象。ディレクトリは非対称。
## -name => Tagという文字を含むもののみを対象
$ find ec-cube -type f -name '*Tag*'
ec-cube/tests/Eccube/Tests/Web/Admin/Product/TagContorllerTest.php
ec-cube/tests/Eccube/Tests/DependencyInjection/Compiler/AutoConfigurationTagPassTest.php
ec-cube/src/Eccube/Form/Type/Admin/ProductTag.php
ec-cube/src/Eccube/Form/Type/Admin/TagType.php
ec-cube/src/Eccube/Repository/ProductTagRepository.php
ec-cube/src/Eccube/Repository/TagRepository.php
ec-cube/src/Eccube/Entity/ProductTag.php
ec-cube/src/Eccube/Entity/Tag.php
ec-cube/src/Eccube/Controller/Admin/Product/TagController.php
ec-cube/src/Eccube/DependencyInjection/Compiler/AutoConfigurationTagPass.php

これを階層構造を保ったまま /tmp/ec-cube にコピーするには、 tar コマンドを使います。

Bashシェルスクリプトで浮動小数点計算（答えが小数となる除算）

Mon, 18 Feb 2019 12:21:58 +0900

はじめに

Bashの組み込みの数値演算機能では、少数が取り扱えません。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


$ X=10
$ Y=2
$ Z=4

# こちらは問題ない
$ echo $((X/Y))
5

# これでも結果はおなじ
$ echo $(($X/$Y))
5

# こちらの結果がおかしい
$ echo $((X/Z))
2

echo $((X/Z)) の実行結果は 2.5 となってほしいが、小数点以下が切り捨てられてしまいます。

対処方法はいくつかあります。

`bc` コマンドを使う

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# このままだと変わりなし
$ bc <<< "$X/$Z"
2

# 少数第何位まで計算するかを指定
$ bc <<< "scale=4; $X/$Z"
2.5000

$ # 無限循環小数
$ bc <<< "scale=4; $X/3"
3.3333

問題は scale の値をいくつにするかを予め知っておかないといけないこと。 卵が先か、鶏が先か。

シェルスクリプトのコードを整形してくれるツール `shfmt`

Fri, 15 Feb 2019 08:50:03 +0900

シェルスクリプトでコーディングする際に使っているツールを紹介。 ( とりあえず殴り書きして、コードフォーマットツールに食わせて整形します。 )

GitHub - mvdan/sh: A shell parser, formatter, and interpreter (POSIX/Bash/mksh)

必要なもの

Go
- Macなら brew install golang
- CentOSなら yum install golang

インストール方法

Gihtubのshfmtトップページにインストール方法が書かれています。

2019-02-15現在、 go コマンドが使えれば、以下のコマンドだけでインストールされます。

1

$ go get -u github.com/mvdan/sh/cmd/shfmt

正常にインストールされていれば、以下のフォルダにコマンドがインストールされています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


# 僕の環境
$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

# HOMEディレクトリ配下にコマンドがインストールされている
$ cd
$ ls .go/bin/shfmt
.go/bin/shfmt*

# 頻繁に使うので、 `$HOME/.go/bin` にパスを通しておく
echo 'export PATH="$PATH:$HOME/.go/bin"' >> ~/.bashrc

# コマンドが実行できるか確認
$ shfmt --help

※ちなみに、CentOS7系サーバでセットアップを行うと、 $HOME/.go ではなく $HOME/go ディレクトリにコマンドがインストールされます。なぜパスが違う？？

シェルスクリプトで変数の先頭・末尾のtrim処理いろいろ

Thu, 14 Feb 2019 08:18:19 +0900

ユーザの入力情報を取り扱うときには、誤ってスペースを入力されたことを考慮した対策が必要です。入力情報を変数に代入していた場合は先頭・末尾のtrim処理を行っておくと良いです。

Bashシェルスクリプトでtrimを実行する方法はいくつかあるので取り上げてみました。

前提

入力情報は INPUT という変数に格納しておきます。

1
2
3
4


$ INPUT=' genzouw postit '
 # スペースがあることがわかるようにカッコを付与しています
$ echo "[${INPUT}]"
[ genzouw postit ]

変数の前後から不要なスペースを除去し、以下のように出力されるようにしたいと思います。

1

[genzouw postit]

trimの方法1：sed

僕の中ではセオリー。

余談ですが、 sed が使えると head や tail や tr も代用できるし非常に便利です。万能ナイフ。

1
2


$ echo "${INPUT}" | sed 's/^ *\| *$//'
genzouw postit

変数に代入して使うこともできます。

$ X="$(echo "${INPUT}" | sed 's/^ *\| *$//')"

$ echo "${X}"
genzouw postit

trimの方法2：単純にechoする

ただechoに食わせるだけ。

1
2


$ echo ${INPUT}
genzouw postit

簡単でよいが、問題はあります。中央部分のスペースが1つにマージされてしまいます。

CSVデータに対してSQLのwhere、order by、group by、joinができる "q" コマンド（活用編）

Wed, 13 Feb 2019 08:39:30 +0900

はじめに

以下のエントリの続き。

CSV データに対して SQL の where、order by、group by、join ができる “q” コマンド（導入編） | ゲンゾウ用ポストイット

前回は q コマンドの導入とテストデータ作成（ 年次別にみた出生数・率（人口千対）・出生性比及び合計特殊出生率 ）まで。

今回は実際に q コマンドでデータを操作してみます。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ bash -version | head -n 2
GNU bash, version 5.0.17(1)-release (x86_64-pc-linux-gnu)
Copyright (C) 2019 Free Software Foundation, Inc.

$ cat /etc/os-release | head -n 2
NAME="Ubuntu"
VERSION="20.04.3 LTS (Focal Fossa)"

$ q --version
q version 3.1.6
Python: 3.8.11 (default, Jul 24 2021, 23:08:48) // [Clang 12.0.1 ]
Copyright (C) 2012-2021 Harel Ben-Attia (harelba@gmail.com, @harelba on twitter)
http://harelba.github.io/q/

単純なデータの出力

CSV ファイルを DB のテーブルと見直したクエリを実行することができます。
- from 句に CSV ファイルを指定
- 今回は各列がカンマ ( , ) で区切られているので、デリミタとして , を指定します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


$ q -d , "select * from mb010000-utf8.csv"
1899,1386981,713442,673539,32.0,105.9,...
1900,1420534,727916,692618,32.4,105.1,...
1901,1501591,769494,732097,33.9,105.1,...
1902,1510835,773296,737539,33.6,104.8,...
1903,1489816,763806,726010,32.7,105.2,...
1904,1440371,738230,702141,31.2,105.1,...
1905,1452770,735948,716822,31.2,102.7,...
1906,1394295,726155,668140,29.6,108.7,...
1907,1614472,818114,796358,34.0,102.7,...
1908,1662815,850209,812606,34.7,104.6,...
1909,1693850,863855,829995,34.9,104.1,...
1910,1712857,872779,840078,34.8,103.9,...
...(省略)...

ダウンロードしてきたデータの最終列がよくわからない。なぜドット。。。もともとのデータの 1〜9 行目を見る限り、列情報の意味は左から以下のようになっているようです。

CSVデータに対してSQLのwhere、order by、group by、joinができる `q` コマンド（導入編）

Tue, 12 Feb 2019 08:30:34 +0900

はじめに

年度末が近づいてきて、仕事でも CSV データをこねくり回す機会が増えてきました。（ログデータ集計、デバッグだけでなく、確定申告の金額計算など）

CUI 好きの自分も grep / sed / sort / uniq / join / paste のコマンドを毎回毎回パイプラインでつないでいるのは多少面倒になる。

CSV データを SQL で操作できればいいのに、と思う人も少なくないはずです。僕も SQL でデータ操作するほうがなれている人間のひとりです。

そんな方におすすめなのが、 q コマンド。名前のせいでググラビリティが低いのが難点だがとっても便利。

今回は主に導入方法について紹介し、次回で使い方に触れたいと思います。

検証環境

1
2
3
4
5
6
7


$ bash -version | head -n 2
GNU bash, version 5.0.17(1)-release (x86_64-pc-linux-gnu)
Copyright (C) 2019 Free Software Foundation, Inc.

$ cat /etc/os-release | head -n 2
NAME="Ubuntu"
VERSION="20.04.3 LTS (Focal Fossa)"

インストール方法

Github の以下のページを参照。OS ごとにインストール方法が記載されています。

Download and Install

RedHat 系 OS、Debian 系 OS 向けにそれぞれのインストールパッケージも用意されています。

Bashシェルスクリプトで大文字<=>小文字の変換方法いろいろ

Fri, 08 Feb 2019 08:09:04 +0900

前回 大文字あるいは小文字専用の変数を作成する方法について 触れたので、 文字列の大文字<=>小文字の変換方法 について紹介します。

`tr` コマンドを使う方法

おそらく最も古典的かつベーシックな方法です。

全文を変換

1
2
3
4
5
6
7


# 大文字→小文字
$ echo 'Hello World!' | tr '[:upper:]' '[:lower:]'
hello world!

# 小文字→大文字
$ echo 'Hello World!' | tr '[:lower:]' '[:upper:]'
HELLO WORLD!

一部変換

おそらく tr を使う方法ではできないのでは？

`sed` コマンドを使う方法

こちらも比較的よく見る方法です。ポイントは \L と \U 。置換したい文字列を指定する箇所の先頭に付与すると、 L の場合には小文字に、 U の場合には大文字に変換されます。

全文を変換

1
2
3
4
5
6
7


# 大文字→小文字
$ echo 'Hello World!' | sed 's/.\+/\L\0/'
hello world!

# 小文字→大文字
$ echo 'Hello World!' | sed 's/.\+/\U\0/'
HELLO WORLD!

一部を変換

最初の単語のみに適用。

Bashシェルスクリプト上での `read` コマンドの便利な使い方いろいろ

Thu, 07 Feb 2019 08:03:11 +0900

Bashシェルスクリプトで標準入力からの情報を取り扱う read コマンドと declare コマンドを組み合わせると便利で read コマンドについて触れたついでに、 read コマンドの便利な使い方にも触れておきます。

検証環境

1
2
3
4


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)
Copyright (C) 2019 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

変数をバラす

read コマンドは 区切り文字を元に標準入力からのデータをばらして変数に投入してくれる という機能があるので、それを上手に使うと変数をバラすのが楽になります。

例)年、月、日を別の変数に代入する

date コマンドを3回実行すれば取得できます。

1
2
3
4
5
6
7
8


# 年、月、日を取得
$ Y="$(date +%Y)"
$ M="$(date +%m)"
$ D="$(date +%d)"

# 確認してみる
$ echo "$Y と $M と $D"
2019 と 02 と 07

date コマンドの実行結果を read コマンドに食わせることで同じことができます。

Bashシェルスクリプトで標準入力から配列を生成する "read -a" コマンドが便利

Wed, 06 Feb 2019 08:15:05 +0900

はじめに

Bash のビルトインコマンド “declare” の使い方紹介 ( その１ ) で 配列型の変数 について触れました。

その後 Bash のビルトインコマンド “declare” の使い方紹介(その２) で 大文字専用の変数 あるいは 小文字専用の変数 について取り扱ったので、少しだけ関係する read ビルトインコマンドについても触れておきます。

read を使うと、標準入力から読み込んだデータの取り扱いが用意になる場合があります。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

`read` ビルトインコマンドとは？

特徴を簡単に列挙してみます。

標準入力を読み、一行ずつ読み込む
終了コードは、行を読み込めたときは 0 、読み込めなかったとき ( EOF も含む ) は 1
- ループの終了判定に使うことができる
引数にシェル変数名が指定し、読み込んだ行を変数に格納する
- 行末の改行は削除される

ベーシックな使い方として、ファイルの内容を１行ずつ読み込む処理として使われます。 while コマンドと一緒にループ処理を記述する際に使われます。

事前準備 ( サンプルデータ作成 )

動作を見ていくために、適当なデータを作成しておきます。

Bashのビルトインコマンド"declare"の使い方紹介（変数の global スコープ/参照渡し）

Tue, 05 Feb 2019 07:58:31 +0900

またまた以下の内容の続きです。まだまだ書き足りないけど今回で小休止を入れたいと思います。

前回関数内で declare コマンドを使って定義した変数は、自動的に local スコープになるというところで終わりました。では、関数内の local スコープ変数をもっと広いスコープにするにはどうしたらよいでしょう？

`-g` オプション

declare コマンドのオプションに -g と言うものがあります。デフォルトの local スコープよりさらに広い global スコープを設定してやることができます。関数の内部で定義した変数を関数の外部でも利用できるようになります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37


# 関数を定義
f () {
 # -gオプションを付与して、globalスコープとする
 declare -g -i N=4
 echo "f: N=$N"
}

# 関数呼び出し前なので空
$ echo "N=$N"
N=

# 関数呼び出し。関数内の変数は当然見れる
$ f
f: N=4

# 関数呼び出し後はglobal変数が関数の外からも見れる
$ echo "N=$N"
N=4

# 変数を表示するだけの関数を作成
$ show_var () {
 echo "show_var : N=$N"
}

# 表示させてみる
$ show_var
show_var : N=4

# 再度定義し直したらどうなるの？
$ f2 () {
 declare -g -i N=5
 echo "f2: N=$N"
}

# 上書きできちゃう
$ f2
f2: N=5

関数の外で参照できるだけでなく、他の関数からも参照できるようになります。けれども、あんまり広いスコープの変数を使うことはないと思います。

Bashのビルトインコマンド `declare` の使い方紹介（変数のlocalスコープ）

Mon, 04 Feb 2019 08:07:46 +0900

またまた、以下のエントリの続き。

※だんだんシリーズみたいになってきました（笑）

今回は前回の続きで、Bash における変数のスコープ（参照可能な範囲）について。

検証環境

1
2


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

`declare` コマンドで定義した変数は関数の中だけのいのち

読み取り専用の変数を定義するためには、declare -p を使っても readonly を使っても違いはなさそうというところまで確認しました。

1
2
3
4
5
6
7
8


$ declare -r A=a1
$ readonly B=b1

# `-p` オプションで変数がどのように定義されたものかを確認できます。
# 変数名を複数指定して、いっぺんに出力することもできます。
$ declare -p A B
declare -r A="a1"
declare -r B="b1"

Bash のビルトインコマンド “declare” の使い方紹介（その３）の終わりでも話したとおり、これは 関数の外部で変数が定義された場合 のみの話。関数の内部で定義された変数の場合には事情が異なります。関数の内部で定義された場合の両者の違いを見ていきましょう。

Bash のビルトインコマンド "declare" の使い方紹介（その３:読み取り専用）

Fri, 01 Feb 2019 08:17:07 +0900

以下のエントリの続き。

今回は 変数に型以外の情報を付与する機能 について。他の言語で言う public とか final の キーワード をイメージしてもらえばよいです。

別の表現をすると、以下の属性を付与する機能と言えますね。

変数のスコープ
変数の読み取り専用(書き込み禁止)

declare コマンド以外でも設定できる内容であり、以下のキーワードとも絡めて話をしたいと思います。

readonly
export
local

検証環境

1
2
3
4
5
6
7


$ bash --version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)
Copyright (C) 2019 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

declare オプション（変数の利用を制限・開放するもの）

`-r` オプション

読込専用な変数を定義。 値を代入 したりや unset をできなくなる。

Bash のビルトインコマンド "declare" の使い方紹介（その２:大文字小文字の自動変換）

Thu, 31 Jan 2019 08:00:16 +0900

以下のエントリの続き。

前回まで見てきたオプションは、変数の定義時に 型を指定 し、 想定通りの値が格納されていることを担保する ためのものです。他の言語で言う 連想配列 、配列、整数の３つの型について取り扱いました。

今回紹介するのは 文字列型 の機能について。

文字列型の変数に格納されている値が全て大文字であること、あるいは全て小文字であることを担保するためのオプションです。

検証環境

1
2


$ bash --version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

declare オプション（変数の型を定義するもの）

`-l` オプション

大文字を自動的に小文字に変換する変数を定義。 LowerCase の頭文字からとっているのだろう。

変数への値には必ず小文字の英字しか格納されていないことが担保されます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


# 全て小文字は当然何も起こらない
$ declare -l LSTR=abcde
$ echo ${LSTR}
abcde

# 大文字の値を代入しても変換される
$ LSTR="Hello World"
$ echo ${LSTR}
hello world

# 大文字を含むと変換される
$ declare -l LSTR2=ABCDE
$ echo ${LSTR2}
abcde

# 他の文字が混ざっていても大文字は小文字に変換される
$ declare -l LSTR3=aB1C3DE
$ echo ${LSTR3}
ab1c3de

# 全角英大文字を混ぜてみたところ...なんということでしょう！
$ declare -l LSTR4=abCＡＢＣ
$ echo ${LSTR4}
abcａｂｃ

驚いたのは全角英大文字もしっかり小文字に変換されていたことです。 Bash のバージョンによるのでしょうか？

Bashのビルトインコマンド"declare"の使い方紹介（その１）

Wed, 30 Jan 2019 08:16:00 +0900

シェルスクリプトサンプルコードでよく見かけるtypesetやdeclareってなに？の続きです。 ( declare や typedef について知りたい方は前回のエントリのほうが参考になるかもしれません。 )

Bash のビルトインコマンドである declare を使って変数を定義できますが、 オプションを指定することで真価を発揮します 。 declareオプションを見ていきましょう。

オプションは３つに分類できます。（僕が勝手に分類した）

変数の型を定義するもの
変数の利用を制限・開放するもの
その他

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

declareオプション（変数の型を定義するもの）

`-A` オプション

連想配列として変数を定義できます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35


# 連想配列を定義
$ declare -A MAP

# 要素を代入
$ MAP['a']=11
$ MAP['b']=22
$ MAP['c']=33

# 単純にechoしても何も出力されない
$ echo $MAP

# 添字を指定すればOK
$ echo ${MAP[a]}
11
$ echo ${MAP["a"]}
11

# カッコが足りないと正しく出力されない(T_T)
$ echo $MAP[a]
[a]
$ echo $MAP["a"]
[a]

# ちょっと特殊な書き方をしてやると出力できるが、値の一覧だけしか出力されない
$ echo "${MAP[@]}"
11 22 33

# "!" をつけてやると連想配列のキーも取得できます。（ここまで来るといよいよ意味不明。呪文じみてくる）
# ただ、この方法を使えばキーでループさせることが可能。
$ echo "${!MAP[@]}"
a b c

# -p オプションを使うとデバッグしやすい（後述）
$ declare -p MAP
declare -A MAP=([c]="33" [b]="22" [a]="11" )

ちなみに、変数の定義タイミングで値を代入するリテラル記述も存在します。

Linuxサーバからログアウトしたタイミングで処理を実行させる方法（例えばメールを飛ばす）

Fri, 25 Jan 2019 08:45:59 +0900

職場の踏み台サーバを経由してオペレーションを実行すると、オペレーションログが１ファイル作成されます。このファイルのフルパスをログアウトごとに記録しておく必要があったのだが面倒なので自動化してみました。

追記 : 後日、Bash の trap 機能について追加のエントリを書きました。trap コマンドの詳細を知りたい方はどうぞ 。

Bash シェルスクリプトで終了前に後始末をさせたい時は trap コマンドを活用しよう | ゲンゾウ用ポストイット

前提

ログファイルは以下のフォルダに配置される。
- /var/log/script
ファイル名にはログインユーザ名が付与されている。
ファイル名にはタイムスタンプがが付与されている。

具体的には以下のようなファイル形式となります。

/var/log/script/genzouw_20190125_082914.log

検証環境

1
2
3
4
5
6
7


$ bash -version
GNU bash, バージョン 4.2.46(1)-release (x86_64-redhat-linux-gnu)
Copyright (C) 2011 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

ログアウトタイミングに処理を実行させるための方法

Bash の trap コマンド を使って実現しました。

Bashでリダイレクトにより誤って既存ファイルを上書きしてしまわないようにする

Wed, 16 Dec 2015 02:12:14 +0900

背景

bash クックブック を読み進めています。

標準で ON にしておくと良さそうな設定がありました。 Bash でリダイレクトにより誤って既存ファイルを上書きしてしまわないようにする設定です。

環境

1
2
3
4
5
6
7
8
9


$ uname -a
Darwin genzouw-MacBook-Pro.local 15.2.0 Darwin Kernel Version 15.2.0: Fri Nov 13 19:56:56 PST 2015; root:xnu-3248.20.55~2/RELEASE_X86_64 x86_64 i386 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 4.3.42(1)-release (x86_64-apple-darwin14.5.0)
Copyright (C) 2013 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>
This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

set -o noclobber を実行すると、すでに存在しているファイルをリダイレクトにより上書きできなくなります。ファイルが存在しない場合は問題なく新規作成されます。追記も問題なくできます。

CentOS6.5サーバーに日本語環境を構築する

Fri, 11 Jul 2014 22:23:01 +0900

背景

ロケールの設定に関する情報を探して、ブログに辿り着く方が多かったので整理してみました。

特に、以下の様に環境変数を適切に設定しているにもかかわらず、日本語表示されないとお困りの方が多いようです。 Vagrantにて、CentOS6.5のBoxをダウンロードしてきた直後はこのような状態になっています。

1

export LANG="ja_JP.UTF-8"

調査環境

1
2
3
4
5
6
7


[vagrant@vagrant-centos65 ~]$ uname -a
uname -a
Linux vagrant-centos65.vagrantup.com 2.6.32-431.3.1.el6.x86_64 #1 SMP Fri Jan 3 21:39:27 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
[vagrant@vagrant-centos65 ~]$ bash -version
GNU bash, version 4.1.2(1)-release (x86_64-redhat-linux-gnu)
Copyright (C) 2009 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>

対応方法

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# rootへ切り替え
$ sudo -s

# これらをインストール（man-pages-jaは特に不要）
$ yum install -y man-pages-ja
$ yum -y groupinstall "Japanese Support"

# /etc/sysconfig/i18n を既存のものを一度全てコメントアウトする
$ cat /etc/sysconfig/i18n | sed 's/^#\? */# /g' | (mv /etc/sysconfig/i18n{,.bk}; tee /etc/sysconfig/i18n > /dev/null)

# /etc/sysconfig/i18n に設定追加
$ echo 'LANG="ja_JP.UTF-8"' | tee -a /etc/sysconfig/i18n > /dev/null
$ chmod 644 /etc/sysconfig/i18n
$ reboot now

再起動後は全てのパッケージをアップデートする。

CentOS on ゲンゾウ用ポストイット

findコマンドを実行した結果、ファイルが 1 つも見つからなかった場合の判定

はじめに

検証環境

find を grep をパイプでつなぎ、ファイルの検出を判定

再ログインせずにログイン中ユーザの所属グループの変更を反映する方法

はじめに

検証環境

ログイン中のユーザの所属グループを変更しても直ちに設定が反映されない

準備 : sudo 実行可能なテストユーザーを作成

Bashシェルスクリプトで"while read"ループ内で"read"コマンドを使う方法

はじめに

検証環境

while read ループ中で read コマンドを利用するとどうなるか？

.netrcファイルについて知らなかったので調べてみました

はじめに

検証環境

Man ページを参照

コマンドの出力結果からANSIエスケープシーケンスのカラーリングを取り除く方法

はじめに

検証環境

[...] で囲まれた部分の文字列だけを取り出したいが ANSI エスケープシーケンスが邪魔をする場合

Bashシェルスクリプトで配列の全要素を連結(join)し文字列を生成する

はじめに

検証環境

環境変数 IFS ( Internal Field Separator ) を変更する

Bashでテスト用に1GiBの大容量ファイル(バイナリ/テキスト)を作成する方法いろいろ

はじめに

検証環境

NULL 文字（0x00）で埋められた「バイナリファイル」を作成

Linux ファイルシステムにおけるタイムスタンプ(mtime、atime、ctime)の違い、確認方法、変更方法

はじめに

検証環境

「タイムスタンプ」はファイル操作したときの日時情報

「タイムスタンプ」はいくつかの種類がある

Bashシェルスクリプトで1〜999の数字をあてるゲームを作ってみる

はじめに

検証環境

ソースコード

game_of_guess.sh

実行

おまけ：答えを自動的に求めるスクリプト

game_of_guess_auto.sh

ひとこと

trコマンドとsed(y)コマンドの動作の同じところ、違うところ

はじめに

検証環境

tr コマンド

例1

例2

Bashで"while read"ループ内で変更した変数がループ外に反映されないときの対処

はじめに

検証環境

seq 1 5 の実行結果を合計してみる

Bashシェルスクリプトでランダムな数値(乱数)を生成する

はじめに

検証環境

乱数を取得するための組み込み変数「RANDOM」を使う

2つのコマンドをパイプで繋いだときのパイプバッファをエディタで編集する方法

はじめに

コマンド実行結果をVimやVisual Studio Codeで開く方法

はじめに

検証環境

コマンド実行結果をVimやVisual Studio Codeで開く方法

“Vim” の場合

Bashシェルスクリプトで2つのディレクトリ内のファイル名のみを比較する(ファイルの内容の違いは許容)

はじめに

検証環境

検証のための事前準備

実行中のBashシェルスクリプトを書き換えると挙動が変わる問題とその対処法

はじめに

検証環境

ケース1：永遠に終了しない

Bashシェルスクリプト(コマンドライン)でファイル名の一括置換を行う(ファイル名にスペースあり)

はじめに

検証環境

準備

自作したシェルスクリプトをLinuxのsystemdサービスとして起動する方法

はじめに

概要

`find` を `grep` をパイプでつなぎ、ファイルの検出を判定

準備 : `sudo` 実行可能なテストユーザーを作成

`while read` ループ中で `read` コマンドを利用するとどうなるか？

`[...]` で囲まれた部分の文字列だけを取り出したいが ANSI エスケープシーケンスが邪魔をする場合

環境変数 `IFS` ( Internal Field Separator ) を変更する

`game_of_guess.sh`

`game_of_guess_auto.sh`

`tr` コマンド

`seq 1 5` の実行結果を合計してみる

`man` コマンドをインストールしてはみるが…

改めて、 `bash -c` って何？

`bash -c "sleep 10; echo hello;"` を実行したときのプロセスツリー

`cut` を使う方法

普通に作成したファイルを `while read` して一行ずつ読み込んでみる

シェルスクリプト内で`alias`コマンドを使ってみる

オープンできるファイル数上限を管理する「ファイルディスクリプタ」について（ `Too many open files` エラーを理解する）