Bash on ゲンゾウ用ポストイット

Bashの組み込みコマンド "bc" を使ってみる

Sat, 30 Dec 2023 09:11:44 +0900

はじめに

Bash でコマンドを実行しているときにコマンドをうち間違えたことは何度もありますよね。

間違えただけではなく、過去に実行したコマンドのスペルを忘れてしまったり、引数やオプションを忘れてしまったりも一度ならず何度もあるはずです。

Bash にはヒストリ機能があるため上矢印キーや下矢印キーで過去に実行されたコマンドの履歴をたどることができますが、 fc コマンドを利用することで過去に実行したコマンドの再利用が更にはかどります。

今回は fc コマンドの使い方について紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu 22.10"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.2(1)-release (aarch64-unknown-linux-gnu)

“fc” コマンドの概要

fc コマンドは、Bash の組み込みコマンドの 1 つです。 “fix command” の 2 つの単語の頭文字をとって fc コマンドと名付けられているようです。具体的には、次のような機能を持っています。

シェルスクリプトで標準出力と標準エラー出力を入れ替える

Fri, 29 Dec 2023 08:38:12 +0900

はじめに

あまり利用する機会はありませんが、今回はシェルスクリプトを使って、標準出力と標準エラー出力を入れ替える方法についてお話しします。

検証環境

1
2
3
4
5


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

解答

珍しく解答を掲載した後、ブログ記事を書きます。

次のコマンドはどちらを使っても標準出力、標準エラー出力を入れ替えることができます。

1
2
3


$ echo "Hello" 3>&2 2>&1 1>&3

$ echo "Hello" 3>&1 1>&2 2>&3

解説

ファイル記述子 ( ファイルディスクリプタ ) について

ファイル記述子 ( ファイルディスクリプタ ) とは、プログラムがファイルやデバイスとやり取りするために使用する識別子のことです。

ファイル記述子について当ブログで紹介したこともあるので、よけれご参考ください 。

オープンできるファイル数上限を管理する「ファイルディスクリプタ」について( Too many open files エラーを理解する ) | ゲンゾウ用ポストイット

Bash シェルにおけるファイル記述子には、次の 3 種類があります。

標準入力 ( stdin ) 標準入力は、プログラムにデータを入力するファイル記述子です。通常、キーボードからの入力が標準入力として扱われます。パイプを使用することで、標準入力にキーボードからの入力ではなく、別のプロセスからの出力を渡すことができます。

Github Copilot in the CLI を使ってみる

Wed, 20 Dec 2023 11:08:33 +0900

はじめに

先日Githubからメールが届きました。

1

You have been granted access to GitHub Copilot in the CLI.

ようやく Github Copilot in the CLI が利用できるようになりました。

今までは Vim 環境でだけGithub Copilot を使うことができましたが、コマンドライン環境からCopilotの力を利用できることになるのでしょうか？と思い早速試してみました。

検証環境

1
2
3
4
5


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

作業の流れ ( 作業ログ )

まずはメールのリンクに書かれていたドキュメントページから概要や使い方を学んでいくことにしました。

About GitHub Copilot in the CLI - GitHub Docs

Github Copilot in the CLI の概要

Github Copilot in the CLI を使うと、ターミナル操作中にコマンドの候補を提示してくれたり、コマンドの説明を提示してくれたりするそうです。

Gitでいろいろな形式、方法でタグの一覧を出力する

Fri, 21 Apr 2023 08:10:07 +0900

はじめに

Git のローカルワークスペース内でタグの一覧を出力するいろいろな方法を紹介します。

検証環境

1
2


$ git version
git version 2.40.0

利用する Git リポジトリは新規に自作するのが面倒だったので、程よい数のタグを保有している適当なリポジトリを利用させていただきました。

GitHub - sstephenson/bats: Bash Automated Testing System

シンプルにタグを一覧出力

git clone したディレクトリ内でタグの一覧を出力する最もシンプルな方法は、 git tag コマンドを実行することです。

1
2
3
4
5
6


$ git tag
v0.1.0
v0.2.0
v0.3.0
v0.3.1
v0.4.0

⚠ 事前に以下のコマンドを実行し、ローカルのワークスペース内にリモートリポジトリ上にある最新のタグ情報を取得していることを確認しておきましょう。

1

$ git fetch --all --tags

コミットハッシュと一緒にタグを一覧出力

git show ref コマンドを使うことで、タグと一緒にコミットハッシュを一覧出力できます。 ( 正しくはコミットハッシュの一覧の後方にタグをつけて出力しているんですけどね )

1
2
3
4
5
6
7


$ git show-ref --tags -d

2f192ebffa8f8f8d1a5882e74188d6f67b295950 refs/tags/v0.1.0
5030f53eccc66ba9a041d1a4a28f73286de50449 refs/tags/v0.2.0
0e5e44572844ce8fd027d96a5001125c33abd822 refs/tags/v0.3.0
2e2477881bc52791f7bc0321599064b9daf7c6bf refs/tags/v0.3.1
7b032e4b232666ee24f150338bad73de65c7b99d refs/tags/v0.4.0

名前をパターン指定してタグを一覧出力

-l オプション(--list)を使って、指定されたパターンにマッチしたタグ名のものだけを一覧出力できます。

Gitで最新のタグを取得する方法

Fri, 21 Apr 2023 07:38:19 +0900

はじめに

Git のローカルワークスペース内で最新のタグを取得するコマンドを紹介します。

検証環境

1
2


$ git version
git version 2.40.0

`git describe --tags` コマンドを使う

結論からいうと、 git describe --tags コマンドを使うことで最新のタグを取得できます。

実際に試してみる

ローカルに Git のローカルワークスペースを作成し動作を確認してみます。

まずは git init でワークスペースを作成します。

1
2


$ git init
Initialized empty Git repository in /Users/genzouw/work/.git/

適当なファイル(ここではtest.txt)を作成し、内容を編集した後、コミットします。

それぞれのコミットタイミングでタグを付与しておきます。 ( それぞれ 1 、 2 、 2.1 というタグを付与 )

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


$ echo 1 >> test.txt
$ git add test.txt
$ git commit -m "commit 1"
$ git tag 1

$ echo 2 >> test.txt
$ git add test.txt
$ git commit -m "commit 2"
$ git tag 2 -m "Tag 2"

$ echo 3 >> test.txt
$ git add test.txt
$ git commit -m "commit 3"
$ git tag 2.1

git log で確認してみると、3 つのコミットとともにタグが付与されていることがわかります。

docker-compose.yamlのentrypoint/commandフィールドで環境変数を使いたい

Tue, 18 Apr 2023 08:30:45 +0900

はじめに

docker-compose.yaml 内で環境変数を記述する際には、その展開時期に注意しましょう。 entrypoint や command フィールドに環境変数を記述する場合には、environment フィールドでの環境変数定義を参照できないため、別途工夫が必要です。また、docker-compose up 実行時に、環境変数が「置換」される挙動については、使い方次第では不便な場合もあるため、注意が必要です。

問題点について、具体的なコードをあげて説明した後、対処法を紹介します。

検証環境

1
2
3
4
5


$ uname -moi
arm64 unknown Darwin

$ docker-compose --version
Docker Compose version v2.15.1

`docker-compose.yaml` に環境変数 `$VAR` を記述した時の挙動

docker-compose.yaml には $VAR あるいは ${VAR} の形式で環境変数を記述できます。

環境変数の展開の挙動を確認しておきます。

以下のような docker-compose.yaml ファイルを用意します。

1
2
3
4
5
6
7


version: "3"
services:
 app:
 image: bash
 environment:
 "Z": genzouw
 entrypoint: echo "$X",'$Y',"$Z"

YAML ファイルを配置しているディレクトリで、以下のコマンドを実行することで Docker Compose 内に記述されているイメージを使ってコンテナが立ち上がります。

"2>&1"を使わずに標準出力と標準エラー出力を同じファイルに出力する

Sun, 16 Apr 2023 08:47:29 +0900

はじめに

標準出力と標準エラー出力を同じファイルに出力する方法について、標準的な方法である「2>&1」を使わずに簡潔に記述する方法を紹介します。この記事では、その方法を解説します。また、実際に検証した結果も紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu 22.10"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.2(1)-release (aarch64-unknown-linux-gnu)

実際に検証したスクリプト

次のようなスクリプトを用意しました。

1
2
3
4


#!/bin/bash

echo "Hello World to stdout"
echo "Hello World to stderr" >&2

実行すると次のようになります。

1
2
3


$ ./main.sh
Hello World to stdout
Hello World to stderr

見ただけではわかりにくいですが、 “Hello World to stdout” は標準出力、 “Hello World to stderr” は標準エラー出力となっています。

findコマンドを実行した結果、ファイルが 1 つも見つからなかった場合の判定

Tue, 28 Mar 2023 08:30:55 +0900

はじめに

今回は、findコマンドを使ってファイルが見つからなかった場合の処理について紹介します。

findコマンドは Unix 系 OS でファイルを検索するために使われます。ただファイルを検索するだけではなく、パイプでつなぐことで見つかったファイルに対して 1 つずつ何かの処理をすることもできます。

さて、find コマンドで検索した結果、該当のファイルが 1 つも見つからなかった場合の処理はどう書いたら良いのでしょうか？

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ find --version | head -n 2
find (GNU findutils) 4.9.0
Copyright (C) 2022 Free Software Foundation, Inc.

$ grep --version | head -n 2
grep (GNU grep) 3.7
Copyright (C) 2021 Free Software Foundation, Inc.

`find` を `grep` をパイプでつなぎ、ファイルの検出を判定

find の実行結果を grep -q . コマンドにパイプで渡します。

"tail -f"でログファイルを監視しながら"grep"すると出力が遅延する問題への対応

Mon, 27 Mar 2023 08:30:29 +0900

はじめに

稼働中の Web サーバーのアクセスログを tail -f で監視しながら、特定のログのみを探したことはあるでしょうか？

アクセス数の多いサービスの場合、tail -f access.log といった単純なコマンドではとても注視したい情報を見つけることはできません。そのため tail -f access.log | grep xxx | awk {...} のような形で監視対象のログレコードを減らしながら、任意のカラム情報のみ切り出し監視を行います。

しかし、この際に遭遇する問題があります。それは grep で絞り込むと出力が遅延する、という現象です。

問題の原因と対処法を紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ grep --version | head -n 2
grep (GNU grep) 3.7
Copyright (C) 2021 Free Software Foundation, Inc.

$ tail --version | head -n 2
tail (GNU coreutils) 8.32
Copyright (C) 2020 Free Software Foundation, Inc.

「`grep` で絞り込むと出力が遅延する」とは？

「grep で絞り込むと出力が遅延する」とはどのような現象でしょうか？

Bashシェルでtypeコマンドを使ってコマンドの存在チェックを行う際の注意

Sat, 25 Mar 2023 08:30:12 +0900

はじめに

昔から、Linux 上で任意のコマンドがどこにあるかを確認するために which コマンドを使っていました。

最近では type コマンドを使ってコマンドがインストールされているかを確認することが増えてきました。ところがつい最近、注意しないといけないことに気がつきました。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

`type` コマンドとは

type を使うと、引数の文字列に一致するコマンドの情報を表示できます。ここで「コマンド」と呼んでいるものは以下のようなものになります。

実行可能ファイル ( シェル、Python、Ruby、Perl などのスクリプトやコードからコンパイルされた実行可能なバイナリファイル )
予約語 ( keyword )
ビルトインコマンド ( builtin )
エイリアス ( alias )
関数 ( function )

以下の例は rm コマンドに関する情報を表示しています。

再ログインせずにログイン中ユーザの所属グループの変更を反映する方法

Wed, 22 Mar 2023 17:54:55 +0900

はじめに

UNIX 系の OS では、ログイン中のユーザの所属グループを変更した場合、一度ログアウトしなければ変更が反映されません。

しかし、あるコマンドを使えば再ログインせずにログイン中のユーザの所属グループを変更し、その変更を反映させる方法があります。

この記事では、その方法を紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

ログイン中のユーザの所属グループを変更しても直ちに設定が反映されない

実際に Linux 環境を使って検証してみます。

準備 : `sudo` 実行可能なテストユーザーを作成

最終的に以下のようなユーザーgenzouwを作成します。

ユーザー : genzouw
グループ : genzouw
セカンダリグループ : sudo

以下のコマンドを順番に実行していきます。

ChatGPT(+Shell GPT)を使って簡単な計算を行う電卓シェルスクリプトを生成してみた

Tue, 21 Mar 2023 09:20:30 +0900

はじめに

Linux では、シェルスクリプトを使って簡単な計算ができます。

今回は、シェルスクリプトを使って 2 つの数値を入力し、指定された演算子を使って計算するプログラムを作成しました。 ただし、自分ではロジックを一切書かず、ChatGPT に生成してもらうことにしました 。

ChatGPT API 呼び出し方法として、 前回紹介した Shell GPT を使います。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
arm64 unknown Darwin

$ zsh --version
zsh 5.9 (arm-apple-darwin21.3.0)

$ python --version
Python 3.11.2

ChatGPT API はトライアル版のものを利用しました 。言語モデルは GPT-3.5 です。

Shell GPT さんと僕のやり取り

ここからは、電卓シェルスクリプトを作成するまでの Shell GPT さんと僕のやりとり ( シェル操作 ) をなるべく加工無しでそのまま紹介します。

1 回目のやりとり

1
2


$ sgpt --chat "calculator" --shell "電卓プログラムを生成して"
Sorry, I cannot fulfill this request as it is in Japanese and it is not clear what is being asked. Please provide a request in English with clear details on what needs to be done.

何言ってるかわからん、と言われてしまった。

Shell GPTでコマンドラインからChatGPTを呼び出す

Tue, 21 Mar 2023 08:53:28 +0900

はじめに

AI 技術の進歩、とくに ChatGPT に注目が集まっています。これに伴い、ChatGPT を使った自動生成ツールが登場してきています。これらのツールを活用することで、プログラミングの効率性を高めることができます。

AI を利用した自動生成ツールの 1 つ、 Shell GPT について紹介します。

Shell GPT を利用するためには Python が必要ですので、事前にインストールしておきましょう。ここでは Python のインストールについては取り扱いません。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

$ python --version
Python 3.11.2

$ pip --version
pip 23.0.1 from /Users/genzouw/.anyenv/envs/pyenv/versions/3.11.2/lib/python3.11/site-packages/pip (python 3.11)

ChatGPT API はトライアル版のものを利用しました 。言語モデルは GPT-3.5 です。

Bashシェルスクリプトで"while read"ループ内で"read"コマンドを使う方法

Sat, 18 Feb 2023 08:45:31 +0900

はじめに

決して多くないケースですが、 while read　ループ中で read コマンドを利用したいという場合に起きる問題と、その対処法について紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

`while read` ループ中で `read` コマンドを利用するとどうなるか？

while read ループ中で read コマンドを利用するとどうなるか。具体例をもとに見ていきます。

例えば、簡単な英単語の暗記スクリプトを作ってみます。

仕様は単純で、単語を１つ表示しては ENTER キーの入力を待つ、を繰り返します。

Bashシェルスクリプトで月の最初の日、最後の日を算出する

Fri, 17 Feb 2023 08:45:41 +0900

はじめに

他の方が作成したシェルスクリプトを見ていたときに月初め、月末の値がリテラル表記されていました。

date コマンドを使って算出する方法を紹介すると面白いと思いまとめました。

検証環境

1
2
3
4
5


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, version 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

前提

今回紹介する日の出力フォーマットは YYYY-MM-DD 形式としています。

けれども少しコマンドを触れば任意のフォーマットで出力可能な内容となっています。

月の最初の日 ( 月初め ) を算出

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# 2ヶ月前
$ N=2
$ date -d "-${N}month" +%Y-%m-01
2022-12-01

# 1ヶ月前 / 前月
$ N=1
$ date -d "-${N}month" +%Y-%m-01
2023-01-01

# 0ヶ月前 / 今月
$ N=0
$ date -d "-${N}month" +%Y-%m-01
2023-02-01

月の最後の日 ( 月末 ) を算出

今月

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# 2ヶ月前
$ N=2
$ date -d "$(date -d "$((-N+1))month" +%Y-%m-01) -1day" +%Y-%m-%d
2022-12-31

# 1ヶ月前 / 前月
$ N=1
$ date -d "$(date -d "$((-N+1))month" +%Y-%m-01) -1day" +%Y-%m-%d
2023-01-31

# 0ヶ月前 / 今月
$ N=0
$ date -d "$(date -d "$((-N+1))month" +%Y-%m-01) -1day" +%Y-%m-%d
2023-02-28

( 簡易版 ) 今月の月初め

1
2
3
4
5


$ date -d "-$(date +%d) days + 1 days" +%Y-%m-%d
2023-02-01

$ date -d "-$(($(date +%d)-1)) days" +%Y-%m-%d
2023-02-01

( 簡易版 ) 前月の月末

1
2


$ date -d "-$(date +%d) days" +%Y-%m-%d
2023-01-31

ひとこと

まずは月初めを算出する。

(有料になったが) Heroku CLI を使ってコマンドラインから Heroku を操作

Wed, 15 Feb 2023 22:00:29 +0900

はじめに

今更ながら、 Heroku CLI を使う必要が出てきたので開発環境を整備しはじめました。 Heroku の操作をいつものコマンドラインから行いたいと思い、CLI ツールを導入することにしました。

ちなみに、話題になりだしてからもほぼ触ることが有りませんでしたが、いつの間にか無料プランが無くなってしまったんですね。

検証環境

1
2
3
4
5


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

インストールに必要なもの

多くのエンジニアの開発環境には導入済みでしょう。

インストール

Mac 環境の場合には、みんな大好き Homebrew を使用するのがかんたんです。

1

$ brew tap heroku/brew && brew install heroku

Windows 環境の場合にはインストーラーが提供されています。

https://devcenter.heroku.com/articles/heroku-cli

その他の環境、例えば Linux 環境向けに tar 形式の実行ファイルや apt-get で導入できるものも提供されています。

動作確認

1
2


$ heroku --version
heroku/7.68.0 darwin-x64 node-v14.19.0

.netrcファイルについて知らなかったので調べてみました

Wed, 15 Feb 2023 09:12:54 +0900

はじめに

Heroku CLI のセットアップ中に作成された ~/.netrc というファイルについて。

これは一体どういったものなのか、いつ使われるものなのかを調べてみました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, version 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

$ docker --version
Docker version 20.10.21, build baeda1f

Man ページを参照

以下のページを見つけました。

Man page of NETRC

netrc, .netrc - ftp のためのユーザー設定ファイル … このファイルには、ファイル転送プロトコル ( File Transfer Protocol ) クライアント ftp ( 1 ) のための、設定情報と自動ログイン情報が書かれている。

FTP サーバに接続する際の認証情報を保存しておくファイルということです。

curl 関連の情報を調べているときにも .netrc の名前を見た記憶があるので、登場背景の FTP 以外でも使われるようになっているということでしょうか。

Semantic Versioning形式のGitタグをインクリメントしてpushするスクリプト

Mon, 13 Feb 2023 10:07:24 +0900

はじめに

先日ネット上で見つけたエントリを見て書こうと思ったエントリです。

Git のタグとして Semantic Versioning 形式を採用している事例でした。そのエントリでは、パッチバージョン ( vXXX.YYY.ZZZ の ZZZ 部分 ) をインクリメントするのが面倒なのでスクリプト化してみたと書かれていました。

それをみて、僕も同じようにスクリプト化してみました。

検証環境

1
2
3
4
5


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

前提

前提として、バージョニングのフォーマットは vXXX.YYY.ZZZ としました。

タグの先頭に固定の文字として v という文字列を付与しています。

その後に数値が続き、 メジャーパージョン + . + マイナーバージョン + . + パッチバージョン の形式で続くものとしました。

ただし、 v を不要にしたり、ドットを 4 つにしたりは容易にできる作りとなっています。

スクリプト

スクリプト名は何でも良いですが、 git-tag-inc として保存しました。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


#!/usr/bin/env bash
set -o errexit
set -o nounset
set -o noclobber

declare TAG_FORMAT='v[0-9]+.[0-9]+.[0-9]+'

echo "[CAUTION] The tag format is '${TAG_FORMAT}'." >&2

IFS=. read -r MAJOR MINOR PATCH < <(
 git tag \
 | grep -E "${TAG_FORMAT}" \
 | sort -t "." -k1,1n -k2,2n -k3,3n \
 | sed -n '$s/^v//p'
) || true

TAG="v${MAJOR:-1}.${MINOR:-0}.$((${PATCH:- -1} + 1))"

git tag "${TAG}" \
 && echo "${TAG}" >&2

git push --tags

使い方

Git のローカルワークスペースで、 git-tag-inc コマンドを実行してください。

コマンドの出力結果からANSIエスケープシーケンスのカラーリングを取り除く方法

Thu, 09 Feb 2023 09:00:44 +0900

はじめに

ターミナル操作時、コマンドの実行結果が色付けされていることがあります。

僕がプログラミングを始めた頃はもう少し淡白なコマンドの出力結果ばかりだったのですが、最近のツールは出力結果がカラフルなものも多いです。

ターミナル上の出力結果をカラフルに色付けしてくれるための制御文字は ANSI エスケープシーケンスと呼ばれます。 ( 厳密に言うと、ANSI エスケープシーケンスには色付けだけでなく、カーソル位置、フォントスタイル、その他のオプションなどの制御文字が含まれているそうです。 )

コマンドによっては、出力結果をパイプで繋いだ場合にカラーリングの ANSI エスケープシーケンスを除去してくれ、パイプ先で文字列操作する際に大変便利です。

例えば、 ls コマンドは ls -l を実行すると色付けされますが、 ls -l | cat のようにパイプでつなぐと制御文字が除去されます。 cut で切り取る場合は制御文字が邪魔になるので大変便利な挙動です。しかし、コマンドによってはこのような色付けの制御文字を除去しません。

そんなときに ANSI エスケープシーケンスのカラーリング制御文字を取り除く方法について紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ sed --version | head -n 2
sed (GNU sed) 4.8
パッケージ作成者: Debian

`[...]` で囲まれた部分の文字列だけを取り出したいが ANSI エスケープシーケンスが邪魔をする場合

JavaScript 関連のツールを起動した際の文言として、以下のようなものがあります。

Bashシェルスクリプトで配列の全要素を連結(join)し文字列を生成する

Sun, 05 Feb 2023 09:00:17 +0900

はじめに

紹介してそうで紹介していなかった、Bash シェルスクリプトで配列の全要素を連結して文字列を生成する方法について。

多くのプログラミング言語では、 join や implode といった関数で提供されている機能になります。

Bash の場合にはこのような機能はどのように実現したら良いでしょうか。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

環境変数 `IFS` ( Internal Field Separator ) を変更する

配列を指定した区切り文字 ( デリミタ ) で連結し、文字列を生成するには環境変数 IFS の値を一時的に変更してやります。

パスワード付きzipファイルがどのぐらいでクラック(パスワード解析)できるか試してみる

Fri, 03 Feb 2023 08:40:16 +0900

はじめに

前回のエントリで zip ファイルにパスワードを設定する方法について紹介しました。

zip コマンドでパスワード付き圧縮ファイルを生成する | ゲンゾウ用ポストイット

標準的な zip ファイルは比較的容易にパスワード解析できるということなので、実際に突破できるか試してみることにしました。

総当りでクラック ( パスワードの解析 ) を行うスクリプトを適当に見繕って、試してみます。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

$ go version
go version go1.19.2 darwin/arm64

zip クラック用のスクリプトを探す

Github には、 zip ファイルのパスワードを解析するためのスクリプトがいくつも存在しています。

いくつかスクリプトを見て、適当なものを採用しました。

henriksb/ZipCrack: Crack password protected zip files

zip クラック環境セットアップ

henriksb/ZipCrack は Go 言語で実装されていたため、Go 実行環境が必要です。

zipコマンドでパスワード付き圧縮ファイルを生成する

Thu, 02 Feb 2023 19:55:55 +0900

はじめに

最近はめっきり使わなくなった zip ファイル形式。

圧縮率は gzip 、 bz 、 7z や Zsrtandard という圧縮アルゴリズムも登場していますが、未だに zip でファイルを公開してるサービスもあります。

そんな zip 形式の圧縮ファイルを生成するためのコマンド zip を使って「パスワード付き zip ファイル」を生成する方法について紹介します。

※「パスワード付き zip ファイル」というネタを扱うと、炎上しそうでドキドキします※。

検証環境

今回の検証環境は Ubuntu 22.10 を利用しますが、他の Linux ディストリビューションであれば大きな違いはないと思っています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ zip --version | head -n 2
Copyright (c) 1990-2008 Info-ZIP - Type 'zip "-L"' for software license.
This is Zip 3.0 (July 5th 2008), by Info-ZIP.

`zip` コマンドのインストール

もし zip コマンドがインストールされていない場合には、 apt コマンドでインストールしましょう。

sedのcコマンドを使って条件に合致した行を別の文字列で置き換える

Sat, 15 Oct 2022 08:00:18 +0900

はじめに

個人的に sed で最もよく使われる内部コマンドは s コマンドです。

例えば、出力された文字列の中の 1 を @ に置換する場合は以下のように記述できます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


$ seq 10 15
10
11
12
13
14
15

$ seq 10 15 | sed 's/1/@/g'
@0
@@
@2
@3
@4
@5

あまり使う機会がありませんが、同じように「置き換え」を行う sed の内部コマンドとして c コマンドがあります。

c コマンドについて紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

`c` コマンドは条件に合致した行を別の文字列で置き換える

c コマンドは条件に合致した行を別の文字列で置き換えるコマンドになります。

Bashシェルスクリプトで配列要素を 1 つ 1 つ置換する

Fri, 14 Oct 2022 08:00:50 +0900

はじめに

Bash では、配列を作成し、変数に代入できます。

例えば、1〜3 の要素を持つ配列変数は以下のように定義できます。

1
2
3
4
5
6


# 以下のいずれかで定義できる
$ declare -a NUMS=(11 12 13)

$ typeset -a NUMS=(11 12 13)

$ NUMS=(11 12 13)

ここで、変数 NUMS の各要素の 1 という文字列を x に置換したいとします。

ループで置換していけばよいのですが、ループを記述子なくても置換できます。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

変数の置換記法を使う

Bash には変数を参照する際にパターンマッチで置換する機能があります。

anyenvで管理しているバージョン管理ツールを一括でアップデートする方法

Thu, 13 Oct 2022 12:00:54 +0900

はじめに

anyenv を使うと、 xxxenv 系のツールを管理できます。

ここで、 xxxenv 系のツールとは、例えば **pyenv ** や **goenv ** や nodeenv といったツールを指しています。

導入することで、1 台の作業用 PC 内に複数バージョンのプログラム言語実行・ビルド環境を構築できます。

最近は Docker の登場、普及により xxxenv 系ツールの需要も下がっています。しかし、Docker による仮想化の進んでいないコードベースもあるため、僕の PC 内では現役で活躍してくれています。

anyenv は、これら xxxenv 系のツールを一元管理するための上位のツールとなっています。

便利ですが anyenv でインストールされた xxxenv 系ツールで、最新バージョンがインストールできないときがあります。

具体的には anyenv を使ってインストールした goenv を使っていたときに、Go の最新バージョンをインストールできない時がありました。

この問題に対処します。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.2(1)-release (aarch64-apple-darwin21.6.0)

$ anyenv --version
anyenv 1.1.5

anyenv について

anyenv について、サラッと触れておきます。

シェルでsedを使ってパス文字列からディレクトリ名,ファイル名,拡張子を抽出する

Wed, 12 Oct 2022 12:00:05 +0900

はじめに

ネタが無いのでありふれたネタを取り上げてみました。

シェルでパス文字列をディレクトリ名、ファイル名、拡張子に分割する方法はいくつかあります。

過去に投稿した Bash 組み込みの正規表現機能を使ったり、Bash の変数を使ったり、　dirname + basename コマンドを使ったり、 grep を使ったり。

今回は sed のみで実現してみます。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ sed --version | head -n 2
sed (GNU sed) 4.8
パッケージ作成者: Debian

`sed` を使ったパス文字列分割の正規表現

以下のような sed を使った正規表現を用いて、パス文字列を分割できます。

Gitの作業ディレクトリからコマンドでデフォルトブランチ名を取得する

Sat, 06 Aug 2022 08:00:46 +0900

はじめに

git clone した作業ディレクトリで作業中しているとき、デフォルトブランチに切り替えたいのですが、デフォルトブランチ名を取得する方法がわかりませんでした。

以前は master ブランチをデフォルトブランチとしているケースがほとんどでしたが、最近では main ブランチや中には develop ブランチをデフォルトブランチに設定しているリポジトリにも出会うようになりました。

なんとか取得できないかと調べて、取得する方法が見つかったのでメモを残しておきます。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

$ git --version
git version 2.37.1

GitHub CLI を使う

GitHub を使っていることが前提となりますが、 Git の作業ディレクトリに対応するリモートリポジトリからデフォルトブランチ名を取得します。

GitHub リポジトリの情報にアクセスするため GitHub CLI を使います。

GitHub CLI については、インストール方法や使い方を過去のエントリで紹介しています。

GitHub CLI を使ってコマンドラインからイシュー、プルリクを検索、表示してみる | ゲンゾウ用ポストイット

GitHub CLI でインストールされた gh コマンドを使えば、作業ディレクトリに対応する GitHub 上のリポジトリの設定情報を取得する事ができます。

ipcalcコマンドでIPアドレスからネットマスク、ネットワークアドレス、ブロードキャストアドレス、ホスト数を算出する

Fri, 05 Aug 2022 08:00:41 +0900

はじめに

IPアドレス/CIDR ( ex: 192.168.1.16/27 ) のパターンから、特定のサブネットに所属するかを１つずつ確認する作業を行いました。

目視で１つずつ計算していたのですが、効率が悪いし何より疲れるため、かんたんにサブネットの計算ができないかと思っていたときに見つけたツールを紹介します。

検証環境

1
2
3
4
5


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

IP アドレスと CIDR からネットワークに関する情報を算出する `ipcalc` コマンド

見つけたツールは、 IP アドレスと CIDR 表記の組み合わせ ( ex: 192.168.1.16/27 ) からネットワークに関する情報を算出してくれる ipcalc と言うものです。

インストール

macOS の場合、 Homebrew でかんたんにインストールできました。

1

$ brew install ipcalc

Ubuntu 22.10 環境でも APT を使ってかんたんにインストールできました。

1

$ sudo apt install ipcalc

使い方

ipcalc コマンドの引数に IP アドレス (+CIDR) を指定すると、IP アドレスが存在するネットワークの情報を逆算してくれます。

シェルスクリプトを使ってmacOS上で有効になっている物理ネットワークデバイス名を取得する

Thu, 04 Aug 2022 09:33:38 +0900

はじめに

非常に限定されたシチュエーションに関する内容です。

macOS プラットフォームに限定ですが、現在接続中の無線/有線ネットワークデバイスを抽出したいという相談がありました。

「なるほどそういう要件もあるのだな」と思うと同時に興味深かったため、対応方法を考えてみました。

検証環境

1
2
3
4
5


$ uname -v
Darwin Kernel Version 21.6.0: Sat Jun 18 17:07:22 PDT 2022; root:xnu-8020.140.41~1/RELEASE_ARM64_T6000

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

`networksetup` コマンドを利用する

macOS 上のネットワークインタフェースを操作するためのコマンドとして、 networksetup があります。

こちらのコマンドには様々なオプションが用意されています。

まずは networksetup --listallhardwareports を使って、ネットワークインタフェースハードウェアを一覧出力できます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36


$ networksetup -listallhardwareports

Hardware Port: Ethernet Adapter (en4)
Device: en4
Ethernet Address: d2:d6:53:14:xx:xx

Hardware Port: Ethernet Adapter (en5)
Device: en5
Ethernet Address: d2:d6:53:14:xx:xx

Hardware Port: Ethernet Adapter (en6)
Device: en6
Ethernet Address: d2:d6:53:14:xx:xx

Hardware Port: Wi-Fi
Device: en0
Ethernet Address: bc:d0:74:1a:xx:xx

Hardware Port: Thunderbolt 1
Device: en1
Ethernet Address: 36:dd:b7:8d:xx:xx

Hardware Port: Thunderbolt 2
Device: en2
Ethernet Address: 36:dd:b7:8d:xx:xx

Hardware Port: Thunderbolt 3
Device: en3
Ethernet Address: 36:dd:b7:8d:xx:xx

Hardware Port: Thunderbolt Bridge
Device: bridge0
Ethernet Address: 36:dd:b7:8d:xx:xx

VLAN Configurations
===================

それぞれのネットワークハードウェアが 3 行のまとまりで出力されています。

nodemonを使ってGo製Ginサーバをホットリロードしようとしたらハマった話

Tue, 02 Aug 2022 08:00:18 +0900

はじめに

事前にお伝えすると、Go 言語アプリケーションの開発を効率化するためにホットリロードを導入しようとした場合、最適なのは Air と呼ばれるライブリロードツールを利用するのが良いでしょう。 Air も Go 製ですので、Go の実行環境が整っていれば利用できます。

という前提をおいた上で今回のエントリへ。

ホットリロード ( ライブリロード ) を導入し、コードが変更されたことを自動検知して実行プロセスを再起動させると開発がスムーズに進められます。

今までいくつかのツールを遷移してきましたが、ここ数年は nodemon がお気に入りです。

アプリケーション開発時だけでなく、シェルスクリプト作成時にも利用でき、かつコマンド＋オプション指定で利用できるところが気に入っています。過去にも以下のようなエントリを投稿しています。

シェルにも使える！nodemon を使ってコードに変更があった場合にホットリロード ( 自動再起動 ) させる

前置きが長くなりましたが、Go 言語+Gin Web Framework を使った開発中をしていてホットリロードを導入するために nodemon 経由で go run したところ、うまくリロードされないという事象にあいました。

どのような問題が発生したのかと、どのように解決したかを紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

$ nodemon --version
2.0.19

$ go version
go version go1.18 darwin/arm64

まずは Gin のチュートリアルどおりにかんたんな Web API を作成

このあたりは足早に流していきます。

sqlite3コマンドを実行したら"-- Loading resources from ~/.sqliterc"というメッセージが表示され困った話

Mon, 01 Aug 2022 08:00:21 +0900

sqlite3 コマンドを実行したら “– Loading resources from ~/.sqliterc” というメッセージが表示され困った話

はじめに

最近、なぜだか急に SQLite 周りの話題で盛り上がり始めましたね。

過去にマーケティングの効果測定サービスの設計/開発/運用をしていたときには、ストレージ層(MySQL クラスタ)の冗長化の一環として、SQLite を各 Web サーバに定期的にばらまく、といったキャッシュ機構を導入したいた事がありました。

その時のことを思い出して、懐かしさを感じています。

今回は自分の作業用 PC で sqlite3 コマンドを実行したところ、 -- Loading resources from ~/.sqliterc というメッセージが出力されました。

こちらのメッセージが邪魔なのでなんとか除外したいなぁと悩んで対処したことをエントリにまとめてみました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

$ sqlite3 --version
3.37.0 2021-12-09 01:34:53 9ff244ce0739f8ee52a3e9671adb4ee54c83c640b02e3f9d185fd2f9a179aapl

問題

とある SQLite データベースファイル test.db があり、こちらにはテーブル t1 が含まれています。

Bashで読み込んだファイルに対して、リダイレクトで上書きするとファイルが空になる問題への対処

Sat, 30 Jul 2022 08:00:38 +0900

はじめに

Bash に限らずシェルスクリプトでも発生する事象ですが、 cat や < で読み込んだファイルに対して > (リダイレクト) で上書きを行ったにも関わらず、ファイルが空になってしまうという事象に一度は遭遇したことがある方も多いでしょう。

シェル操作を行うことが多い貴兄にはよくある話ですが、この問題への対処法を紹介します。

検証環境

1
2
3
4
5


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

「リダイレクトで上書きするとファイルが空になる」問題とは？

対処法の話をする前に、「リダイレクトで上書きするとファイルが空になる」問題とは何かについて説明しておきます。

例えば、以下のようなファイルがあるとします。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ seq 1 10 > data.txt

$ cat data.txt
1
2
3
4
5
6
7
8
9
10

1~10 の数値が書かれている data.txt というファイルを用意しました。このファイルにから、 2 と 5 の数値が登場する行を除外し、 data.txt に上書きします。

Bashの特殊な変数$_を使って直前に実行されたコマンドの引数を取得する

Fri, 29 Jul 2022 08:00:48 +0900

はじめに

先日、他の方が作成されたスクリプトを拝見していたときに見つけた特殊変数 $_ があまり見慣れないものだったので、調べてみました。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 2 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-unknown-linux-gnu)

スクリプトで使われていた `$_` 特殊変数について

Bash では 全ての引数を表す $@ や 引数の数を表す $# 　、 実行中のプロセス ID を表す $$ など、いくつか組み込み機能として提供されている変数があります。

$_ はそういった変数のうちの 1 つになります。

では、 $_ はどのような変数なのでしょうか。

`$_` 　変数は「直前に実行されたコマンドの最後の引数」を表す

$_ 　変数は「直前に実行されたコマンドの最後の引数」を表します。

早速具体的な例を見ていきましょう。

Bashシェルスクリプトで数値(小数を含む)かどうかを判定する方法

Thu, 28 Jul 2022 14:08:29 +0900

はじめに

関連したエントリは今まで何度もしていますが、特定のケースに限定した「こんなときどうする？」集の１つとしてまとめてみました。

今回は変数や ファイルのコンテンツ などが数字以外が含まれていないことを判定する方法を紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-unknown-linux-gnu)

$ grep --version | head -n 1
grep (GNU grep) 3.7

`grep` を用いた正規表現で判定する

小数を考慮した実数を判定するための正規表現を利用するのが最もかんたんです。

Gitでローカルブランチ、リモートブランチの名前を変更(リネーム)する方法

Tue, 19 Jul 2022 17:12:40 +0900

はじめに

今更のエントリではありますが、Git でブランチ名を変更する方法を毎回忘れてわざわざ以下のステップを実行しているのでいいかげん整理しておこうと思いました。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


# 間違ったブランチ ブランチが現在のブランチ
$ git branch
 main
* 間違ったブランチ

# 正しいブランチ ブランチを新規作成
$ git checkout -b 正しいブランチ
Switched to a new branch '正しいブランチ'


# 正しいブランチ ブランチが現在のブランチ
$ git branch
 main
* 正しいブランチ
 間違ったブランチ

# 間違ったブランチ ブランチは不要なため削除
$ git branch -d 間違ったブランチ
Deleted branch 間違ったブランチ (was 3c3b0a1).

# ブランチを確認
$ git branch
 main
* 正しいブランチ

この方法でブランチはリネーム出来ますが、面倒であることや git push しリモートブランチとして反映されてしまった場合に対応でき ません。

BashのGlob パターンマッチ使用時に該当ファイルが見つからなかった場合の挙動を理解する

Wed, 18 May 2022 21:09:32 +0900

はじめに

Bash で該当ディレクトリ内にあるファイルを一括でコマンドの引数として渡したい場合は、 * を使った Glob 機能が便利です。

さて、この * を使ったワイルドカードによるコマンドライン引数の展開ですが、「パターンにマッチするファイルが無かった場合」に想定しない挙動をしてしまうことがあります。

「パターンにマッチするファイルが無かった場合」にどんな問題が起きるか と その対処法 を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (aarch64-unknown-linux-gnu)

作業の流れ（作業ログ）

Glob によるパラーんマッチの挙動を確認するために、事前にカレントディレクトリに数ファイル作成しておきます。

名前は単純に以下のような数字の連番としておきます。

10.txt
11.txt
12.txt

1

$ touch 10.txt 11.txt 12.txt

Glob によるパターンマッチを試してみる

それでは Bash Glob によるパターンマッチの機能を使ってみます。

jqコマンドで存在しないキーを指定した場合にnullという文字列が取得されることへの対処

Mon, 04 Apr 2022 17:32:54 +0900

はじめに

AWS、GCP といったクラウドサービスや、 SaaS サービスの利用が進むにつれて、外部 API を呼び出してレスポンスされた JSON を処理するケースが多くなってきています。

JSON を処理するためのコマンドラインツールといえば jq コマンドがデファクトスタンダードかと思います。

そんな jq コマンドをつかってシェルスクリプトを作成していたときのことです。

JSON データから jq コマンドで必要な属性だけを取得しましたが、たまに JSON データに想定した情報が存在せず、 jq 実行結果が null となっていまい、後続処理で null という文字を使って処理を行う用になってしまっていました。

これをなんとかしたというのが今回の主旨です。

（説明がわかりにくいですね）

具体例をあげながら対処方法を記載していきます。

検証環境

1
2
3
4
5


$ uname -moi
arm64 MacBookPro18,3 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

問題

まずはかんたんな JSON を echoで出力してみます。

1
2


$ echo '{"x":"hello"}'
{"x":"hello"}

jq を使って、上記の出力結果から x の値だけを抽出してみます。

Bashでテスト用に1GiBの大容量ファイル(バイナリ/テキスト)を作成する方法いろいろ

Tue, 08 Mar 2022 09:18:33 +0900

はじめに

アップロード・ダウンロード速度、通信速度を確認するために、サイズの大きなファイルを作成したいときがあります。

よく知られた方法ばかりですが、1GB の大容量のファイルを作成する方法を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (aarch64-unknown-linux-gnu)

NULL 文字（0x00）で埋められた「バイナリファイル」を作成

最もかんたんかつ高速なのは、 dd コマンドを使って NULL 文字（0x00）で埋められたバイナリファイルを作成する方法 です。

1
2
3
4


$ dd if=/dev/zero of=1Gi bs=1024 count=$((1024**2))
1048576+0 レコード入力
1048576+0 レコード出力
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 2.45573 s, 437 MB/s

bs でブロックサイズ 1024bytes を指定しています。このブロックを、count の回数分、つまり 1024**2 回書き込みます。

"GitHub CLI"でOrganization内のリポジトリを一覧表示する方法

Fri, 04 Mar 2022 10:59:32 +0900

はじめに

GitHub CLI が便利で愛用しています。 GitHub CLI をインストールすると使えるようになる gh コマンドと、別ツールである ghq コマンドを組み合わせるとコマンドラインライフ（？）がとても快適になります。

さて、GitHub にて新しい組織（Organizations）に所属したとき、この組織が所有するリポジトリの一覧を取得したかったのですが、ほんの少しハマったのでやり方を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
arm64 MacBookPro18,3 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

$ gh --version
gh version 2.5.2 (2022-03-01)
https://github.com/cli/cli/releases/tag/v2.5.2

`gh` コマンドで普通にリポジトリを一覧

gh コマンドで普通にリポジトリを一覧出力してみましょう。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


$ gh repo list

Showing 30 of 200 repositories in @genzouw

genzouw/docker-minecraft-server Docker image that provides a Minecraft Server that will automatical... public, fork 1d
genzouw/bin private 1d
genzouw/setup_scripts private 3d
genzouw/myconfig private 4d
genzouw/kanji private 4d
genzouw/golly private 4d
genzouw/haldata-apollo-client private 4d
genzouw/backend private 4d
genzouw/hyakuninissyu private 4d
genzouw/aws-cognito-example-custom-page public 5d
genzouw/ubuntu-sandbox Dockerfile for Ubuntu public 6d
...

自分の所有するリポジトリが一覧表示されます。 200 リポジトリも所有しているんですね。びっくりしました。 掃除しないと。

Linux ファイルシステムにおけるタイムスタンプ(mtime、atime、ctime)の違い、確認方法、変更方法

Mon, 07 Feb 2022 21:10:51 +0900

はじめに

Linux OS 上で行う操作はほぼ全て「ファイル」に対して行われます。

ファイルには「作成された時」や「更新された時」の「日時」の情報が付与されています。

タイトルにある mtime 、 atime 、 ctime というのはファイルに関する日時情報にあたりますが、 なぜ 3 つあるのか？ 、 それぞれどういった情報なのか? は即答が難しいです。

これら 3 つの「日時」情報を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

「タイムスタンプ」はファイル操作したときの日時情報

Linux ファイルシステムにおける日時情報のことを タイムスタンプ と呼びます。

タイムスタンプ はファイルに対して何らかの操作したときに記録されます。

ファイルが作られたタイミングでもタイムスタンプが記録されるので、「タイムスタンプが存在しない」ということはありえません。

「タイムスタンプ」はいくつかの種類がある

一口に「日時情報」といっても、Linux ファイルシステムには以下の 3 つの「タイムスタンプ」があり、更新されるタイミングが異なります。

コマンドラインで "Docker Hub" にアップロード済みのDocker Repositoryを削除する方法

Fri, 04 Feb 2022 20:36:06 +0900

はじめに

無料でDockerイメージを公開できるサービス Docker Hub はなくてはならないサービスですね。

昨年自動ビルド機能が暗号通貨マイニングに悪用され廃止となってしまったにもかかわらず、無料でDockerイメージを公開するリポジトリとしての地位はゆるぎません。

“Github Action” なり “CircleCI” なり “GCP Cloud Build” なりを使ってビルドしたイメージを打ち上げる先として未だに使い続けています。

自分のPCでビルドしたイメージをアップロードするためにも利用していますが、不要になったDocker リポジトリを削除したいと思いました。

その際に実行した、コマンドラインから削除するための方法を紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (x86_64-apple-darwin21.1.0)

“Docker Hub” のDocker Repository を操作するためのツール “hub-tool”

“Docker Hub” のDocker Repository をコマンドラインから操作する場合は、 “hub-tool” というツールを利用します。

過去のエントリ (“hub-tool”を使って”Docker Hub”上のイメージタグを一覧表示する) でも紹介しました。

今回のエントリも、 hub-tool コマンドがすでにインストールされていることを前提とします。

インストールされていない場合は、インストールしておきましょう。

1
2
3


# インストールされているかを確認 ( メッセージが気持ち悪い )
$ hub-tool --version
Docker Hub Tool unknown, build unknown

`hub-tool` を使って “Docker Hub” 上の Docker Repository を削除

それでは hub-tool を使って、不要な Docker Repository を削除してみましょう。

Bashシェルスクリプトで1〜999の数字をあてるゲームを作ってみる

Tue, 01 Feb 2022 08:04:50 +0900

はじめに

「子供と遊ぶ」＋「プログラミングの学習」のために、1〜999の数字をあてるゲームを作ってみました。

過去に別の言語で作ったことはありましたが、最近プログラミングをしていなかったせいで衰えを感じたため、どのぐらい衰えたか心配になり試してみました。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

ソースコード

ここで掲載しているスクリプトはGithubにもプッシュしておきました。

`game_of_guess.sh`

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


#!/usr/bin/env bash
set -o errexit
set -o nounset

ANS=$((RANDOM % 999 + 1))

MAX_RETRY=10

for ((i = 0; i < MAX_RETRY; i++)); do
 read -r -p "数値(0〜999)を入力してください: " GUESS
 if [[ $GUESS -eq $ANS ]]; then
 echo "あなたの勝ち!"
 exit 0
 elif [[ $GUESS -gt $ANS ]]; then
 echo "大きすぎ! (残り $((MAX_RETRY - i - 1)))"
 else
 echo "小さすぎ! (残り $((MAX_RETRY - i - 1)))"
 fi
done

echo "あなたの負け! 答えは $ANS"
exit 1

実行

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


$ ./game_of_guess.sh
数値(0〜999)を入力してください: 500
大きすぎ! (残り 9)
数値(0〜999)を入力してください: 251
小さすぎ! (残り 8)
数値(0〜999)を入力してください: 375
小さすぎ! (残り 7)
数値(0〜999)を入力してください: 437
小さすぎ! (残り 6)
数値(0〜999)を入力してください: 468
小さすぎ! (残り 5)
数値(0〜999)を入力してください: 484
小さすぎ! (残り 4)
数値(0〜999)を入力してください: 497
あなたの勝ち!

おまけ：答えを自動的に求めるスクリプト

`game_of_guess_auto.sh`

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


#!/usr/bin/env bash
set -o errexit
set -o nounset

ANS=$((RANDOM % 999 + 1))

MAX_RETRY=10

TOP=1000
BOTTOM=1

for ((i = 0; i < MAX_RETRY; i++)); do
 GUESS=$(((TOP + BOTTOM) / 2))
 echo "数値(0〜999)を入力してください: "$GUESS
 if [[ $GUESS -eq $ANS ]]; then
 echo "あなたの勝ち!"
 exit 0
 elif [[ $GUESS -gt $ANS ]]; then
 echo "大きすぎ! (残り $((MAX_RETRY - i - 1)))"
 TOP=$GUESS
 else
 echo "小さすぎ! (残り $((MAX_RETRY - i - 1)))"
 BOTTOM=$GUESS
 fi
done

echo "あなたの負け! 答えは $ANS"
exit 1

ひとこと

実はコードの大部分は GitHub Copilot が作成してくれました。

trコマンドとsed(y)コマンドの動作の同じところ、違うところ

Mon, 31 Jan 2022 08:00:19 +0900

はじめに

tr コマンドは、「文字」を別の「文字」に置き換えるコマンドです。

同じようなコマンドとして、 sed コマンドの y 内部コマンドがあります。

両方のコマンドの挙動を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

`tr` コマンド

tr コマンドを使って、 “my name is test.” という文字を変換してみます。

tr コマンドは指定された複数の文字を、別の文字に変換するコマンドです。

具体例をもとに挙動を見ていきましょう。

例1

tr コマンドの第1引数と第2引数の文字数が同じ場合には、それぞれの文字位置が変換ルールとして対応します。以下のルールで変換されます。

t => a
e => b
s => c

1
2


$ echo 'my name is test.' | tr 'tes' 'abc'
my namb ic dbcd.

例2

tr コマンドの第2引数が第1引数の文字数よりも小さい場合は、以下のルールで変換されます。

Bashで"while read"ループ内で変更した変数がループ外に反映されないときの対処

Sat, 29 Jan 2022 08:00:31 +0900

はじめに

よく知られていることですが、あるコマンドの実行結果をパイプで渡し、 while read 命令で 1 行ずつ読み込んで処理する場合に注意しないといけないことがあります。

多くのエンジニアが一度はハマったことがあるはずです。

while read ループ内で変更した変数の内容がループ外でうまく参照できない、という事象です。

「注意事項」 と 「解決方法」 を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

`seq 1 5` の実行結果を合計してみる

1〜5 の数の中から、 3 の倍数 を求めてみます。

SUM という変数を用意し、1〜5の値を加算します。

最後に SUM 変数を出力すれば、 1〜5の合計値がわかります。

1
2
3
4
5
6
7
8


$ SUM=0

$ seq 1 5 | while read -r NUM; do
 ((SUM+=$NUM))
done

$ echo $SUM
0

実行結果は 0 となってしまいました。

Bashシェルスクリプトでランダムな数値(乱数)を生成する

Fri, 28 Jan 2022 12:00:29 +0900

はじめに

意外にも、初歩的な「乱数」に関するエントリを書いたことがなかった( 過去にサラリと触れていぐらいた )ようなので、今回ネタにすることにしました。

「ランダム」というキーワードを取り上げたエントリも参考に紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

乱数を取得するための組み込み変数「RANDOM」を使う

Bash には、乱数を取得するための組み込み変数として RANDOM というものが用意されています。

試しに $RANDOM を出力してみましょう。

1
2
3
4
5


$ echo $RANDOM
458

$ echo $RANDOM
11854

echo $RANDOM を実行するたびに、出力される数値が異なります。

13年前の投稿で解いたプログラミング問題をシェルで解いてみる

Thu, 27 Jan 2022 14:18:57 +0900

はじめに

もう13年も前になる記事がふと目に入って、今だったらどう解くかな？とやってみました。

topcoderの道１をといてみる | ゲンゾウ用ポストイット

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (x86_64-apple-darwin21.1.0)

問題

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


（難易度　超簡単, 目標時間　１０分以内）
与えられた英語の大文字で構成された文字列の中の文字を、与えられた数字の分だけ左にシフトさせなさい。たとえば、’C’を２つ左にシフトさせると’A’、’Z’を２つ左にシフトさせると’X’。
与えられる英語の文字列はAからZで、Aの次はZにシフトさせるものとする。

例1)

"VQREQFGT"
2
Returns: "TOPCODER"

例2)

"ABCDEFGHIJKLMNOPQRSTUVWXYZ"
10
Returns: "QRSTUVWXYZABCDEFGHIJKLMNOP"

例3)

"TOPCODER"
0
Returns: "TOPCODER"

例4)

"LIPPSASVPH"
4
Returns: "HELLOWORLD"

解答

シェルで解いてみました。

シェルスクリプト(awk)でCSVデータの行合計、列合計を算出する

Wed, 26 Jan 2022 21:00:43 +0900

はじめに

あまり AWK が得意ではないのでエントリで取り扱うことがありませんでしたが、csvファイルの行合計、列合計を求める作業をしたためエントリにまとめました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (x86_64-apple-darwin21.1.0)

準備：テスト用のcsvデータ

今回は awk を使って行の合計、列の合計を算出してみようと思います。

算出操作を紹介する際に利用するテストデータを事前に準備します。

適当なデータファイルとして data.csv を作成します。

1
2
3


$ seq 1 30 \
 | xargs -n 5 echo \
 | sed 's/ \+/,/g' >data.csv

作成された data.csv のデータは以下のようになっています。

1
2
3
4
5
6
7


$ cat data.csv
1,2,3,4,5
6,7,8,9,10
11,12,13,14,15
16,17,18,19,20
21,22,23,24,25
26,27,28,29,30

`awk` で各行の合計を算出する方法

awk コマンドを使い、各行に対して、5列の値を合計し出力してみたいと思います。

2つのコマンドをパイプで繋いだときのパイプバッファをエディタで編集する方法

Tue, 25 Jan 2022 20:10:41 +0900

はじめに

以前コマンド実行結果を Vim や Visual Studio Code で開く方法というエントリで、あるコマンドの実行結果をエディタにわたすための方法を紹介しました。

今回はそれに関連したエントリです。

Linux には、「あるコマンドの ( 標準 ) 出力」を「別のコマンドの ( 標準 ) 入力」として渡すための方法として 「パイプ」 が用意されています。

例えば、 seq コマンドの実行結果を 2 行だけ抽出したい場合には、 head コマンドをパイプ (|)でつないで実行してやります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# 1から5まで5行出力
$ seq 5
1
2
3
4
5

# seq 5 の実行結果から先頭2行を出力
$ seq 5 | head -n 2
1
2

ここで seq 5 の実行結果が、 head -n 2 に渡る前にエディタで加工する方法があります。

コマンド実行結果をVimやVisual Studio Codeで開く方法

Sat, 22 Jan 2022 08:10:52 +0900

はじめに

先日、会社の後輩からターミナルでコマンドを実行した結果をエディタで開く方法がないか質問があったときに回答した内容を紹介します。

暗号化されているファイルを復号化した結果をエディタで開いて触りたいが、コマンド実行結果をクリップボードに貼り付けて、という操作が面倒というのが発端です。

Vim でのやり方を知っていましたが、後輩は Visual Code Studio 使いだったために「さあどうしようか」と思いました。ダメ元で Vim と同じ方法を実行してみたところ、うまく行けてびっくりしました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (x86_64-apple-darwin21.1.0)

コマンド実行結果をVimやVisual Studio Codeで開く方法

“Vim” の場合

Vim では、パイプで渡された文字列を開くことができます。

vim - というコマンドを利用します。

多くのコマンドで、 - という引数は 「標準入力」 を表します。

vim - とは 「標準入力の内容をファイルに見立ててエディタで開く」 という命令になります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 100 から 105 までの連番を出力するコマンド
$ seq 100 105
100
101
102
103
104
105

# seq コマンド実行結果をVimにパイプで渡す
$ seq 100 105 | vim -

Bashシェルスクリプトで2つのディレクトリ内のファイル名のみを比較する(ファイルの内容の違いは許容)

Fri, 21 Jan 2022 21:24:11 +0900

はじめに

過去に以下のようなエントリを投稿しました。

Bashシェルスクリプトで2つのディレクトリを比較し内容に差異があったファイルを一覧表示する | ゲンゾウ用ポストイット

今回は似ていますが、 存在するファイル名の違いを出力してみたいと思います。

ファイルの中身に違いがあっても差分として検出しません。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

検証のための事前準備

比較するための2つのディレクトリ dir1 と dir2 を作成し、いくつかのファイルを作成しておきます。

後ほどこの2つのディレクトリに含まれているファイル名を比較します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# dir1 とそのサブディレクトリ、含まれるファイルを作成
mkdir -p dir1/a dir1/b dir1/c/d
date >dir1/a/1.txt
date >dir1/b/2.txt
date >dir1/c/3.txt
date >dir1/c/4.txt
date >dir1/c/d/5.txt

# dir2 とそのサブディレクトリ、含まれるファイルを作成
mkdir -p dir2/a dir2/b dir2/c/d
date >dir2/a/1.txt
date >dir2/c/3.txt
date >dir2/c/5.txt
date >dir2/c/d/5.txt

tree コマンドでそれぞれのディレクトリの階層構造を確認してみましょう。

実行中のBashシェルスクリプトを書き換えると挙動が変わる問題とその対処法

Tue, 18 Jan 2022 08:00:07 +0900

はじめに

時事ネタに乗り遅れましたが、昨年末にTwitterで話題になっていた内容について、かんたんなスクリプトを取り上げながら理解を整理してみたいと思います。

bashは、シェルスクリプトの実行中に適時シェルスクリプトを読み込みます。この挙動による副作用を認識できておらず、実行中のスクリプトが存在している状態でスクリプトの上書きによりリリースしてしまったことで、途中から修正したシェルスクリプトの再読み込みが発生し、結果的に未定義の変数を含むfindコマンドが実行されてしまいました。

この結果、本来のログディレクトリに保存されたファイルの削除をする処理ではなく、 /LARGE0のファイルを削除してしまいました

引用 : 「https://www.iimc.kyoto-u.ac.jp/services/comp/pdf/file_loss_insident_20211228.pdf」

僕もよくお世話になっている企業様ですし、お詫びの文面を公開し紳士に対応する姿勢、素晴らしいと思います。（被害を受けた側は災難だったと思いますが。）

そして、こちらの問題、決して他人事にできないと思います。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

ケース1：永遠に終了しない

障害の原因は「Bashシェルスクリプトの実行中に適時シェルスクリプトを読み込む」という特性によるものということでした。

実験して特性を確認してみます。

シェルスクリプトで、自身の末尾に処理を追記する処理を実行し続けたらどうなるでしょう？

test1.sh を作成します。

1
2
3
4
5
6
7
8


#!/usr/bin/env bash

function hello() {
 echo 'hello' >>$0
 echo hello実行中
 sleep 1
}
hello

hello 関数は以下のような動作をします。

Bashシェルスクリプト(コマンドライン)でファイル名の一括置換を行う(ファイル名にスペースあり)

Mon, 17 Jan 2022 14:56:39 +0900

はじめに

昨年後半から仕事が忙しく、ブログ投稿を行っていました。些細なネタでもいいので毎日続けることが大事だと反省しました。

というのも、投稿を怠っていた間もブログを見てくれた方、訪問数、いいねの数が伸び続け、 月間の訪問者数もついに 5万PV/月となっていたためです ！

ありがとうございます。

今年一発目の投稿は多くの人がご存知の一発ネタですね。 Bashで特定のフォルダ配下にあるファイルの名前を一括置換する方法です。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


----------
$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)
----------

準備

適当なファイルとフォルダを作ります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# 適当なディレクトリを作成
$ mkdir -p dir1/ dir2/dir2-1


# 適当なファイルを作成
$ touch dir1/file-001.txt
$ touch dir2/file-002.txt
$ touch dir2/dir2-1/file-003.txt
$ touch dir3/dir3-1/file-004.txt
$ touch "dir3/dir3-1/file- -005.txt"

“file- -005.txt"だけ、ファイル名にスペースを含んでいることに注意です。

意外と知られていない？シェルスクリプトで1秒未満のsleep(wait)が使える

Sat, 18 Sep 2021 09:10:22 +0900

はじめに

今回紹介する機能が利用できる環境、利用できない環境があるかと思います。（逆に利用できる環境のほうが少ないかもしれないです ^^;）

シェルスクリプトで1秒未満のsleep (wait処理といったほうがよい？) を行う方法について紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ date --version | head -n 2
date (GNU coreutils) 8.22
Copyright (C) 2013 Free Software Foundation, Inc.

sleep に小数を指定するだけ

ブログネタがなかったのでひねり出したというのが正直なところですね。

シェルスクリプトが二重起動されないように flock で排他制御を行う

Tue, 14 Sep 2021 14:03:15 +0900

はじめに

最近ではすっかり Docker を使うようになり、 Linux サーバの Daemon に触れることがなくなりました。

久しぶりに Daemon 設定を触る機会がありました。

起動スクリプトにシェルスクリプトを設定しましたが、Daemon 起動中に万が一に二重起動してしまったら、あるいは手動実行されてしまったらといった場合に備えて、二重起動を抑制する仕組みを入れておきたいと思いました。

シェルスクリプトが二重起動されないように方法について紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ flock --version
flock from util-linux 2.23.2

`flock` コマンドを利用する

Linux に用意されている flock コマンドを使うことで二重起動を抑制することができます。

AWSの設定(プロファイル)をコマンドで簡単に切り替える方法

Fri, 03 Sep 2021 21:26:10 +0900

はじめに

管理するクラウド上のシステムが増えてくると、AWS の設定(プロファイル)の切り替えが頻発してきます。

aws では、設定情報+認証情報をそれぞれ以下のファイルで管理しています。

`~/.aws/config
~/.aws/credentials

僕の Mac の設定ファイルはそれぞれ以下のようになっています。 ( セキュアな情報のため、一部マスキング OR 変換しています。 )

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


$ cat ~/.aws/config
[default]
region = ap-southeast-1
output = json
[profile project-production]
region = ap-northeast-1
output = json
[profile project-staging]
region = ap-northeast-1
output = json
[profile project-development]
region = ap-northeast-1
output = json

$ cat ~/.aws/credentials
[default]
aws_access_key_id = ********************
aws_secret_access_key = ****************************************
[project-production]
aws_access_key_id = ********************
aws_secret_access_key = ****************************************
[project-staging]
aws_access_key_id = ********************
aws_secret_access_key = ****************************************
[project-development]
aws_access_key_id = ********************
aws_secret_access_key = ****************************************

僕の Mac には AWS 接続用のプロファイルが 4 つ 存在していることになります。

コマンドラインから新しいウィンドウで Chrome ブラウザを開きたい

Sun, 29 Aug 2021 08:19:19 +0900

はじめに

Mac の open コマンド、便利ですね。

1

$ open "ファイルやURL"

というコマンドを実行すれば、テキストファイルであれば簡易なエディタが、URL であれば Chrome ブラウザが起動します。

ここで起動する Chrome ブラウザですが、すでに起動している Chrome ブラウザのウィンドウが存在していた場合、ページは新しいタブとして表示されます。

しかし、タブではなく ウィンドウ として起動したい場合にはどうしたら良いでしょうか？

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" --version
Google Chrome 92.0.4515.159

`open "URL"` で起動するアプリケーションの実態

例えば open "https://google.jp" コマンドが実行されたときに起動する Chrome ブラウザアプリケーションの実態はどこにあるでしょうか？

Mac 環境に限って言えばこれは "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" というアプリケーションになります。

ですので、以下のコマンドを実行しても同じ結果となります。

1

$ "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" https://google.jp

Chrome アプリケーション起動時の新規ウィンドウ起動オプション

Chorme アプリケーション起動の際に --new-window オプションを指定し、新規ウィンドウの起動を強制することができます。

最近のtarコマンドは展開時だけでなく、圧縮時もフォーマットを自動判定してくれる

Tue, 24 Aug 2021 12:00:19 +0900

はじめに

随分眺めの夏休みでした。ブログ投稿も二週間空いてしまいました。一度途絶えた習慣をもう一度体に染み込ませるのは骨が折れます。早くも頭が抵抗して「面倒くさい」気持ちが生まれてしまいました。気を取り直して。

こちらのエントリを書くきっかけは以前投稿した以下のエントリです。

tar コマンドで”z フラグを付ける”、”ハイフンを付けない”のはおっさんだそうです | ゲンゾウ用ポストイット

tarball ファイルを 展開する 際に、最近は圧縮フォーマットが自動判定されるため、 z (gzip ファイル展開時) やら j (bzip2 ファイル展開時) やら J (xz ファイル展開時)のオプションは指定不要ということでした。

追加で調べてみると、展開時だけでなく 圧縮時 もフォーマット指定が不要ということがわかりました。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ tar --version
tar (GNU tar) 1.26
Copyright (C) 2011 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

Written by John Gilmore and Jay Fenlason.

`-a` オプションを使う

いろんな圧縮フォーマットのファイルを圧縮する際に、 z / j / J その他と使い分けるのは面倒です。忘れてしまっていたらいちいち調べないといけないのも手間ですね。

シェルでfindコマンドの実行結果を `ls -l` のようなフォーマットで出力する

Sun, 08 Aug 2021 08:59:30 +0900

はじめに

find コマンドを実行するとファイルの一覧が出力されます。

例えば、以下は /etc ディレクトリの中から、拡張子 sh を持つファイルを検索し一覧表示した結果となります。

1
2
3
4
5


$ find /etc -name '*.sh'
/etc/bash_completion.d/mercurial.sh
/etc/profile.d/colorgrep.sh
/etc/profile.d/colorls.sh
/etc/profile.d/less.sh

ちなみに一番最初に見つかったファイルを ls -l コマンドの引数として実行すると、以下のようにファイルのパーミッションや所有者、グループ、サイズが確認できます。

1
2


$ ls -l /etc/bash_completion.d/mercurial.sh
-rw-r--r-- 1 root root 11736 Apr 1 2020 /etc/bash_completion.d/mercurial.sh

find の実行結果を ls -l のようなフォーマットで出力する方法はないでしょうか？

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

方法1 : `-ls` オプションを使用する

find コマンドには、 -ls オプションというものがあります。

direnvと環境変数を使ってGitのユーザ名、メールアドレス、SSH KEYをリポジトリ毎に切り替える

Wed, 04 Aug 2021 15:30:26 +0900

はじめに

Github を使って複数のプロジェクトを兼任していると、Git の複数アカウントを切り替えて使う必要がある場合があります。

僕は諸事情により Github アカウントを仕事用 x2、個人用 x1 を所有しています。

よく知られている方法としては、以下のように git config --local コマンドで切り替えるやり方があります。

1
2
3


$ git config --local user.name "アカウント"
$ git config --local user.email "メールアドレス"
$ git config --local core.sshCommand="ssh -i ~/.ssh/ANOTHER_ID_RSA"

こういったマルチアカウント利用ケースにて、環境変数を使って Git の ユーザ名(username) 、 e-mail(email) 、 SSH KEY の切り替え作業を効率化するための方法について紹介します。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ git --version
git version 2.32.0

前提条件（必要なツール）

今回は direnv というツールを利用することを前提としています。

"git commit --amend" コマンド実行時にコミットログの入力を省略する方法

Tue, 20 Jul 2021 14:17:06 +0900

はじめに

CI/CD パイプラインの動作確認をしていました。 Github へのプッシュを契機にうまく動作するかを見ていました。

何度か git commit --amend コマンドを実行しては git push origin --force-with-lease を実行していたのですが、 git commit --amend するたびにコミットログの入力のためのエディタが起動するのが煩わしくどうにかならないかと思って調べてみました。

別ブランチを作る、別リポジトリを作るなどするべきなのかもしれません。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ git --version | head -n 1
git version 1.8.3.1

`-C` オプションを指定する

-C オプションを指定し、どのコミットのログを採用するかを指定してやればよいです。

tarコマンドで"zフラグを付ける"、"ハイフンを付けない"のはおっさんだそうです

Sun, 18 Jul 2021 07:51:16 +0900

はじめに

今日は小ネタで。

一時期Twitterでも話題に上がっていたそうですが、 tar コマンドの使い方でおっさんかどうか分かるそうです。

きっかけは2年ぐらい前に同僚と雑談をしていたときに言われたことでした。

tarコマンドでアーカイブを展開するとき、zフラグやjフラグを付与するのはおっさんだけだよ …って、Twitterで言われてた

いつか突っ込んで調べようと思っていたのですが、そのまま置きっぱなしになってはや2年。時間ができたので調べてみることにしました。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ head -n 2 /etc/os-release
PRETTY_NAME="Ubuntu Impish Indri (development branch)"
NAME="Ubuntu"

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-pc-linux-gnu)

$ tar --version | head -n 2
tar (GNU tar) 1.34
Copyright (C) 2021 Free Software Foundation, Inc.

tarコマンドでgzip圧縮済みファイルを展開してみる

圧縮形式で一番使われるのは gzip でしょう。速度、圧縮率のいずれのバランスもよく、デファクトスタンダードだと思っています。

自作したシェルスクリプトをLinuxのsystemdサービスとして起動する方法

Mon, 05 Jul 2021 15:41:56 +0900

はじめに

最近は Kubernetes や サーバレス なしくみを用いたサービス運用が進んでいるため、Linux の Systemd を触る機会はほぼありません。

利用機会は今後どんどん減ってでしょう。

しかし、担当しているサービスの一部で Google Compute Engine を利用しており、 Systemd を使ってシェルスクリプトをサービス化しています。

AWS EC2 を使ったサーバー構築の可能性もあり、 Systemd を使ったサーバーを構築する機会はまだ残り続けるでしょう。

そこで Systemd を使ってシェルをサービス化する方法をまとめておきます。

概要

当エントリでは Linux サーバー上が起動してたタイミングで、Systemd からシェルスクリプトを自動的に実行する方法 について紹介します。

“Systemd” とは？

Systemd は、LinuxOS の起動、管理、および終了に関するサービス管理システムです。従来は SysVinit という仕組みが使われていました。今は SysVinit が Systemd に置き換わり、OS の起動とサービスの管理を行う仕組みとなりました。

Systemd は、LinuxOS の初期化プロセスとして起動し、サービスの管理、ネットワークの設定、ログの管理などを主に担当しています。

管理者は簡単にシステムの状態を監視し、サービスの状態をコントロールできます。以下は、管理者が利用する Systemd の基本的なコマンドの例です。

systemctl start [サービス名] : サービスを開始します。
systemctl stop [サービス名] : サービスを停止します。
systemctl enable [サービス名] : システムの起動時にサービスを自動的に起動します。
systemctl disable [サービス名] : システムの起動時にサービスを自動的に起動しないようにします。
systemctl status [サービス名] : サービスの状態を確認します。

“Systemd” の実行プロセス

Systemd の実行プロセスは以下のような性質を持っています。

Unix上で利用できるパスワード生成コマンドmkpasswdの使い方を紹介

Sun, 04 Jul 2021 08:37:00 +0900

はじめに

過去に Bash シェルスクリプトでランダムな文字列を作成する方法について投稿しましたが、もし Linux のパッケージマネージャでツールをインストールできる環境であれば、 mkpasswd を使うのがより柔軟かつかんたんです。

ランダムな文字列の生成だけでなく、パスワード生成ももちろん可能なコマンドです。

( コマンド名からわかるように、本来はパスワード生成を目的としたものですよね。 )

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`mkpasswd` コマンドとは？

mkpasswd コマンドは、パスワードを生成するためのコマンドです。

デフォルトでは 9 文字のランダムなパスワード が生成されますが、 オプションを指定することで生成されるパスワードの長さや文字種などを調整できます。

インストール

RedHat 系の OS の場合、 YUM を使って expect というパッケージをインストールします。

1

$ yum install expect -y

インストールされたかを確認してみます。

Git でやってしまった！そんなときに変更を取り消す便利なツール "git-branchless"

Thu, 01 Jul 2021 17:29:45 +0900

はじめに

Git で誤って git reset 、 git rebase をしてしまって冷や汗が出たことがある方は少なくないはずです。

僕も何度自分のローカルブランチでやってしまったことか。

焦りながらも git reflog で最後の変更を見つけ出し、なんとかもとに戻せた！

という場合もあれば、

うまく戻せずに結局最初から開発やり直し…

となったこともあります。

git reflog の操作が難しいですよね。

変更がもっとかんたんにもとに戻せたら、と常々思っていましたが、そんな問題にぴったりのツールを見つけました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ zsh --version | head -n 1
zsh 5.8 (x86_64-apple-darwin19.6.0)

$ git version
git version 2.32.0

git-branchless

見つけたのは arxanas/git-branchless というツールになります。

git-branchless はツールのセットになります。コミット履歴を 視覚化 、 ナビゲーション 、 操作の支援 、修復するのを手助けしてくれます。

“Google” や “Facebook” といった大企業で利用されている branchless Mercurial worlflows と呼ばれる開発フロー（？）に基づいているそうです。

Bashシェルスクリプトでコマンドライン引数を後方から参照する

Wed, 30 Jun 2021 12:00:14 +0900

はじめに

Bash シェルスクリプトでは、 コマンドライン引数は "${1}"、 "${2}"、"${3}" といった特殊な変数で参照 できます。

さてここで、配列の要素を先頭ではなく 末尾から参照したい としましょう。

コマンドライン引数の個数がわかっている場合、例えば 3 個である場合には "${3}" を参照すれば良いですね。

しかしコマンドライン引数の個数が可変であった場合には、どうしたら良いでしょうか。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`${@: -1}` と記述すれば OK (スペースに注意！)

Twitter 上でかんたんに記述できることを教えていただきました。ありがとうございます。

main.sh というスクリプトを作って実行してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# スクリプトを作成
$ cat <<'EOF' >main.sh
#!/usr/bin/env bash

echo "${@: -1}"
EOF

$ chmod 700 main.sh

# 実行( 一番最後の引数が出力されます )
$ ./main.sh 1 3 5 7 9
9

一見わかりにくい記述ですので段階を追って説明しましょう。

シェルスクリプトで数値をN進数に変換する方法

Tue, 29 Jun 2021 21:09:58 +0900

はじめに

競技プログラミングで問題を解いているときによく出題される問題として、 数値を N 進数表記に変換する というものがあります。プログラミング言語だとかんたんなのですが、シェルスクリプトでやろうとすると普段やらないためやり方が分からずハマってしまいます。

変換方法を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

Bash 組み込みの算術演算を利用する

これが最もかんたんです。

10101 を変換してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 10101 を変換 ( 2進数→10進数 )
$ echo $((2#10101))
21

# 10101 を変換 ( 8進数→10進数 )
$ echo $((8#10101))
4161

# 10101 を変換 ( 16進数→10進数 )
$ echo $((16#10101))
65793

ポイントは数値の前に N# のように基数を指定する点です。

Bashシェルスクリプトで空ディレクトリを再帰的に検索し削除する

Mon, 28 Jun 2021 20:20:44 +0900

はじめに

開発が進むと、アプリケーション内に不要な空ディレクトリが誕生することがあります。そのまま残り続けていると、本当に必要なディレクトリなのかわからなくなることがあります。あるいはサーバのデータディレクトリ、ワークディレクトリも削除処理が実装されていない場合に不要な空ディレクトリが残ってしまう場合があります。

そんなときな空ディレクトリを再帰的に検索して一気に削除してしまいましょう。

シェルで実現するためのかんたんなワンライナーを紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ find --version | head -n 2
find (GNU findutils) 4.5.11
Copyright (C) 2012 Free Software Foundation, Inc.

動作確認のための準備

動作確認のために適当なディレクトリツリーを作成しておきます。

Bashシェルスクリプトで非インタラクティブにパスワードを設定する

Fri, 25 Jun 2021 20:53:53 +0900

はじめに

Unix 上で ユーザを作成する場合は useradd コマンド 、 ユーザを変更する場合は usermod コマンド を利用します。

( adduser の利用を推奨するような記載を多くの Web ページで拝見しますので、そちらのほうが良いのかもしれません。 moduser コマンドは有りません。)

アプリケーションのデーモンプロセスで利用されるようなユーザはパスワードは不要ですが、オペレーションユーザの場合には パスワードが必要 となります。

パスワードは chpasswd コマンドを使って変更できますが、このコマンドを利用するとインタラクティブな操作を要求されるためスクリプトが組みにくいという問題があります。

どうやってパスワードを設定したら良いでしょう？

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`useradd` / `usermod` コマンドの `--password` オプションを利用する

useradd コマンド、 usermod コマンドのヘルプを引くと使えそうなオプションがすぐに見つかります。

trコマンドで改行をカンマに変換すると","とだけ表示されてびっくりした話

Thu, 24 Jun 2021 19:02:27 +0900

はじめに

わかってしまえばなんてことないですし、 tr コマンドに明るい方にとっては「よくあることだね」という程度の話だと思います。

先日 MENTA でシェルスクリプトについて支援をさせていただきました。支援内容の一部に、テキストファイルの各行をカンマで連結して一行にして出力したい、という要望があったので「それならかんたん！」とやり方を提示させていただきました。ところが、うまくいかずにかっこ悪いところを見られてしまいました。

その時のお話をしたいと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

テキストファイルの改行コードを任意の文字に置換するには `tr` コマンドを使う

改行コードを置換する方法はいくつかあります。 sed を使う、 awk を使う、などありますが、一番かんたんなのは tr コマンドを利用する方法です。

早速試してみたいと思います。

テスト用にかんたんなテキストファイルを作成します。各行に 1〜5 の数値が書かれています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ # ファイルを用意
$ seq 1 5 > data.txt

# ファイルの中身を確認
$ cat data.txt
1
2
3
4
5

それではこのファイルの改行をカンマ,に置換して見たいと思います。

シェルスクリプトで引数でループする処理を書くときは "${@}" は不要だった

Mon, 21 Jun 2021 08:00:07 +0900

はじめに

個人的にはシェルスクリプトでループ処理を書くと速度が出ず、また記載が冗長となるためあまり使いません。

それでも分岐処理を含めて繰り返し処理したい場合にはループを書くことがあります。

シェルスクリプト実行時に渡される「コマンドライン引数」でループを回すこともありますが、先日今まで書いていた処理がもっとかんたんに書けることを知りました。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

今まで記述してた「コマンドライン引数」を使ったループ処理

今までコマンドライン引数を使ったループ処理を記述したい場合には、 for と "${@}" 変数を使って記述していました。

以下がそのコードになります。

1
2
3
4
5
6
7
8


#!/usr/bin/env bash
set -o errexit
set -o nounset
set -o noclobber

for I in "${@}"; do
 echo "$I"
done

test1.sh という名前で保存し、実行してみます。

Docker Container Registryサーバーを自前で作成してみる

Mon, 14 Jun 2021 07:29:06 +0900

はじめに

“Docker Hub” や GCR 、 ECR といったサービスがあるなか、わざわざ自前で “Docker Registry” を構築して Docker イメージを管理する必要性は少ないとは思いますが、仕組みを理解する目的で、自作の Docker Registry 環境を構築してみたいと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

作業の流れ（作業ログ）

Docker Registry サーバを立ち上げ
Docker Registry サーバに外部から接続するための設定を追加

準備

前提として、今回は最もかんたんな方法で Docker Registry サーバを立ち上げたいと思います。

その方法とは、「すでに公開されている Docker Registry サーバ用の Docker イメージを利用する」というものです。

Docker イメージを管理するためのサーバを Docker で立ち上げる、というのが面白いですね。

そんなわけで、Docker を事前にインストールしておきましょう。 Windows や Mac で動作させる最もかんたんな方法は以下のツールを導入することです。

Docker Desktop for Mac and Windows | Docker

1. Docker Registry サーバを立ち上げ

registry:2.7.1 というイメージを利用したいと思います。

"git diff"コマンドの実行結果をGithub風に表示できる"git-split-diffs"

Mon, 24 May 2021 10:49:32 +0900

はじめに

git diff コマンドの実行結果を Github の diff 表示のようなスタイルに変更できる 「git-split-diffs」 というツールを見つけたので紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ node --version
v15.12.0

$ yarn --version
1.22.10

git-split-diffs とはなに？

ターミナル上で git diff したときに、実行結果を Github 風に表示してくれるツールです。

はじめはターミナル上で実行するのに Github 風にとは一体？と思いましたが、実際に使ってみたいと思います。

前提環境

node 1.12 以上がインストールされている必要があります。

Gitリポジトリ作成時のデフォルトブランチ名がmainとなるように設定する

Sun, 23 May 2021 08:27:07 +0900

はじめに

こちらもいずれやらないとなぁと思ったままお座なりになっていたローカル環境の設定です。

「シェルで Github リポジトリの master ブランチの名前を main ブランチに変更する」というエントリでもお話しましたが、 Github リポジトリを新規に作成した場合のデフォルトブランチ名が master から main に変更となっています。（もう随分前の話ですね。）

そんな時代の流れとは裏腹に、自分の PC で git init し Git リポジトリを新規作成した際のデフォルトブランチ名が未だに master となっています。

少しでもおっさん化の流れに抵抗する必要があるということで、 git init したときに作られるデフォルトブランチ名を main にするための設定をしようと思いました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ git --version
git version 2.31.1

今回の作業の前提

当然のことながら git コマンドが使えるようになっている必要があります。

加えて、 Git のバージョンが 2.28 以降でなければいけません。

シェルでGithubリポジトリのmasterブランチの名前をmainブランチに変更する

Sat, 22 May 2021 09:02:13 +0900

はじめに

随分前のことですが、新規に作成される Github リポジトリのデフォルトブランチ名が master から main に変更となりました。

ところが既存の Github リポジトリは当然 master というブランチ名のままです。

機会があれば昨今の風潮にのって一括修正しようかなぁ、と思っていましたが、ブログネタについでにシェルでブランチ名の変更を行ってみました。

大量に Github リポジトリを持っている組織などでも利用できるのではないでしょうか。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ git --version
git version 2.31.1

$ gh --version
gh version 1.10.2 (2021-05-19)
https://github.com/cli/cli/releases/tag/v1.10.2

今回利用するツール

今回は以下のツールを利用します。

Bashシェルスクリプトで数値計算を行うとスクリプトが強制終了される問題でハマった話

Mon, 17 May 2021 20:31:42 +0900

はじめに

Web 上の競技プログラミングや 100 本ノックの問題をシェルで問いているときにハマってしまいました。

原因がわかれば「ああなるほど」と思いました。

ぱっと見、問題がないのですが、なぜだかスクリプトが強制終了してしまいます。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

問題の発生したスクリプト

実際のスクリプトとは異なりますが、同じ問題を孕んだスクリプトを掲載します。

以下のスクリプトを test.sh という名前で保存しておきます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


#!/usr/bin/env bash
set -o errexit

SUM=0

for ((I = 0; I < 5; I++)); do
 ((SUM += I))
done

echo "$SUM"

set -o errexit は set -e と同義です。スクリプトのいずれかの行でエラーが発生した場に処理を中断するオプションになります。

Google製のJavaScript Shellラッパー"zx"を触ってみたYO！

Fri, 14 May 2021 22:42:38 +0900

はじめに

Twitter で少し前に盛り上がっていた、 google/zx という NPM ライブラリに触れてました。

新しいツールを触る機会は家の手伝いや子守をしていてここ数年全く取れていなかったのですが、今日はたまたま時間が作れました。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ node --version
v15.12.0

$ yarn --version
1.22.10

ツールの紹介

Bash は偉大だけと、多くのケースでスクリプトを書こうとするともっと高級な言語が選択されます。文法や型に制約が強いほうがチーム開発には向いていますよね。

ちょっとした処理を Bash で書こうものなら、他のエンジニアから風当たりが強いです 。

JavaScript も良い選択肢ですが、JavaScript から Bash コマンドを呼び出す手間が面倒です。

そんな手間を違和感なく解決してくれるのが zx とのことです。

GCP上の2つのK8Sクラスタの設定差異をdiffで確認する

Thu, 13 May 2021 19:49:39 +0900

はじめに

既存の GKE ( Google Kubernetes Engine )クラスタが 2 つありました。

両者とも前任者が手作業で作成していましたが、すでに設定に乖離があることが想定されていました。
乖離を埋めるために、両者にどれだけの違いがあるのか確認しておきたいと思いました。

差異を確認するために工夫した方法を掲載します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ diff --version | head -n 2
diff (GNU diffutils) 2.8.1
Copyright (C) 2002 Free Software Foundation, Inc.

GCP 上の K8S クラスタの設定を抜き出す

GCP 上の Kubernetes クラスタの設定を抜き出すために、 gcloud コマンドが利用できます。

例えば以下のような環境に Kubernetes クラスタが作成されていたとします。

プロジェクト ID : GCP_MY_PROJECT_ID
ゾーン名 : asia_northeast1_b
Kubernetes クラスタ名 : GCP_MY_CLUSTER_NAME

この Kubernetes クラスタの設定を抜き出すには、以下のコマンドを実行します。

Goole Cloud Build上でシェルを実行した結果、エラーが発生しても正常終了してしまう問題に対処

Wed, 12 May 2021 12:05:54 +0900

はじめに

開発効率化、品質向上のために現在のシステム開発に CI/CD パイプラインの構築は必須だと思います。

Github Action / CircleCI / Cloud Build など、CI/CD を構築するためのサービスがありますが、Cloud Build を多用させていただいています。

その “Cloud Build” でシェルコマンドを実行したところ、エラーが発生したにもかかわらずなぜか正常終了してしまい原因特定までに多少時間がかかってしまいました。

わかってしまえば当然なのですが、ついつい「シェルを実行している」ことを忘れてしまったことが原因でした。

検証環境

Google Cloud Platform ( GCP ) の Cloud Build を利用しました。

再現方法

Cloud Build でビルドステップを構築する方法として、ちょっと複雑なものを構築しようとした場合は Git リポジトリに cloudbuild.yaml という YAML ファイルを配置してやります。

ここで、以下のような cloudbuild.yaml というファイルを用意としましょう。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


steps:
 - name: "bash"
 entrypoint: "bash"
 args:
 - "-c"
 - |
 echo "begin"
 ls -la /tmp
 ls -la /nothing
 echo "end"

処理概要は以下のとおりです。

Docker Composeで初回起動時のみyarn installを実行させる方法

Wed, 28 Apr 2021 21:58:32 +0900

はじめに

Docker Compose の初回起動時のみ、ライブラリのインストールを実行したい場合があります。

NodeJS の場合 yarn install や npm install
PHP の場合 composer install
Ruby on Rails の場合 bundle install

いい方法が無いか考えた末、 docker-compose.yaml の command 属性に工夫して解決させてみました。

検証環境

1
2


$ docker-compose --version
docker-compose version 1.29.0, build 07737305

Docker Compose 初回起動時にライブラリをインストールしておかないとどうなる？

例えば、以下のような NodeJS の Web アプリケーションを起動させたいと思います。

yarn start というコマンドでサーバが起動します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


version: "3.4"

services:
 nodejs:
 image: node:15.13.0-alpine
 volumes:
 - .:/app:cached
 working_dir: /app
 entrypoint:
 - sh
 command:
 - -c
 - |
 yarn start
 ports:
 - 3000:3000

entrypoint 、 command の設定情報から、起動時に以下のコマンドが実行されます。

Bashシェルスクリプトで2つのディレクトリを比較し内容に差異があったファイル名を一覧表示する

Tue, 27 Apr 2021 21:13:54 +0900

はじめに

diff コマンドを使えば 2 つのファイルの内容の差分を確認することができます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ seq 1 3 > 1.txt

$ seq 2 4 > 2.txt

$ diff 1.txt 2.txt
--- 1.txt 2021-04-26 21:35:52.000000000 +0900
+++ 2.txt 2021-04-26 21:35:58.000000000 +0900
@
$ diff 1.txt 2.txt
1d0
< 1
3a3
> 4

diff コマンドには、2 つのファイルだけではなく、2 つのディレクトリの中にあるすべてのファイルに対して差分を確認する機能もあります。 ( ex: diff -r dir1/ dir2 )

シェルスクリプトでコマンドを制限時間(タイムアウト)付きで実行させる

Thu, 22 Apr 2021 19:09:09 +0900

はじめに

コマンドやシェルスクリプトを制限時間付きで実行させ、制限時間を超えたらタイムアウトさせたい場合があります。

例えば、特定のファイルが作成されるまで待ち続けますが、そのファイルを作成する別プロセスがエラー終了してしまい永遠に待ち続けてしまう、といったようなケースに利用できます。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-apple-darwin20.2.0)

$ timeout --version | head -n 2
timeout (GNU coreutils) 8.22
Copyright (C) 2013 Free Software Foundation, Inc.

`timeout` コマンドを利用する

timeout コマンドを利用することでコマンド実行にタイムアウトの設定をすることができます。

timeout コマンドを通して sleep コマンドを実行し、挙動を見ていきましょう。

制限時間(3 秒)内に終了する場合

timeout コマンドは、第 1 引数に制限時間（デフォルトの単位は秒）、第 2 引数に実行するコマンドを指定します。

3 秒の制限時間を指定する場合には、 timeout 3 <COMMAND> のように指定します。

ここでは、 sleep 2 コマンドを実行し、2 秒間だけ待った後終了するコマンドを実行させてみます。

Bashシェルスクリプトでディレクトリを作成してから移動する処理を最も簡潔に記述する方法

Mon, 19 Apr 2021 20:11:51 +0900

はじめに

小ネタです。

いろんな言語やツールのチュートリアルを読み進めていると、必ずと言っていいほど書かれているコマンドのセットがあります。

それが mkdir と cd 。

例えば「チュートリアル用の作業ディレクトリを使って」といった処理の場合に以下のように 2 つのコマンドがセットで記述されます。

1
2
3
4
5


# ホームディレクトリ配下の "sample-app" ディレクトリを作成
$ mkdir /home/genzouw/sample-app

# ホームディレクトリ配下の "sample-app" ディレクトリに移動
$ cd /home/genzouw/sample-app

毎度のことながらこのような処理をスクリプトに起こした場合、気になってしまうこと。それは DRY ( 繰り返しを避ける ) ではないという点。

/home/genzouw/sample-app というディレクトリ名が 2 回登場しています。

これを回避するために変数を利用する事もできます。

1
2
3
4
5
6
7
8


# ホームディレクトリ配下の "sample-app" ディレクトリを変数にセット
$ SAMPLE_DIR=/home/genzouw/sample-app

# ディレクトリ作成
$ mkdir "$SAMPLE_DIR"

# ディレクトリ移動
$ cd "$SAMPLE_DIR"

より簡潔な記述方法を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

「ディレクトリ作成 → 移動」を行う DRY なワンライナー

結論から言います。

yml-sorterを使ってYAMLファイルの属性情報をソートする

Sat, 10 Apr 2021 08:11:59 +0900

はじめに

最近 Kubernetes 、 Docker Compose 、 OpenAPI といったツールで YAML ファイルを触ることが多いです。

参加したプロジェクトでは、この設定ファイルが環境別に管理されていました。環境は以下のものがあり、それぞれに YAML ファイルが用意されています。

本番環境
ステージング環境
開発環境

設定ファイルが多重管理されているという問題に対処するために、まずはそれぞれの環境の設定ファイルの違いを diff で確認しようと思いました。

しかし、そもそもそれらの設定ファイルの属性がきれいに並べられておらず、 diff が大変です。

なんとかならないものでしょうか？

検証環境

1
2
3
4
5


$ node --version
v15.14.0

$ yarn --version
1.22.5

YAML ファイルの各フィールドをソートするために `yml-sorter` を使う

これに対処するために YAML の内容を属性名でソートさせてから diff すれば良さそうです。

探してみたところ、YAML ファイルの各フィールド名でソートするためのツールを見つけました。

yml-sorter

こちらのツールは、 js-yaml という別のツールのラッパーということです。

インストール

npm なら以下の通り。

1

npm i -g yml-sorter

yarn なら以下の通り。

1

yarn global add yml-sorter

使い方

YAML ファイルを引数に指定して実行するだけです。

シェルにも使える！nodemon を使ってコードに変更があった場合にホットリロード(自動再起動)させる

Fri, 09 Apr 2021 08:45:41 +0900

はじめに

Node.js でアプリケーション開発をしている際に、コード変更が行われたら自動的に再起動したいと思いました。ちょうど GraphQL を使ってアプリケーションを開発していたのですが、 GraphQL のスキーマ変更は（ Apollo Server の) 再起動を行わないと変更が反映されません。

nodemon というツールを使うことで簡単に実現できました。

作業環境

1
2


$ node --version
v15.12.0

「nodemon」ってなに？

2021-04-09 現在で 1500 万を超えるプロジェクトで利用されているツール
ソースコードの変更を監視している
変更があったら自動定期にサーバプロセスを再起動してくれる

「nodemon」の使い方は？

とても簡単です。 node コマンドの代わりに nodemon コマンドを使います。ただそれだけ。それだけで、コードの変更を検知したら自動的に再起動してくれます。

「nodemon」コマンドの特徴

ほぼこれを使えば困ることがないぐらい、機能豊富です。特徴を上げてみます。

アプリケーションを自動的に再起動してくれます
いくつかの拡張子に該当するファイルを自動的に探して監視してくれます
- .js
- .mjs
- .coffee
- .litcoffee
- .json
デフォルト挙動では node コマンド + 監視機能 として動作しますが、 python コマンド + 監視機能 や、 ruby コマンド、 make など、任意のコマンド実行に切替可能です
指定したファイルやディレクトリを監視対象から外すこともできます
指定したディレクトリだけを監視させることができます
自作のスクリプトから呼びだあすことも可能

インストール方法

npm コマンドが使えれば簡単にインストールできます。

Bashシェルで「1000 以下の回文素数で最大のものを示せ」を問いてみる

Mon, 29 Mar 2021 21:28:45 +0900

はじめに

前回のエントリで 素数をワンライナーで求める というネタをやりました。

もともと、今日のエントリを解くための前置きだったのでした。課題はこちらのサイトから拝借しました。

今日問いてみようと思っている内容は、タイトル通りなのですが、ちょっとわかりにくいので解説しておきます。

回文数 ：逆さに読んでも内容が変わらない数。( 例 1、 11、 121 ）
回文素数 ：回文数であり、かつ素数。 ( 例 2、 11、 101 ）

1000 以下 の回文素数で最大のものを求めてみたいと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

前回のおさらい : 素数を求めるワンライナー

1 から 1000 までの素数をワンライナーで列挙してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


$ factor {1..1000} | awk 'NF==2 { print $2 }'
2
3
5
7
11
(省略)
971
977
983
991
997

解説は前回のエントリを参照ください。シェルなら簡単ですね。

【衝撃】シェルスクリプトなら素数を列挙する問題が１行(ワンライナー)で書ける！

Thu, 25 Mar 2021 12:00:24 +0900

はじめに

シェルスクリプトだと FizzBuzz が１行(ワンライナー)で書けると同じようにワンライナーネタです。

最近は Go 言語 を少しずつ勉強しています。

Go 言語用ポストイット | Go 言語の学習メモをポストイットのように貼り付けていきます

その中で素数を求める問題を説いてみよう！と思ったのですが、すぐに脇道にそれて 「Bash 上でシェルを使って得ならどう書くか？」 に頭を使っているうちにエントリを書くことにしました。

ぜひ、「孤独な数値」を数えて落ち着きたい方にどうぞ。

検証環境

1
2
3
4
5
6


$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 5.1.4(1)-release (x86_64-apple-darwin20.2.0)

動画解説

動画でも解説しています。

ただし、1 は素数と言ったり、素因数のことを約数と言ってみたり、数学をかじった人たちからマサカリが飛んできそうな内容になっています。。。。

素因数分解をしてくれるコマンド `factor` を活用

素数を求めるために、 factor コマンドを活用します。 ( もしインストールされていないなら yum install coreutil あるいは apt install coreutil をどうぞ )

ログを "tail -f" で監視している時にログローテートや "mv" されると何も表示されなくなってしまうことに対処

Wed, 24 Mar 2021 12:00:10 +0900

はじめに

サーバの運用作業を行っているとき、リリース作業を行っているときにログを監視するために tail -f コマンドを利用します。

tail -f でログを監視している時にログが急に止まってしまい、「ドキッ」としたことはないでしょうか。実際にはログローテートされていたり、ログファイルがリネームされただけだった、というケースがあります。

さて、この ログファイルがリネームされた時に tail -f で監視していたログ出力が止まってドキッとしてしまう問題 をなんとかできないものでしょうか。

今回はこの問題に対する対処法を紹介します。

動画解説

動画でも解説しています。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ tail --version | head -n 2
tail (GNU coreutils) 8.32
Copyright (C) 2020 Free Software Foundation, Inc.

問題の再現方法

説明文だけではわかりにくいので、実際に問題を発生させてみます。

今回はターミナルを 3 つ立ち上げる必要があります。

シェルスクリプトで名前にスペース(空白)を含むファイルがxargsでうまく処理できない場合の対処

Sun, 14 Mar 2021 08:00:59 +0900

はじめに

チームメンバから「名前にスペースを含むファイルをxargsでうまく取り扱えない」という相談を受けました。

調べたらすぐに解決するあれだと思ったのですが、 find ではなく grep の実行結果を xargs に渡していたので、なるほどあまり見ないケースだなと思ったついでにエントリをまとめました。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

$ grep --version
grep (BSD grep) 2.5.1-FreeBSD

$ find --version
find (GNU findutils) 4.7.0

“名前にスペース(空白)を含むファイルがxargsでうまく処理できない” とはどんな問題？

シェルあるあるではありますが 、実際にどんな問題なのか見ていきます。

まずは、ファイルを3つ作成します。それぞれ以下の名前とします。

hello1.txt
hello 2.txt
hello 3.txt

1
2
3
4
5


$ touch "hello1.txt"

$ touch "hello 2.txt"

$ touch "hello 3.txt"

ここで find コマンドを使ってファイルの一覧を xargs に渡して echo を実行させてみます。

Dockerイメージのうちlatestタグがついているものをすべて最新に更新する

Thu, 11 Mar 2021 08:00:04 +0900

はじめに

Docker イメージを取得する際にタグを指定しなかった場合には latest タグが自動的に利用されます。

例えば以下の二つのコマンドは両方とも同じ意味を示します。

1
2
3
4
5


# latestタグなし
$ docker pull bash

# latestタグ有り
$ docker pull bash:latest

latest タグ付きのイメージは Docker のイメージリポジトリ(DockerHub が利用されることが多いですね)が更新されてもローカルのキャッシュが利用されるため差異が発生する可能性があります。

これを避けるためにローカル PC 内にある Docker イメージを、Docker Repository の最新のイメージから一括で更新するためのコマンドを紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

前提条件

作業用 PC で docker コマンドが利用できること。

イメージ一括更新コマンド

以下のコマンドを作業用 PC で実行するだけです。

mapfile(readarray)コマンドを使ってファイルや標準入力の内容を配列変数に読み込む

Wed, 10 Mar 2021 08:00:41 +0900

はじめに

Bash シェルスクリプトで標準入力からの情報を取り扱う read コマンドと declare コマンドを組み合わせると便利 | ゲンゾウ用ポストイットで取り上げましたが、 read -a 変数名 とすることで標準入力から文字列を読み込み 空白で分割し変数に配列として代入することができます 。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ read -a VARS <<<"1 3 5"

$ echo ${VARS[0]}
1

$ echo ${VARS[1]}
3

$ echo ${VARS[2]}
5

read -a は “列で区切って変数に入れる” ためのコマンドです。

今回は “行で区切って変数に入れる” ためのコマンドである mapfiles ( エイリアスとして readarray が用意されている ) を紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`mapfile` コマンドの使い方

mapfile コマンドの使い方を見ていきますが、挙動を確認するため適当なデータファイル data.txt を作成しておきます。

シェルスクリプトで配列変数を参照する際は "${変数名}" と記述する癖をつけたほうが良い

Tue, 09 Mar 2021 19:26:44 +0900

はじめに

チームメンバがシェルスクリプトを書いていました。変数を参照する際のちょっとした不備ではまりました。

変数をダブルクォートで囲んでいなかったことが原因だったのですが、どんなケースだったかを紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

配列変数を利用してループ処理を行うケースで問題が発生

問題が発生していたのは配列変数を受け取り、ループ処理するロジックでした。

ここでは test.sh というファイル名で保存されていたとしましょう。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


#!/usr/bin/env bash

LIST=(
 "111"
 "22 22 22"
 "333"
)

for TXT in ${LIST[@]}; do
 # ***実際にはこの部分にロジックが記述されていました***
 echo "${TXT}"
done

想定では、このループ処理は 3 行の文字列を出力する想定でした。

jqコマンドを使って改行エスケープ文字列を含むワンライナーを改行させて出力する

Tue, 09 Mar 2021 15:44:58 +0900

最近はデータファイルやロギングデータとして JSON フォーマットが一般化しました。僕のまだ若い頃にはタブ区切りカンマ区切りといたほうが後が一般的だったのが懐かしいです。（こんな発言していると老害なんて言われてしまいますね。）

さてそんな JSON フォーマット。スキーマレスでさっとアプリケーションを作る際のデータフォーマットとして非常に便利。しかし、複数行にまたがる文字列を格納する際は改行を “¥n” (Macだと "\n" ) のような改行エスケープシーケンス使って変換し清掃内に格納します。当然のことながら人間には非常に読みにくいです。

チームメンバから jq コマンドを使って JSON のデータをパースして確認する際に、見やすくする方法がないか質問されました。

お答えしたいと思います。

特にオプションを指定せずに `jq` コマンドを使った場合

まずはサンプルの JSON データを用意します

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ cat <<EOF > test.json
{
 "subject": "sample json data",
 "body": "# Greetings\n\n## English\n\nhello world!\n\n## Japanese\n\nこんにちわ世界！"
}
EOF


$ cat test.json
{
 "subject": "sample json data",
 "body": "# Greetings\n\n## English\n\nhello world!\n\n## Japanese\n\nこんにちわ世界！"
}

次に、jqコマンドを使って作成した test.json ファイルの subject、body 属性を出力してみます。

gitやsshコマンドを使うと "dyld: Library not loaded: /usr/local/opt/ldns/lib/libldns.3.dylib" というエラーが発生したので対処しました。

Mon, 08 Mar 2021 07:51:37 +0900

はじめに

おはようございます。

僕の毎日の業務はすべてのリポジトリをシェルスクリプトで git fetch して回ることから始まります。

今朝もルーチンを実行したところ、 dyld: Library not loaded: /usr/local/opt/ldns/lib/libldns.3.dylib というエラーメッセージが表示され git fetch ができませんでした。ssh コマンドも利用できないようです。

対処できたので共有します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

$ git --version
git version 2.29.2

$ ssh -V
OpenSSH_8.5p1, OpenSSL 1.1.1j 16 Feb 2021

$ brew --version
Homebrew 3.0.4-50-ga930e2b
Homebrew/homebrew-core (git revision f7c3c5df5a; last commit 2021-03-06)
Homebrew/homebrew-cask (git revision 580e78f8f1; last commit 2021-03-06)

発生していた現象

git fetch や ssh コマンドを実行すると、エラーが発生。

シェルでshufコマンドを使って入力情報をいろんな方法でシャッフルしてみる(組み合わせにも使える)

Sun, 07 Mar 2021 08:24:56 +0900

はじめに

過去のブログエントリで何度か取り上げていた shuf コマンドですが、オプションを組み合わせることでいろいろなシャッフル方法を実現できるので紹介します。

ちなみに shuf コマンドを取り上げていた過去のエントリは以下になります。参考にどうぞ。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

shufコマンドとは

標準入力 あるいは 引数に指定したファイル の各行を 入れ替え（シャッフル) して、出力するコマンドです。

「標準入力」、「引数でファイル指定」のそれぞれの方法で shuf コマンドを使った後、便利なオプションについて触れてみたいと思います。

標準入力から読み込ませる

標準入力 から情報を読み込ませる場合、パイプを使って shuf コマンドに引き渡すのがほとんどです。

1から5までの数値を shuf コマンドに食わせて、各行を入れかせてみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


$ # seqコマンドを使うことで指定した数値を列挙することができます
$ seq 1 5
1
2
3
4
5

$ # seqコマンドの出力内容をshufコマンドに渡します。
$ seq 1 5 | shuf
5
1
3
4
2

$ # ２回目の実行。1回目と異なる出力となっていることがわかります。
$ seq 1 5 | shuf
3
1
2
5
4

ファイルを指定して読み込ませる

すでにシャッフルしたいデータファイルが存在する場合には、そちらを利用することも可能です。

Linux シェル上でgrepコマンドを使ってOR条件検索する

Thu, 04 Mar 2021 08:00:12 +0900

はじめに

Linux のシェル操作用シェルスクリプト上で grep コマンドを使って検索することはよくあります。多くの場合は grep コマンドでキーワードをひとつだけ指定して検索しますが、検索キーワードを複数指定し OR 条件検索をしたい場合はどのようにするのでしょうか？

OR 条件検索する方法はいくつかあるためご紹介いたします。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

動作確認を行うため簡単なテキストファイルを用意

動作を確認するため、grep コマンドで絞り込みを行う対象となるテキストファイルを用意します。どんなデータでも良いのですが動物の名前でも列挙しておくことにします。

テキストファイルはこの先の説明で利用します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ cat <<EOF >animals.txt
dog
rabbit
cow
horse
wolf
kangaroo
fox
giraffe
EOF

$ ls -l animals.txt
-rw-r--r-- 1 root root 47 Mar 3 11:18 animals.txt

方法 1. `-e` オプションを指定する

-e <キーワード> オプションを使い、キーワードを複数指定して OR 条件検索 を行うことが可能です。 -e オプションは複数指定可能です。

Bashシェルスクリプトでcsvの行と列を入れ替えるために csvtool を使う

Wed, 03 Mar 2021 08:00:57 +0900

シェルスクリプトで csv の行と列を入れ替える必要がありました。

Web を探してみると awk を使って変換する例がいくつか見つかりましたが、もっと簡単に実現する方法はないか調べてみたところ、 csvtool という面白そうなツールがありました。

今日はこのツールを紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 5.0.17(1)-release (x86_64-pc-linux-gnu)

インストール

まずは csvtool をインストールします。

1
2
3
4
5
6
7
8


$ apt update -y

$ apt install csvtool -y

$ csvtool --help
csvtool - Copyright (C) 2005-2006 Richard W.M. Jones, Merjis Ltd.
 - Copyright (C) 2007- Richard W.M. Jones & Christophe Troestler
...

簡単にインストールできました。

Bashシェルスクリプトで終了前に後始末をさせたい時はtrapコマンドを活用しよう

Tue, 02 Mar 2021 08:00:00 +0900

はじめに

Bash シェルスクリプトの終了時に、 必ず後処理をさせたい 場合があります。例えばスクリプト内で作成した 一時ファイルを削除する といった場合です。

そんな時に使えるコマンドとして、Bash ビルトインコマンドである trap コマンドがあります。

trap コマンドを使ってスクリプト終了前に後処理をさせる方法について紹介してみたいと思います。

関連記事 : Linux サーバからログアウトしたタイミングで処理を実行させる方法 ( 例えばメールを飛ばす ) | ゲンゾウ用ポストイット

`trap` コマンドの使い方

trap コマンドの主な引数は以下の 2 つになります。

実行させたいシェルスクリプトコマンド
トラップを仕掛けたい シグナル

突然出てきましたが シグナル とは何でしょう？

シグナルとは？

シグナルとは、 プロセスとプロセスの間で通信を行う際に使用される信号 のことです。

ターミナル上で実行中のコマンドを {ctrl} + {C} で停止させた、といった場合を例に上げましょう。この場合も「一方のプロセス」に対して「他方のプロセス」がシグナルを送った結果、実行中のコマンドが停止されます。

一方は実行中のコマンドプロセス
他方はユーザーにより実行されるショートカットキー操作 ( {ctrl} + {C})

このように、シグナルを受け取ったプロセスの状態は、通常の処理実行から変化します。

文面だけではわかりにくいため、 trap コマンドを使った具体的な例をみながらシグナルについても理解していきましょう。

`trap` コマンドでシグナルをトラップする

まずは以下のような簡単なスクリプトを作成します。

`test.sh`

1
2
3
4
5


#!/usr/bin/env bash

trap 'echo "trap SIGINT"' SIGINT

cat

trap コマンドは 2 つの引数を受け取っています。第 2 引数で指定した SIGINT ( 後述 ) というシグナルをトラップします。トラップに成功すると、第 1 引数のコマンドを実行します。

Bashシェルスクリプトで2つの日付の間の日数を求める方法

Mon, 01 Mar 2021 11:16:16 +0900

はじめに

つい先日、今年の 1 月 1 日から今日まででどのぐらいの日数が経過した日を算出したいと思いました。

例えば 1 月 1 日から 1 月 10 日までの間の日数は 9 日 になります。

シェルスクリプトで 2 つの日付の間の日数を算出する方法を紹介したいと思います。

ちなみに間の全日付を一覧表示したい場合の方法については、過去のエントリをご参考ください。

シェルスクリプトで開始日から終了日までの日付を YYYYMMDD 形式で一覧出力する | ゲンゾウ用ポストイット

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

シェルスクリプトで日付から UnixTime(Unix 時間)を取得する

2 つの日付の間の時間を算出するには UnixTime を利用します。

UNIX 時間 - Wikipedia

すなわち協定世界時 (UTC) での 1970 年 1 月 1 日午前 0 時 0 分 0 秒から形式的な経過秒数（すなわち、実質的な経過秒数から、その間に挿入された閏秒を引き、削除された閏秒を加えたもの）として表される。

"less +F" は "tail -f" の上位互換機能として利用できる

Wed, 24 Feb 2021 22:28:52 +0900

はじめに

例えば、ログファイルから最新の情報を閲覧するための方法として tail コマンドが利用できます。

tail -f のようにオプションを指定することでログファイルを監視し、コンテンツが追加されたときに自動的にターミナル上に出力させることができます。

tail コマンドを使わず、 less コマンドでも同じような機能が提供されており、若干高機能です。

less コマンドの意外と知られていない機能を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ less --version | head -n 2
less 458 (POSIX regular expressions)
Copyright (C) 1984-2012 Mark Nudelman

テキストファイルを `less` コマンドで監視してみる

早速、適当なファイルを作成し、 less コマンドで開いてみます。

開く際に -F というオプションを付与しておきます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


# まずはファイルを作成
$ seq 1 10 > test.txt

# ファイルを監視します。
$ less +F test.txt
1
2
3
4
5
6
7
8
9
10

ここで別のターミナルを開き、ファイル末尾にコンテンツを追記します。

BashシェルやZshシェルでスターウォーズが見られる

Mon, 22 Feb 2021 21:33:31 +0900

はじめに

今日はネタ記事ということで。

昨年の年末から、長男を囲んで家族でスターウォーズ9作をみました。( 長男がハマりました。 ) 毎週土曜か日曜のいずれかをスターウォーズにあてて、少しずつ見ていました。

そんなわけで我が家では「オビワンがかっこいい！」「ダースベーダーがかっこいい！」「ベン・ソロはちょっとなぁ」など各自の意見が飛び交い楽しく会話していました。「ヨーダ」はかわいいそうです。

さて、そんなスターウォーズ熱の中で見つけたとあるコマンドについて紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

Bashでスターウォーズが見れます。

なんと、暗黒面の力（Bashの黒いコンソール画面）を使えば、スター・ウォーズを見ることができます。暗黒面に落ちるのはいとも簡単です。

`telnet towel.blinkenlights.nl`

ただ、以下のコマンドを実行するだけです。

1

$ telnet towel.blinkenlights.nl

早速実行してみましょう。

スクリーンショット

実行すると以下のようなAAの動画を見ることができます。

本当に長い時間動画（？）が進んでいくので、僕は途中で見るのをやめました。 ( だって、やることあるんだもの。 )

一度「暗黒面」に落ちると抜け出せない

一度「暗黒面」に落ちると、なかなか抜け出せません。

なんとしても強い心で抜け出すためには方法は唯一つ。以下の手順を踏みます。

ctrl + ] を押す。
quit コマンドを実行。

ひとこと

意外にもエピソード4、エピソード５，エピソード6が面白かったです。

僕は「オビワン・ケノービ」派です。

参考

Watch Star Wars via telnet Using telnet

Githubリポジトリにコミットしたら、自動的に"Docker Hub"でDockerイメージを作成させる

Wed, 17 Feb 2021 21:04:58 +0900

はじめに

僕は Docker Hub 上で Docker イメージをいくつも公開しています。

genzouw/mkr : mkr - Command Line Tool For Mackerel written in Go.
genzouw/gpg : Docker image that give gpg command.
genzouw/td : This is a Docker image wrapping the command line client tool td of" Treasure Data “. Ruby installation, Gem installation, authentication information, etc. can all be managed by Docker container.
genzouw/jq : This is Dockerfile repository that wrap jq command.
genzouw/trim-text : This Docker image is intended to provide a UI that integrates command line text cut operations.
genzouw/ansize : Convert image to text ( ascii art ) .

いずれも自分の公開 Github リポジトリコミットしたタイミングで、 “Docker Hub"でイメージを自動的に作成するようにしています。

JPEGファイルからfavicon.icoを作成するためのコマンド

Tue, 16 Feb 2021 21:54:26 +0900

はじめに

SNS でいつも使っている僕のプロフィール用 JPEG 画像( Gravatar でも使っています。 )から favicon.ico ファイルを作成し、作成途中のサイトのブックマークアイコンとして利用したいと思いました。

自動化も見据えて、コマンドで作成できないか調べてみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

image-to-icon を使う

Github を漁ってみたところ、ちょうど良さそうなコマンドが見つかりました。ワン・コマンドで変換でき、オプションもない、というシンプルさ。 UNIX という思想 を体現していて大好きです。

koenpunt/image-to-icon

インストール

今回動作を確認した環境は CentOS の Docker コンテナなのですが、いくつか必要となるコマンドがあったため、 yum でインストールしてから利用します。

1
2
3
4


# このあたりはDockerを使う必要は全くありません。Mac環境を汚したくなかっただけです。
$ docker run -it \
 --rm -v "$PWD:/workdir" \
 --workdir /workdir genzouw/centos-sandbox

依存ライブラリとして、 ImageMagick をインストールする必要がありました。

"hub-tool"を使って"Docker Hub"上のイメージタグを一覧表示する

Tue, 02 Feb 2021 19:32:42 +0900

はじめに

シェルでDockerHubリポジトリからイメージとタグを取得する方法 | ゲンゾウ用ポストイットで、 Docker Hub 上のイメージで利用できるタグを一覧表示するための方法を紹介しましたが、

hub-tool という便利なツールを導入することでタグの一覧表示が容易に実現できるようになりましたので紹介します。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

$ docker --version
Docker version 20.10.2, build 2291f61

`hub-tool` コマンド : Docker Hub Tool

Docker Hub Tool とは、コマンドラインから “Docker Hub” で自分が作成したリポジトリを操作するためのコマンドラインツールになります。

「自分が作成したリポジトリ」のみですが、例外として他のエンジニアが提供しているDockerイメージのタグを一覧表示するための機能が提供されています。

インストール

`go get` コマンドを使ってインストール

Go言語の実行環境が用意されている場合は go get コマンドが利用できます。

1

$ GO111MODULE=on go get github.com/docker/hub-tool

Go言語の実行環境が用意されていない場合には後述の方法をお試しください。

gcloudとfzfを組み合わせてGCPプロジェクトを簡単に切り替える

Mon, 01 Feb 2021 20:09:23 +0900

はじめに

現職ではAWSよりもGCPにインフラリソースを多く配置しています。

gcloud コマンドを使って作業をする事が多いですが、更に最近ではGCPプロジェクトも複数またがって作業する事が増えてきました。

かんたんにGCPプロジェクトを切り替えられるかが作業の効率化のために重要です。

かんたんにGCPプロジェクトをスイッチし、Compute Engineインスタンスにssh接続するためのaliasを作成したので紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

$ gcloud --version | head -n 1
Google Cloud SDK 307.0.0
Updates are available for some Cloud SDK components. To install them,
please run:

$ fzf --version
0.25.0 (brew)

準備

fzfコマンドのインストール

今回紹介するaliasを利用するためには、 fzfのインストールが必要です。インストールしましょう。

sudoでシェルスクリプトを実行した際にPATHが正しく引き継がれない場合の対処

Wed, 27 Jan 2021 21:37:00 +0900

はじめに

sudo コマンドを使ってシェルスクリプトを実行した際に、実行ユーザの PATH 環境変数の設定が引き継がれずに困ってしまうことがあります。

セキュリティを考慮しての仕組みですが、引き繋がれない原因と対処について解説します。

最近の sudo はデフォルトでは PATH は引き継がれません。 sudo の -E オプションが必要です。この解決方法として Web 上でよく見かけます。ただし、これだけで解消しない場合もあるため、今回のエントリを書こうと思いました。

検証環境

1
2
3
4
5
6
7
8
9


$ cat /etc/os-release | head -n 2
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

$ sudo --version | head -n 1
Sudo version 1.8.23

問題の事象を確認

まずは今回取り上げる事象がどんなものか具体的にコマンドを実行しながら見ていきたいと思います。いくつか準備をした後、再現させて見たいと思います。

準備その 1: `adm` ユーザの設定

事前に作成しておいた adm ユーザ( wheel グループに所属 )を使います。

BashシェルスクリプトでCloud Loggingへのログ出力をシンプルに実装する方法

Mon, 25 Jan 2021 21:30:05 +0900

はじめに

既存のシェルスクリプトから GCP の Cloud Logging にログ出力させる必要がありました。時間をかけずに実装できないか考え、 Bashシェルスクリプトでログ出力をシンプルに実現する方法に多少手を加えて実現できたので紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

事前準備（GCP上の設定）

今回は Cloud Run 上でシェルスクリプトを実行させましたが、 Compute Engine や GKE 上でも同じ方法で容易に実現できました。

事前に1つだけ必要な設定があります。 サービスアカウント に Logging に書き込みを行う権限を設定する必要があります。

Cloud Runのサービスアカウント

Compute Engineのサービスアカウント

上記に記載されている サービスアカウント （ @ で区切られていて、メールアドレスのようになっています。）をメモし、IAM設定ページから見つけましょう。見つけたら、そちらのサービスアカウントに Logging 書き込みの権限を付与しておきます。

スクリプトでログを出力

Bashシェルスクリプトでログ出力をシンプルに実現する方法を事前に一読しておくと良いです。

シェルスクリプト全体の標準出力、標準エラー出力をすべてGCPの Logging に流し込むためには、以下のような記述を行います。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


#!/usr/bin/env bash
set -o errexit
set -o nounset

# 標準出力、標準エラー出力をログ送信

# ***こちらはご自分が書き出しを行いたいロギング名に書き換えてください！***
GCP_LOGGING_NAME=YOUR-LOGGING-NAME

exec 1> >(
 while read -r LOG; do
 gcloud logging write "${GCP_LOGGING_NAME}" --payload-type=text --severity=INFO "$LOG"
 done
)
# 標準エラー出力をログ送信
exec 2> >(
 while read -r LOG; do
 gcloud logging write "${GCP_LOGGING_NAME}" --payload-type=text --severity=ERROR "$LOG"
 done
)

# ...(以下省略)...

exec 1> >(...) の中の処理には、スクリプト全体の標準出力が流れて来ます。

xargsにパイプで渡した標準入力が空だった場合におかしな動きをしないようにする

Sat, 23 Jan 2021 10:00:53 +0900

はじめに

xargs コマンドは非常に便利です。

パイプでつなぎ、前のコマンドを1つずつ(あるいはいくつかの束ずつ)処理していくときに簡潔に記述できかつ高速です。

ただ、パイプの前のコマンドの実行結果が空になると想定しない挙動をする場合があります。問題と対処について紹介します。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ xargs --version | head -n 1
xargs (GNU findutils) 4.5.11

何も考慮せず “xargs” を使ってみる。

なにか具体的な例を考えたいので、 seq コマンドで生成した数列を xargs に渡し、 Markdown記法で - を先頭に付与してみたいと思います。

1
2
3
4
5
6
7


# `seq 1 5` の実行結果（1 2 3 4 5）を1つずつ取り出し、 `echo '-' 1` のように実行していく
$ seq 1 5 | xargs -n 1 echo '-'
- 1
- 2
- 3
- 4
- 5

正しく動作しました。

シェル上で実行したコマンドをヒストリに残したくない場合（悪用厳禁）

Fri, 22 Jan 2021 13:00:33 +0900

はじめに

ユーザ名とパスワードを引数で受け取りLinuxユーザを作成するスクリプト | ゲンゾウ用ポストイットでも書きましたが、シェルのヒストリ（コマンド実行履歴）についつい残してはいけない情報を残してしまうことがあります。（ ex: mysql -pxxxx mysql みたいなパスワード情報をついつい貼り付けてしまったり）

一時的に残らないようにして作業することもできますので、その方法を紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

コマンドをヒストリに残さないようにする

すべてのコマンドをヒストリに残さないようにするには、 HISTIGNORE 環境変数にワイルドカードを設定してやります。

その後、 HISTIGNORE 環境変数を触った履歴を history -d で削除します。

1
2
3
4


# これ以降、すべてのコマンドをヒストリに残さないようにする
$ HISTIGNORE="*"
# 直前に実行した `HISTIGNORE="*"` だけは残ってしまうため、ヒストリの最終履歴を１つ削除
$ history -d $(history | sed -n 's/^\s\+//; s/\s\+.*$//; $p')

コマンドをヒストリに残すようにする

HISTIGNORE を解除してやればもとに戻ります。（ HISTIGNORE にもともと値が設定されている場合には注意が必要です。）

ユーザ名とパスワードを引数で受け取りLinuxユーザを作成するスクリプト

Thu, 21 Jan 2021 21:38:58 +0900

はじめに

コマンドライン引数で ユーザ名 と パスワード を受け取り、Linuxユーザを作成する非インタラクティブなスクリプトをかけないかを思い試してみました。

※複数人がログインするようなサーバ環境で実行した場合、実行されたコマンドがhistoryに残ってしまうためご注意ください。パスワードがバレてしまいます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

スクリプト

スクリプト名は create_ops_user.sh とでもしておきましょう。

1
2
3
4
5
6
7
8
9


#!/usr/bin/env bash

NAME="${1}"
PASSWORD="${2}"

# Create a passwordless user
useradd "${NAME}"
# Set password
echo "${PASSWORD}" | passwd --stdin "${NAME}"

passwd コマンドは、ログインユーザあるいは指定したユーザのパスワードを変更するコマンドです。

--stdin オプションを指定してやることで、パイプ経由で標準入力に渡された文字列をパスワードとして設定することができます。

実行方法

1
2
3
4
5


$ sudo create_ops_user.sh genzouw five_children

# 指定したパスワードでログインできる
$ su genzouw
Password:

ひとこと

取り急ぎ環境構築手順をスクリプト化する必要がありましたが、 AnsibleやTerraform、Dockerfile、Kubernetesマニフェストなどにする時間すらないほど急いでいたのでシェルでやってしまいました。

Dockerコンテナ環境でmanコマンドを使えない問題を解決する方法

Wed, 20 Jan 2021 20:09:39 +0900

はじめに

飽きずに毎日Bashやシェルスクリプト関連の記事を書いているわけですが、記事の内容が本当に正しいのかを確認するためにDockerコンテナ環境内で動作を確認しています。

僕のMac環境は随分汚れてしまっているので、正しい動作を確認するためにはクリーンな環境が必要なわけです。

執筆の合間にBashの正しい挙動はどう定義されているのかを書くにするために man コマンドを実行したくなることもあるのですが、Dockerコンテナ内で man bash を実行してもマニュアルが確認できません。

コンテナイメージのサイズが大きくなってしまいますが、事前にインストールしておこうと思いました。

検証環境

いつも執筆の際に利用しているディストリビューションは CentOS です。 ( 未だにCentOS なので、いい加減Ubuntuあたりに移行したい。 ) 大体 docker run --rm -it centos:centos7 bash を実行して、検証環境を立ち上げています。

1
2
3
4
5
6
7
8


$ cat /etc/os-release | head -n 1
NAME="CentOS Linux"

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`man` コマンドをインストールしてはみるが…

CentOSのパッケージ管理ツールといえば YUM です。 yum コマンドで man をインストールします。

1
2
3
4


$ yum install man -y

$ type man
man is /usr/bin/man

正しくインストールされたのを確認し、次のステップへ。

Kubernetes Podの"command"や"args"で環境変数を参照する方法いろいろ

Tue, 19 Jan 2021 21:30:38 +0900

はじめに

KubernetesでPod（もしくはReplicaSet、Deployment）のマニフェストにて、 command や args 属性を使って実行コマンドを指定する事ができます。

command や args に指定する実行コマンドで環境変数を利用する場合の注意点と対処法について紹介します。

検証環境

1
2
3


$ kubectl version
Client Version: version.Info{Major:"1", Minor:"19", GitVersion:"v1.19.4", GitCommit:"d360454c9bcd1634cf4cc52d1867af5491dc9c5f", GitTreeState:"clean", BuildDate:"2020-11-12T01:09:16Z", GoVersion:"go1.15.4", Compiler:"gc", Platform:"darwin/amd64"}
Server Version: version.Info{Major:"1", Minor:"16+", GitVersion:"v1.16.15-gke.4300", GitCommit:"7ed5ddc0e67cb68296994f0b754cec45450d6a64", GitTreeState:"clean", BuildDate:"2020-10-28T09:23:22Z", GoVersion:"go1.13.15b4", Compiler:"gc", Platform:"linux/amd64"}

command や args に環境変数をベタ書きした場合、うまく参照できない

環境変数を出力するだけのPodを作成してみます。まずはPodのマニフェストファイルを作成します。

env 属性で NAME という環境変数を設定し、それを出力させてみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


# test-pod.yaml というマニフェストファイルを作成
$ cat <<'EOF' >test-pod.yaml
apiVersion: v1
kind: Pod
metadata:
 name: test-pod
spec:
 containers:
 - name: test-pod
 image: bash
 command: ["echo"]
 args:
 - "${NAME}"
 env:
 - name: NAME
 value: "genzouw"
EOF

マニフェストファイルを元にPodを作成します。

envsubstを使ってテキストファイルをテンプレートエンジンとして使う

Thu, 14 Jan 2021 22:01:34 +0900

はじめに

Kubernetes のマニフェストファイル内に環境変数を埋め込み、出力内容を動的に変更したい場合がありました。

kustomize や helm といったツールを利用することで Kubernetes のマニフェストファイルに変数を埋め込むことはできます。しかし、そこまで大層な仕組みを導入するような手間を掛けたくありません。

sed を使う方法もありますが、可読性は低くなります。

そんな場合、 enｖsubst コマンドを利用することで実現できました。

テキストファイルをテンプレートエンジンのとして利用できるシンプルで便利なコマンドです。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`envsubst` コマンドとは

envsubst コマンドを使うと，変数展開など「テンプレートエンジン」のような仕組みを実現できます。

準備

僕の環境 ( CentOS ) には最初にインストールされていなかったため、まずはインストールから行いました。

1
2
3
4


$ yum install -y gettext

$ which envsubst
/usr/bin/envsubst

Mac 環境の場合は Homebrew でインストールできます ( 僕の Mac には気がついたらインストールされていました ) 。 apt でもきっと用意にインストールできるでしょう。

"bash -c"コマンド実行で子プロセスが作られる時、作られない時

Fri, 08 Jan 2021 20:28:00 +0900

はじめに

KubernetesのマニフェストファイルやDockerのビルドファイル、Docker Composeの設定ファイルを閲覧、編集することが増えてきました。

それらのファイルの中で bash -c というコマンドが実行されていることがあります。 bash の新しいプロセスを立ち上げ、 -c オプションで渡されたコマンドを実行する命令になります。

ps コマンドを使い、実行中の bash -c プロセスを見ていたところ、プロセスツリーの表示が時々で異なっていたため不思議に思い調べてみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

改めて、 `bash -c` って何？

bash -c "echo hello" といったように、 -c コマンドに文字列を渡すことで、文字列をコマンドとして実行させることができます。多くの言語系で実装されている eval 関数のようなものですね。

1
2
3


# 10秒待ってからhelloが表示される
$ bash -c "echo hogehoge"
hogehoge

コマンドは ; で区切って複数実行させることもできます。

1
2
3


# 10秒待ってからhelloが表示される
$ bash -c "sleep 10; echo hello;"
hello

`bash -c "sleep 10; echo hello;"` を実行したときのプロセスツリー

ここで、 bash -c "sleep 10; echo hello;" というコマンドを実行します。

Gitでmasterブランチにマージ済みのローカルブランチを一括削除する

Thu, 19 Nov 2020 08:30:07 +0900

はじめに

Gitでは容易にブランチを作成し、切り替えることができます。ただ、容易にブランチを作成できるがゆえに、不要なブランチがわかりにくく、残ってしまうことがあります。

すでにmasterブランチにマージされているが、ローカルに残ってしまったブランチ を掃除するためのコマンドを紹介します。

※実行前には、実行結果を確認してください！自己責任でお願いします！

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ git --version
git version 1.8.3.1

masterブランチマージ済みのローカルブランチを削除

まずはローカルブランチを対象とした掃除の方法について。

git branch --merged master コマンドでmasterブランチにマージ済みのローカルブランチを出力できます。ここから カレントブランチ 、 masterブランチ 、 developブランチ を除外します。

最後に該当のブランチ名を git branch -d で1つずつ削除していきます。

1
2
3
4


git branch --merged master \
 | sed -n 's@^\s*@@p' \
 | grep -v -e '^\*' -e '^\(master\|develop\)$' \
 | xargs -n 1 git branch -d

masterブランチマージ済みのoriginリモートブランチを削除

すでにpush済みのリモートブランチを対象とした掃除の方法について。

Bashでコマンドライン上にタブ文字をはりつけると消える問題に対応

Wed, 18 Nov 2020 08:13:35 +0900

はじめに

MacのデフォルトシェルもZshになったこともあり、最近インタラクティブな操作目的でBashを起動する機会は徐々に減っています。とはいえ、やはりサーバのログインシェルに利用されているのは未だBashが多く、今後もこの状況が続くでしょう。

Bashのコマンドライン上にタブ文字を含む文字列を貼り付けた場合、タブ文字が消えてしまうことがないでしょうか？このタブ文字が消える問題への対処法について紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

タブ文字が消える問題について

ここで、Bashのヒアドキュメント機能を利用して文字列を出力させたい、というケースを考えてみます。出力させない内容は、タブ区切り文字列である TSV 形式となっています。

以下のような3行からなるTSVです。

1
2
3


aa	bb	cc
aa	bb	cc
aa	bb	cc

cat コマンドと ヒアドキュメント を使って出力してみます。以下の内容をコピーして、Bashシェル上に貼り付けてみます。

1
2
3
4
5


cat <<EOF
aa	bb	cc
aa	bb	cc
aa	bb	cc
EOF

うまくいく環境もあるでしょうが、僕の環境ではタブが消えてしまいます。

Bashシェルスクリプトで任意の文字を繰り返し出力する方法

Thu, 29 Oct 2020 21:11:43 +0900

はじめに

検証のために特定の文字列を繰り返し出力したかったのですが、どうするのがよいか悩んだため思いついた方法をいくつか共有します。

ここでは、任意の文字列として = を使用し、10 文字出力してみます 。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

方法 1. `printf` コマンドを使う方法

printf を使ってこれを実現できます。

1
2


$ printf "=%0.s" {0..9}
==========

いきなり見ただけでは少々わかりにくいです。以下のように置き直すとわかりやすいです。

1
2


$ printf "=%0.s" 0 1 2 3 4 5 6 7 8 9
==========

printf のオプションを変えたコマンドの実行結果と比較するとよりわかりやすいでしょう。

1
2


$ printf "=%s" {0..9}
=0=1=2=3=4=5=6=7=8=9

printf の引数が "=%s" コマンドを実行した結果は、= と第 2 引数以降の値が繰り返し出力されています。 printf の引数が "=%.0s" コマンドを実行した結果は、= だけが繰り返し出力され、第 2 引数そのものは出力されません。この仕組を利用した文字列の繰り返し出力方法となっています。

応用して、 Hello という文字列を 5 回出力してみます。

Bashシェルスクリプトで簡易なプログレスバーを実装する

Tue, 27 Oct 2020 20:00:26 +0900

はじめに

printf コマンドとエスケープシーケンスを組み合わせてかんたんなプログレスバーを実装する方法について紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

プログレスバーを実装したい

シェルスクリプトを組む場合、多くは作業の自動化を目的としていて、なるべくインタラクティブな手続きが介入しないようにすると思います。

対して、時間のかかる処理を実行しておき、その間にのんびりお茶を飲む、といった場合にシェルスクリプトが活躍する場合もあります。

時間がかかる処理をシェルスクリプトで実装した場合、どこまで処理が進行したのかわかるようにかんたんなプログレスバーを実装してみましょう。

必要なもの

準備するようなものは特に入りません。 BashとLinuxのいくつかのコマンドが利用できれば実現可能です。

早速実装してみる

1秒ごとにスリープし、これを10回繰り返すようなかんたんな繰り返し処理を実装し、プログレスバーを表示させてみます。

実際のコードを見ながら解説していきます。

ソースコード ( `show_progress_bar.sh` )

1
2
3
4
5
6
7
8
9


#!/usr/bin/env bash

for I in {1..10}; do
 sleep 1
 # 進捗10%あたりドットを２つ ".." を出力
 BAR="$(yes . | head -n ${I} | tr -d '\n')"
 printf "\r[%3d/100] %s" $((I * 10)) ${BAR}
done
printf "\n"

実行結果

Bashシェルスクリプトで2つの配列を連結する

Sat, 17 Oct 2020 00:41:34 +0900

はじめに

シェルスクリプトで変数を頻繁に使用することは多くはないが、それでも利用することはあります。配列同士を連結する方法と注意事項についてまとめてみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.17(1)-release (x86_64-apple-darwin19.4.0)

配列変数の定義方法

昔、以下のエントリで取り上げたことがありますが、 declare -a というビルトインコマンドを使って、配列変数を定義することができます。（ declare -a は省略可能）

Bashのビルトインコマンド “declare” の使い方紹介（その１） | ゲンゾウ用ポストイット

1
2
3
4
5
6
7
8
9


# 配列を定義
$ declare -a ARRAY

# 要素を代入
$ ARRAY[0]=11
$ ARRAY[1]=22

# 追加する場合
$ ARRAY+=(33)

配列の末尾に要素を追加する方法は ARRAY+=(33) のように記述することで追加可能です。

複数の配列変数を連結する

今回のエントリの本題にはいります。サンプルコードを掲載します。

Bash組み込みの正規表現機能を利用してファイルパスを要素に分割してみる

Wed, 14 Oct 2020 23:37:09 +0900

はじめに

Bash には正規表現を使ったマッチ判定機能やマッチグループ文字列を取得する機能が組み込まれています。

grep や sed を利用すれば同様の機能は実現できるため、あまりお目にかかる機会は少ないですが、触ってみます。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

拡張子付きのファイルフルパスを受け取り分割してみる

早速 Bash 組み込みの正規表現機能を利用してみます。サンプルプログラムを作り動作を見ていきます。

ここでは「拡張子付きのファイル」のフルパスを引数で受け取ると、以下の情報に分割して出力する処理を記述します。

フルパス
親ディレクトリパス
ファイル名
拡張子なしファイル名
拡張子

出来上がったコードは以下になります。

正規表現を使った Bash サンプルコード regexp_sample.sh

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


#!/usr/bin/env bash
set -o nounset
set -o noclobber

# 正規表現を利用した関数
function analyze_filepath() {
 [[ ${1} =~ ^(.*/)(([^.]+)\.(.*))$ ]] || {
 echo "[ERROR] The file path does not contain an extension."
 return 1
 }

 echo "${BASH_REMATCH[@]}"
}

# いくつかのパラメータで動作確認
analyze_filepath "/a/b/c/xxx.txt"
analyze_filepath "/yyy.sh"
analyze_filepath "/a/b/c/zzz.1.2.js"
analyze_filepath "/a/b/c/Dockerfile"

regexp_sample.sh というファイルを作成し、上記の内容を記述し保存します(chmod +x regexp_sample.sh を実行し、権限を付与しておくことを忘れないこと)。

.bashrcや.zshrcに定義した関数を他のシェルスクリプトから呼び出す

Wed, 30 Sep 2020 23:34:33 +0900

はじめに

Unix系OSで日頃よく使うコマンドは、 .bashrc や .zshrc に alias や function を定義しておき、コマンドラインから呼び出すことだと思います。

僕も .bashrc や .bashrc に自分のお気に入りのエイリアスや関数を定義していますが、この関数を別のシェルスクリプトから呼び出したいというシーンが有りました。

ちょっと工夫をしないと呼び出せなかったこともあり、やり方を掲載したいと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

まずは `.bashrc` に関数を定義してみる

まずは自分の .bashrc に関数を定義してみます。ただ渡された引数を出力するだけの print_params という、関数です。

1
2
3
4
5


$ cat <<'EOF' >>~/.bashrc
print_params() {
 echo "parms are ${@}."
}
EOF

.bashrc に追加した関数は以下のいずれかの方法で反映できます。

ログインし直す
bash コマンドを実行し、シェルを新しいプロセスで立ち上げる
. ~/.bashrc コマンドを実行し、現在事項中プロセスのシェルに関数を反映させる

今回は3つめの方法で反映させます。

シェルスクリプトのシバン(Shebang)にシェル以外のコマンドを記述したらどうなるのか？

Sun, 27 Sep 2020 23:16:31 +0900

はじめに

UNIX 上で動作するスクリプトは、1 行目に #! から始まる 1 行を記述します。これによりスクリプトの実行系を認識させることができます。

シェルスクリプトの場合は #!/bin/sh 、 #!/usr/bin/bash 、 #!/usr/bin/env bash と記述します。

Ruby スクリプトの場合は #!/usr/bin/ruby 、 #!/usr/bin/env ruby と記述することが多いでしょう。

この 1 行目の記述のことを「 シバン 」とか「 Shebang 」と呼びますが、今ひとつこのあたりの仕組が理解できてなかったため、シバンでいろいろ遊んでみることにしました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.17(1)-release (x86_64-apple-darwin19.4.0)

(実験 1) `#!/bin/rm` と記述し実行してみる

突然ですが、 シバン の挙動を理解するために実験をしてみます。

一行目に #!/bin/rm とだけ記述されたシェルスクリプトを作成してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


# 作成
$ cat <<EOF > test.sh
#!/bin/rm
EOF

# 内容が正しいかを確認してみる
$ cat test.sh
#!/bin/rm

# 実行権限を付与
$ chmod +x test.sh

# カレントディレクトリを確認
$ ls -la
total 8
drwxr-xr-x 3 root root 96 Sep 27 13:46 .
drwxr-xr-x 1 root root 4096 Sep 27 13:34 ..
-rwx--x--x 1 root root 10 Sep 27 13:47 test.sh

作成したスクリプトを以下のように実行してみます。

Bashシェルスクリプトで連想配列をJSONに変換し出力する方法

Fri, 25 Sep 2020 08:00:10 +0900

はじめに

Bashでは、 declare コマンドを利用して連想配列変数を宣言することが可能です。

参考 : Bashのビルトインコマンド “declare” の使い方紹介（その１） | ゲンゾウ用ポストイット

シェル内で定義した連想配列をJSONに変換し出力したいと思いましたが、どのように記述したらよいか悩んだためまとめました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

事前準備

今回は、 jq コマンドを利用してJSON変換を実現してみたいと思います。

GitHub - stedolan/jq: Command-line JSON processor

事前にインストールしておきましょう。

コードサンプル

事前に declare -A コマンドで宣言した連想配列に値を詰め込んでおき、 jq を使ってJSONオブジェクトに変換してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


# 返送配列変数を定義
$ declare -A MAP

# 連想配列に値をセット
$ MAP["key1"]=1
$ MAP["key2"]=2
$ MAP["key3"]="hoge"
$ MAP["key4"]=

# JSON変換
$ for i in "${!MAP[@]}"; do
 # 奇数行にキーを、偶数行に値を出力し、jqコマンドに食わせる
 echo "$i"
 echo "${MAP[$i]}"
done | jq -c -n -R 'reduce inputs as $i ({}; . + { ($i): (input|(tonumber? // .)) })'

実行結果は以下のようになります。

Bashシェルスクリプトで連番付きファイル名の次の連番を算出する

Thu, 24 Sep 2020 22:17:56 +0900

はじめに

特定のフォルダにファイルが配置されており、これら全てに通し連番が付与されているとします。

例えば、以下のようにゼロフィルされた3桁の通し連番が付与されているようなファイルが可能されている場合などが考えられます。（ファイル名でソートできるため、このようなケースはよくあるケースかと思います。）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


001_xxx.txt
002_xxx.txt
003_xxx.txt
004_xxx.txt
005_xxx.txt
006_xxx.txt
007_xxx.txt
008_xxx.txt
009_xxx.txt
010_xxx.txt
011_xxx.txt
012_xxx.txt
013_xxx.txt
014_xxx.txt
015_xxx.txt

さて、ここで新しいファイルを作成する場合は 016_xxx.txt というファイル名を算出しなければなりませんが、シェルで次の通し連番を算出する方法について考えてみます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

準備

まずはテスト環境を用意してみます。

Bashシェルスクリプト上での"[..]"と"[[..]]"の違い

Tue, 09 Jun 2020 08:38:36 +0900

はじめに

Bash上で作業を行ったり、Bashのシェルスクリプトを書いたりする場合に条件分岐を使うケースがあります。

if [ -f $FILE ]; then と記述する場合もあれば、 if [[ -f $FILE ]]; then のように [ を2つ続けて記述する場合もあります。両者の違いについて、知っている範囲でまとめました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

かんたんな文字列比較処理を書いてみる

変数 X の値が想定通りの場合に ok と出力するだけのかんたんな条件分岐を記述してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# 変数を作成
$ X=1223

# [...] を使用するケース
$ [ $X = "1223" ] && echo ok
ok

# [[...]] を使用するケース
$ [[ $X = "1223" ]] && echo ok
ok

ちなみに、上記の処理は以下と同義です。

Crontabにシステム起動時に1度だけコマンドが実行されるように設定する方法

Fri, 05 Jun 2020 08:45:36 +0900

はじめに

man 5 crontab を読んでいてたまたま見つけたので紹介。

crontab の実装の違いにより使える、使えないがあるが、システム起動時に 1 度だけコマンドが実行されるような設定をかんたんに追加できます。

検証環境

1
2


$ uname -moi
x86_64 unknown GNU/Linux

man ページに書かれている

man 5 crontab をしたところ以下のように記述されています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


 string meaning
 ------ -------
 @reboot Run once, at startup.
 @yearly Run once a year, "0 0 1 1 *".
 @annually (same as @yearly)
 @monthly Run once a month, "0 0 1 * *".
 @weekly Run once a week, "0 0 * * 0".
 @daily Run once a day, "0 0 * * *".
 @midnight (same as @daily)
 @hourly Run once an hour, "0 * * * *".

 Please note that startup, as far as @reboot is concerned, is the time when the cron(8) daemon startup. In particular, it may be before some system
 daemons, or other facilities, were startup. This is due to the boot order sequence of the machine.

crontab の各行の左 5 列は時間指定のために使われますが（ ex: 0 12 * * * echo hoge で「毎日 12:00 に echo hoge を実行」）、この部分に @reboot と記述することでサーバ再起動時に 1 回だけ実行されるような設定ができます。

シェルを使って、Gitワークスペース内でリモートリポジトリのURLのみを抽出する

Mon, 25 May 2020 14:16:47 +0900

はじめに

github.com上のソースコードに対して何らかの作業を実施する際には、まず git clone を行います。 git clone したGitワークスペース上でソースを閲覧したりコードを改変します。この時点で、 origin リモートリポジトリにプッシュ先のURL情報などが格納されます。

今回、このGitワークスペースと紐付けられている origin リモートリポジトリのURL部分を抽出したいと思いました。

抽出する方法について紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.17(1)-release (x86_64-apple-darwin18.7.0)

リモートリポジトリの情報をURL部分も含め出力

リモートリポジトリの情報を一式表示するには以下のコマンドを利用します。

1
2
3
4
5


$ git remote -v
origin git@github.com:genzouw/ec-cube.git (fetch)
origin git@github.com:genzouw/ec-cube.git (push)
upstream git@github.com:EC-CUBE/ec-cube.git (fetch)
upstream git@github.com:EC-CUBE/ec-cube.git (push)

ここでは、 origin リモートリポジトリに加えて、 upstream リモートリポジトリも紐付けられていることがわかります。

また、URL部分以外も出力されているため、 **URLだけが欲しい場合は余分を除去する必要があります。

また、便利なコマンドではありますがリモートリポジトリへの通信が発生します。

リモートリポジトリのURL部分のみを出力

URL部分だけが欲しい場合には以下のコマンドが利用できます。

1
2
3


# originリモートリポジトリのURLを出力
$ git remote get-url origin
git@github.com:genzouw/ec-cube.git

以下のコマンドでも同様の結果が取得できます。

sedを使って条件に一致した行をテンプレートファイルの内容で置き直す

Tue, 12 May 2020 08:00:45 +0900

はじめに

あまり使うことがない機能ですが、 sed で特定条件に合致した場合に、テキストファイルの内容を差し込むことができます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

準備

10から30までの数値を行ごとに出力します。以下のコマンドを利用します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


$ seq 10 30
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

この出力内容のうち、 3 が含まれている行の後ろに任意のテキストファイルの内容を差し込んでみます。

Bashシェルスクリプトで文字列を右(左)からN文字取り出す

Mon, 11 May 2020 08:53:23 +0900

はじめに

シェルスクリプトで右からN文字、あるいは左からN文字切り取る方法。

多くの言語でStringクラスの right() メソッド、 left() メソッドとして提供されている機能になります。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ cut --version | head -n 1
cut (GNU coreutils) 8.32

$ sed --version | head -n 1
sed (GNU sed) 4.8

`cut` を使う方法

1
2
3
4
5
6
7


## 左から3文字取り出す
$ echo 0123456789 | cut -c -3
012

## 右から3文字取り出す
$ echo 0123456789 | rev | cut -c -3 | rev
789

左から切り取る場合は rev コマンドで一度左右を反転させるのがポイントです。

Bashシェルスクリプトで数値配列の合計値を算出する

Thu, 07 May 2020 10:22:50 +0900

はじめに

Bash シェルスクリプトでは type または declare コマンドを利用することで配列変数を宣言できます。

この「配列変数」の合計値を算出する簡単な方法は無いか考えたことを公開します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

方法 1 - ループする方法

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ declare -a NUMS=(
 1 2 3 4 5
)

$ SUM=0
$ for N in ${NUMS[@]}; do
 ((SUM+=N))
done

$ echo $SUM
15

実行結果は 15 となります。

シェルスクリプトで`while read`ループすると最終行が読み込まれない場合への対処

Wed, 15 Apr 2020 14:04:08 +0900

はじめに

シェルスクリプトでファイルの各行に対して複雑なロジックを書かざるを得ない場合、 while read を使って一行ずつ読み込む処理を騎獣します。

echo や cat を使ってファイルを作成した場合はファイルの末尾に必ず改行コード（LF）が付与されますが、少々変わったファイルの作り方をすると改行コードが付与されないことがあります。（どきどきチームで開発しているソースコードにもこういうファイルが紛れ込むケースもありますね。）

そんなファイルを while read する場合に最終行がループ処理の対象にならない、とハマりがちなので対処法をまとめます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.16(1)-release (x86_64-apple-darwin18.7.0)

普通に作成したファイルを `while read` して一行ずつ読み込んでみる

普通に作成したファイルを while read して一行ずつ読み込む場合、以下のようなコードになるかと思います。

( IFS= を付与しないと、 read 時に行頭・行末のスペースが除去されてしまいます。 -r オプションがないと各行末に \ があった場合におかしな挙動をしてしまいます。 )

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


# 後述するケースにつながるため、あえてちょっと変わった書き方で echo しています。
$ echo "\
aaa
 bbb
ccc" >test1.txt

# ファイルの中身は3行となっています。
$ cat test1.txt
aaa
 bbb
ccc

# 一行ずつ読み込んでみます
$ cat test1.txt | while IFS= read -r LINE; do
 echo "${LINE}"
 done
aaa
 bbb
ccc

問題なく3行とも読み込めました。

「too many levels of symbolic links」というエラーメッセージについて

Wed, 08 Apr 2020 08:00:21 +0900

はじめに

僕は出会ったことはないのですが、 「too many levels of symbolic links」 というエラーメッセージに遭遇したという話を聞いて再現方法を調べてみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.16(1)-release (x86_64-apple-darwin18.7.0)

エラーを再現させてみる

早速再現させてみます。通常はこんなことは起きないとは思いますが、 自分自身を参照するシンボリックリンク hoge を作成します。

1
2
3
4
5


$ ln -s hoge hoge

$ ls -l
total 0
lrwxrwxrwx 1 root root 4 Apr 7 14:33 hoge -> hoge

このシンボリックリンク hoge をフォルダとみなして、 hoge/x というファイルを作成してみます。

1
2


$ touch hoge/x
touch: cannot touch 'hoge/x': Too many levels of symbolic links

エラーが再現しました。

treeコマンドでフォルダ構成をツリー表示しつつ所有者・パーミッションを表示

Tue, 07 Apr 2020 23:27:37 +0900

はじめに

Linuxにおける tree コマンドは、フォルダ構成を視覚的に確認するために便利なコマンドです。僕は特にドキュメントの作成時に tree コマンドを利用しフォルダ構成を図示します。

特定のアプリケーションのセットアップドキュメントを作成する際に、ツリー構造を表示しつつ想定するパーミッションを表示したい場合がありました。

tree コマンドのオプションを付与することでかんたんに実現できました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ tree --version
tree v1.6.0 (c) 1996 - 2011 by Steve Baker, Thomas Moore, Francesc Rocher, Kyosuke Tokoro

かんたんなフォルダ構成を作成

tree コマンドの動作を見るためにかんたんなフォルダ構成を用意します。

1
2
3
4
5


# 適当にディレクトリを作成
$ mkdir -p aaa bbb ccc/ddd

# 適当にファイルも配置
$ touch aaa/1.txt bbb/2.txt ccc/ddd/3.txt

結果、以下のようなファイルツリーが作成されました。

sedで置換処理が行われなかった場合に終了ステータスを0以外にする方法

Sun, 05 Apr 2020 21:54:09 +0900

はじめに

sed コマンドで s 内部コマンドを使って置換処理を行った場合、条件に該当する文字列が見つからず置換が行われなかったとしても、終了ステータス $? は 0 になります。

実際に置換されたのか？置換されなかったのか？を終了ステータス $? で判定する方法について紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ sed --version | head -n 1
sed (GNU sed) 4.8

準備

サンプルテキストデータ

動作確認のために置換処理に利用するテキストファイル ( test.txt ) を作成します。

1
2
3


cat <<EOF >test.txt
この文章はダミーです。文字の大きさ、量、字間、行間等を確認するために入れています。
EOF

sedで置換が行われた場合、行われなかった場合の終了コードを確認

sedで 置換が行われた場合 の終了ステータスを確認してみます。

1
2
3
4
5


$ sed 's/ダミー//' test.txt
この文章はです。文字の大きさ、量、字間、行間等を確認するために入れています。

$ echo $?
0

sedで 置換が行われなかった場合 の終了ステータスを確認してみます。

GitHub CLIを使ってコマンドラインからイシュー、プルリクを検索、表示してみる

Fri, 03 Apr 2020 22:54:19 +0900

はじめに

今年の 2 月に公開されたばかりの GitHub CLI というコマンドラインツールについて使ってみたので紹介してみます。

今までは hubコマンドを使っていましたが、話題になっているぐらいなので比較して有用性が高いはず、と思って使ってみました。

EC-CUBE の GitHub リポジトリのイシューを覗き見することが最近何度かあったため、イシューを検索、表示してみます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ zsh --version
zsh 5.8 (x86_64-apple-darwin18.7.0)

インストール

Mac はかんたんですね。

今日現在、公式ページには以下のコマンドでインストールできるとありました。

1

$ brew install github/gh/gh

セットアップ

1

$ gh issue list

初めてコマンドを実行する場合は、 GitHub CLI が GitHubAPI を呼び出すための権限を付与する必要があるようです。以下のメッセージが表示されます。

1
2


Notice: authentication required
Press Enter to open github.com in your browser...

Enter キーを押すとブラウザが起動し、以下のようなページが表示されます。

ダウンロードしたファイルのハッシュ値を確認するスクリプト

Tue, 31 Mar 2020 09:02:39 +0900

はじめに

他の方のエントリで、ダウンロードしたファイルのハッシュ値のチェック処理をシェルスクリプトで書かれていたので勉強がてら読んでみました。自分だったらこう書くかな？という違いが合ったので、良い勉強になりました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.16(1)-release (x86_64-apple-darwin18.7.0)

参考にしたスクリプト

config/check-hash at bc6679f9f3c273ba756d1da6b45640c9f08967f5 · tyru/config · GitHub

自分だったらこう書くかな？という部分を書き換えてました。

ファイル名は check-hash 。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57


#!/usr/bin/env bash
set -o errexit
set -o nounset
set -o noclobber

usage() {
 progname=$(basename "$0")
 cat <<EOM
Usage:
 ${progname} hash file
EOM
 exit 0
}

normalize_hash() {
 sed 's/ //g' | tr '[:lower:]' '[:upper:]'
}

detect_algo() {
 declare hash="${1}"
 if [[ ${hash} =~ [^0-9A-F] ]]; then
 echo "error: hash contains invalid character: ${hash}" >&2
 return 1
 fi
 case "${#hash}" in
 32) echo "MD5 md5sum" ;;
 40) echo "SHA1 sha1sum" ;;
 56) echo "SHA224 sha224sum" ;;
 64) echo "SHA256 sha256sum" ;;
 96) echo "SHA384 sha384sum" ;;
 128) echo "SHA512 sha512sum" ;;
 *)
 echo "error: could not detect hash algorithm: ${hash}" >&2
 return 1
 ;;
 esac
}

main() {
 [[ $# -ne 2 ]] && usage

 declare hash=$(echo ${1} | normalize_hash)
 declare file=$([[ ${2} != - ]] && echo "${2}" || echo /dev/stdin)

 read algo cmd < <(detect_algo "${hash}" || exit $?)
 declare hash_from_file=$("${cmd}" <"${file}" | awk '{ print $1 }' | normalize_hash)

 if [[ ${hash} != "${hash_from_file}" ]]; then
 echo "[Error] The hashes are different! (hash: ${hash}, file: ${hash_from_file}, algo: ${algo})" >&2
 return 1
 else
 echo "[Success] The hashes are same (algo: ${algo})"
 return 0
 fi
}

main "$@"

ひとこと

人のソースコードは、新しい書き方がたくさん見つかって面白い。

Bashシェルスクリプト内でaliasコマンドを使う方法

Mon, 16 Mar 2020 09:09:18 +0900

はじめに

Bashシェルスクリプト内で alias コマンドを使ってエイリアス設定しようとしてもデフォルトのままでは設定できません。

設定する方法について紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.16(1)-release (x86_64-apple-darwin18.7.0)

シェルスクリプト内で`alias`コマンドを使ってみる

ls -l コマンドをかんたんに扱うための ll というエイリアスを作成し、実行するスクリプトを用意してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# ファイルを作成
$ echo <<EOF > test.sh
#!/usr/bin/env bash

alias ll='ls -l'

ll /tmp/
EOF

# 実行権限を付与
$ chmod 700 test.sh

これを実行してみます。

シェルスクリプトでマルチバイト文字の文字数を確認する際の注意事項（おまけでJSTなど）

Wed, 04 Mar 2020 08:58:51 +0900

はじめに

Bashシェルスクリプトで日本語の全角文字（ex: あいう）の文字数を取得したかったのですが環境の設定に注意しないといけないことがありました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

マルチバイト文字のを含む文字列の「バイト数」「文字数」を取得

マルチバイト文字のを含む文字列の「バイト数」「文字数」をそれぞれ取得してみたいと思いました。

クリーンな環境が欲しかったので、 docker run で CentOS7 環境を利用してみました。

1
2
3
4


# 以下のコマンドでCentOS7上のログインシェルが起動
$ docker run --rm -it centos:7

[root@fbdeab6f7982 /]#

ここで、 あいう という全角3文字のバイト数、文字数を取得してみます。それぞれ wc -c 、 wc -m というコマンドに対してパイプ経由で文字列を渡してやります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


# -nオプション無しでechoすると改行文字が含まれてしまうことに注意！
$ echo あいう | wc -c
10

# これで改行が除外される（プロンプトがおかしな場所に出力されていることからわかる）
$ echo -n あいう
あいう$

# wc -c でバイト数を取得
$ echo -n あいう | wc -c
9

# wc -c で文字数を取得
$ echo -n あいう | wc -m
9

# 変数に代入して、変数の文字列長を取得する命令を利用してみる
$ X=あいう
$ echo ${#X}
9

「バイト数」は想定通りでしたが、「文字数」が正しく取得できません。（バイト数と同じ値になってしまいました。）

シェルスクリプトでクリップボードの監視をしてみる

Fri, 14 Feb 2020 08:30:53 +0900

はじめに

技術調査のためにひたすら参考になるキーワードをコピペしていましたが、自動的にテキストファイルに吐き出したかったのでスクリプトを書いてみました。

デフォルト状態ではMacで用意されているpbcopy/pbpasteコマンドで動作しますが、同等のコマンド名を引数で渡してやればLinuxやCygwinでも動作します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

スクリプト

watch_cb.sh という名前で作成しました。

クリップボードの内容が変わったタイミングで出力が行われます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


#!/usr/bin/env bash
set -o errexit
set -o nounset
set -o noclobber

COMMAND_TO_COPY="${1:-pbcopy}"
COMMAND_TO_PASTE="${2:-pbpaste}"

echo '' \
 | "${COMMAND_TO_COPY}"

PRE_CLIP=
while :; do
 CLIP="$(${COMMAND_TO_PASTE})"
 if [[ ${PRE_CLIP} != "${CLIP}" ]]; then
 # ---- Event occurs ----
 PRE_CLIP="${CLIP}"
 echo "${PRE_CLIP}"
 fi
 sleep 1
done

実行方法

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# コンソール上に表示するだけ
$ ./watch_cb.sh

# ファイルにも保存したい
$ ./watch_cb.sh | tee memo.txt

# 追記
$ ./watch_cb.sh | tee -a memo.txt

# 特定の条件に合致したものだけに絞り込む
$ ./watch_cb.sh | grep https | tee memo.txt

ひとこと

イベント発生部分を汎用化させれば、もっと色々できそう。

シェルスクリプトでデータを文字列の長い行順にソートする方法

Thu, 13 Feb 2020 08:32:20 +0900

はじめに

データを文字列の長い行順（あるいは短い行順）に並び替えする方法について説明します。

もともとのきっかけは、findコマンドで検出したディレクトリを階層の深い順に削除しないとエラーメッセージが表示される問題を解消したいということでした。「階層が深いディレクトリ＝パスの文字列が長いディレクトリ」をどうやってソートしようかなと考えて当エントリをまとめることにしました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

準備

適当にディレクトリを作成して試してみます。

スペースを含んでも正しく動作するかを確認したかったので、ここではあえてスペースを含むディレクトリも作ってみました。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


# 適当なディレクトリを作成する
$ mkdir -p aaa/bbb/ccc 'aaa/d ddd/ee'

# treeコマンドでディレクトリ構成を確認してみる
$ tree
.
└── aaa
 ├── bbb
 │   └── ccc
 └── d ddd
 └── ee

5 directories, 0 files

単純に`find`で出力してみる

まずは単純にfindでディレクトリのみを出力してみます。

シェルスクリプトでファイルに特定の文字が含まれているかどうかを高速に判定する方法

Mon, 10 Feb 2020 09:00:05 +0900

はじめに

ファイルに特定の文字が含まれていたら処理を行う、という分岐を書くときにgrepの実行結果を>/dev/nullに捨てる、という方法をとっていましたが、>/dev/nullを使わなくても良いということを知りました。

>/dev/nullを使う場合と比べてのメリットについても取り上げます。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ grep --version | head -n 1
grep (GNU grep) 2.20

`>/dev/null`を使ったやり方

今までは標準出力を無効化するために>/dev/nullを使っていました。

1から100まで書かれている100行のテキストファイルtest.txtについて、grepを行い分岐処理を行ってみます。まずはテストに使用するテキストファイルを作成します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# `seq` コマンドでファイルを作成
$ seq 1 100 >test.txt

# 確認。最初の3行を出力してみる
$ head -n 3 test.txt
1
2
3

# 確認。最後の3行を出力してみる
$ tail -n 3 test.txt
98
99
100

このファイルを使ってファイル内の文字列存在チェックを行ってみます。

インデントされたファイルを "while read" コマンドでループさせるとインデントが消えてしまう問題に対処

Fri, 07 Feb 2020 20:18:14 +0900

はじめに

シェルスクリプトで、インデントされたテキストファイルを while read 構文で読み込み処理したいが、インデントされている行の行頭のスペースが消えてしまうのでなんとかしたいという質問がありました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

問題

以下のようなファイルがあります。2行目がスペースでインデントされています。

1
2
3
4


$ cat a.txt
111
 222
333 444

これを while read 構文で読み込みループさせたいが、2行目の行頭のスペースが消えてしまうということでした。

1
2
3
4
5
6
7


$ while read -r line; do
 echo "$line"
 done <a.txt

111
222
333 444

解決方法は `IFS` 環境変数のクリア

解決方法は非常に単純で、 IFS 環境変数をクリア（空）にしてやることで対処できます。

1
2
3
4
5
6
7


$ while IFS= read -r line; do
 echo "$line"
 done <a.txt

111
 222
333 444

IFS 環境変数はinternal fieled separatorの省略で、 情報を分離するために利用される文字 が格納されています。 read コマンドはシェルのビルドインコマンドです。

シェルで全角/半角/大文字/小文字/ひらがな/カタカナ/英字の変換を行うためにuconvを使う

Wed, 05 Feb 2020 19:45:37 +0900

はじめに

コマンドラインから全角/半角/大文字/小文字/ひらがな/カタカナ/英字の変換を行うために便利そうな uconv というツールを見つけたので紹介します。サイトには以下のように書かれていました。

iconv(1) に加えて、Unicode 用の国際化コンポーネント (ICU) ツールセットの一部である uconv(1) コマンドも、1 つのエンコーディングから別のエンコーディングへの変換に使用できます。uconv は、229 のエンコーディングと、1000 を超える別名をサポートしています。

簡単にいうと iconv の上位互換ですね。もうこれがあったら文字列変換の多くが実現できるんじゃないかと思いました。

検証環境

1
2


$ uconv --version
uconv v2.1 ICU 64.2

インストール

uconv コマンドは icu というパッケージに含まれています。 RedHat系ディストリビューションとDebian系ディストリビューションでインストール方法に違いがあるので注意。

RedHat系

1
2
3


$ sudo yum install icu

$ uconv --version

Debian系(Ubuntu)

1
2
3


$ sudo apt-get install icu-devtools

$ uconv --version

※手前味噌ですが、Dockerイメージも公開しました。インストールは不要です。

1
2
3
4
5


$ docker run -i --rm genzouw/uconv --version
uconv v2.1 ICU 64.2

# ~/.bashrcや~/.zshrcにエイリアス設定しておくと便利
$ alias uconv='docker run -i --rm genzouw/uconv'

色々変換してみる

早速いろいろ変換してみます。

シェルスクリプトで数値を3桁ごとにカンマ区切りで表示する（Number Format）

Tue, 04 Feb 2020 14:00:39 +0900

はじめに

桁数の多い数値を見やすくするために、3 桁ごとにカンマ区切りで表示することがあります。昔の現場では「カンマ編集」と言われていました。また、多くのプログラミング言語に組み込み関数として用意されています。

金額をページ内に表示するとき利用されますね。

ex) 1,234,567

シェルスクリプトで実現する方法について取り上げます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

`printf`コマンドを使う ( シェルが`Bash 5系`である場合 )

printf コマンドを利用すれば OK。

シェルがBash 5系以上である場合は、組み込みコマンドであるprintfが利用できます。数値を出力するためのフォーマットは%dですが、%とdの間に'（シングルクォート）を挿入するとカンマ区切りで表示されます。

1
2
3
4
5
6
7


# 普通にprintfで数値を出力する場合
$ printf "%d\n" 1234567890
1234567890

# カンマ区切りのフォーマッタを使って出力する場合
$ printf "%'d\n" 1234567890
1,234,567,890

`sed`コマンドを使う ( シェルが`Bash 5系`でない場合 )

Bash が利用できなかったり、バージョンが古い場合にはsedで頑張ってみます。

1
2


$ echo 1234567890 | sed -E ':l; s/^([0-9]+)([0-9]{3})/\1,\2/; t l;';
1,234,567,890

簡単に解説すると、以下のような処理をsedで行っています。

docker-compose.ymlのcommandプロパティに複数コマンドを設定する方法

Tue, 28 Jan 2020 12:00:14 +0900

はじめに

Docker Compose は非常に便利ですね。

3 層構造 ( クライアント、Web、DB ) のアプリケーションを作る際には、最低限 Web のコンテナ、DB のコンテナの 2 つを同時に立ち上げる必要があります。

Docker Compose なら簡単に環境を構築できます。

これらのコンテナを立ち上げる前の準備処理を行ってきたい場合があります。 ( init コンテナとでも呼びましょうか。例えば設定ファイルを作ったり。 )

docker-compose.yml の command プロパティにこれらの初期処理を設定したかったのですが、シェルを複数コマンド記述したり、リダイレクトさせたりで少々ハマったので共有します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ docker-compose --version
docker-compose version 1.25.2, build 698e2846

どんなことがしたかったか？

初期処理として、以下のような 2 行のコマンドを実行してファイルを作成したいとします。

1
2


echo "Konnichiwa!" > /shared_dir/hello.txt
chmod 600 /shared_dir/hello.txt

シェルで記述すると非常に簡単です。ワンライナーだと以下のように記述できますね。

1

echo "Konnichiwa!" > /shared_dir/hello.txt; chmod 600 /shared_dir/hello.txt

改行で区切る代わりに ; を指定しています。

セットアップスクリプトなどでmkdir,cp,chown,chgrp,chmodが頻発するときにシンプルに記述する方法

Tue, 21 Jan 2020 12:00:17 +0900

はじめに

アプリケーションのセットアップスクリプト や Dockerfile 、 Vagrantfile を記述しているときに、以下のようなコマンドが乱立することがあります。

mkdir
cp
chown
chgrp
chmod

mkdir でコピー先のディレクトリを作成し、 cp でファイルをコピー、 chown / chgrp で所有者を変更し、 chmod でパーミッションを変更、といった記述をしだすと、4コマンドは実行することになります。

これを1コマンドでやってしまおうというのが今回のエントリです。

検証環境

今回は非常に軽量なDcokerイメージである alpine でも使えることを確認したいため、以下の環境を利用しました。

1
2
3
4
5


$ uname -moi
x86_64 unknown Linux

$ sh --help 2>&1 | head -n 1
BusyBox v1.30.1 (2019-06-12 17:51:55 UTC) multi-call binary.

ちなみに「Alpine Linux」は docker コマンドが利用できれば簡単に起動できます。

1

$ docker run -i -t --rm alpine

4つのコマンドを1コマンドで実現するためのコマンド `install`

答えとしては非常に簡単で、 install コマンドを利用します。

シェルである文章内からある単語の登場回数を調べる

Sun, 19 Jan 2020 07:30:52 +0900

はじめに

文章内から特定の単語の登場回数を調べる方法について紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

サンプル文章の用意

サンプル文章を用意します。

Wikipedia の「ONE_PIECE」のページをサンプルとして利用したいと思います。

1

$ curl -s https://ja.wikipedia.org/wiki/ONE_PIECE > one_piece.html

HTMLのタグが混ざり込んでいますが、特定の検索キーワードを探す分には問題ないでしょう。

`grep` を使って「特定の単語」の登場回数を調べる方法

はじめに断っておくと、 grep -c を使う方法はおすすめしません。

grep -c で検索対象の単語の登場回数を調べることができます。

1
2


$ grep -c ワンピース one_piece.html
138

ただし、注意が必要です。 grep -c の検索結果数は、 「単語の登場回数」 ではなく 「単語が1文字以上見つかった行数」 になっています。

1
2
3
4
5
6
7
8
9


# 3行の中に "ワンピース" の文字が6回登場している
$ grep ワンピース one_piece.html | head -n 3
<td>この項目では、尾田栄一郎の漫画について説明しています。アニメ版については「<a href="/wiki/ONE_PIECE_(%E3%82%A2%E3%83%8B%E3%83%A1)" title="ONE PIECE (アニメ)">ONE PIECE (アニメ)</a>」を、その他の「ワンピース」については「<a href="/wiki/%E3%83%AF%E3%83%B3%E3%83%94%E3%83%BC%E3%82%B9_(%E6%9B%96%E6%98%A7%E3%81%95%E5%9B%9E%E9%81%BF)" class="mw-disambig" title="ワンピース (曖昧さ回避)">ワンピース (曖昧さ回避)</a>」をご覧ください。
<p>『<b>ONE PIECE</b>』（ワンピース）は、<a href="/wiki/%E5%B0%BE%E7%94%B0%E6%A0%84%E4%B8%80%E9%83%8E" title="尾田栄一郎">尾田栄一郎</a>による<a href="/wiki/%E6%97%A5%E6%9C%AC" title="日本">日本</a>の<a href="/wiki/%E5%B0%91%E5%B9%B4%E6%BC%AB%E7%94%BB" title="少年漫画">少年漫画</a>作品。『<a href="/wiki/%E9%80%B1%E5%88%8A%E5%B0%91%E5%B9%B4%E3%82%B8%E3%83%A3%E3%83%B3%E3%83%97" title="週刊少年ジャンプ"> 週刊少年ジャンプ</a>』（<a href="/wiki/%E9%9B%86%E8%8B%B1%E7%A4%BE" title="集英社">集英社</a>）にて<a href="/wiki/1997%E5%B9%B4" title="1997年">1997年</a>34号より連載中。略称は「<b>ワンピ</b>」。
<li class="toclevel-2 tocsection-60"><a href="#ワンピース・プレミア・サマー"><span class="tocnumber">12.2</span> <span class="toctext">ワンピース・プレミア・サマー</span></a></li>

# この結果を `grep -c` で検索すると、 6ではなく3という結果が帰ってくる
$ grep ワンピース one_piece.html | head -n 3 | grep -c ワンピース
3

`grep -o ... | wc -l` を使う方法

行数ではなく単語の登場回数を知りたい場合には、 grep -o の結果を wc -l にパイプで繋いでやるほうが良いでしょう。

Bashシェルスクリプトで文字列変数を部分的に切り出す（substring）

Sat, 18 Jan 2020 11:30:34 +0900

はじめに

Bash シェルスクリプトで変数に格納されている文字列を部分的に切り出す方法について。

サンプルコードを掲載しますが、 GNU Bash でのみ動作する機能もありますので、ご注意ください。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

先頭（左）から数文字切り出す

文字列が格納された変数に対して、 先頭（左）から数文字切り出す には、以下のようなコマンドを利用します。

※先頭から 4 文字を切り出してみます 。

1
2
3
4


$ STR="Hello World"

$ echo ${STR:0:4}
Hell

Bash の変数は、 ${STR:offset:length} の形式で参照すれば文字列の一部を切り出すことができます。

offset : 切り出し開始位置(先頭から切り取りたい場合は 0 を指定)
length : 切り出し文字数

また、 0 は省略可能です。

1
2
3


# echo ${STR:0:4} と同じ結果となります
$ echo ${STR::4}
Hell

末尾（右）から数文字切り出す

先程と同じ変数参照の機能を利用します。

Bashシェルスクリプトで数値の絶対値を算出する方法

Wed, 15 Jan 2020 12:30:53 +0900

はじめに

以前もエントリを書きましたが、簡単な計算であればBash上で計算できます。

整数のみの計算であれば、以下のように実現できます。

1
2


$ echo $((10/2))
5

今回は絶対値を計算する方法について考えてみます。

検証環境

1
2
3
4


x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

1.計算結果が正か負かの判定を行う方法

判定処理を行い大きい方から小さい方を引き算する方法です。

1
2
3
4
5
6
7
8
9


$ A=10
$ B=15

# 普通に計算するとマイナスになる
$ echo $((A-B))
-5

# 三項演算子を使って演算を反転してやる
$ echo $((A > B ? A - B : B - A))

2.マイナスを削り取る方法

単純に計算結果の先頭１文字が - だった場合には削り取ります。

Bashシェルスクリプトでログ出力をシンプルに実現する方法

Mon, 06 Jan 2020 12:00:27 +0900

はじめに

シェルスクリプトはお世辞にも読みやすいコードとは言えません。なのでできる限りシンプルに、短く記述したいのですが、工夫をしないと ログ出力 処理がごちゃごちゃしてしまいます。

例えば、すべての出力、エラー出力をログとして保存しようとすると以下のような記述ができます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


#!/usr/bin/env bash

LOG_OUT=/tmp/stdout.log
LOG_ERR=/tmp/stderr.log

# 標準出力
echo foo1 >>$LOG_OUT 2>>$LOG_ERR
echo foo2 >>$LOG_OUT 2>>$LOG_ERR
echo foo3 >>$LOG_OUT 2>>$LOG_ERR
# 標準エラー出力
ls /foo >>$LOG_OUT 2>>$LOG_ERR
rm /foo >>$LOG_OUT 2>>$LOG_ERR

実行結果は以下のようになります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ ./test.sh

$ cat /tmp/stdout.log
foo1
foo2
foo3

$ cat /tmp/stderr.log
ls: cannot access '/foo': No such file or directory
rm: cannot remove '/foo': No such file or directory

スクリプトが小さな間は良いのですが、大きくなってきた場合、このような記述が乱立していると非常に見にくいです。

Bashシェルスクリプトでiniファイルを読み、環境変数を定義する

Mon, 23 Dec 2019 15:00:05 +0900

はじめに

$HOME/.bitbucket という INI ファイル形式のファイルを読み込み、 ... = ... 形式で書かれている行から環境変数を定義したくなりました。簡単なコードで実現してみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

`sed` を使う

sed を使って、 ... = ... というフォーマットの行だけを抽出して source コマンドに食わせます。

1
2
3
4
5


# iniファイルのファイルパスを定義
$ declare -r INI_FILE="$HOME/.bitbucket"

# ... = ... 形式の行のみを抽出して、 source コマンドに食わせる
$ source <(sed -n -E 's/^\s*(\S+)\s*=\s*(.+)$/\1=\2/p' <"${INI_FILE}")

ちなみに、特定のセクション ( [ ... ] )以降に書かれている設定のみを読み込むには以下のように記述します。

fzfを使ってghqで取得したリポジトリ一覧を検索しcdするためのコマンドを作成

Fri, 20 Dec 2019 15:51:22 +0900

はじめに

既存のすべてのBitbucketリポジトリをGithubに移行するためのシェルコマンドで、 Github や Bitbucket のリポジトリの取得方法、取得したソースコードの配置場所を統合できましたが、これらのリポジトリの検索や移動がもっと楽にするために検索・移動コマンドを作成してみたいと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

必要なもの

作成したコマンド（関数）

以下の関数を定義します。

1
2
3
4


$ fgh() {
 declare -r REPO_NAME="$(ghq list >/dev/null | fzf-tmux --reverse +m)"
 [[ -n "${REPO_NAME}" ]] && cd "$(ghq root)/${REPO_NAME}"
}

ghq で取得したリポジトリを検索したい場合はこの関数を実行します。

1

$ fgh

以下に今回作成した関数を実行した動画を共有します。

~/.bashrc や ~/.zshrc に追記しておくと良いですね。

ひとこと

各ネタが付きたので軽めのエントリでした。

Bashシェルスクリプトで文字列を分割(split)する方法いろいろ

Tue, 17 Dec 2019 12:00:57 +0900

はじめに

最近、Bash で特定の文字 ( あるいは文字列 ) で連結されている文字列を分割して配列に代入したい場合の方法について聞かれることがあったのでまとめました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

大きく 2 つのケースを考えてみる

文字列の分割 ( split ) について、大きく 2 つのケースを考えてみます。

単一の文字で分割
複数の文字 ( 文字列 ) で分割

単一の文字で分割する方法

1.変数参照時に置換する

Bash では、スペースを区切り文字として取り扱います。したがって、区切り文字をスペースに置換し、 (..) で囲んで配列にします。最も簡潔に実現できます ( 問題点については後述 ) 。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


$ STR="I,am,a,pen"

# split
$ ARR=(${STR//,/ })

# 配列の1番目の要素
$ echo ${ARR[0]}
I

# 配列の2番目の要素
$ echo ${ARR[1]}
am

# ループで1要素ずつ出力
$ for S in "${ARR[@]}"; do echo "$S"; done
I
am
a
pen

※ただし、この方法には問題があります。本来区切り文字でないスペースが含まれている場合、スペースで区切られてしまいます。

Bashシェルスクリプトでは、関数の中に関数がかける

Mon, 16 Dec 2019 12:00:58 +0900

はじめに

GitHub 上のシェルスクリプトを見ていたときに面白そうな機能を見つけたので投稿しておきます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

関数の中に関数がかける

スクリプトを見ながら確認してみましょう。

まずは関数を定義します。

1
2
3


$ func1 () {
 echo "Hello world"
}

定義した関数を呼び出してみます。

1
2


$ func1
Hello world

ここから、 func1 の定義を変更します。 func1 の中で func2 という関数を定義し、さら呼び出してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# 関数を定義する
$ func1 () {
 # 関数func2を定義する
 func2 () {
 echo "I am sub function."
 }

 echo "Hello world"

 # func2を呼び出す
 func2
}

関数 func1 を実行した結果は以下のようになります。

lessコマンドで文字列検索したときに大文字小文字を無視させる設定方法

Sat, 14 Dec 2019 15:56:31 +0900

はじめに

古いサーバー環境では less の検索機能で大文字小文字を区別していなかったのに、新しく構築したサーバで大文字小文字を区別するようになって使いづらかったため、設定方法について書こうと思います。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ less --version | head -n 2
less 458 (POSIX regular expressions)
Copyright (C) 1984-2012 Mark Nudelman

大文字小文字を無視するオプション `-i`

less コマンド実行時に、 -i オプションを指定することで、 less コマンド起動後の検索で大文字小文字を無視させることができます。

/etc/passwd ファイルを less で開いて検索する例を取り上げます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


$ cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

以下のように less コマンドをパイプで繋いで起動してみます。

Bashシェルスクリプトで変数の値を変数名として別の変数を参照する方法

Fri, 13 Dec 2019 12:00:03 +0900

はじめに

Bash で変数の値を使って、別の変数を参照するにはどう書けばよいでしょう？

少々説明がくどいですが、PHP や他の言語では普通にできるコードを書けるか？というお話です。

実際に PHP で書く場合と Bash で書く場合を見ていきます。

検証環境

1
2
3
4
5
6


$ uname -moi
x86_64 MacBookPro11,4 Darwin


$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

PHP のコードサンプル

以下のように $var1 , $var2 , $var3 の 3 つの変数を、ループを使って参照する場合には以下のようなコードで実現できます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


<?php

$var1 = '111';
$var2 = '222';
$var3 = '333';

for ($i = 1; $i <= 3; ++$i) {
 $varName = "var${i}";
 echo "$i = ${$varName}" . PHP_EOL;
}

1
2
3
4


$ php test.php
1 = 111
2 = 222
3 = 333

Bash のコードサンプル

方法は 2 つあります。

既存のすべてのBitbucketリポジトリをGithubに移行するためのシェルコマンド

Sun, 08 Dec 2019 22:57:19 +0900

はじめに

GitHub で無制限にプライベートリポジトリを作成できるようになったため、今まで Bitbucket で管理していた自分のリポジトリを Github に移行しました。

大したコマンドではないのですが、移行のために実行したコマンドを共有します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

$ hub --version
git version 2.24.0
hub version 2.13.0

前提条件

コマンドラインから Github を操作するためのコマンドである github/hub がインストールされていることが前提となります。

hub コマンドについては以前、別のエントリで紹介しています。よかったらご参考ください。
- コマンドラインから”Docker Hub”からDockerイメージを検索し詳細ページを開く | ゲンゾウ用ポストイット

実行コマンド

以下のコマンドを、 git clone した作業ディレクトリが配置されているディレクトリ配下で実行します。 .git ディレクトリを探し出し、自動的に Github 上にリポジトリを作成していきます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


$ find . -type d -name .git \
 | while read GIT_DIR; do

 # .gitディレクトリが置かれているディレクトリに移動
 cd "$(dirname "${GIT_DIR}")"

 # 設定済みのリモートブランチを一度削除
 git remote rm origin

 # github上にプライベートリポジトリを作成
 hub create -p

 # 早すぎると作成したばかりのgithubリポジトリにpushできないことがあるので気持ち待つ
 sleep 3

 # push
 git push -u
 done

ひとこと

このあと、 ghq コマンドを使ってすべてのリポジトリを取得してきましたがまた機会を見てそのコマンドも掲載します。

Bashシェルスクリプトで「.」や「source」コマンド経由で呼び出されていないかをチェックする方法

Thu, 05 Dec 2019 08:00:06 +0900

はじめに

Bashシェルスクリプトで関数のコールスタックを取得・出力するの続きです。続きというよりも、当エントリを書きたかったための前振りが上記のエントリです。

実行するシェルスクリプトが、 . や source コマンド経由で呼び出された場合には、内部で定義されている変数や関数がカレントプロセス上に展開されることになります。スクリプトのファイル内に書かれている変数や関数が漏れてしまうのを避けるための方法を共有します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`$FUNCNAME` 変数をハックする

Bashシェルスクリプトで関数のコールスタックを取得・出力するで見たとおり、 . または source コマンドを使って呼び出されたスクリプトは、 $FUNCNAME 変数のスタックトレース上に source という関数スタックが積まれます。

この仕組みを利用し、 is_sourced という関数を作成し、判定を行います。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


#!/usr/bin/env bash

function is_sourced() {
 [[ "${FUNCNAME[1]}" == "source" ]] && return 0 || return 1
}

# 真の場合は0となり、 `&&` の後ろのコマンドが実行される。
# 偽の場合は1となり、 `&&` の後ろのコマンドは実行されない。
is_sourced \
 && echo '. や source コマンドを使って呼び出してはだめだよ！！'

ひとこと

. または source コマンドを使って呼び出されることを期待する場合には以下のように記述すればOKですね。

Bashシェルスクリプトで関数のコールスタックを取得・出力する

Wed, 04 Dec 2019 21:25:15 +0900

はじめに

Bashシェルスクリプトでログを出力する際などに以下のような情報が欲しい場合がありました。

「現在実行中の関数」の名前
「現在実行中の関数」の呼び出し元

これらの情報を取得する方法を説明します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`$FUNCNAME` 変数を使って「コールスタック」を参照する

$FUNCNAME という配列の変数を参照することで、関数の「コールスタック」情報が取得できます。

サンプルスクリプトを通して、使い方を見ていきましょう。

サンプルスクリプトで確認してみる

以下のような2つのスクリプトを作成して動作を確認してみます。

1
2


$ ls
script_main.sh script_sub.sh

1
2
3
4
5
6
7
8


$ cat script_main.sh
#!/usr/bin/env bash

./script_sub.sh

echo

. ./script_sub.sh

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


$ cat script_sub.sh
#!/usr/bin/env bash

f1 () {
 declare -p FUNCNAME
 echo "${FUNCNAME[@]}"
 echo "0 = ${FUNCNAME[0]}"
 echo "1 = ${FUNCNAME[1]}"
 echo "2 = ${FUNCNAME[2]}"
 echo "3 = ${FUNCNAME[3]}"
}

f2 () {
 f1
}

f2

f1 関数を呼び出すまでの流れは大きく以下のようになっています。

Alpine Linuxのapkコマンドでインストール可能なパッケージを検索する方法

Thu, 28 Nov 2019 17:34:00 +0900

はじめに

dig コマンドや nmap をつかって、サーバの外部からの見え方を調査する必要がありました。軽量でクリーンなLinux環境がほしかったので、 Alpine Linux を使ってみたのですが、パッケージの探し方について yum や apt との違いが理解できていませんでした。

特に導入したいコマンドを含むパッケージをどうやって探すかについて知らなかったので調べてみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

まずは “Alpine Linux” の起動

docker コマンドを使って、 “Alpine Linux” を起動します。以下のコマンドを実行すれば初回実行時のみ、 “Docker Hub” からイメージファイルがダウンロードされます。ダウンロードが完了していれば、直ちに “Alpine Linux” コンテナが起動し、ログイン済み状態となります。

1
2


$ docker run -i -t --rm alpine
/ #

1. 「インストール可能なパッケージ」をWebから検索する方法

“Alpine Linux” で使えるパッケージは Alpine Linux packages というサイトから検索できる。

シェルスクリプトでラーメンを食べたい思いをワンライナー

Wed, 09 Oct 2019 18:25:32 +0900

はじめに

今日はラーメン食べにいくぞ！という思いをワンライナーで。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

準備

1

$ for i in {1..30}; do for j in {$i..30}; do echo -n "\U1F35C"; done; echo; done | tac

折り返すと以下のようになります。

1
2
3
4
5
6
7


$ for i in {1..30}; do
 for j in {$i..30}; do
 echo -n "\U1F35C"
 done
 echo
done \
 | tac

ひとこと

今からラーメン食べにいきます。

シェルスクリプトで上下左右から何文字か切り取る方法(行列の操作)

Tue, 08 Oct 2019 09:32:53 +0900

はじめに

シェルスクリプトで上下左右から文字列を切り取る方法について。共通したコマンドがないため、いくつかのコマンドを組み合わせて実現することになります。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

準備

以下のコマンドを実行し、操作対象のテキストファイルを作成します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


# 2重ループさせる
$ (
 for i in {0..9}; do
 echo -n $i
 for j in {1..9}; do echo -n $j; done
 echo
 done
 ) >sample.txt

# 一番左の列に0から始まる行番号が出力されている
$ cat sample.txt
0123456789
1123456789
2123456789
3123456789
4123456789
5123456789
6123456789
7123456789
8123456789
9123456789

いろいろな切り取り方法

上から2行切り取り

sed コマンドを利用する方法があります。

イメージファイルをターミナル用の色付アスキーアートに変換するWebAPIを公開しました。

Fri, 27 Sep 2019 13:12:22 +0900

はじめに

ANSI エスケープシーケンス といって、Unix系のターミナル上に色付きの文字列を出力することができます。

例えば、 echo コマンドでは出力したい文字列の前に \e[35m （数値部分は任意。）といった制御文字を出力させることでターミナルに出力される文字列に色を付けることができます。

$ echo '\e[35mHello\e[0m! \e[31mWorld\e[0m!'
Hello! World!

イメージファイルを指定して、色付アスキーアート文字列を出力できたらと思いWebAPIを作成してみました。

img2txt

img2txt

機能

イメージファイルのURLを指定すると、Unixターミナル用の色付アスキーアートを取得できます。

WebAPIのエンドポイントURL

https://img2txt.genzouw.com

使い方

基本

curl コマンドを利用するのが簡単です。 curl コマンドでWebAPIを呼び出します。

urlパラメータ ：イメージファイルのURLを指定します。

# 右記のイメージファイルURLをWebAPIに渡します → https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_272x92dp.png 
$ curl -sS 'https://img2txt.genzouw.com?url=https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_272x92dp.png'

ターミナルに以下のようなアスキーアートが表示されるはずです。

応用

出力内容をトリミングすることもできます。

tlパラメータ ： 数値を指定します。 左からN列を除去します。
trパラメータ ： 数値を指定します。 右からN列を除去します。
ttパラメータ ： 数値を指定します。 上からN行を除去します。
tbパラメータ ： 数値を指定します。 下からN行を除去します。

# 左から10列を削除
$ curl -sS 'https://img2txt.genzouw.com?url=https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_272x92dp.png&tl=10'

# 上下左右10行、10列を削除
$ curl -sS 'https://img2txt.genzouw.com?url=https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_272x92dp.png&tl=10&tr=10&tt=10&tb=10'

ひとこと

感想をお待ちしております。

sedで複数行にまたがった文字列を置換する方法

Mon, 09 Sep 2019 08:57:46 +0900

はじめに

sed コマンドで置換する場合、複数行にまたがった文字列も置換対象としたい場合があります。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

$ sed --version | head -n 1
sed (GNU sed) 4.2.2

置換対象の文字列が複数行にまたがる場合とは？

sed はラインエディタの思想を受け継いでいるため、 基本的に入力情報を１行ずつ受け取って処理を行 います。

例えば、 % で囲まれた部分を空文字に置換するといった場合、合致パターンが 1 行で収まるため容易に置換できます。

1
2
3
4
5


$ echo 'xx%aaa%yyy'
xx%aaa%yyy

$ echo 'xx%aaa%yyy' | sed 's/%.*%//'
xxyyy

ところが、 合致パターンが複数行にまたがったときにはうまく置換してくれません 。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 2つの%の間に改行が含まれている
$ echo 'xxx%aaa
bbb%yyy'
xxx%aaa
bbb%yyy

# 置換されない
$ echo 'xxx%aaa
bbb%yyy' | sed 's/%.*%//'
xxx%aaa
bbb%yyy

2 つの対処法を取り上げます。

Dockerのイメージビルド中でapt-getを高速化するたった1つの方法

Wed, 04 Sep 2019 08:51:35 +0900

はじめに

(追記)煽りタイトルが思っていたより反響があるのだなと思いました。

Dockerのイメージビルド処理は少しでも速い方が、試行錯誤にかかる時間を減らすことができます。

apt-get にかかる時間が全体のそこそこの時間を占めているのでなんとかできないかと思いました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

何も対処しない場合の処理時間

curl と postgresql-client が必要だったので、この２つをインストールしただけのイメージを作成してみます。

以下のような Dockerfile を作成します。

1
2
3
4
5
6
7
8


FROM ubuntu:19.10

RUN apt-get update \
 && apt-get install --no-install-recommends -y \
 curl \
 postgresql-client \
 && apt-get clean \
 && rm -r /var/lib/apt/lists/*

この Dockerfile を使ってイメージをビルドしてみます。

curl+pup+Dockerを使ってシェルスクリプトでスクレイピング

Mon, 02 Sep 2019 08:54:01 +0900

はじめに

コマンドラインあるいはシェルスクリプトでスクレイピングするときに pup というツールを使っていましたが、１から環境構築する場合を考え Docker を利用する方法を整理してみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

前提

以下のツールがインストールされていること

curl
Docker

早速試してみる

ちょうど良さそうなサイトを探したところ、以下のサイトを見つけました。表示されているイメージを収集してみます。

GO ON A JOURNEY

まずはページのHTMLを取得してみます。

1

$ curl -s https://itstudio.co/sample/flex-gallery/index.html

これを pup ツールに食わせてパースしたいのですが、今回はローカルPCに pup をインストールせず、 pup インストール済みの Docker イメージを利用してみます。 ( ※初回はDockerイメージを取得するため遅いです。 )

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


$ curl -s https://itstudio.co/sample/flex-gallery/index.html \
 | docker run -i --rm sheogorath/pup-docker ".gallery-img img attr{src}"
images/gallery_1.jpg
images/gallery_2.jpg
images/gallery_3.jpg
images/gallery_4.jpg
images/gallery_5.jpg
images/gallery_6.jpg
images/gallery_7.jpg
images/gallery_8.jpg
images/gallery_9.jpg
images/gallery_10.jpg

もし pup がインストールされている場合は、以下のコマンドと同義です。

"mkdir"コマンドでディレクトリを作成する際には存在チェックはしなくても良い

Fri, 23 Aug 2019 08:00:36 +0900

はじめに

シェルスクリプトでディレクトリを作成し、 cd コマンドで移動します、というようなロジックを書くことがあります。

mkdir コマンドを単純に実行してしまうと、すでにディレクトリが存在しているときにエラーを吐いてしまうため、ディレクトリ存在チェックを行う必要がありますが面倒です。

これは簡単に解決できます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

ディレクトリの存在チェックロジックを実装する方法

よく記述していたのは次のようなコードでした。事前にディレクトリの存在チェックを行い、見つからなかった場合のみディレクトリを作成します。

1
2


[ ! -d "/tmp/of/work" ] && mkdir -p "/tmp/of/work"
cd "/tmp/of/work"

`mkdir -p` コマンドを使ってディレクトリを作成する場合は存在チェックは不要

実はディレクトリの存在チェックを行わなくても先のスクリプトは問題なく動作します。 mkdir -p コマンドは次のような挙動をします。

作成対象ディレクトリの親ディレクトリが存在しない場合 はすべての親ディレクトリを作成する
作成対象ディレクトリがすでに存在している場合 は何も行わず、エラーもはかない

試してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


# 一旦ディレクトリを作成
$ mkdir -p /tmp/of/work

$ ls -l -d /tmp/of/work/
drwxr-xr-x 2 root root 64 Aug 22 08:26 /tmp/of/work/

# オプション無しですでに存在しているディレクトリを作成
$ mkdir /tmp/of/work
mkdir: cannot create directory '/tmp/of/work': File exists

$ echo $?
1

# -pオプション有りだとエラーを吐かない
$ mkdir -p /tmp/of/work

$ echo $?
0

したがって、先のスクリプトは次のようにかけます。

"ls"コマンドで隠しファイルは出力したいが "." と ".." は出力させない

Thu, 22 Aug 2019 08:19:26 +0900

はじめに

man や --help を調べればすぐわかりますが、使えると思いましたので投稿します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`ls` コマンド

オプション無しで実行

隠しファイルは見つかりません。

1
2
3
4
5
6
7
8


$ pwd
/root

$ ls | wc -l
1

$ ls
anaconda-ks.cfg

`-a` オプション付きで実行

-a オプション付きで実行すると、隠しファイル(ディレクトリを含む)を含めてファイルが一覧表示されます。ただし、カレントディレクトリを表す “.” と親ディレクトリを表す “..” が出力されてしまいます。

1
2
3
4
5
6
7
8


$ pwd
/root

$ ls -a | wc -l
10

$ ls -a
. .. .bash_logout .bash_profile .bashrc .cshrc .lesshst .pki .tcshrc anaconda-ks.cfg

`-A` オプション付きで実行

-a オプションの代わりに -A オプションを使うと、隠しファイル(ディレクトリを含む)が表示されますが、 . や .. が対象から除外されます。対象は -a オプション付きのときより2ファイル少ない、8ファイルとなっています。

インタラクティブなシェルでバックグランドジョブの完了メッセージを表示させない方法

Fri, 09 Aug 2019 11:54:17 +0900

はじめに

インタラクティブなシェルでバックグランドジョブを実行させると、ジョブ完了のメッセージが表示されますが、 .bashrc あるいは .zshrc でバックグラウンドジョブ実行した場合にこれが煩わしいのでなんとかしたいと思いました。

解決方法を共有します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

問題の確認

バックグランドジョブ実行を使うと、時間のかかる処理を実行中に別の操作を行うことができます。便利なのですが、ジョブ完了のメッセージが煩わしい場合があります。 ( ex: 調査をしていて、コンソール出力内容をログとして残している )

ここでいう「ジョブ完了メッセージ」とは以下のようなコマンドを実行した際に出力される内容です。

<実行コマンド>

1
2


> /dev/null & # バックグラウンドジョブ実行（何でも良い）
sleep 1 # バックグラウンドジョブの完了を待つ

実行結果は以下のようになります。

1
2
3
4


$ > /dev/null & # バックグラウンドジョブ実行（何でも良い）
[1] 118
$ sleep 1 # バックグラウンドジョブの完了を待つ
[1]+ Done > /dev/null

Done の行を出力したくない場合にどうしたらよいでしょう？

対処法

バックグラウンド実行させるジョブを (...) のようにカッコで囲んであげるだけで解決できます。

シェルスクリプトで任意のプロセスの終了を待って、別のコマンドを実行させる方法(ループ無し)

Wed, 17 Jul 2019 12:51:08 +0900

はじめに

プロセスIDが特定できているが、このプロセスが終了したことを確認して次の処理を実行させたい場合にどうするのがよいでしょう？

プロセス終了を持って、Macの通知バーにメッセージを表示させたかったのですが、 while ループと sleep コマンドでプロセス終了を監視する以外にうまい方法がないかを調べてみました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

$ tail --version | head -n 1
tail (GNU coreutils) 8.31

tailコマンドに便利なオプションがあった！

tail コマンドのマニュアルにぴったりなオプションがありました。

1
2


 --pid=PID
 with -f, terminate after process ID, PID dies

該当のプロセスIDの処理が終了するまで tail -f を続けてくれるオプションになります。

ただし、今回は tail したいファイルはありませんので、ちょっとしたコツが必要です。

試してみる

まずはターミナルを開き、以下のようなファイルを作成します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ cat <<'EOF' >test.sh
#!/usr/bin/env bash
set -o errexit
set -o nounset
set -o noclobber

while true; do
 echo .
 sleep 1
done
EOF

$ chmod 700 test.sh

実行します。1秒おきに . が出力されるはずです。

`sed` で検索文字列を含む行の行番号だけを出力する方法

Mon, 08 Jul 2019 08:45:32 +0900

はじめに

検索文字列を含む行の 「行番号」 だけを出力させたいときの方法について。 sed を使って実現できます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

`sed` の `=内部コマンド` を利用する

sed の = というコマンドを利用します。

このコマンドは非常にシンプルなものであまり使いみちがないと思っていたのですが、検索した結果の「行番号」を取得したいケースがあり、その時だけ活用できました。

早速試してみます。百人一首のなかから特定も文字列を含む行の行番号だけをピックアップしてみます。

以下のコマンドでひらがなだけの百人一首データをダウンロードします。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


# データファイルをダウンロード
$ curl -s -O /wp-content/uploads/2023/01/hyakuninissyu.txt

# 確認
## 先頭の数件を確認
$ head hyakuninissyu.txt
あきのたのかりほのいほのとまをあらみわがころもではつゆにぬれつつ
はるすぎてなつきにけらししろたへのころもほすてふあまのかぐやま
あしびきのやまどりのをのしだりをのながながしよをひとりかもねむ
たごのうらにうちいでてみればしろたへのふじのたかねにゆきはふりつつ
おくやまにもみぢふみわけなくしかのこゑきくときぞあきはかなしき
かささぎのわたせるはしにおくしものしろきをみればよぞふけにける
あまのはらふりさけみればかすがなるみかさのやまにいでしつきかも
わがいほはみやこのたつみしかぞすむよをうぢやまとひとはいふなり
はなのいろはうつりにけりないたづらにわがみよにふるながめせしまに
これやこのゆくもかへるもわかれてはしるもしらぬもあふさかのせき

$ wc -l hyakuninissyu.txt
100 hyakuninissyu.txt

昔からこどもたちと一緒に遊んでいました。なんとなく「なには」の文字の登場比率が多いと思っていました。これを含む行を調べてみます。

シェルスクリプトだとFizzBuzzが１行(ワンライナー)で書ける

Fri, 05 Jul 2019 08:20:14 +0900

はじめに

小ネタ。シェルスクリプトでFizzBuzzを書いたらどんなふうにかけるかを試してみました。

検証環境

1
2
3
4
5


$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

$ sed --version | head -n 1
sed (GNU sed) 4.7

結果

1

$ seq 30 | sed '0~3s/[0-9]*$/Fizz/' | sed '0~5s/[0-9]*$/Buzz/'

実行結果は以下の通り。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


1
2
Fizz
4
Buzz
Fizz
7
8
Fizz
Buzz
11
Fizz
13
14
FizzBuzz
16
17
Fizz
19
Buzz
Fizz
22
23
Fizz
Buzz
26
Fizz
28
29
FizzBuzz

解説

はじめの seq は数字を列挙するために利用しています。

シェルスクリプトで開始日から終了日までの日付をYYYYMMDD形式で一覧出力する

Mon, 01 Jul 2019 08:30:03 +0900

今日は小ネタ。何度か記述することがあったので、整理しました。

検証環境

1
2


$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

コマンド

START_DATE には「YYYYMMDD」形式で開始日を、 END_DATE には「YYYYMMDD」形式で終了日を指定します。

1
2
3
4
5
6


START_DATE=20190125
END_DATE=20190201

for ((D = START_DATE; D <= END_DATE; D = $(date -d "${D} + 1days" +%Y%m%d))); do
 echo "${D}"
done

上記の環境変数設定で実行した結果は以下の通り。

ひとこと

ホント小ネタ。

xargsを使う際には`echo`は書かなくてもよいことをmanページから知った

Fri, 28 Jun 2019 14:00:10 +0900

はじめに

小さなことですが、 xargs の man ページを見ていて気づいたことが 2つありました。

検証環境

1
2
3
4
5


$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ xargs --version | head -n 1
xargs (GNU findutils) 4.5.11

`man` ページの一部抜粋

一部抜粋します。以下のようなことが書いてありました。

1
2


xargs reads items from the standard input, delimited by blanks (which can be protected with double or single quotes or a backslash) or newlines,
and executes the command (default is /bin/echo) one or more times with any initial-arguments followed by items read from standard input.

今回学んだことは2点。

Bashシェルスクリプトのヒアドキュメントとは一体何か？

Thu, 27 Jun 2019 12:00:48 +0900

はじめに

シェルスクリプトを書いていてよく利用する記法として「ヒアドキュメント」があります。

Wikipediaには「文字列リテラルをソースコード中に埋め込む方法のひとつ」という記載がありますが、「文字列リテラル」という認識でいると echo しようとして何も表示されないというミスをすることもあります。

検証環境

1
2


$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

ヒアドキュメントを使って文字列を出力する

文字列を出力したい場合、ヒアドキュメントを使って出力させる方法があります。複数行にまたがるような長い文字列を出力したい場合に利用されることが多いです。

以下は cat コマンドを利用してヒアドキュメントを出力させる例です。

1
2
3
4
5


$ cat <<EOF
Hello World!

My name is ${USER}.
EOF

実行結果は以下のようになります。

1
2
3


Hello World!

My name is genzouw.

ヒアドキュメントに埋め込まれた「変数」は展開されます。

`echo` では出力できない

文字列を出力するというイメージからついつい echo を使ってしまうことがありますが、これはNGです。

1
2
3
4
5


$ echo <<EOF
Hello World!

My name is ${USER}.
EOF

上記のコマンドを実行しても何も出力されません。

grepで単語単位で検索("is"は対象とするが"this"は対象にしたくない)

Tue, 25 Jun 2019 08:30:16 +0900

はじめに

英単語一覧データが CSV ファイルとして提供されている場合に “is” を検索したいが、 “this” や “English” は対象から外したい、といったことを grep コマンドで実現する方法です。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

検索対象の英文サンプルを用意

今回処理させたい英文のサンプルを用意します。

1
2
3
4
5


cat <<'EOF' > sartre.txt
Man is condemned to be free.
Because once thrown into the world,
he is responsible for everything he does.
EOF

実存主義思想で有名なサルトルの言葉です。 余談ですが『存在と無』という書籍では「人間は自由という刑に処せられている」という思想を主張しているように、自由（自分で決められること）は責任を伴います。

シェルでファイルにリダイレクトしたときに"Permission denied"と怒られたときの対処

Sun, 23 Jun 2019 10:29:44 +0900

はじめに

定期的に質問される問題について。

「パイプで繋いで処理した情報を別ファイルにリダイレクトしたいが、実行ユーザの書き込み権限がないために Permission denied が発生してしまい良い方法がないか？」

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

具体例

前提

処理実行ユーザは root のような /etc ディレクトリ配下を編集する権限はない
ただし、 sudo を使えば変更が可能 + /etc 配下にファイルを書き込みたい

実行したい内容

/etc/passwd ファイルをフィルタリングして、 /etc/passwd.bk を作りたいとします。

1
2
3
4
5
6
7


# "genzouw" さんのユーザだけをバックアップしておきたい
$ grep genzouw /etc/passwd
genzouw:x:1000:1000::/home/genzouw:/bin/zsh

# > で書き出ししたいが権限がないと怒られる
$ grep genzouw /etc/passwd > /etc/passwd.bk
bash: /etc/passwd.bk: Permission denied

余談ですが、上記メッセージは以下の言語設定のときのメッセージです。

シェルスクリプトで実行中のプロセスの終了を待機する方法(waitコマンド以外)

Wed, 19 Jun 2019 08:30:53 +0900

はじめに

シェルスクリプトで実行中のプロセスが終了を待機する方法について取り上げます。

簡単な方法として、 wait コマンドを利用する方法がありますが wait コマンドでは対応できないケースへの対処法についても取り上げます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`wait` コマンドを利用する方法

まずは実行中のプロセスを作成

実行中のプロセスを以下のコマンドで作成します。

1
2
3
4
5
6


$ bash -c '
for i in {0..19}; do
 echo "execute($i)."
 sleep 1
done
' > log.txt &

急いで標準出力をリダイレクトした log.txt の内容を確認します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


$ tail -f log.txt
execute(0).
execute(1).
execute(2).
execute(3).
execute(4).
execute(5).
execute(6).
execute(7).
execute(8).
execute(9).
execute(10).
execute(11).
execute(12).
execute(13).
execute(14).
execute(15).
execute(16).
execute(17).
execute(18).
execute(19).

20回出力されて処理が終了します。

「grep」を使って稼働中のプロセスを確認する際に「grep」自身が引っかからないようにする方法いろいろ

Thu, 13 Jun 2019 09:00:34 +0900

はじめに

現在稼働中のプロセスを確認するときに、 ps aux コマンドを利用すると思います。 Linux上では多数のプロセスが常時動作しているため、流石にコマンドの表示内容から該当のプロセスを目視で探すのは至難の業です。したがって grep を使って絞り込むわけですが、よく遭遇する問題とこれを解決する方法について紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`ps aux` を `grep` で絞り込んで見る

絞り込み対象のプロセスを作成します。 yes コマンドは y という文字列をエンドレスで標準出力に出力するコマンドですが、これをバックグラウンド実行します。単純に実行するとターミナルが y でいっぱいになってしまうので、 /dev/null （ 余談ですが、これをビットバケットと呼びます。 ）に流します。

1
2


$ yes > /dev/null &
[1] 20

ps aux コマンドの実行結果を grep で絞り込んでみます。

1
2
3


$ ps aux | grep yes
root 20 99.9 0.0 4372 728 pts/0 R 22:59 4:57 yes
root 25 0.0 0.0 9096 836 pts/0 S+ 23:04 0:00 grep yes

悲しいことに2行出力されてしまいます。 grep を実行した結果、自分自身も対象として見つかってしまいました。

Linuxシェルのパイプはメモリに優しい仕組みだった(バッファリングを学ぶ)

Wed, 12 Jun 2019 17:00:55 +0900

はじめに

先日、メンバからLinuxシェルにおけるパイプ機能について質問がありました。

パイプで繋いだ前後のプロセスは同時に起動する？
パイプで繋いだ前後のプロセスで、データのやり取りのためにどのぐらいのメモリを消費するのか？( 大量のデータを流した場合を懸念 )

回答したあとに、自分で言っていたことに少し自信がなかったので調べてみました。

特にメモリがどの程度使われるのか？について触れることがなかったので、実際にコマンドを実行しながら学習しました。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -smoi
Darwin x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 4.1.2(1)-release (x86_64-redhat-linux-gnu)

$ seq --version | head -n 2
seq (GNU coreutils) 8.32
Copyright (C) 2020 Free Software Foundation, Inc.

Linux のパイプ処理の特徴についておさらい

command1 | command2 のようなパイプでつないだ処理の特徴をあげてみます。

command1 と command2 の両プロセスは同時に立ち上がる
command1 はメモリバッファに随時出力を書きだす
command2 はメモリバッファから随時入力を読み取る
カーネルで設定されているパイプのバッファサイズ分しかメモリを消費しない
command2 がバッファからデータを読み取り、バッファに空きができるまで command1 は書き出しを待機する

パイプのバッファサイズは、Linux 2.6.11以降デフォルトで 65536 bytes ( 4096 bytes/page * 16 pages ) となっています。

シェルスクリプトでファイルの最後からN行目に行を追加する

Mon, 10 Jun 2019 08:30:49 +0900

はじめに

シェルスクリプトで「ファイルの先頭行からN行目に行を追加する」のは簡単ですが、「ファイルの最終行からN行目に行を追加する」方法についてうまいやり方がないかについて質問されたのでワンライナーで実現できる方法について紹介します。

検証環境

1
2


$ bash -version
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

ファイルの先頭行からN行目に行を追加する

sed を利用します。 i という内部コマンドを利用します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


# 検証用のテストファイルを作成
$ seq 1 10 > seq.txt

# 確認
$ cat seq.txt
1
2
3
4
5
6
7
8
9
10

# 先頭行から5行目に行を追加
$ cat seq.txt| sed '5i test' > seq2.txt

# 確認
$ cat seq2.txt
1
2
3
4
test
5
6
7
8
9
10

ファイルの最終行からN行目に行を追加する

sed に加えて tac コマンドを利用します。仕組みは単純で、一度ファイルを逆順にしてから、先頭行からN行目に差し込んだ後、再度逆順にします。

「Amazon Cognito」で提供するログインページを自作してみる（`aws-cli`で構築）

Thu, 06 Jun 2019 23:41:17 +0900

はじめに

「Amazon Cognito」を使って既存のWebサービスのログイン認証機能を一部置き直す方法について、何パターンか検討してみました。

今まで検討してみた方法ですが、いずれも「Amazon Cognito」が提供するログインページをそのまま利用する、というものでした。

どうしてもログインページを既存のWebシステムのデザインに合わせたい、という場合にはログインページも既存のWebページのものを使う方法もあります。既存のWebページのものを流用する方法についてまとめてみました。

準備

今回はなるべくAWSの「マネージメントコンソール」からの操作を行わずに「Cognito」を使ったログイン機能を実装してみます。

そのため、以下のコマンドを利用することを前提としています。

aws コマンド
jq コマンド
npm コマンド

検証環境

1
2
3
4
5
6
7
8


$ aws --version
aws-cli/1.16.170 Python/3.7.3 Darwin/18.6.0 botocore/1.12.160

$ jq --version
jq-1.6

$ npm --version
6.9.0

作業開始

今回作成したプログラムは以下のGithubリポジトリにコミット済みです。試行錯誤した結果作成されたプログラムを負いながら手順を説明します。

GitHub - genzouw/aws-cognito-example-custom-page

圧縮されたソースファイルをダウンロードするか、 git コマンドで clone しておいてください。（Githubリポジトリページのソースコードを見ても良いです。）

1

$ git clone git@github.com:genzouw/aws-cognito-example-custom-page.git

※(2019-06-06) 便宜上、当エントリにGithubリポジトリ上のコードと同じ内容を貼り付けておきますが、メンテナンスはGithubリポジトリの方だけとする予定です。乖離する可能性があることをご了承ください。

シェルスクリプトでsedを使いカッコやダブルクォートで囲まれた部分のみ一括置換したい

Wed, 05 Jun 2019 09:00:18 +0900

はじめに

タイトルで説明しにくいのが辛い(-_-;)

僕も常々 sed でシングルクォートやダブルクォートで囲まれた部分のみ置換したいが、なんとかできないものか？と思っていましたので、紹介したいと思います。

検証環境

1
2


$ sed --version | head -n 1
sed (GNU sed) 4.7

やりたいこと

以下のような文字列があるとします。

1

私は、いろいろな国（日本、中国、韓国）に行ったことがあります。

これを以下のように置換したいと思います。

1

私は、いろいろな国（日本|中国|韓国）に行ったことがあります。

括弧の中の 、 だけを | に置換したいわけです。

`sed` の `s` 内部コマンドだけでは実現は難しい…

ぱっと思いつくのが sed 's/、/|/g' ですね。

1
2
3


$ echo '私は、いろいろな国（日本、中国、韓国）に行ったことがあります。' \
 | sed 's/、/|/g'
私は|いろいろな国（日本|中国|韓国）に行ったことがあります。

これだと 括弧の内側以外も置換されて しまいます。

1
2
3


$ echo '私は、いろいろな国（日本、中国、韓国）に行ったことがあります。' \
 | sed 's/（\([^、）]*\)、\([^）]*\)）/（\1|\2\）/g'
私は、いろいろな国（日本|中国、韓国）に行ったことがあります。

これだと、カッコ内の1つ目の 、 しか置換できません。

`sed` の `s` 内部コマンドとほかの内部コマンドを組み合わせる

: 内部コマンドと t 内部コマンドを組み合わせると、標準出力から受け取った文字列に s 内部コマンドの置換処理が適用できなくなるまで処理を繰り返すことができます。

RAMに収まらない大容量ファイルを`sort`コマンドでソートする

Thu, 30 May 2019 08:54:40 +0900

はじめに

仕事で非常に大きなファイル(10GB)をソートする必要がありました。

ただし、データ容量が大きいためRAMに乗らず、 /tmp に大量の一時ファイルが配置されてしまい、ディスク不足で何度もハングしてしまいました。ハングしなかったとしても処理時間が大量にかかってしまっていました。

うまい方法がないかを試した結果を共有します。

※大量データを sort コマンドでソートするという方針がそもそも、という意見もありますがリソース不足（金、モノ、時間）でこの方法を取ることになりました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ sort --version | head -n 1
sort (GNU coreutils) 8.22

準備

ソート対象となるデータファイルを作成します。業務で問題になったファイルサイズ（10GB）と比べると可愛いサイズとなっています。

1
2
3
4
5
6
7
8
9


$ for i in $(seq 1 50000000); do
 echo $RANDOM
done >target.txt

$ du -hs target.txt
512M target.txt

$ wc -l target.txt
50000000 target.txt

単純にソートしてみる

単純にソートしてみます。

オープンできるファイル数上限を管理する「ファイルディスクリプタ」について（ `Too many open files` エラーを理解する）

Tue, 28 May 2019 09:00:21 +0900

はじめに

プロジェクトで大量のファイルを扱う必要があり、ファイルディスクリプタの話が出てきたので整理してみました。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


$ uname -moi
x86_64 x86_64 GNU/Linux

$ cat /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:centos:centos:7"
HOME_URL="https://www.centos.org/"
BUG_REPORT_URL="https://bugs.centos.org/"

CENTOS_MANTISBT_PROJECT="CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION="7"
REDHAT_SUPPORT_PRODUCT="centos"
REDHAT_SUPPORT_PRODUCT_VERSION="7"

ファイルディスクリプタとは

OSが以下のようなものにアクセスする場合に用いる識別子（ニックネームのようなもの）を 「ファイルディスクリプタ」 といいます。
- ファイル
- 標準入出力など

0から順番に整数の値が割り当てられますが、通常、以下の3つはOS（シェル）が最初に用意します。

「macOS Mojave」のダークモードをコマンドラインから切り替える方法

Sat, 25 May 2019 10:51:04 +0900

はじめに

コマンドラインでなんでもやりたいgenzouwです。会社のMacと自宅のMacの環境構築はすべてスクリプト化して、いずれも同じ設定になるようにしています。

さて、「macOS Mojave」で利用可能なDarkMode（ダークモード）ですが、こちらを有効にすると「省電力稼働となる」、「目が疲れにくい」といった効果があるということで有効にしていました。

久々に自宅のMacを開いたところこちらの環境だけDarkModeが有効になっていませんでした。

これは良くない、原因はGUIから設定したことにあるな、ということでコマンドラインから有効にする方法を模索してみました。

検証環境

1
2


$ uname -moi
x86_64 MacBookPro10,1 Darwin

`osascript` コマンドを使う

Macに搭載されている AppleScript というOS操作用のスクリプトを利用します。スクリプトを実行するためのコマンドは osascript です。

ダークモードを有効にする

以下のワンライナーコマンドをセットアップスクリプトにでも追記してやればOKです。

1

$ osascript -e 'tell application "System Events" to tell appearance preferences to set dark mode to true'

ダークモードを無効にする

「真偽値」部分を反転させるだけです。

1

$ osascript -e 'tell application "System Events" to tell appearance preferences to set dark mode to false'

ひとこと

AppleScriptってあんまり知らなかったのですが、以下のGithubリポジトリのソースコード覗いていたら上記の方法が書かれていました。勉強になりました。

GitHub - sindresorhus/dark-mode: Control the macOS dark mode from the command-line

Bashシェルスクリプトでcolumnコマンドを使って出力内容を表として整形する

Mon, 20 May 2019 15:00:54 +0900

はじめに

先日 Gibo のソースコードを見ていたときに出力内容を表形式で表示させる方法が参考になったので整理しました。

column というコマンドを利用します。

column コマンドはよく使っていたのですが、知らなかったオプションを知ることができたので紹介しておきます。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ column --version
column from util-linux 2.23.2

標準入力の列の位置を揃える

column -t のように、 -t オプションを追加することで列の位置を揃えた表として出力できます。

「4行x3列」 の簡単なデータファイルを作成し、これを操作してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


cat <<EOF >input.txt
$RANDOM $RANDOM $RANDOM
$RANDOM $RANDOM $RANDOM
$RANDOM $RANDOM $RANDOM
$RANDOM $RANDOM $RANDOM
EOF

$ cat input.txt
30378 11629 2969
210 23946 10935
27622 25085 14115
31836 1141 14077

ランダムな大小の数値が不規則に並んでいます。

シェルスクリプトでunixtimeへ変換・unixtimeから変換をしてみる

Thu, 16 May 2019 08:20:57 +0900

はじめに

プロジェクトのテストフェーズでunixtimeの値が妥当かどうかを確認したかったのでコマンドライン上で確認した際に使ったコマンドを共有します。せっかくなのでunixtimeへ変換・unixtimeから変換の両方についてまとめてみました。

両方とも date コマンドを使って実現できます。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)


$ date --version | head -n 1
date (GNU coreutils) 8.31

unixtimeから変換

unixtimeから日時表記の文字列に変換するには、 -d オプションの引数として @ + unixtime の形式で文字列を指定します。

1
2
3
4
5


$ date -d @1557961216
木 5 16 08:00:16 JST 2019

$ date -d @1557961216 +"%Y-%m-%d %H:%M:%S"
2019-05-15 23:00:16

unixtimeへ変換

-d オプションに渡す文字列として、数字の前に @ を付けると、 UNIX時間での指定になる。

「markdownlint」を使ってMarkdown記法の構文チェックを行う（Vimのaleプラグインと組み合わせるともっと便利に）

Tue, 14 May 2019 08:54:56 +0900

はじめに

手に馴染むエディタを使いコードを書きながら、同じぐらいドキュメントを書いてます。

アプリケーションの概要、報告書、ブログからメールに至るまで、最近はMarkdown形式で記載してそれぞれのビューアあるいはコンバータで変換して文字を起こすことが多くなっています。

Markdown記法を利用することのメリット

執筆効率がよい
- HTMLのようにタグを書かなくて良いためタイピング量が減る
- 簡単なメモでも早く綺麗に書ける
統一したドキュメント形式を保てる
汎用性が高い
- 関連ツールや利用できるサービスが多い
段落など見た目が統一される
- h1 / h2 / h3 / pre / li / bold …

Markdown記法は自由が多い

Markdown記法の習得は非常に容易です。実際僕も一日ほど使ったぐらいで移行することができました。理由の一つとして規約の少なさがあげられます。

Markdown記法は自由度を構文チェックで補う

自由度が高いがゆえに、統一感のないドキュメントが出来上がりがちです。例えばHTMLの文書構造として、 h1 タグの次には h2 タグが登場するべきであり、 h3 タグが登場してはおかしいですね。同様に # でタイトルを記載したあとに ### タイトルが来るとおかしいわけです。 # タイトルがないというのもやはり同様におかしいですね。

自由度の高いMarkdown記法ですが、構文チェックを行うことで、弱点を補うことができます。

Markdown記法の構文チェックツール「markdownlint」を使う

僕は 「markdownlint」 というLintツールを利用しています。

GitHub - DavidAnson/markdownlint: A Node.js style checker and lint tool for Markdown/CommonMark files.

導入手順

事前準備

Node.js製のツールとして提供されているため、Node.jsのインストールが必要です。以下のエントリを参照すればすぐにインストールが可能です。

Node.jsのインストール方法

markdownlintのインストール

npm コマンドでインストールします。

sedのe内部コマンドで指定された文字列をシェルコマンドとして実行させる

Mon, 13 May 2019 08:36:34 +0900

はじめに

sed コマンドの e 内部コマンドで指定された「文字列」をシェルコマンドと見直して実行させることができます。文章だけではわかりにくいので例を上げて説明したいと思います。

僕はこちらの機能をほとんど利用したことはありませんが、こういう機能もあるということで取り上げてみます。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

$ sed --version
sed (GNU sed) 4.2.2

準備

テストデータを用意します。各行に1から20の値を出力したファイルになります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


$ seq 1 20 > test.txt

# 最後の10行を表示
$ tail test.txt
11
12
13
14
15
16
17
18
19
20

0がつく文字列のときだけ時刻を表示させる

0がつく文字列のときだけ、 date コマンドで時刻を表示させてみます。

AWS-CLIを実行したら `CERTIFICATE_VERIFY_FAILED` というエラーメッセージが表示されてハマってしまった

Tue, 07 May 2019 08:53:27 +0900

背景

GWの10連休に入る直前に実行したところ、突然エラーメッセージが表示され正常に動作しなくなってしまいました。

どのようなエラーメッセージが表示された？

1

SSL validation failed for https://ec2.ap-southeast-1.amazonaws.com/ [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed

実行環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

$ aws --version
aws-cli/1.16.140 Python/3.7.3 Darwin/18.5.0 botocore/1.12.130

どのように `aws-cl` を利用していたか？

EC2 環境を構築するための簡易なシェルスクリプトを作成し、その中で何度か aws コマンドを実行していました。
シェルスクリプトは Bash で動作するようにシバンを設定していました。
- #!/usr/bin/env bash

試してみたこと

`aws` コマンドのバージョンアップ

はじめは aws-cli のバージョンアップが原因かと思い、バージョンアップしてみたが、問題は解決しませんでした。

`aws` コマンドのオプション追加

以下のエントリを見つけました。

aws-cliでCERTIFICATE_VERIFY_FAILEDが出た時の対処 - hatunina’s blog

aws コマンドに --no-verify というオプションを付与すればエラーを無視できるということですが、、以下の理由により他の方法で対処することにしました。

シェルスクリプトで標準入力から1文字ずつ取り出して処理したい

Wed, 01 May 2019 06:29:56 +0900

はじめに

標準入力から1文字ずつ取り出して処理したい場合にどのように書いたらよいかについて。今まで使っていた fold では問題があったのでもう一度勉強し直した。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

`fold`を使う

fold コマンドは、テキストファイルなどを読み込み、指定した幅で改行して出力するコマンドです。改行文字を「挟み込む」とイメージするとよいでしょう。

これと -w 1 オプションを使って標準入力の内容を1文字ずつに分割できます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ echo "abcdefg"
abcdefg

$ echo "abcdefg" | fold -w 1 | while read c; do
 echo "[${c}]"
done
[a]
[b]
[c]
[d]
[e]
[f]
[g]

`fold`では全角文字に対応できない

今までfoldを使っていたのですが、こちら全角文字に対応できないようです。（幸い全角文字を取り扱うケースがあまりなかったようです。）

Amazon DynamoDBのプライマリーキーの２つのタイプについて理解できたことをまとめました

Sun, 28 Apr 2019 10:35:24 +0900

はじめに

Amazon DynamoDBの構成要素について理解できたことをまとめました | ゲンゾウ用ポストイットで「テーブル」、「項目」、「属性」、「プライマリーキー」について整理しましたが、今回は「プライマリーキー」についてもう少しわかったことをまとめてみました。

プライマリーキーのタイプとデータの保存方法

プライマリーキーを構成する「属性」の数が1つか複数かで用途や考えないといけないことが異なるようです。

単一「属性」で構成されるプライマリーキー : 「パーティションキー」タイプ
複数「属性」で構成されるプライマリーキー : 「パーティションキー+ソートキー」タイプ

データの保存方法にも違いがあります。両者はどう違うのでしょう？

「パーティションキー」タイプ

1つの属性で構成されたシンプルなプライマリーキーとなっています。

キーの値を「ハッシュ関数」という特殊な関数を使って変換します。変換後の値で、「項目」を配置するデータ格納場所がきまります。つまり「ハッシュ関数」とは、データ置き場を決めるための関数なのです。

「ハッシュ関数」を使ったデータ配置のメリットは、データの検索が高速であることです。データが一箇所に集まってしまうと検索が遅くなってしまいます。データが整理されないまま入れ物にごった煮にされている状態を想像してください。「ハッシュ関数」を使ってデータの配置場所を決められれば、データの検索が高速にできるわけです。

「ハッシュ関数」の結果はできる限りバラバラになるように考えられています。（このあたりはハッシュ関数の実装次第なのでおそらくそうなっているはずです。）もしバラバラにならなかったとすると、特定のデータ配置場所にだけデータが集まってしまい、やはり検索が遅くなってしまうからです。

「パーティションキー+ソートキー」タイプ

2つの属性で構成されたプライマリーキーは、属性のうち一つがパーティションキーとなり他方がソートキーとなります。 ( 複合プライマリーキーと呼ばれたりもします。 )

パーティションキーのメリットはデータ配置場所が分散することでスキャンが高速になることでした。プライマリーキーが2つの属性で構成された場合、当然のことながら1つの属性でしか構成できないパーティションキーの値は重複する可能性があります。

これではハッシュ関数を利用したデータ分散のメリットが薄れてしまいます。ハッシュ関数で計算したデータ配置場所にデータが集まる傾向が高くなるためフルスキャンの問題と同様のことが発生します。

そこでソートキーです。データがバラバラに並んでいる場合にはフルスキャンを行わなければデータを見つけることができません。しかし、データがソートされていれば高速な探索アルゴリズムを使うことができます。 ( 僕は高速な探索アルゴリズムを知っているわけじゃないのですが二分探索の速さぐらいはイメージできます。 )

図鑑で探しものをする場合を例に上げましょう。分からない単語は一番後ろの索引を使って掲載ページを特定します。掲載ページが特定できたら、ページをペラペラ送りながら該当ページを探していきます。該当ページを用意に探す事が出来るのもページ番号が小さい値から大きな値に正しく並んでくれてるからこそです。

パーティションキーは1つしか設定できず、他方はソートキーになることにはメリットもあります。ソートキーを構成する「属性」は範囲を指定して検索することができます。

※ユーザのアクセス履歴情報(未ソート)に対して12:00〜14:00のデータを検索する場合

※ユーザのアクセス履歴情報(ソート済)に対して12:00〜14:00のデータを検索する場合

「パーティションキー+ソートキー」タイプの注意点

「パーティション+ソートキー」タイプを利用場合には、注意しないといけないケースがあります。 ホットパーティション問題 と呼ばれる事象です。

パーティションキーの偏りにより発生する問題です。

以下の手書きのメモを例に取り上げます。

プライマリーキーは2つの属性から構成されているものとします。

パーティションキー	ソートキー	ハッシュ関数で算出されたデータ配置場所
001	x	A
001	y	A
001	z	A
001	a	A
001	b	A
——————–	————	—————————————-
002	x	B
——————–	————	—————————————-
003	y	C

このとき、パーティションキー属性の値が 001 であるデータが非常に多いため、A のパーティションのみデータ量が増加することとなります。当然アクセス数もこのパーティションだけ多くなることでしょう。

sortコマンドでCSVファイルをソートする場合はソート列の指定方法に注意

Wed, 24 Apr 2019 08:37:09 +0900

はじめに

sortコマンドを使ってソートを行うとき、「CSVファイル」や「TSVファイル」を対象とすることがあります。

ただし、意外と知られていないのがソートの条件として任意の列を指定する方法について。

-kオプションを使えば可能なのですがひと癖あるオプションなので取り上げました。

sortコマンドの挙動でハマった方の手助けになれば幸いです。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

$ sort --version
sort (GNU coreutils) 8.31

準備

CSVをJSONに変換するためのNode.jsライブラリ「csv2json」 | ゲンゾウ用ポストイットでも使ったダミーデータ生成サービスを利用してCSVデータを取得します。

test.csv

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14



# ヘッダー行は次のようになっています。（今回はさほど重要ではありません）
## 連番,氏名,氏名（カタカナ）,性別,年齢,取得ポイント
$ cat test.csv
1,小出里歩,オデリホ,女,27,85
2,吉野里紗,ヨシノリサ,女,38,894
3,本郷末治,ホンゴウスエジ,男,56,252
4,谷村千代乃,タニムラチヨノ,女,44,556
5,内野響子,ウチノキョウコ,女,44,170
6,塩谷貢,シオタニミツグ,男,34,494
7,児島愛子,コジマアイコ,女,39,675
8,白木俊史,シラキトシフミ,男,57,245
9,飯塚遥佳,イイヅカハルカ,女,20,974
10,阿久津清蔵,アクツセイゾウ,男,9,120

整形すると以下のようなデータとなります。

sortコマンドで複数のソート済みファイルを連結して１つのソート済みファイルを高速に作成する

Mon, 22 Apr 2019 17:52:08 +0900

はじめに

巨大なソート済みファイルを連結して１つのソート済みファイルにしたかったが、巨大すぎて処理に時間がかかって困ってしまいました。

連結元のファイルはソート済みなので、うまいことマージすれば高速に処理できそうな気もします。

うまい方法が無いか調べてみました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.3(1)-release (x86_64-apple-darwin18.2.0)

$ sort --version
sort (GNU coreutils) 8.31

検証準備

1〜1000000 までの数値が格納されている2つのファイル a.txt 、 b.txt を用意します。

これを連結し、全体としてソートされているファイルを作成したいと思います。

1
2
3
4
5
6
7


$ seq 1 1000000 > a.txt
$ seq 1 1000000 > b.txt

$ wc -l a.txt
1000000 a.txt
$ wc -l b.txt
1000000 b.txt

`sort`コマンドで普通にソート

sortコマンドに複数のファイル名を渡すことで、連結し全体としてソートすることができます。 timeコマンドと一緒に実行し実行速度や負荷を計測してみます。

Dockerfileで複数行を改行付きでechoする際にハマったので共有しておきます

Wed, 17 Apr 2019 08:05:00 +0900

はじめに

最近Dockerfileを作成したときに、 RUN コマンド内で改行付き情報を echo したかったのですが、多少ハマってしまったので共有します。

「2019-07-17 追記」コメント欄より

コメントを下さった Nig さん、ありがとうございます。勉強になりました。

以下のような構文を利用する際に、シングルクォーテーション( ' )で記述しないといけない部分がダブルクォーテーション( " )になっていたことが原因とのことでした。

*※debian系のLinuxOSを利用している場合、シングルクォーテーションの前の $ を削除しないといけないようです。不要な $ が出力されてしまいました。

1
2
3
4
5
6
7


FROM centos:centos7

RUN echo $'\n\
alias ll="ls -l"\n\
alias la="ls -a"\n\
alias lla="ls -l -a"\n\
' >> /root/.bashrc

※上記のスタイル以外で記述したい方は、当エントリを読み進めいただく意義はあるかと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ docker --version
Docker version 18.09.2, build 6247962

経緯（失敗例）

Dockerイメージ作成のために「Dockerfile」を作成しました。

PostgreSQLサーバの全データベース名を取得し配列に格納するシェルスクリプト

Mon, 15 Apr 2019 08:13:51 +0900

はじめに

QiitaでPostgreSQLのデータベースの名称をシェルスクリプトのリスト変数にセットする方法という記事を見つけたので、僕もやってみました。

データベースの名前を配列として取得するシェルスクリプト

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.3(1)-release (x86_64-apple-darwin18.2.0)

準備

`db_list.sh`

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


#!/usr/bin/env bash

declare -r DB_HOST="${1}"
declare -r DB_USER="${2}"
declare -r DB_PASS="${3}"

declare -a DB_NAME_LIST=$(
 PGPASSWORD="${DB_PASS}" psql \
 --tuples-only \
 --no-align \
 --username "$DB_USER" -h "$DB_HOST" \
 -c 'SELECT datname FROM pg_database'
)

# 動作確認
for DB_NAME in "${DB_NAME_LIST[@]}"; do
 echo "$DB_NAME"
done

解説

psql -l を使えば、DBの一覧は取得できるんですが、一部扱いにくい出力箇所があります。（ template0 / template1 / postgres の３つの組み込みDB）

シェルスクリプトでスクレイピングするために`pup`を使う

Sun, 14 Apr 2019 12:32:01 +0900

はじめに

以前、シェルスクリプトからhtmlのスクレイピングをしたときの方法を共有します。

Go言語で作られたpupというツールを使いました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

pup とは

コマンドラインの HTML 解析ツールです。

標準入力から情報を読み込み、標準出力に結果を出力します。

それだけだと cat と同じなのですが、 HTML の要素をフィルタリングすることができます。フィルタリングのための HTML 要素指定方法として、一般的に利用されている CSS Selectors が利用できます。

pup ツール開発の背景

jq コマンドにインスパイアされたようです。

jq といえばコマンドライン上で JSON データを操作するためのツールですが、HTML データをターゲットとしたものとして開発されたようです。

pup インストール

別のエントリで、環境を汚さずにDockerを使ってpubを使うための方法を投稿しています。 Dockerが使い慣れている方はこちらもどうぞ。

以下のツールを利用します。

GitHub - ericchiang/pup: Parsing HTML at the command line

go get コマンドを使ってインストールするため、事前に go のインストールが必要です。

Goのインストール

1
2
3
4
5
6
7


# 何はともあれパッケージをアップデート
$ sudo yum update -y

# epelリポジトリを追加して、Goをインストールできるようにする
$ sudo yum install epel-release -y

$ sudo yum install golang -y

以下のコマンドが正しく実行できていればGoのインストールは完了です。

Bashシェルスクリプトでファイルや標準入力の先頭N行、末尾N行を除去する方法

Thu, 11 Apr 2019 07:55:23 +0900

はじめに

シェルスクリプトで標準入力で受け取った情報の先頭N行、末尾N行を削る方法について紹介します。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.3(1)-release (x86_64-apple-darwin18.2.0)

$ head --version | head -n 1
head (GNU coreutils) 8.22

$ tail --version | head -n 1
tail (GNU coreutils) 8.22

標準入力として渡すデータ

seq コマンドを使って、 1〜10 の数値を渡して、先頭の 2行と末尾の 2行を削ってみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ seq 1 10
1 << ※ここを削除
2 << ※ここを削除
3
4
5
6
7
8
9 << ※ここを削除
10 << ※ここを削除

`head` , `tail` を使う

head はファイルや標準入力の先頭から何行を出力（デフォルトでは10行）というように使うケースが多いですが、 「ファイル末尾から数えて何行目より前をすべて出力」 という場合にも利用できます。-n - という変わったオプションを利用します。

sedを使ってキャメルケース、スネークケースの相互変換を行う

Wed, 10 Apr 2019 08:00:16 +0900

はじめに

プロジェクトのソースコードの中のスネークケース文字列をキャメルケース文字列に変換する必要があったので sed で変換できるか試してみました。

検証環境

1
2


$ sed --version
sed (GNU sed) 4.2.2

スネークケースからキャメルケースへの変換

ロジック解説

全て小文字に変換
_? （アンダースコアと何かの文字）の組合せを探し置換
- _ （アンダースコア）は除去
- _ に続く文字を大文字に変換

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# 4つのテストケースを実行
$ cat <<EOF | sed -r 's/.*/\L\0/g; s/_([a-z0-9])/\U\1/g;'
xxx_yyy_zzz
XXX_YYY_ZZZ
xYz
XYz
EOF

xxxYyyZzz
xxxYyyZzz
xyz
xyz

キャメルケースからスネークケースへの変換

ロジック解説

"pstree"を使ってあるプロセスの子プロセス・孫プロセスを確認する

Tue, 09 Apr 2019 09:14:27 +0900

はじめに

子プロセスをバックグラウンド起動して並列処理行うシェルスクリプトを作成したが以下の点を確認したいと思いました。

子プロセスが正しく立ち上がっているのか？
子プロセスが過剰に立ち上がっていないか？
子プロセスはどのぐらいの期間生存しているのか？

確認する方法を以下にまとめます。

検証環境

今回も検証環境として Docker を使いました。 もちろんDockerを使う必要はないのですが、クリーンな環境が欲しかったので利用しました。

1

$ docker run --rm -v $PWD:/mnt -it genzouw/centos-sandbox bash

1
2
3
4
5


$ uname -a
Linux 0869a1789807 4.9.125-linuxkit #1 SMP Fri Sep 7 08:20:28 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

$ bash -version
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

pstreeコマンド

pstreeは、現在動作しているプロセスをツリー形式で表示するコマンドです。

コマンド名のとおり、「どのプロセスからどのプロセスが起動しているのか」という ツリー構造 が分かりやすく表示されるので、プロセスの実行状況を確認するのに便利です。

`pstree`コマンドのインストール

早速実行してみます。

1
2


$ pstree
bash: pstree: command not found

いきなりですが、「コマンドが見つからない」というエラーが発生しました。普通にCD/DVDからインストールしたLinuxディストリビューションにはインストール済みかと思いますが、 Docker 環境は軽量化のために必要最低限のコマンドしかインストールされていないことが多いです。

シェルスクリプトでファイルや標準出力の行頭に連番を付与する「nl」コマンド

Mon, 01 Apr 2019 22:11:19 +0900

はじめに

Markdownでドキュメントを記述していると「箇条書きリスト」や「数字付きリスト」記法や度々使用します。

例）「箇条書きリスト」記法

1
2
3
4
5


* あ
* い
* う
* え
* お

例）「数字付きリスト」記法

1
2
3
4
5


1. あ
2. い
3. う
4. え
5. お

さて、この「数字付きリスト」記法と同様のものをシェルで簡単に生成できないか？というのが今回のお話です。

nl コマンドを利用します。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ nl --version
nl (GNU coreutils) 8.22

`nl` コマンドの使い方

テストデータを出力させます。 yes コマンドを使って xxx という文字を5行出力させます。

シェルスクリプトでファイルや標準出力を最終行から逆順に出力する「tac」コマンド

Sun, 31 Mar 2019 22:32:40 +0900

はじめに

Coding Games で遊んでいたときに標準入力で受け取った内容を逆に処理しないといけないことがありました。めったに使うことはないのですが「tac」コマンドを使ったので、取り上げてみたいと思います。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.3(1)-release (x86_64-apple-darwin18.2.0)

$ tac --version
tac (GNU coreutils) 8.31

準備

Linux環境であれば、おそらくすでにインストール済みです。

Mac環境の場合、デフォルトではインストールされていないそうです。僕の環境にはインストールされていましたが、おそらく以下のコマンドでインストールされたと思われます。

以下のコマンドで、 GNU のコアコマンドを一式インストールしてくれます。

1
2


$ brew install coreutils \
 --with-default-names

使い方

はじめに触れましたが、ファイルや標準出力を最終行から逆順に出力できます。

例を上げてみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


# 実行すると1〜5までの数値が出力される
$ seq 1 5
1
2
3
4
5

# `tac` コマンドを使ってみる
$ seq 1 5 | tac
5
4
3
2
1

# でも、これだけであれば `sort` コマンドで十分では？
$ seq 1 5 | sort -nr
5
4
3
2
1

seq の実行結果が逆に出力されました。めでたしめでたし。。。とはならないですね。この例だと sort -nr でも十分ではないか？と思われてしまいます。

「direnv」を使ってプロジェクトディレクトリごとに環境変数が自動的に設定されるようにする

Fri, 29 Mar 2019 08:37:54 +0900

はじめに

AWSの環境構築系のツール（ aws-cli とか Terraform ）を使って複数のAWSアカウントを使い分けていると、「環境変数はどっちのアカウントのものを利用していたっけ？」となることが多くなってきました。

アプリケーション毎に利用するアカウントが決まっている場合、アプリケーションディレクトリに cd コマンドで移動したタイミングで環境変数が自動的にセットされるととても便利です。

ぴったりなツールとして direnv というものがありましたので紹介します。

direnvとは？

ディレクトリ毎に環境変数を定義して、そのディレクトリがカレントになった時だけ環境変数を有効/無効にしてくれるツール。開発中のアプリ毎に環境変数を変えたい時に重宝します。

リポジトリは以下になります。

https://github.com/direnv/direnv

direnvはシェル用の環境切り替えツールです。

これにより、 ~/.bashrc や ~/.profile ファイルのようなグローバルな設定ファイルにアプリケーション個別の環境設定情報を記載する必要がなくなります。

プロジェクトディレクトリ配下の設定ファイルから環境変数をロードされる。
プロジェクトディレクトリ内のどのディレクトリにいても、これが適用される。
プロジェクトディレクトリ内から抜けた場合は環境変数をアンロードされる。
「bash」、「zsh」、「tcsh」、「fish」、および「elvish」に対応。

direnvは最近あちこちで導入され始めている Go言語 で作成されています。

検証環境

すでに僕のmacOS上にインストールされていたため、Dockerで検証用のクリーンな環境を用意して検証を行いました。（Dockerがなくても利用には全く問題がありません。）

1
2


# CentOS7環境をDockerで立ち上げる
$ docker run --rm -it centos:centos7 bash

利用したCentOS7環境は以下の通り。

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

前提条件

Gitが利用できる環境であること
- インストール時に必要

インストール方法

Unix系OSの場合

まずは事前に「Go言語」を使えるようにしておきましょう。 ( もちろんすでにインストール済みの場合は不要です。 )

プロジェクトに最適な .gitignore をコマンドラインから簡単に生成するためのツール「gibo」

Wed, 27 Mar 2019 14:00:05 +0900

はじめに

プロジェクトに最適な.gitignore をどうやって作ろうかなと思っていたところ、 gibo という便利ツールを発見したのでメモ。

gibo は、プロジェクトに最適な .gitignore ファイルを作成してくれるツールです。様々な言語、フレームワーク、ツールに対応していて、大抵のメジャーなものについては、簡単に .gitignore を生成できます。

ソースコードを読んでみましたが、簡潔で見やすく、シェルスクリプトの勉強に良いと感じました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.3(1)-release (x86_64-apple-darwin18.2.0)

インストール

プラットフォームことに最適なインストール方法が異なりますが、実際 1 ファイルのシェルスクリプトなのでダウンロードしてきて $PATH 環境変数の通っているディレクトリに配置すれば動作します。

macOS

Homebrew で一発でインストールできます。

1
2


$ brew install gibo \
 && gibo update

Unix 系 OS

1
2


$ curl -L https://raw.github.com/simonwhitaker/gibo/master/gibo \
 -so ~/bin/gibo && chmod +x ~/bin/gibo && gibo update

動作確認

インストールができたか確認してみましょう。

S3にファイルが作成されたことを検知してLambda関数でファイルを読み込む( `aws-cli` で構築)

Sat, 23 Mar 2019 09:25:12 +0900

はじめに

「S3にファイルがSFTPアップロードされたことを検知してLambdaを起動する（ aws-cli で構築）」で、S3にファイルがアップロードされたことをフック条件にしてLambdaファンクションを実行させてみました。

ただ、上記のエントリではLambdaファンクションがCloudWatchLogにログを出力させるまでの実装にとどまっていました。フック条件となったS3のファイルを読み込むロジックは作成していません。

そこで、今回はフック条件となったS3内のファイル読み込みを試してみました。

ゴールとする構成

ファイルがアップロードされる
アップロードを検知してLambdaファンクションを呼び出し
S3のファイルを読み込む
CloudWatchLogにログ出力

必要なもの

aws コマンドが使えること
jq コマンドが使えること
npm コマンドが使えること

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.3(1)-release (x86_64-apple-darwin18.2.0)

$ aws --version
aws-cli/1.16.120 Python/3.7.2 Darwin/18.2.0 botocore/1.12.110

$ npm --version
6.7.0

作業開始

以下のエントリから今回必要な部分のみピックアップして検証していきます。

シェルスクリプトで任意のオーナーが所有するGithubリポジトリを一覧表示する（ワンライナー）

Wed, 20 Mar 2019 07:59:15 +0900

はじめに

Githubで任意のオーナーが所有するリポジトリを全て確認したいのですが、Githubのリポジトリ一覧ページに到達するまで面倒ですよね。（僕がGithub不慣れなだけなのでしょうか？ )

そこで、シェルスクリプト化していつでも一覧を表示できるようにしてみました。

スクリプト

`hub-repos.sh`

1
2
3
4
5


#!/usr/bin/env bash
set -o nounset
set -o noclobber

curl "https://api.github.com/users/${1:-${SNS_USERNAME}}/repos?per_page=100" 2>/dev/null | jq -r '.[].name'

必要なもの

jq コマンドが使えること

使い方

以下のいずれかで所有者を設定できます。

環境変数 SNS_USERNAME を設定する。 ( ex : export SNS_USERNAME=genzouw )
スクリプトの第一引数を指定する ( ex : hub-repos.sh genzouw )

パスの通っている場所に配置してあげてください。

ひとこと

ずいぶん昔に作ったスクリプトの整理をしていて見つけました。当時のスクリプトは、 jq を使っている部分に ruby -rjson -e 'JSON.parse(STDIN.read).each{|r|puts r["name"]}' と記述されていました。 ruby触っていた記憶なんてほとんど無いんですけどね。

sedコマンドの内部コマンドの適用範囲を指定する際には終了条件に注意！(最終行まで適用されてしまう場合)

Tue, 19 Mar 2019 08:32:23 +0900

はじめに

前回( sedコマンドを全行に実行させたくない場合は内部コマンドの適用範囲を指定しよう（含む、含まない、特定の行のみ、数行毎に、など） ) みた sed コマンドの範囲指定方法について、振り返ります。

sed の内部コマンド適用範囲は 「アドレス」 というもので設定できる
「アドレス」 は 0個か1個か2個を指定できる。
「アドレス」 にはパターンを表す正規表現か行番号が使える
「アドレス」 の指定方法は 行アドレス と パターンアドレス がある

「アドレス」 については、以下の5つの大原則がありました。

*「アドレス」が指定されていなければ、コマンドは全ての行に適用される *「アドレス」が一個だけ指定されると、コマンドはその「アドレス」にマッチする全ての行に適用される

カンマで区切られた2個の「アドレス」が指定されると最初の「アドレス」にマッチしたから2番目の「アドレス」にマッチするまでその行も含むすべての行にコマンドが適用される *「アドレス」の後ろにエクスクラメーションマークをつけると「アドレス」にマッチしない全ての行にコマンドが適用される

「行アドレス」例

1
2
3
4
5


# 5行目を削除
$ cat any-file.txt | sed '5d'

# 5行目から10行目を削除
$ cat any-file.txt | sed '5,10d'

「パターンアドレス」例

1
2
3
4
5


# コメント行を削除
$ cat any-file.txt | sed '/^\s*\#/d'

# '---' から 次の '---' まで削除
$ cat any-file.txt | sed '/---/,/---/d'

カンマの後ろの条件指定に注意しないと予期しない挙動をする！

前回さらっと流してしまったが、sedコマンドのアドレス指定範囲で意外とハマってしまうケースがあります。「範囲指定がうまく動作しない！」という方の参考になれば幸いです。

「名前付きパイプ」（FIFO/Named Pipe）を使ってプロセス間通信を試してみる

Mon, 18 Mar 2019 12:00:25 +0900

はじめに

Bash のストリーム/パイプ処理を視覚的に理解するのエントリで触れましたが、「名前付きパイプ」というものがあって今のプロジェクトで使う可能性が出てきたので取り上げてみました。

本稼働するシステムで使うことは初めてになりそうなので、楽しみです。

検証環境

1
2
3
4
5
6


$ uname -moi
x86_64 MacBookPro11,4 Darwin


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

通常のパイプ

「通常のパイプ」は「無名」です。使用しているプロセスが動作中の間だけ存在しますプロセスが終了するとともに消えてしまいます。

パイプを挟んで前後にプロセスが 1 つずつ存在します。一方は「パイプ」へ出力、他方は「パイプ」からの入力を待ちます。

(例)

1
2


# `seq` で 1から10 の数値を出力し、 `tail` で入力を受け付ける。
$ seq 1 10 | tail -f

“名前付きパイプ” とは？

「名前付きパイプ」 は「ファイル名」を持ちます。
プロセスが消滅しても存在し続けます。(そのため、使わなくなったら削除する必要があります。)
プロセス間通信 (IPC) を行うためにプロセスがオープンして使用します。

試してみる

簡単な例を上げます。

名前付きパイプの作成

mkfifo というコマンドを実行すると、 「名前付きパイプ」 ファイルが作成できます。ここでは Named Pipe の頭文字をとって np としています。

AWS-CLIでhelpを入力するのが煩わしい場合の対処としてスクリプトを作ってみた。

Thu, 14 Mar 2019 12:40:24 +0900

AWS-CLI を叩きながら AWS の各種サービスを構築する上で必要な情報を学習中です。

僕は画面を見ていくよりもコマンドのヘルプを見ながら試行錯誤していくほうが理解が進めやすいようです。

「AWS-CLI」のヘルプを引くのが面倒

ただ、ヘルプを引くのが面倒なのです。具体的に言うと help コマンドを入力するのが面倒。

例えば作業中に以下のような状況になることが多い。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


# どんなコマンドがあったっけ？
aws --help

# コマンド間違えた
aws help

# 内容を確認したので実行
aws s3

# ヘルプを見るか
aws s3 --help

# くっ...
aws s3 help

# わかった！実行する！
aws s3 mb my-butket-name

# なんかエラー出るし！
aws s3 mb help

ちょっとした改善として、helpを打ち込まなくてもhelpが表示されるようにしてみた

help と入力する手間だけでも減らそうと思って短いスクリプトを作ってみた。 aws コマンドは多くのコマンドが aws <サブコマンド> <オプション> といった構成となるので、2つの引数が必要になります。引数が1つ以下の場合は、自動的に help というオプション付きで呼び出すようにしています。

sedコマンドを全行に実行させたくない場合は内部コマンドの適用範囲を指定しよう（含む、含まない、特定の行のみ、数行毎に、など）

Wed, 13 Mar 2019 08:32:21 +0900

はじめに

シェルスクリプトでデータを絞り込む方法いろいろ（grep、sed、awk）で sed コマンドを使った絞り込み方法について触れたので、 sed コマンドに関してのみもう少し深掘りしてみたいと思います。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

$ sed --version | head -n 1
sed (GNU sed) 4.7

sedの内部コマンド

sed コマンドは標準入力あるいはファイルに対して、 内部コマンド を指定しその結果を出力する、というコマンドです。ややこしいですが、 sed の中だけで使えるコマンド、という意味です。 内部コマンド は全行に対して、行単位に実行されます。

内部コマンドの例をいくつか上げます。

i : 行の前に一行追加し、引数として指定した文字列を追加
a : 行の後に一行追加し、引数として指定した文字列を追加
d : 削除する
p : 出力する
s : 正規表現で置換処理する

sedの内部コマンドは全ての行に適用される

先述したとおり、適用範囲の指定がない sed のコマンドは、全ての行に対して適用されます。

シェルスクリプトでデータを絞り込む方法いろいろ（grep、sed、awk）

Mon, 11 Mar 2019 08:02:55 +0900

はじめに

シェルスクリプトやコンソールでデータを絞り込むための方法をいくつか紹介します。基本どれか一つを使えればいいと思いますが、例えば特定の今度がない！（ grep コマンドを消してしまった！）なんてときに使えるかもしれません。（そんなケースあるのか？）

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

準備

検証用のデータ（csv）を作成。

CSVをJSONに変換するためのNode.jsライブラリ「csv2json」 | ゲンゾウ用ポストイット

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ cat <<'EOF' >> personal_infomation.csv
連番,氏名,氏名（カタカナ）,性別,電話番号,生年月日
1,浜崎陽治,ハマザキヨウジ,男,0238930217,1974/11/03
2,奥山隆雄,オクヤマタカオ,男,0888070241,1997/08/04
3,船越瑠奈,フナコシルナ,女,0986044637,1966/04/16
4,玉置忠治,タマキタダハル,男,0779869154,1995/07/19
5,出口美香,デクチミカ,女,0289679894,1991/10/18
6,西本良之,ニシモトヨシユキ,男,0855699116,1988/03/29
7,湯川麗奈,ユカワレナ,女,0997770517,1996/03/05
8,荻野莉沙,オギノリサ,女,073800935,1987/06/20
9,海野博明,ウミノヒロアキ,男,0888070499,1998/05/23
10,高崎淳一,タカサキジュンイチ,男,0559462109,1982/05/10
EOF

`grep` を使った絞り込み

最もよく使われる方法。この方法を知っていたら十分ではある。

Python3環境で `pip install` したコマンドラインツールが動作しない場合の対処

Sat, 09 Mar 2019 15:12:14 +0900

はじめに

先日投稿した以下のエントリにて、 「自分のMacBookPro環境をPython2からPython3環境にバージョンアップしたら正常に動作しない」 という問題が発生していたが、解消方法がわかったのでまとめてみました。

コマンドラインからBitbucketのリポジトリを操作するためのツール「bitbucket-cli」でリポジトリを作成してみる

なんとか問題解決まで至りましたが、 Pythonに詳しいエンジニアならすぐにわかることなのでしょう 。Python素人がハマった内容を共有します。

検証環境

1
2
3
4
5
6


$ uname -moi
x86_64 MacBookPro10,1 Darwin


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

調査開始

Pythonのバージョンを確認する

まず僕のMac環境のPythonのバージョンを確認します。

1
2


$ python --version
Python 3.7.2

エラーの内容を確認する

先日もお話したとおり、 bitbucket-cli が python2系 環境では正常に動作していましたが、 python3系 環境では正しく動いていません。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ bb help
Traceback (most recent call last):
 File "/usr/local/bin/bb", line 6, in <module>
 from bitbucket.cli import run
 File "/usr/local/lib/python3.7/site-packages/bitbucket/__init__.py", line 1, in <module>
 from .repositories import *
 File "/usr/local/lib/python3.7/site-packages/bitbucket/repositories.py", line 25
 print r.content
 ^
SyntaxError: Missing parentheses in call to 'print'. Did you mean print(r.content)?

`bb` コマンドのスクリプトを確認する

ふと bb コマンドは一体どんなスクリプトなのだろうを思いコードを覗いてみました。

コマンドラインからBitbucketのリポジトリを操作するためのツール「bitbucket-cli」でリポジトリを作成してみる

Fri, 08 Mar 2019 08:44:02 +0900

はじめに

会社で利用しているGitのホスティングサービスは Bitbucket logo ですが、コマンドラインからリポジトリ作成やプルリクエストを投げられると便利です。

自分のPCに導入している bitbucket-cli を紹介します。

※ちなみにGithub用のコマンドラインツールは Githubの無料アカウントユーザにもPrivateリポジトリ作成が無制限になったのでコマンド一発でどんどん作成するための環境を作ってみるを参照ください。

検証環境

1
2
3
4
5
6
7
8


$ uname -a
Linux 8f10b748d929 4.9.125-linuxkit #1 SMP Fri Sep 7 08:20:28 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

$ bash -version
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ python --version
Python 2.7.5

必要なもの

Python（2.7.9以上のバージョン）

インストール

pip のインストール

Pythonで動作するツールということで、 pip のインストールが必要。

以下のコマンドを実行し、バージョンが表示されていればすでにインストール済みなので、 pip のセットアップは不要。

1
2


$ pip --version
pip 19.0.3 from /usr/lib/python2.7/site-packages/pip (python 2.7)

インストールは簡単。

Bashシェルスクリプトでゼロ埋め（ゼロパディング）文字列を生成する方法いろいろ

Wed, 06 Mar 2019 08:03:54 +0900

はじめに

シェルスクリプト（Bash）で 数字の頭を 0 で詰めて、桁数を調整 したいことがよくあります。

ゼロ埋め、ゼロパディング、ゼロフィル、ゼロ詰めなどいろいろな呼び方をされます。シェルスクリプトで実現する場合のいくつかの方法と使用例をまとめてみます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

`printf` コマンドを使う

セオリーというか、多くのプログラミング言語に搭載されている機能。
Bash組み込みコマンドの printf を使う方法があります。出力フォーマットを指定することで、何桁の数値文字列として出力するか制御できます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


$ N=8

# 普通に表示
$ echo "${N}"
8

# printfを使うとゼロ埋めされるが、改行が出力されないことに注意。プロンプトかお尻にくっついちゃう
$ printf "%03d" "${N}"
008$

# 改行がほしい場合はこうする
$ printf "%03d\n" "${N}"
008

# 変数に代入して後々利用したい場合は以下の通り
$ S=$(printf "%03d\n" "${N}")
$ echo "${S}"
008

Bashの変数参照機能を使う

Bashの変数参照時に、不要な箇所を切り取ることができます。

`aws-cli` を使ってコマンドラインからAWS EC2とVPCを構築する

Mon, 04 Mar 2019 12:35:33 +0900

はじめに

AWS Transfer for SFTP の価格があまりにも高すぎたため、 EC2 上に SFTP サーバを構築することにしました。

今までは VPC や インターネットゲートウェイ を使わずに EC2 作成をしていたため、これらを導入した場合の手順を整理してみました。

準備

aws-cli コマンドが利用できること
jq コマンドが利用できること

ja はなくてもいいが、今回各AWS構成要素を作成した際のJSONレスポンスをパースしてできる限りコマンドラインのみの操作としたかったので利用しました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

$ aws --version
aws-cli/1.16.110 Python/3.7.2 Darwin/18.2.0 botocore/1.12.100

ネットワーク周りの設定

VPCの作成

1
2
3
4
5
6
7
8
9


# VPCの新規作成 => 作成されたVPCのIDを保存
$ EC2_VPC_ID=$(
 aws ec2 create-vpc \
 --cidr-block '172.20.0.0/16' \
 | jq -r '.Vpc.VpcId'
)

## 確認
$ echo "${EC2_VPC_ID}"

Subnetの作成

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# Subnetの新規作成 => 作成されたSubnetのIDを保存
$ EC2_SUBNET_ID=$(
 aws ec2 create-subnet \
 --cidr-block '172.20.0.0/16' \
 --vpc-id "${EC2_VPC_ID}" \
 | jq -r '.Subnet.SubnetId'
)

## 確認
$ echo "${EC2_SUBNET_ID}"

インターネットゲートウェイの作成

1
2
3
4
5
6
7
8


# インターネットゲートウェイの新規作成 => 作成されたインターネットゲートウェイのIDを保存
$ EC2_INTERNET_GATEWAY_ID=$(
 aws ec2 create-internet-gateway \
 | jq -r '.InternetGateway.InternetGatewayId'
)

## 確認
$ echo "${EC2_INTERNET_GATEWAY_ID}"

VPCへインターネットゲートウェイを割り当てる

1
2
3


$ aws ec2 attach-internet-gateway \
 --internet-gateway-id "${EC2_INTERNET_GATEWAY_ID}" \
 --vpc-id "${EC2_VPC_ID}"

ルートテーブルの設定

インターネットゲートウェイ経由でVPCへアクセスできるようにします。

CSVをJSONに変換するためのNode.jsライブラリ「csv2json」

Fri, 01 Mar 2019 20:34:55 +0900

はじめに

JSON データをinputとして処理するテストコードを書きたかったが、参考にするテストデータが CSV フォーマットだったために簡単に変換できないかと探していたところ良いものを見つけました。

csv2json

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

必要なもの

npm でインストールするツール&ライブラリのため、 Node.js の実行環境が必要です。

実行環境がない場合は Node Version Manager で Node.js がインストールできます。 ( Redhut/Fedora/CentOSなら yum 、 Ubuntu/Debianなら apt-get 、 Macなら brew を使ってインストールすることもできるが、以下の方法ならどの環境でもセットアップ可能。 )

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


# **Node Version Manager** ( 複数のアクティブなnode.jsバージョンを管理するためのシンプルなbashスクリプト ) を利用
$ curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.34.0/install.sh | bash

$ cat <<'EOF' >>~/.bashrc
export NVM_DIR="$HOME/.nvm"
[ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh" # This loads nvm
[ -s "$NVM_DIR/bash_completion" ] && \. "$NVM_DIR/bash_completion" # This loads nvm bash_completion
EOF

$ . ~/.bashrc

$ nvm install --latest-npm

$ node --version
v11.10.1

`csv2json` のインストール

npm コマンドが使えるようになっていれば以下のコマンドでインストールが可能です。

S3にファイルがSFTPアップロードされたことを検知してLambdaを起動する（ `aws-cli` で構築）

Thu, 28 Feb 2019 08:29:40 +0900

以下のような仕組みを作る必要がありました。

ユーザにSFTPプロトコルを使って、S3にファイルをアップロードしてもらう。
S3にファイルがアップロードされたことを検知して、何らかの処理を行う。

AWSのサービスを組みわせて、かつできる限り aws-cli のみを使ってコマンドラインで仕組みを構築してみました。

今回は、 「何らかの処理」 として Lambdaファンクションを使ってCloudWatchLogにログを書き出させてみます 。

※注意：IAM周りの設定はかなり大雑把に設定しているので、参考する場合にはもっと考慮が必要！

簡易構成図

設定パラメータを整理

AWSの各種サービス設定時に必要となる情報を事前にまとめておきました。

設定項目	設定値
AWS Transfer 実行ユーザ名(SFTPログインユーザ)	g-trigger-bucket-transfer-user
AWS Transfer 実行ロール名	g-trigger-bucket-transfer-role
S3 バケット名	g-trigger-bucket
S3 バケットイベント名	g-trigger-bucket-event
Lambda ファンクション名	g-trigger-function
Lambda 実行ロール名	g-trigger-function-role

事前準備

`aws-cli` (AWSコマンドの利用可能な環境づくり)

aws-cli の利用可能環境は、以下のエントリを参考に構築済み。

AWSコマンドを使うための環境をDockerを使って構築(Mac/Linux/WindowsでもPythonなしで動くよ) | ゲンゾウ用ポストイット

AWSサービスの設定開始

AWS S3バケットの作成

S3バケットの作成やファイルのアップロードをコマンドラインから操作する方法は、以下のエントリで整理済み。

AWSのS3バケットの作成、削除、タグ付与、ポリシー設定をコマンドラインから実行する | ゲンゾウ用ポストイット

参考にしながら設定を進める。

1
2
3
4
5
6


# バケットを作成
$ aws s3 mb s3://g-trigger-bucket

# バケットができたかを確認
$ aws s3 ls
2019-02-25 07:32:57 g-trigger-bucket

AWS Lambdaファンクションの作成

AWS Lambda ファンクションの作成や呼び出しをコマンドラインから操作する方法は、以下のエントリで整理済み。

Redhat系Linux（CentOS7）にVim8をインストールする方法いろいろ

Wed, 27 Feb 2019 07:50:21 +0900

Vim8のインストール方法について。

未だにCentOS7系でデフォルトインストールされるVimが7系なので、8系のインストール方法についてまとめてみました。是非Vim8と、8系でしか使えないプラグインを使ってみてほしいです。

検証環境

クリーンな検証環境を構築するために、 Docker を使いました。

※もちろんクリーンなCentOS環境を再構築できるなら別の方法でもよいが、これが一番手軽かつ安価なんですよね。

1

$ docker run --rm -it centos:centos7 bash

YUMをそのまま使う（Vim7がインストールされてしまう）

1
2
3
4
5
6
7
8
9


$ yum install -y vim

$ vim --version
VIM - Vi IMproved 7.4 (2013 Aug 10, compiled Oct 30 2018 19:56:57)
Included patches: 1-160, 399, 402-403, 1099
Modified by <bugzilla@redhat.com>
Compiled by <bugzilla@redhat.com>
Huge version without GUI. Features included (+) or not (-):
...

ソースコードをビルド(Vim8)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


$ yum install -y \
 curl \
 git \
 make \
 gcc \
 ncurses-devel

$ [ ! -d "/usr/local/src" ] \
 && mkdir -p "/usr/local/src"

$ cd "/usr/local/src"

$ git clone https://github.com/vim/vim.git

$ cd /usr/local/src/vim

$ ./configure \
 --disable-selinux \
 --enable-cscope \
 --enable-fontset \
 --enable-gpm \
 --enable-multibyte \
 --enable-rubyinterp \
 --enable-xim

$ make

$ make install

バージョン確認

AWSのLambdaファンクションの作成、実行、削除をコマンドラインから操作する

Tue, 26 Feb 2019 07:59:59 +0900

S3にファイルがアップロードされたことを検知して、処理を行うような仕組みを作り必要がありました。

処理の部分のロジックはまだ未決定事項が多いため、とりあえずは Lambdaファンクション呼び出しからCloudWatchLogへログを吐き出すところまでの仕組みを作成してみることにしました。

※作成したLambdaファンクションをS3へのファイルアップロードのつなぎこみは次回調査

`aws-cli` (AWSコマンドの利用可能な環境づくり)

AWSコマンドを使うための環境をDockerを使って構築(Mac/Linux/WindowsでもPythonなしで動くよ) | ゲンゾウ用ポストイットで環境構築済み。

AWS Lambdaファンクションの作成

AWS Lambda については以下の記事がわかりやすかった。

初めてのAWS Lambda　～AWS Lambdaで始めるイベントドリブンアプリケーション (1/5)：CodeZine（コードジン）

Lambda作成にあたってやらないといけないことは以下の2つ。

Lambdaファンクションの実行ロールを作成する
Lambdaファンクションを作成する

実行ロールの作成

まずは初期ポリシーファイルを作成します。 Lambdaファンクションの実行に関するフル権限を与えました。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


# ファイル名は何でも良い
$ cat <<EOF >logging-function-role-policy.json
{
 "Version": "2012-10-17",
 "Statement": [
 {
 "Effect": "Allow",
 "Principal": {
 "Service": "lambda.amazonaws.com"
 },
 "Action": "sts:AssumeRole"
 }
 ]
}
EOF

作成したポリシーファイルを元に、ロールを作成。

VimからWordPressのエントリを投稿する方法

Mon, 25 Feb 2019 20:24:45 +0900

僕がエントリを投稿するときはいつも Vim で下書きした内容をクリップボードに貼り付け、WordPress の新規投稿ページに貼り付ける、という流れで投稿していますが、これを Vim の世界だけで完結できないかと思い調べてみました。

WordPress.vim

便利そうな Vim のプラグインを発見

GitHub - vim-scripts/VimRepress: Plugin for managing wordpress blog from Vim.

機能概要

一部抜粋。

This is a mirror of http://www.vim.org/scripts/script.php?script_id=3510

VimRepress is a plugin for managing wordpress blog from Vim, a rewritten of vimscript #1953 , which is broken for years.

Now VimRepress lives with more powerful again.

REQUIREMENT

Vim 7.3+ with python 2.6/2.7 support

Python Environment matched wtih Vim’s support

python-markdown/python-markdown2 installed

wordpress 3.0.0 +

翻訳してみました。

AWSのS3バケットの作成、削除、タグ付与、ポリシー設定をコマンドラインから操作する

Sun, 24 Feb 2019 10:00:22 +0900

S3のバケット作成、削除、ポリシー設定をWeb上から操作することが多いです。 Web操作の解説も多いです。

でも、コマンドラインからの実行を解説しているケースはさほど多くないですね。。

S3はバックアップデータ置き場、ログ置き場として使うことが多いが、特に検証時に作っては消し、また作るを繰り返す… 繰り返しが疲れてきたのでコマンドラインでのやり方をまとめてみました。

ここではよく使用される aws s3 コマンドではなく aws s3api コマンドについてできるだけ触れてみます。

`aws-cli` (AWSコマンドの利用可能な環境づくり)

AWSコマンドを使うための環境をDockerを使って構築(Mac/Linux/WindowsでもPythonなしで動くよ) | ゲンゾウ用ポストイットを参照。

上記記事では Mac、Linux、Windowsの環境の差異を無視できるよう、またPythonなしでも動作するように Docker を利用しました。

S3バケットの作成 ( `aws s3api create-bucket` / `aws s3 mb` )

aws s3api create-bucket コマンドを使う。

create-bucket — AWS CLI 1.16.111 Command Reference

ここでは genzouw-test-bucket というバケット名で作成してみます。

1
2
3
4
5
6
7
8


$ aws s3api create-bucket \
 --bucket genzouw-test-bucket \
 --create-bucket-configuration "LocationConstraint=ap-northeast-1"

# 環境変数 AWS_DEFAULT_REGION が設定されていれば、以下のコマンドでも良い。
## aws s3api create-bucket \
## --bucket genzouw-test-bucket \
## --create-bucket-configuration "LocationConstraint=${AWS_DEFAULT_REGION}"

何度か --create-bucket-configuration オプション無しで実行してみたが、以下のようなエラーが発生しました。
AWS_DEFAULT_REGION の設定があったとしても指定が必要な模様。

AWSコマンドを使うための環境をDockerを使って構築(Mac/Linux/WindowsでもPythonなしで動くよ)

Sat, 23 Feb 2019 13:36:26 +0900

AWSコマンドを実行するための環境づくりをしたいが、自前のMac環境だけでなく、Windows環境のことも考慮して構築したいですよね。

Dcokerを作って実現するための手順をまとめてみました。

Dockerを使えれば、MacだろうがWindowsだろうがLinuxだろうが同じ手順で aws-cli 実行の環境が構築可能です。

事前にDockerのインストールが必要

こめんなさい。事前にDockerのインストールはされていることが前提です。
こちらはネット上に情報が転がっているので独力で頑張ってみてください。

“Docker Hub"から適当なコンテナを探す

Docker Hub から適当な既存のコンテナを探しました。

以下のコンテナがダンロード数も多く、比較的頻繁に更新されてそうでした。

mesosphere/aws-cli

Dockerを使った `aws-cli` を早速試してみる

実行のためには、以下の３つの情報が必要。

1
2
3


export AWS_ACCESS_KEY_ID="<id>"
export AWS_SECRET_ACCESS_KEY="<key>"
export AWS_DEFAULT_REGION="<region>"

環境変数として定義して export すれば利用可能ということで早速試してみます。

IAM管理コンソールページから、キー情報を取得

IAM Management Console のページを開く。
左サイドのメニューから「ユーザー」を選択すれば、現在登録されているIAMユーザの一覧が表示されます。
既存のものを使いたい 場合はそれをクリック。 新しいものを使いたい 場合は「ユーザーを追加」ボタンをクリック。

今回は既存のものを利用したいので、クリックしました。

「アクセスキー」 は最大2つまで登録できます。今回は既存のものがすでに登録してあったが 忘れてしまったため 新しく作成。

ボタンを押すと即座に新しいアクセスキーが作成されます。このタイミングでしっかりメモしておかないと2度と シークレットアクセスキー は確認できないので、メモしておきます。

環境変数を設定

Bash（ Windowsの方はコマンドプロンプトかPowerShell ）を開いて、以下の環境変数を設定します。

1
2
3


$ export AWS_ACCESS_KEY_ID="<先程のページのアクセスキーID>"
$ export AWS_SECRET_ACCESS_KEY="<先程のページのシークレットアクセスキー>"
$ export AWS_DEFAULT_REGION="ap-northeast-1"

AWS_DEFAULT_REGION は一番良く使うデフォルトのリージョンを指定する必要があります。（ 僕の場合は東京リージョン ） AWSの以下のページから自分がよく使うものを１つ選んで設定すればよいです。

https://docs.aws.amazon.com/ja_jp/general/latest/gr/rande.html

Bash起動時に自動的に環境変数が設定されるように、 ~/.bashrc ファイルに追記しておくとよいでしょう。

シェルを使ってMySQLの全`table create statement`を出力する方法

Fri, 22 Feb 2019 08:05:11 +0900

Qiita の記事に興味があったので。

MySQLに接続し、 show create table colors; というコマンドを実行すると colors テーブルの create table 文が出力されます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# USER=testuser / password=test9ass / DB=testdb で接続
$ mysql -u testuser -ptest9ass testdb -e "show create table colors \G"
Warning: Using a password on the command line interface can be insecure.
*************************** 1. row ***************************
 Table: colors
Create Table: CREATE TABLE `colors` (
 `code` varchar(255) NOT NULL,
 `name` varchar(255) NOT NULL,
 `created_at` datetime DEFAULT NULL,
 `updated_at` datetime DEFAULT NULL,
 PRIMARY KEY (`code`),
 UNIQUE KEY `uq_colors_code` (`code`),
 UNIQUE KEY `uq_colors_name` (`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

僕だったらどうやるかなと思ってシェルスクリプトを書いてみました。

シェルスクリプトでディレクトリ配下を検索した結果を、フォルダ階層を保ったまま別ディレクトリにコピーする

Wed, 20 Feb 2019 23:18:09 +0900

はじめに

タイトルがわかりにくいので、早速、具体的な例を上げて説明します。

EC-CUBEのソースコードを拝借し、 Tag という文字を名前に含むファイルを、階層構造を保ったまま別のフォルダ ( /tmp/ec-cube ) にコピーしてみます。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro10,1 Darwin


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)
Copyright (C) 2019 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

準備

1
2
3
4


$ git clone https://github.com/EC-CUBE/ec-cube.git

$ ls -l
drwxrwx--- 40 genzouw staff 1280 2 20 22:43 ec-cube/

やりかた

Tag という文字を名前に含むファイルは以下のコマンドで見つけられます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# 一部のファイルだけに絞り込まれて出力されている
## -type f => ファイルのみを対象。ディレクトリは非対称。
## -name => Tagという文字を含むもののみを対象
$ find ec-cube -type f -name '*Tag*'
ec-cube/tests/Eccube/Tests/Web/Admin/Product/TagContorllerTest.php
ec-cube/tests/Eccube/Tests/DependencyInjection/Compiler/AutoConfigurationTagPassTest.php
ec-cube/src/Eccube/Form/Type/Admin/ProductTag.php
ec-cube/src/Eccube/Form/Type/Admin/TagType.php
ec-cube/src/Eccube/Repository/ProductTagRepository.php
ec-cube/src/Eccube/Repository/TagRepository.php
ec-cube/src/Eccube/Entity/ProductTag.php
ec-cube/src/Eccube/Entity/Tag.php
ec-cube/src/Eccube/Controller/Admin/Product/TagController.php
ec-cube/src/Eccube/DependencyInjection/Compiler/AutoConfigurationTagPass.php

これを階層構造を保ったまま /tmp/ec-cube にコピーするには、 tar コマンドを使います。

Bashシェルスクリプトで浮動小数点計算（答えが小数となる除算）

Mon, 18 Feb 2019 12:21:58 +0900

はじめに

Bashの組み込みの数値演算機能では、少数が取り扱えません。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


$ X=10
$ Y=2
$ Z=4

# こちらは問題ない
$ echo $((X/Y))
5

# これでも結果はおなじ
$ echo $(($X/$Y))
5

# こちらの結果がおかしい
$ echo $((X/Z))
2

echo $((X/Z)) の実行結果は 2.5 となってほしいが、小数点以下が切り捨てられてしまいます。

対処方法はいくつかあります。

`bc` コマンドを使う

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# このままだと変わりなし
$ bc <<< "$X/$Z"
2

# 少数第何位まで計算するかを指定
$ bc <<< "scale=4; $X/$Z"
2.5000

$ # 無限循環小数
$ bc <<< "scale=4; $X/3"
3.3333

問題は scale の値をいくつにするかを予め知っておかないといけないこと。 卵が先か、鶏が先か。

シェルスクリプトのコードを整形してくれるツール `shfmt`

Fri, 15 Feb 2019 08:50:03 +0900

シェルスクリプトでコーディングする際に使っているツールを紹介。 ( とりあえず殴り書きして、コードフォーマットツールに食わせて整形します。 )

GitHub - mvdan/sh: A shell parser, formatter, and interpreter (POSIX/Bash/mksh)

必要なもの

Go
- Macなら brew install golang
- CentOSなら yum install golang

インストール方法

Gihtubのshfmtトップページにインストール方法が書かれています。

2019-02-15現在、 go コマンドが使えれば、以下のコマンドだけでインストールされます。

1

$ go get -u github.com/mvdan/sh/cmd/shfmt

正常にインストールされていれば、以下のフォルダにコマンドがインストールされています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


# 僕の環境
$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

# HOMEディレクトリ配下にコマンドがインストールされている
$ cd
$ ls .go/bin/shfmt
.go/bin/shfmt*

# 頻繁に使うので、 `$HOME/.go/bin` にパスを通しておく
echo 'export PATH="$PATH:$HOME/.go/bin"' >> ~/.bashrc

# コマンドが実行できるか確認
$ shfmt --help

※ちなみに、CentOS7系サーバでセットアップを行うと、 $HOME/.go ではなく $HOME/go ディレクトリにコマンドがインストールされます。なぜパスが違う？？

シェルスクリプトで変数の先頭・末尾のtrim処理いろいろ

Thu, 14 Feb 2019 08:18:19 +0900

ユーザの入力情報を取り扱うときには、誤ってスペースを入力されたことを考慮した対策が必要です。入力情報を変数に代入していた場合は先頭・末尾のtrim処理を行っておくと良いです。

Bashシェルスクリプトでtrimを実行する方法はいくつかあるので取り上げてみました。

前提

入力情報は INPUT という変数に格納しておきます。

1
2
3
4


$ INPUT=' genzouw postit '
 # スペースがあることがわかるようにカッコを付与しています
$ echo "[${INPUT}]"
[ genzouw postit ]

変数の前後から不要なスペースを除去し、以下のように出力されるようにしたいと思います。

1

[genzouw postit]

trimの方法1：sed

僕の中ではセオリー。

余談ですが、 sed が使えると head や tail や tr も代用できるし非常に便利です。万能ナイフ。

1
2


$ echo "${INPUT}" | sed 's/^ *\| *$//'
genzouw postit

変数に代入して使うこともできます。

$ X="$(echo "${INPUT}" | sed 's/^ *\| *$//')"

$ echo "${X}"
genzouw postit

trimの方法2：単純にechoする

ただechoに食わせるだけ。

1
2


$ echo ${INPUT}
genzouw postit

簡単でよいが、問題はあります。中央部分のスペースが1つにマージされてしまいます。

CSVデータに対してSQLのwhere、order by、group by、joinができる "q" コマンド（活用編）

Wed, 13 Feb 2019 08:39:30 +0900

はじめに

以下のエントリの続き。

CSV データに対して SQL の where、order by、group by、join ができる “q” コマンド（導入編） | ゲンゾウ用ポストイット

前回は q コマンドの導入とテストデータ作成（ 年次別にみた出生数・率（人口千対）・出生性比及び合計特殊出生率 ）まで。

今回は実際に q コマンドでデータを操作してみます。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ bash -version | head -n 2
GNU bash, version 5.0.17(1)-release (x86_64-pc-linux-gnu)
Copyright (C) 2019 Free Software Foundation, Inc.

$ cat /etc/os-release | head -n 2
NAME="Ubuntu"
VERSION="20.04.3 LTS (Focal Fossa)"

$ q --version
q version 3.1.6
Python: 3.8.11 (default, Jul 24 2021, 23:08:48) // [Clang 12.0.1 ]
Copyright (C) 2012-2021 Harel Ben-Attia (harelba@gmail.com, @harelba on twitter)
http://harelba.github.io/q/

単純なデータの出力

CSV ファイルを DB のテーブルと見直したクエリを実行することができます。
- from 句に CSV ファイルを指定
- 今回は各列がカンマ ( , ) で区切られているので、デリミタとして , を指定します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


$ q -d , "select * from mb010000-utf8.csv"
1899,1386981,713442,673539,32.0,105.9,...
1900,1420534,727916,692618,32.4,105.1,...
1901,1501591,769494,732097,33.9,105.1,...
1902,1510835,773296,737539,33.6,104.8,...
1903,1489816,763806,726010,32.7,105.2,...
1904,1440371,738230,702141,31.2,105.1,...
1905,1452770,735948,716822,31.2,102.7,...
1906,1394295,726155,668140,29.6,108.7,...
1907,1614472,818114,796358,34.0,102.7,...
1908,1662815,850209,812606,34.7,104.6,...
1909,1693850,863855,829995,34.9,104.1,...
1910,1712857,872779,840078,34.8,103.9,...
...(省略)...

ダウンロードしてきたデータの最終列がよくわからない。なぜドット。。。もともとのデータの 1〜9 行目を見る限り、列情報の意味は左から以下のようになっているようです。

CSVデータに対してSQLのwhere、order by、group by、joinができる `q` コマンド（導入編）

Tue, 12 Feb 2019 08:30:34 +0900

はじめに

年度末が近づいてきて、仕事でも CSV データをこねくり回す機会が増えてきました。（ログデータ集計、デバッグだけでなく、確定申告の金額計算など）

CUI 好きの自分も grep / sed / sort / uniq / join / paste のコマンドを毎回毎回パイプラインでつないでいるのは多少面倒になる。

CSV データを SQL で操作できればいいのに、と思う人も少なくないはずです。僕も SQL でデータ操作するほうがなれている人間のひとりです。

そんな方におすすめなのが、 q コマンド。名前のせいでググラビリティが低いのが難点だがとっても便利。

今回は主に導入方法について紹介し、次回で使い方に触れたいと思います。

検証環境

1
2
3
4
5
6
7


$ bash -version | head -n 2
GNU bash, version 5.0.17(1)-release (x86_64-pc-linux-gnu)
Copyright (C) 2019 Free Software Foundation, Inc.

$ cat /etc/os-release | head -n 2
NAME="Ubuntu"
VERSION="20.04.3 LTS (Focal Fossa)"

インストール方法

Github の以下のページを参照。OS ごとにインストール方法が記載されています。

Download and Install

RedHat 系 OS、Debian 系 OS 向けにそれぞれのインストールパッケージも用意されています。

Bashシェルスクリプトで大文字<=>小文字の変換方法いろいろ

Fri, 08 Feb 2019 08:09:04 +0900

前回 大文字あるいは小文字専用の変数を作成する方法について 触れたので、 文字列の大文字<=>小文字の変換方法 について紹介します。

`tr` コマンドを使う方法

おそらく最も古典的かつベーシックな方法です。

全文を変換

1
2
3
4
5
6
7


# 大文字→小文字
$ echo 'Hello World!' | tr '[:upper:]' '[:lower:]'
hello world!

# 小文字→大文字
$ echo 'Hello World!' | tr '[:lower:]' '[:upper:]'
HELLO WORLD!

一部変換

おそらく tr を使う方法ではできないのでは？

`sed` コマンドを使う方法

こちらも比較的よく見る方法です。ポイントは \L と \U 。置換したい文字列を指定する箇所の先頭に付与すると、 L の場合には小文字に、 U の場合には大文字に変換されます。

全文を変換

1
2
3
4
5
6
7


# 大文字→小文字
$ echo 'Hello World!' | sed 's/.\+/\L\0/'
hello world!

# 小文字→大文字
$ echo 'Hello World!' | sed 's/.\+/\U\0/'
HELLO WORLD!

一部を変換

最初の単語のみに適用。

Bashシェルスクリプト上での `read` コマンドの便利な使い方いろいろ

Thu, 07 Feb 2019 08:03:11 +0900

Bashシェルスクリプトで標準入力からの情報を取り扱う read コマンドと declare コマンドを組み合わせると便利で read コマンドについて触れたついでに、 read コマンドの便利な使い方にも触れておきます。

検証環境

1
2
3
4


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)
Copyright (C) 2019 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

変数をバラす

read コマンドは 区切り文字を元に標準入力からのデータをばらして変数に投入してくれる という機能があるので、それを上手に使うと変数をバラすのが楽になります。

例)年、月、日を別の変数に代入する

date コマンドを3回実行すれば取得できます。

1
2
3
4
5
6
7
8


# 年、月、日を取得
$ Y="$(date +%Y)"
$ M="$(date +%m)"
$ D="$(date +%d)"

# 確認してみる
$ echo "$Y と $M と $D"
2019 と 02 と 07

date コマンドの実行結果を read コマンドに食わせることで同じことができます。

Bashシェルスクリプトで標準入力から配列を生成する "read -a" コマンドが便利

Wed, 06 Feb 2019 08:15:05 +0900

はじめに

Bash のビルトインコマンド “declare” の使い方紹介 ( その１ ) で 配列型の変数 について触れました。

その後 Bash のビルトインコマンド “declare” の使い方紹介(その２) で 大文字専用の変数 あるいは 小文字専用の変数 について取り扱ったので、少しだけ関係する read ビルトインコマンドについても触れておきます。

read を使うと、標準入力から読み込んだデータの取り扱いが用意になる場合があります。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

`read` ビルトインコマンドとは？

特徴を簡単に列挙してみます。

標準入力を読み、一行ずつ読み込む
終了コードは、行を読み込めたときは 0 、読み込めなかったとき ( EOF も含む ) は 1
- ループの終了判定に使うことができる
引数にシェル変数名が指定し、読み込んだ行を変数に格納する
- 行末の改行は削除される

ベーシックな使い方として、ファイルの内容を１行ずつ読み込む処理として使われます。 while コマンドと一緒にループ処理を記述する際に使われます。

事前準備 ( サンプルデータ作成 )

動作を見ていくために、適当なデータを作成しておきます。

Bashのビルトインコマンド"declare"の使い方紹介（変数の global スコープ/参照渡し）

Tue, 05 Feb 2019 07:58:31 +0900

またまた以下の内容の続きです。まだまだ書き足りないけど今回で小休止を入れたいと思います。

前回関数内で declare コマンドを使って定義した変数は、自動的に local スコープになるというところで終わりました。では、関数内の local スコープ変数をもっと広いスコープにするにはどうしたらよいでしょう？

`-g` オプション

declare コマンドのオプションに -g と言うものがあります。デフォルトの local スコープよりさらに広い global スコープを設定してやることができます。関数の内部で定義した変数を関数の外部でも利用できるようになります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37


# 関数を定義
f () {
 # -gオプションを付与して、globalスコープとする
 declare -g -i N=4
 echo "f: N=$N"
}

# 関数呼び出し前なので空
$ echo "N=$N"
N=

# 関数呼び出し。関数内の変数は当然見れる
$ f
f: N=4

# 関数呼び出し後はglobal変数が関数の外からも見れる
$ echo "N=$N"
N=4

# 変数を表示するだけの関数を作成
$ show_var () {
 echo "show_var : N=$N"
}

# 表示させてみる
$ show_var
show_var : N=4

# 再度定義し直したらどうなるの？
$ f2 () {
 declare -g -i N=5
 echo "f2: N=$N"
}

# 上書きできちゃう
$ f2
f2: N=5

関数の外で参照できるだけでなく、他の関数からも参照できるようになります。けれども、あんまり広いスコープの変数を使うことはないと思います。

Bashのビルトインコマンド `declare` の使い方紹介（変数のlocalスコープ）

Mon, 04 Feb 2019 08:07:46 +0900

またまた、以下のエントリの続き。

※だんだんシリーズみたいになってきました（笑）

今回は前回の続きで、Bash における変数のスコープ（参照可能な範囲）について。

検証環境

1
2


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

`declare` コマンドで定義した変数は関数の中だけのいのち

読み取り専用の変数を定義するためには、declare -p を使っても readonly を使っても違いはなさそうというところまで確認しました。

1
2
3
4
5
6
7
8


$ declare -r A=a1
$ readonly B=b1

# `-p` オプションで変数がどのように定義されたものかを確認できます。
# 変数名を複数指定して、いっぺんに出力することもできます。
$ declare -p A B
declare -r A="a1"
declare -r B="b1"

Bash のビルトインコマンド “declare” の使い方紹介（その３）の終わりでも話したとおり、これは 関数の外部で変数が定義された場合 のみの話。関数の内部で定義された変数の場合には事情が異なります。関数の内部で定義された場合の両者の違いを見ていきましょう。

Bash のビルトインコマンド "declare" の使い方紹介（その３:読み取り専用）

Fri, 01 Feb 2019 08:17:07 +0900

以下のエントリの続き。

今回は 変数に型以外の情報を付与する機能 について。他の言語で言う public とか final の キーワード をイメージしてもらえばよいです。

別の表現をすると、以下の属性を付与する機能と言えますね。

変数のスコープ
変数の読み取り専用(書き込み禁止)

declare コマンド以外でも設定できる内容であり、以下のキーワードとも絡めて話をしたいと思います。

readonly
export
local

検証環境

1
2
3
4
5
6
7


$ bash --version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)
Copyright (C) 2019 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

declare オプション（変数の利用を制限・開放するもの）

`-r` オプション

読込専用な変数を定義。 値を代入 したりや unset をできなくなる。

Bash のビルトインコマンド "declare" の使い方紹介（その２:大文字小文字の自動変換）

Thu, 31 Jan 2019 08:00:16 +0900

以下のエントリの続き。

前回まで見てきたオプションは、変数の定義時に 型を指定 し、 想定通りの値が格納されていることを担保する ためのものです。他の言語で言う 連想配列 、配列、整数の３つの型について取り扱いました。

今回紹介するのは 文字列型 の機能について。

文字列型の変数に格納されている値が全て大文字であること、あるいは全て小文字であることを担保するためのオプションです。

検証環境

1
2


$ bash --version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

declare オプション（変数の型を定義するもの）

`-l` オプション

大文字を自動的に小文字に変換する変数を定義。 LowerCase の頭文字からとっているのだろう。

変数への値には必ず小文字の英字しか格納されていないことが担保されます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


# 全て小文字は当然何も起こらない
$ declare -l LSTR=abcde
$ echo ${LSTR}
abcde

# 大文字の値を代入しても変換される
$ LSTR="Hello World"
$ echo ${LSTR}
hello world

# 大文字を含むと変換される
$ declare -l LSTR2=ABCDE
$ echo ${LSTR2}
abcde

# 他の文字が混ざっていても大文字は小文字に変換される
$ declare -l LSTR3=aB1C3DE
$ echo ${LSTR3}
ab1c3de

# 全角英大文字を混ぜてみたところ...なんということでしょう！
$ declare -l LSTR4=abCＡＢＣ
$ echo ${LSTR4}
abcａｂｃ

驚いたのは全角英大文字もしっかり小文字に変換されていたことです。 Bash のバージョンによるのでしょうか？

Bashのビルトインコマンド"declare"の使い方紹介（その１）

Wed, 30 Jan 2019 08:16:00 +0900

シェルスクリプトサンプルコードでよく見かけるtypesetやdeclareってなに？の続きです。 ( declare や typedef について知りたい方は前回のエントリのほうが参考になるかもしれません。 )

Bash のビルトインコマンドである declare を使って変数を定義できますが、 オプションを指定することで真価を発揮します 。 declareオプションを見ていきましょう。

オプションは３つに分類できます。（僕が勝手に分類した）

変数の型を定義するもの
変数の利用を制限・開放するもの
その他

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

declareオプション（変数の型を定義するもの）

`-A` オプション

連想配列として変数を定義できます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35


# 連想配列を定義
$ declare -A MAP

# 要素を代入
$ MAP['a']=11
$ MAP['b']=22
$ MAP['c']=33

# 単純にechoしても何も出力されない
$ echo $MAP

# 添字を指定すればOK
$ echo ${MAP[a]}
11
$ echo ${MAP["a"]}
11

# カッコが足りないと正しく出力されない(T_T)
$ echo $MAP[a]
[a]
$ echo $MAP["a"]
[a]

# ちょっと特殊な書き方をしてやると出力できるが、値の一覧だけしか出力されない
$ echo "${MAP[@]}"
11 22 33

# "!" をつけてやると連想配列のキーも取得できます。（ここまで来るといよいよ意味不明。呪文じみてくる）
# ただ、この方法を使えばキーでループさせることが可能。
$ echo "${!MAP[@]}"
a b c

# -p オプションを使うとデバッグしやすい（後述）
$ declare -p MAP
declare -A MAP=([c]="33" [b]="22" [a]="11" )

ちなみに、変数の定義タイミングで値を代入するリテラル記述も存在します。

シェルスクリプトサンプルコードでよく見かける typeset や declare ってなに？

Tue, 29 Jan 2019 08:19:26 +0900

後日投稿したエントリで、サンプルコードとともに検証をしてみました。興味があればそちらも御覧ください。

古いシェルスクリプトコードでは、以下のような命令で変数を定義する方法が取られていることが多いです。

1
2
3
4
5
6


# 定義
$ VAR1=123

# 出力
$ echo "$VAR1"
123

一方、Github で公開されているシェルスクリプトを見ていると、 typeset や declare を使って変数を定義している例をよく見かけます。

それぞれの違いと使い方について調べてみました。

変数定義の方法は３つ

改めて Bash の変数定義方法を列挙してみます。

Bash では 定義なしに変数を生成 することができるが、 明示的に定義して変数を生成 することもできます。
変数の生成方法は以下の 3 つ。（だと思っている）

VAR1=123
declare VAR1=123
typeset VAR1=123

それぞれの違いは何？便利な機能もありそうなので調べてみました。

1. `declare` / `typeset` なしの変数定義

最もよく見る変数定義方法。記述もシンプルで流れるようにコーディングしているときにはよく記述します。

1
2
3
4


$ X=hello

$ echo "$X"
hello

2. `declare` を使った変数定義

1
2
3
4


$ declare X=hello

$ echo "$X"
hello

一緒に見えますね。

Bashのストリーム/パイプ処理を視覚的に理解する

Sat, 26 Jan 2019 09:42:10 +0900

はじめに

今日、サーバOSとしてLinuxが占める割合は非常に多いです。 Linuxサーバへログインして作業をすすめるにあたり、 Bash に上手に仕事を依頼できるかで生産性に大きな違いが出てきます。なぜなら、多くのLinuxサーバに標準搭載されているUIは、Bashだからです。

現在携わっているサービスのサーバも例に漏れずLinuxが利用されています。

“ストリーム/パイプ"を理解すれば"Bash"が理解できる

“ストリーム/パイプ"を理解すれば"Bash"が、そして"Bash"の 便利さ が理解できます。

ですが、“Bash” のコマンドは処理の複雑さの割に短く、理解が進むまでは非常に敷居の高い仕組みになっています。そこで、 “ストリーム/パイプ芸” 達を視覚化してみることにしました。

以降、 “ストリーム/パイプ芸” たちをサンプルコードとともに掲載します。サンプルコードの意味は説明を最小限にしますが、替わりに視覚化していきます。

当エントリの最後に"ストリーム/パイプ芸"を大変わかりやすく紹介しているページのURLを紹介しておきます。

図の見方

登場人物 は以下のものたちです。

“ストリーム/パイプ” パターン紹介

1.単純に実行（非ストリーム/パイプ）

まずはじめに ストリーム/パイプを利用していない例 から。出力結果を次のコマンドに渡すためには、一時的にファイルに書き出す必要があります。

サンプルコード

1
2
3


$ C1 > S12.txt
$ C2 < S12.txt > S23.txt
$ C3 < S23.txt

具体例

1
2
3


$ seq 1 100 > S12.txt
$ sort -rn < S12.txt > S13.txt
$ cat -n < S13.txt

視覚化してみました

Linuxサーバからログアウトしたタイミングで処理を実行させる方法（例えばメールを飛ばす）

Fri, 25 Jan 2019 08:45:59 +0900

職場の踏み台サーバを経由してオペレーションを実行すると、オペレーションログが１ファイル作成されます。このファイルのフルパスをログアウトごとに記録しておく必要があったのだが面倒なので自動化してみました。

追記 : 後日、Bash の trap 機能について追加のエントリを書きました。trap コマンドの詳細を知りたい方はどうぞ 。

Bash シェルスクリプトで終了前に後始末をさせたい時は trap コマンドを活用しよう | ゲンゾウ用ポストイット

前提

ログファイルは以下のフォルダに配置される。
- /var/log/script
ファイル名にはログインユーザ名が付与されている。
ファイル名にはタイムスタンプがが付与されている。

具体的には以下のようなファイル形式となります。

/var/log/script/genzouw_20190125_082914.log

検証環境

1
2
3
4
5
6
7


$ bash -version
GNU bash, バージョン 4.2.46(1)-release (x86_64-redhat-linux-gnu)
Copyright (C) 2011 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

ログアウトタイミングに処理を実行させるための方法

Bash の trap コマンド を使って実現しました。

Bitbucket上で個人、あるいは組織で所有するリポジトリを一覧表示するためのシェルスクリプト

Thu, 24 Jan 2019 08:18:19 +0900

Bitbucket上で個人、あるいは組織で所有するリポジトリを一覧表示するためのシェルスクリプト

背景

仕事で自分の組織が所有するBitbucketのリポジトリを全て取得し、grep検索したい場合がありましたが、BitbucketのWebページの一覧性はよくありません。（特にページングされているので、全てを一覧表示できない。）

また、Vimで編集しやすいように、 コマンドラインから一覧表示するためのシェルスクリプト を作成しました。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


$ uname -a
Darwin NP178 18.2.0 Darwin Kernel Version 18.2.0: Mon Nov 12 20:24:46 PST 2018; root:xnu-4903.231.4~2/RELEASE_X86_64 x86_64 i386 MacBookPro11,4 Darwin


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)
Copyright (C) 2019 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.


$ zsh --version
zsh 5.6.2 (x86_64-apple-darwin17.7.0)

前提条件

jqという、jsonデータを操作するためのツール

スクリプト

show-bitbucket-repositories.sh

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48


#!/usr/bin/env bash
set -o errexit # エラーが発生した場合はシェルを終了
set -o nounset # 未定義の変数を利用禁止

opts='hu:p:o:'

usage() {
 echo -n "${0}"
 echo "${opts}" | sed 's/\([a-z]\)/ -\1/g' | sed 's/\-\([a-z]\):/-\1 \U\1\E/g'
 exit 1
}

type jq >/dev/null 2>&1 || {
 echo 'jqコマンドがありません。停止します。'
 exit 101
}

while getopts ":${opts}" opt; do
 case "${opt}" in
 u)
 BITBUCKET_USER=${OPTARG}
 ;;
 p)
 BITBUCKET_PASSWORD="${OPTARG}"
 ;;
 o)
 BITBUCKET_ORG="${OPTARG}"
 ;;
 h | : | \?)
 usage
 exit 0
 ;;
 esac
done

API_URL="https://api.bitbucket.org/2.0/repositories/${BITBUCKET_ORG:-${BITBUCKET_USER}}"

while [[ $API_URL != "null" ]]; do
 tmp=$(mktemp)

 curl \
 --silent \
 --user "$BITBUCKET_USER:$BITBUCKET_PASSWORD" "${API_URL}" >"${tmp}"

 # API実行結果がページングされて返却されるため、次ページ情報が存在するかを確認（ない場合にはnullという値が取得される）
 API_URL="$(cat "${tmp}" | jq -r .next)"
 cat "${tmp}" | jq -r -c ".values[].links.clone[].href" | grep 'https://'
done

設置方法

環境変数 $PATH が設定されているディレクトリにファイルを配置してください。
- ex) ~/bin

1
2
3


$ vi show-bitbucket-repositories.sh

$ chmod 700 show-bitbucket-repositories.sh

実行方法

-u : ユーザID ( 必須 )
-p : パスワード ( 必須 )
-o : 組織情報 ( 任意：後述 )

1
2
3
4
5


# 個人のリポジトリ
$ ./show-bitbucket-repositories.sh -u genzouw -p password-dayo

# `-o` オプション付きで、組織で所有するものの一覧表示が可能
$ ./show-bitbucket-repositories.sh -u genzouw -p password-dayo -o my_organize

ちなみに

こちらのpythonのツールでも同じようなことはできます。

【TMUX】新しいWindowを開いたときに、直前のカレントディレクトリを引き継ぐ設定

Wed, 23 Jan 2019 22:18:37 +0900

TMUXでWindowを開くたびに直前のカレントディレクトリに cd することが多く、面倒だったので調べてみました。

環境

自分のTMUX環境を確認

1
2


# tmux -V
tmux 2.8

設定

以下の設定を ~/.tmux.conf に追記すればOK。

1

vi ~/.tmux.conf

1
2
3
4
5
6


# 新しいPaneを開く場合
bind c new-window -c '#{pane_current_path}'
# 現在のPaneを水平分割してWindowを開く
bind '%' split-window -h -c '#{pane_current_path}'
# 現在のPaneを垂直分割してWindowを開く
bind '"' split-window -v -c '#{pane_current_path}'

TMUX のトリガとなるキーを入力後、 % キーで水平に分割、 " キーで垂直に分割されるようにショートカットを設定していますが、分割後の ペイン ではもとのカレントディレクトリが引き継がれています。

すでにTMUXプロセスが起動中の場合は、以下のコマンドを実行しないと正しく反映されないことに注意！

1

tmux source-file ~/.tmux.conf

Bashでリダイレクトにより誤って既存ファイルを上書きしてしまわないようにする

Wed, 16 Dec 2015 02:12:14 +0900

背景

bash クックブック を読み進めています。

標準で ON にしておくと良さそうな設定がありました。 Bash でリダイレクトにより誤って既存ファイルを上書きしてしまわないようにする設定です。

環境

1
2
3
4
5
6
7
8
9


$ uname -a
Darwin genzouw-MacBook-Pro.local 15.2.0 Darwin Kernel Version 15.2.0: Fri Nov 13 19:56:56 PST 2015; root:xnu-3248.20.55~2/RELEASE_X86_64 x86_64 i386 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 4.3.42(1)-release (x86_64-apple-darwin14.5.0)
Copyright (C) 2013 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>
This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

set -o noclobber を実行すると、すでに存在しているファイルをリダイレクトにより上書きできなくなります。ファイルが存在しない場合は問題なく新規作成されます。追記も問題なくできます。

ssh-copy-idを使ってssh公開鍵を対象サーバーに配置する

Wed, 09 Dec 2015 21:29:03 +0900

背景

ssh-copy-id という、操作中のユーザーのSSH公開鍵を対象サーバーに簡単に配置するためのコマンドを知ったので使ってみた。

環境

1
2
3
4
5
6


$ uname -a
Darwin genzouw-MacBook-Pro.local 15.0.0 Darwin Kernel Version 15.0.0: Sat Sep 19 15:53:46 PDT 2015; root:xnu-3247.10.11~1/RELEASE_X86_64 x86_64 i386 MacBookPro10,1 Darwin
$ bash -version
GNU bash, バージョン 4.3.42(1)-release (x86_64-apple-darwin14.5.0)
$ zsh --version
zsh 5.1.1 (x86_64-apple-darwin15.0.0)

検証

Vagrantで新しいLinuxサーバーを立てる

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


$ vagrant init

# ここではすでにBoxを追加していたため、Vagrantfileを編集して利用するBoxを設定した
$ vi Vagrantfile
$ vagrant up

# ログイン
$ vagrant ssh

[vagrant@vagrant-centos65 ~]$ sudo useradd genzouw
[vagrant@vagrant-centos65 ~]$ sudo su - genzouw

# sshの鍵の設定はない状態
[genzouw@vagrant-centos65 ~]$ mkdir .ssh
[genzouw@vagrant-centos65 ~]$ chmod 700 .ssh/
[genzouw@vagrant-centos65 ~]$ exit
logout

# 初期パスワードを設定
[vagrant@vagrant-centos65 ~]$ sudo passwd genzouw
[vagrant@vagrant-centos65 ~]$ exit
logout
Connection to 127.0.0.1 closed.

Mac上に ssh-copy-id がインストールされていなかったのでインストール

1
2
3
4
5
6
7
8
9


$ brew install ssh-copy-id
==> Downloading https://homebrew.bintray.com/bottles/ssh-copy-id-6.8p1.el_capitan.bottle.tar.gz
####################################################################### 100.0%
==> Pouring ssh-copy-id-6.8p1.el_capitan.bottle.tar.gz
? /usr/local/Cellar/ssh-copy-id/6.8p1: 7 files, 344K

# 試しに実行
$ ssh-copy-id
Usage: /usr/local/bin/ssh-copy-id [-h|-?|-n] [-i [identity_file]] [-p port] [[-o <ssh -o options>] ...] [user@]hostname

早速鍵の設定

1

$ ssh-copy-id genzouw@127.0.0.1 -p2222

結果

おもむろにVagrant環境に接続してみる

Cygwinでkillがうまく動かない場合の対処

Sun, 15 Nov 2015 01:37:24 +0900

背景

家ではMacBookProを使っていますが、会社のPCがWindowsのためやむなく Cygwin を使っています。

ただ、Vimなどのプロセスが残ってしまった場合にうまくkillできないことがあります。

そんな場合に参考になるかと思います。

環境

Windows7 + Cygwin

対処

1
2
3
4
5


# シェルの組み込みコマンドであるkillであるというメッセージが表示されていれば、以下の対処をおこなう
$ which kill

# 組み込みコマンドが呼び出されないようにする
$ echo "alias kill='/usr/bin/kill'" >> ~/.bashrc

ひとこと

不要なプロセスがすぐ残ってしまうようなおかしな状態が発生しないようにできればよいのですが。あるいは MacBookPro で開発ができればよいのですけどね。

Bashシェルスクリプトでランダムな文字列を生成する

Thu, 12 Nov 2015 07:30:00 +0900

Neosnippetでシェルコマンド呼び出し結果をスニペットに差し込む

Thu, 12 Nov 2015 00:56:26 +0900

背景

vimデコーディングするう上で、もはや無くてはならないプラグインの一つである Shougo/neosnippet.vim 。非常に便利です。

更に便利に使うために、以下の情報をスニペット展開時に自動的に差し込めるようにしてみよう。

今利用している環境の情報
ディスク容量
ユーザー名

環境

今利用している環境は以下のとおり。このブログを編集中に利用したスニペットが自動で出力してくれています。

1
2
3
4
5
6


$ uname -a
Darwin genzouw-MacBook-Pro.local 15.0.0 Darwin Kernel Version 15.0.0: Sat Sep 19 15:53:46 PDT 2015; root:xnu-3247.10.11~1/RELEASE_X86_64 x86_64 i386 MacBookPro10,1 Darwin
$ zsh --version
zsh 5.1.1 (x86_64-apple-darwin15.0.0)
$ echo $USER
genzouw

設定方法

1. Neosnippetのインストール

ここでは割愛します。以下のページを参照下さい。

Shougo/neosnippet.vim

2.snippetsを開く

snippetsファイルの配置場所や書き方についても割愛します。

僕はブログ等を各ときには filetype=markdown となるように設定していることもあり、 markdown.snip というファイルに設定を追記しました。

3.スニペットを追加

以下のスニペットを追加。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


snippet blog
options head
prev_word '^'
	## 検証環境

	\`\`\`bash
	$ uname -a
	`system("uname -a")`

	$ bash -version
	`system("bash -version")`
	\`\`\`

ポイントは以下の部分。

Bashシェルスクリプトで1〜100までの数からランダムに10個を重複なしで取り出す方法

Thu, 10 Jul 2014 01:40:35 +0900

はじめに

テストデータの中からランダムにデータを n件（例えば10件）、取り出そうと思いました。

ランダムに抽出する方法を紹介します。

検証環境

1
2
3
4
5
6
7


$ bash -version
GNU bash, version 3.2.51(1)-release (x86_64-apple-darwin13)
Copyright (C) 2007 Free Software Foundation, Inc.

$ shuf --version | head -n 2
shuf (GNU coreutils) 8.32
Copyright (C) 2020 Free Software Foundation, Inc.

`$RANDOM` 環境変数を使った方法

$RANDOM 環境変数を使う方法が思いつきましたが、問題がありました。

1

$ echo $((RANDOM%100+1))

上記方法では、1から100までのランダムな値が取得はできますが、同じものが取得されることがあります。（ ex: 1 99 3 53 1 5 20 19 80 100 で、 1 が重複している）

同じデータを重複して取得しないようにするにはどうしたらよいでしょう？

`shuf` コマンドとパイプを使った方法

以下のワンライナーで実現できます。

1

$ seq 1 100| shuf| head -n 10

データを用意（ここでは1〜100にしています。）
shuf コマンドでデータ全体をシャッフル（行の順番を入れ替えるコマンドです）
最初の10件を取得

head コマンドを使わない方法もあります。 shuf コマンドには -n オプションがあります。これを使うとシャッフルした結果のうち、数件のみを出力させることができます。

Macでgit-svnを使ってプロジェクトドキュメントをダウンロードするとファイルが管理対象外として扱われる

Wed, 16 Oct 2013 23:13:39 +0900

Macでgit-svnを使ってプロジェクトドキュメントをダウンロードするとダウンロードされたファイルが管理対象外として扱われる事象 Macでプロジェクトドキュメントを以下のコマンドでcloneした。 git clone -s http://hoge-server/path/to/the/project/ clone下ばかりのクリーンなフォルダのはずなのに、何故か日本語ディレクトリの幾つかが管理対象外扱いとなっている。どうも濁点、半濁点を含む日本語名フォルダがおかしくなる模様。対処法どうもMacは一般的なUTF-8とは異なる文字コードを利用しているようだ。簡単に説明すると、ファイル名…

UbuntuやCentOSでBashログイン後に「warning: setlocale: LC_ALL: cannot change locale (ja_JP.UTF-8)」が表示された場合の対処

Tue, 04 Jun 2013 22:31:58 +0900

はじめに

新しく導入したばかりの Linux サーバーに Bash でログインしたところ、次の様なメッセージが表示されるようになりました。

1

bash: warning: setlocale: LC_ALL: cannot change locale (ja_JP.UTF-8)

原因を解消すべく、対応したときのメモです。

実行環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ uname -a
$1 SMP PREEMPT Thu May 25 07:27:39 UTC 2023 x86_64 x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 5.1.16(1)-release (x86_64-pc-linux-gnu)

$ cat /etc/os-release
PRETTY_NAME="Ubuntu 22.04.3 LTS"
NAME="Ubuntu"
VERSION_ID="22.04"
VERSION="22.04.3 LTS (Jammy Jellyfish)"
VERSION_CODENAME=jammy
ID=ubuntu

直前に行ったこと

直前に行なっていたことは、 .bashrc に環境変数を幾つか追加したことでした。次の２行を追加していました。

Bashシェルスクリプトでファイルやディレクトリを".yyyymmdd"付きでバックアップする

Sat, 20 Apr 2013 11:15:38 +0900

はじめに

Unix上のファイルやディレクトリを変更する前に、バックアップするために日付つきファイル名としてコピーしておくことがありますね。

「今日は何年何月何日だったっけ？」と悩む必要がないように、現在日時を .YYYYMMDD で取得し、コピー先ファイル名のサフィックスとして付与するコマンドを紹介します。

“.YYYYMMDD” サフィックス付きでバックアップファイルを作成するコマンド

以下のように、 {,.$(date +%Y%m%d)} という記述を使用します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# file_to_backupというファイルが存在
$ ls
file_to_backup

# -a オプション付きでコピー
$ cp -a file_to_backup{,.$(date +%Y%m%d)}

# 年月日付きでファイルがバックアップされている
$ ls
file_to_backup file_to_backup.20130420

簡単な解説

実行されたコマンドは以下のように解釈されます。

1

$ cp -a file_to_backup file_to_backup.$(date +%Y%m%d)

cp コマンドの -a オプションは、所有者、パーミッションをそのまま保持するためのオプションです。また、 -R オプションと同様、ディレクトリの場合には階層構造を保持したまま再帰的にコピーします。

Bashシェルスクリプトで年、月、日を1コマンドでそれぞれの変数に分割

Tue, 16 Apr 2013 12:59:57 +0900

はじめに

プログラミングで年月日の値を利用することは多いです。僕も何度日時を操作するプログラムを記述したか。

Bashシェルスクリプトで年月日を分割取得するちょっとかわった方法を紹介します。

方法その1 : 愚直に `date` コマンドを3回実行

すぐに思いつくのは、 date コマンドを3回叩いて年、月、日の値をそれぞれ別の変数に代入するという方法です。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


$ YEAR=$(date +%Y)
$ MONTH=$(date +%m)
$ DATE=$(date +%d)

$ echo $YEAR
2013

$ echo $MONTH
04

$ echo $DATE
16

方法その2 : `set` コマンドで分割

別の方法として、 set コマンドを使って一度に分割し、それぞれの変数を用意することができます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ set -- $(date '+%Y %m %d')

# 年を表示
$ echo $1
2013

# 月を表示
$ echo $2
04

# 日を表示
$ echo $3
16

方法その3 : 一度、配列として変数代入

コメントで「こんな方法もあるよ！」と連絡いただきました！ありがとうございます。

Bashシェルスクリプトで変数からパターンに合致した文字列を除去する(dirname、basenameの代替として利用可能)

Fri, 14 Dec 2012 12:49:10 +0900

はじめに

いつも前方から除去するのか、後方から除去するのかごっちゃになっています ^^;

たとえばファイルのフルパスからファイル名だけを取得する場合。 basename コマンドや dirname コマンドを使えば解決なのだが、これらを使わない場合について紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

コマンド

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


$ FILEPATH=/opt/groovy/bin/groovy

$ echo ${FILEPATH#*/}
opt/groovy/bin/groovy

# === basenameと一緒 ===
$ echo ${FILEPATH##*/}
groovy

# === dirnameと一緒 ===
$ echo ${FILEPATH%/*}
/opt/groovy/bin

# 何も表示されない
$ echo ${FILEPATH%%/*}

${変数名##pattern} で、 前方一致 でパターンにマッチした文字列を除去した結果を取得できる。 # だと貪欲でない(最短一致)検索、 ## だと貪欲な検索が行われる。 ${変数名%%pattern} で、 後方一致 になる。 % だと貪欲でない(最短一致)検索、 %% だと貪欲な検索が行われる。

Bashシェルスクリプトのおける関数の定義方法（ `function` キーワードは必須ではなかった。）

Thu, 13 Dec 2012 12:40:47 +0900

いつも、 function というキーワードを利用して以下のように定義していた。

1
2
3


function xxx() {
 echo "xxx"
}

キーワードを利用しなくても、関数名の後ろに () を追記すれば関数扱いになる。

1
2
3


xxx() {
 echo "xxx"
}

readコマンドで読み込んだ行からカラムを取り出す方法

Wed, 12 Dec 2012 10:07:07 +0900

今迄、 read コマンド を一行ずつで読み込んでくりかえし処理する用途でしか使用していませんでした。ほんのちょっとだけ突っ込んだ使い方を学んだ。

行をカラム分割する

たとえば以下のような csv から 2 列目と 3 列目の情報を取り出す。

1
2
3
4
5


1,2,3,4,5
2,3,4,5,6
3,4,5,6,7
4,5,6,7,8
5,6,7,8,9

今迄のやり方

1
2
3
4
5
6
7


$ cat report.csv | while read line; do
 c2=$(echo "$line" | cut -d, -f 2)
 c3=$(echo "$line" | cut -d, -f 3)

 echo "$c2"
 echo "$c3"
done

結果は以下の通り

もう何が何やら

Bashシェルスクリプトでファイルを空にする4つの方法

Tue, 11 Dec 2012 16:40:37 +0900

ファイルを予め用意しておきたいが、ファイルの中身は空にしたい。そんなときに使える方法を4つ紹介します。

以下の方法のいずれもファイルの中身を空にできます。

ちなみに、ここで空にしたい対象ファイルは file.txt とします。

方法1 : `echo` コマンドを使う

echo コマンドを引数なし、末尾の改行無しオプション付きで実行します。

1

$ echo -n "" > file.txt

方法2 : `cat` コマンドを使う

/dev/null デバイスと組み合わせて、空文字を出力させます。

1

$ cat /dev/null > file.txt

方法3 : `touch` コマンドを使う

思い切って、一度削除してしまうという方法です。

1
2
3


$ rm -f file.txt

$ touch file.txt

**ただし、こちらの方法は問題があります。

tail -f コマンドのようなファイルを監視する仕組みを利用している場合に、新しく作成されたファイルの存在が検知できない場合があります。

方法4 : (おすすめ)リダイレクトのみ行う

もっともタイプ量が少ない方法です。

1

$ > file.txt

圧倒的な短さですね。

ひとこと

特に成約がなければ **4つめの方法で良いと思います。 **

Bashシェルスクリプトでランダムな重複なしの数列を生成する方法

Mon, 10 Dec 2012 13:16:46 +0900

Bash でランダムな重複なしの数列を生成する方法について。

ちなみに、重複が許される場合には以下のエントリを参考ください。

Bash シェルスクリプトでランダムな文字列を作成する

ここでは、２つの方法を紹介します。

例として、 1 から 8 までの数値を 1 つだけ含んだ ランダムな数列を生成してみます。

shuf コマンドを利用する方法

1
2
3
4
5
6
7
8
9


$ seq 1 8 | shuf
8
3
2
7
1
6
4
5

shuf コマンドが便利な使い方がたくさんあるので、別エントリで詳しく紹介しています。

sort コマンドを利用する方法

1
2
3
4
5
6
7
8
9


$ seq 1 8 | sort -R # オプションは大文字であることに注意!
3
4
1
8
7
5
2
6

もちろん、コマンドラインに限らず、Vim を利用しているときに行をランダムに入れ替えるときにも使えます。

ひとこと

やっていることは標準入力から受けとった行をランダムに入れ替えているだけなので、数列以外にも利用できます。

作成したGroovyスクリプトをGroovy未インストール環境で使ってもらう

Wed, 01 Aug 2012 00:55:03 +0900

作成したGroovyスクリプトをチームメンバーに利用してもらいたいが、普通のメンバーはGroovyはインストールしていない。知名度はまだまだのようだ。

そこでGroovyをインストールしていないメンバー環境でもGroovyを実行できるようにするにはどうしたらよいかを試行錯誤してみた。

結果うまくいった方法を残しておく。

経緯

複数エクセルファイルの内容をまとめ、１ファイルにして提出する必要があった。これをGroovy + POIで実現しようとした。
Groovyスクリプトで難なくできたわけだがこれをほかメンバーに公開したい。

もちろん fat jar化 する方法もあるが、編集のたびにビルドするのが面倒なために今回は他の方法を検討。

実行環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -vs
Linux #41-Ubuntu SMP Thu Jun 14 17:49:24 UTC 2012

$ java -version
java version "1.7.0_03"
OpenJDK Runtime Environment (IcedTea7 2.1.1pre) (7~u3-2.1.1~pre1-1ubuntu3)
OpenJDK 64-Bit Server VM (build 22.0-b10, mixed mode)

$ groovy -version
Groovy Version: 2.0.0 JVM: 1.7.0_03 Vendor: Oracle Corporation OS: Linux

作成したスクリプト

実際のものと異なるが、カネムーメモ: groovyとpoiでExcelファイルを出力するから拝借し一部変更したものを記載。

Bash上でGrailsコマンドのオプションを保管

Sat, 28 Jul 2012 16:09:28 +0900

Bash completion for Grails 1.1 - uehaj’s blog を見てからずっと設定を試してみたいと思っていたが google:Grails を触る機会がなかったもので試せていなかったが、Webの案件が入りそうなのでGrailsの最習得を目指して環境周りを整備しだした。

マシン環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ uname -vs
Linux #41-Ubuntu SMP Thu Jun 14 17:49:24 UTC 2012

$ java -version
java version "1.7.0_03"
OpenJDK Runtime Environment (IcedTea7 2.1.1pre) (7~u3-2.1.1~pre1-1ubuntu3)
OpenJDK 64-Bit Server VM (build 22.0-b10, mixed mode)

$ grails -version
Grails version: 2.1.0

スクリプトダウンロード

Bash Completionの仕組みは勉強不足だが、Grailsコマンドにこの機能を組み込むためにはスクリプトが必要という事でダウンロード。

google:github に上がっていた。（ https://github.com/podollb/grails-autocomplete ）

MacのOpenコマンドをLinuxで

Mon, 06 Feb 2012 07:17:37 +0900

以下のエントリを見て、Macの open コマンドが便利そうだなと思いました。

MacのOpenコマンドのすすめ - それマグで！

open コマンドで、関連付けされた適切なアプリケーションが起動するようです。 Linuxにも同様なコマンドがないか？と探していたらありました。

gnome-open コマンドというらしい。

長くて打ち込みにくいのでエイリアスをつけることをおすすめ。

1

$ alias open='gnome-open'

Cygwinでカレントディレクトリにスペースを含む場合にShellbang付きGroovyが動かせない件のパッチを送ってみた

Mon, 10 Oct 2011 22:53:57 +0900

Groovyの開発リポジトリが GitHub · Build software better, together. に以降されたので、パッチなども容易に連絡できるようになった。

ようやくかなり以前のエントリであげていたcygwin上のカレントディレクトリに半角スペースを含む場合にエラーが発生する件( CygwinでWindows環境にLinuxと同様のGroovy環境を構築するための設定 )のパッチを連絡してみた。

Subversionのリポジトリ上から２つのリビジョンの差分ファイルをピックアップするスクリプト

Tue, 31 Aug 2010 18:13:42 +0900

svndiffexp

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


#!/bin/bash
target=`svn info | grep 'URL: ' | sed 's/URL: //g'`
r1=$1
r2=$2
todir=$3
list=""
for f in `svn diff ${target} -r ${r1}:${r2} --summarize | grep -v ^D | sed -e "s@^. *${target}/@@g"`
do
if [ -f "$f" ]
then
list="$list $f"
fi
done
tar cf - $list | (cd "${todir}"; tar xvf -)

使い方

your_svn_work_dirというsvnの作業コピーディレクトリから、リビジョン10~12で変更されたファイルをピックアップする。

1
2


$ cd your_svn_work_dir
$ svndiffexp 10 12 ~/modfiles/

BashのTab補完機能で大文字小文字を区別させなくする方法

Mon, 01 Feb 2010 20:38:36 +0900

もっと早く知っていればよかったです。

$HOME/.inputrc に以下の一行を追加すると、Bash操作中にTabを押した場合の補完で大文字小文字を区別なくなります。

`$HOME/.inputrc`

1

set completion-ignore-case on

以下のコマンドをターミナルに貼り付けて実行すればすぐに追記できます。

1
2
3


$ cat <<'EOF' >~/.inputrc
set completion-ignore-case on
EOF

blancoValueObject セットアップと実行用Groovyスクリプト

Mon, 18 Jan 2010 07:18:22 +0900

プロジェクトで blancoValueObject というコード自動生成のフレームワークを使用することとなった。セットアップ手順と実行を用意にするためのGroovyスクリプトを作成した。

前提

以下の実行環境が必要
- Bash実行可能
- Ant実行可能

セットアップ

以下のコマンドを実行（ここではsvnリポジトリのコードを~/projects/blancoValueObjectにチェックアウト）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


#!/usr/bin/env bash
svn checkout \
 http://svn.sourceforge.jp/svnroot/blancofw/blancoValueObject/trunk \
 ~/projects/blancoValueObject

cd ~/projects/blancoValueObject

ant

cp lib/*.jar ~/.groovy/lib/
cp lib.ant/*.jar ~/.groovy/lib/

実行用Groovyスクリプト

以下のスクリプトをどこか環境変数 PATH の通った場所に配置。

実行する際には

1

$ blancovalueobject.groovy <エクセル配置ディレクトリ>

または

1

$ blancovalueobject.groovy <エクセル配置ディレクトリ> <文字コード>

で実行すると、OSごとの一時フォルダのtargetディレクトリ内にBeanのコードが生成される。エクセルのBean定義書テンプレートはmeta/templateディレクトリ下にあるようなのでこれを適当に記述して <エクセル配置ディレクトリ> に突っ込んで実行。

CygwinでWindows環境にLinuxと同様のGroovy環境を構築するための設定

Thu, 26 Nov 2009 08:03:11 +0900

会社にてCygwinを使っているが、「Groovy」が正常に動作しない。「Groovy」自体は c:\Program Files\Groovy-1.6.5 にインストールされているが、 /usr/share/groovy にシンボリックリンクをはっている。

このままの状態で

1
2


#!/usr/bin/env groovy
println "あいう"

のようなUTF-8エンコードのファイルは実行できない。

以下の箇所を変更することで実行可能になる。

groovyファイル

1
2
3
4


20c20
< startGroovy groovy.ui.GroovyMain "$@"
---
> startGroovy groovy.ui.GroovyMain -c UTF8 "$@"

startGroovyファイル

1
2
3
4


227c227
< eval `echo args$i`=`cygpath --path --ignore --mixed "$arg"`
---
> eval `echo args$i`="\"`cygpath --path --ignore --mixed "$arg"`\""

後者はCygwin使用時の特有の現象（バグ？）

Bash on ゲンゾウ用ポストイット

Bashの組み込みコマンド "bc" を使ってみる

はじめに

検証環境

“fc” コマンドの概要

シェルスクリプトで標準出力と標準エラー出力を入れ替える

はじめに

検証環境

解答

解説

ファイル記述子 ( ファイルディスクリプタ ) について

Github Copilot in the CLI を使ってみる

はじめに

検証環境

作業の流れ ( 作業ログ )

Github Copilot in the CLI の概要

Gitでいろいろな形式、方法でタグの一覧を出力する

はじめに

検証環境

シンプルにタグを一覧出力

コミットハッシュと一緒にタグを一覧出力

名前をパターン指定してタグを一覧出力

Gitで最新のタグを取得する方法

はじめに

検証環境

git describe --tags コマンドを使う

実際に試してみる

docker-compose.yamlのentrypoint/commandフィールドで環境変数を使いたい

はじめに

検証環境

docker-compose.yaml に環境変数 $VAR を記述した時の挙動

"2>&1"を使わずに標準出力と標準エラー出力を同じファイルに出力する

はじめに

検証環境

実際に検証したスクリプト

findコマンドを実行した結果、ファイルが 1 つも見つからなかった場合の判定

はじめに

検証環境

find を grep をパイプでつなぎ、ファイルの検出を判定

"tail -f"でログファイルを監視しながら"grep"すると出力が遅延する問題への対応

はじめに

検証環境

「grep で絞り込むと出力が遅延する」とは？

Bashシェルでtypeコマンドを使ってコマンドの存在チェックを行う際の注意

はじめに

検証環境

type コマンドとは

再ログインせずにログイン中ユーザの所属グループの変更を反映する方法

はじめに

検証環境

ログイン中のユーザの所属グループを変更しても直ちに設定が反映されない

準備 : sudo 実行可能なテストユーザーを作成

ChatGPT(+Shell GPT)を使って簡単な計算を行う電卓シェルスクリプトを生成してみた

はじめに

検証環境

Shell GPT さんと僕のやり取り

1 回目のやりとり

Shell GPTでコマンドラインからChatGPTを呼び出す

はじめに

検証環境

Bashシェルスクリプトで"while read"ループ内で"read"コマンドを使う方法

はじめに

検証環境

while read ループ中で read コマンドを利用するとどうなるか？

Bashシェルスクリプトで月の最初の日、最後の日を算出する

はじめに

検証環境

前提

月の最初の日 ( 月初め ) を算出

月の最後の日 ( 月末 ) を算出

今月

( 簡易版 ) 今月の月初め

( 簡易版 ) 前月の月末

ひとこと

(有料になったが) Heroku CLI を使ってコマンドラインから Heroku を操作

はじめに

検証環境

インストールに必要なもの

インストール

動作確認

`git describe --tags` コマンドを使う

`docker-compose.yaml` に環境変数 `$VAR` を記述した時の挙動

`find` を `grep` をパイプでつなぎ、ファイルの検出を判定

「`grep` で絞り込むと出力が遅延する」とは？

`type` コマンドとは

準備 : `sudo` 実行可能なテストユーザーを作成

`while read` ループ中で `read` コマンドを利用するとどうなるか？

`[...]` で囲まれた部分の文字列だけを取り出したいが ANSI エスケープシーケンスが邪魔をする場合

環境変数 `IFS` ( Internal Field Separator ) を変更する

`zip` コマンドのインストール

`c` コマンドは条件に合致した行を別の文字列で置き換える

`sed` を使ったパス文字列分割の正規表現

IP アドレスと CIDR からネットワークに関する情報を算出する `ipcalc` コマンド

`networksetup` コマンドを利用する