Docker on ゲンゾウ用ポストイット

docker-compose.yamlのentrypoint/commandフィールドで環境変数を使いたい

Tue, 18 Apr 2023 08:30:45 +0900

はじめに

docker-compose.yaml 内で環境変数を記述する際には、その展開時期に注意しましょう。 entrypoint や command フィールドに環境変数を記述する場合には、environment フィールドでの環境変数定義を参照できないため、別途工夫が必要です。また、docker-compose up 実行時に、環境変数が「置換」される挙動については、使い方次第では不便な場合もあるため、注意が必要です。

問題点について、具体的なコードをあげて説明した後、対処法を紹介します。

検証環境

1
2
3
4
5


$ uname -moi
arm64 unknown Darwin

$ docker-compose --version
Docker Compose version v2.15.1

`docker-compose.yaml` に環境変数 `$VAR` を記述した時の挙動

docker-compose.yaml には $VAR あるいは ${VAR} の形式で環境変数を記述できます。

環境変数の展開の挙動を確認しておきます。

以下のような docker-compose.yaml ファイルを用意します。

1
2
3
4
5
6
7


version: "3"
services:
 app:
 image: bash
 environment:
 "Z": genzouw
 entrypoint: echo "$X",'$Y',"$Z"

YAML ファイルを配置しているディレクトリで、以下のコマンドを実行することで Docker Compose 内に記述されているイメージを使ってコンテナが立ち上がります。

永遠に終了せず何もしないDockerコンテナを立ち上げる方法

Fri, 24 Mar 2023 08:30:11 +0900

はじめに

Docker コンテナを運用する際、仮想化された環境内で動作するコンテナプロセスを最小限に抑えることで無駄なサーバーリソースの消費を抑え、コストダウンにつなげることができます。

しかし、場合によっては何もしないコンテナを起動しておき、そのままにしたいというケースがあります。具体的には AWS ECS 環境や CKE 、Kubernetes 環境でコンテナを立ち上げ、アタッチ ( 接続 ) して運用作業を行いたい、といった場合です。そんなときに役立つのが「永遠に終了せず何もしない」コンテナです。

毎回起動コマンドをどうしたらよいか悩むので、選択肢を整理するためにまとめてみました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

$ docker --version
Docker version 20.10.21, build baeda1f

どんなときに「永遠に終了せず何もしない」コンテナが必要？

冒頭でも紹介したように、AWS ECS 環境や CKE 、Kubernetes 環境でコンテナを立ち上げ、アタッチ ( 接続 ) して運用作業を行うときに役立つのが「永遠に終了せず何もしない」コンテナです。

例えば、コンテナを立ち上げてアタッチしてから、コンテナ内で作業するときです。

永遠に終了せず何もしないコンテナを立ち上げる方法

以下の方法で「永遠に終了せず何もしない」コンテナを立ち上げることができます。

“tail -F /dev/null” を使う
“sleep infinity” を使う
“while true; do sleep 1; done” を使う

以下でそれぞれの方法を詳しく見ていきます。

Docker ComposeでMySQLがスタンバイになる前に他コンテナが接続しエラーとなってしまう場合の対処

Thu, 23 Mar 2023 08:30:27 +0900

はじめに

Web アプリケーションでは全てと言っていいほど Web サーバーと DB サーバーを利用することとなります。

単一の物理サーバーに Web サーバー、DB サーバーの機能を同居していたのも今は昔。

最近では Docker を使った環境構築が主流となっています。

物理的には従来同様単一の物理サーバー上で稼働していたとしても、仮想的には複数のコンテナが稼働しているというイメージです。

そのような環境では、Docker Compose を使って両サービスを稼働させることがあります。

しかし、DB サーバー、例えば MySQL がスタンバイとなる前に他コンテナが接続しようとしてエラーとなってしまう場合があります。

このような場合の対処法を説明します。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

$ docker-compose version
Docker Compose version v2.13.0

Docker Compose を使って DB コンテナと DB クライアントを立ち上げた場合に遭遇する問題

再現方法

Docker Compose を使って DB コンテナと DB クライアントを立ち上げた場合、DB クライアントから DB コンテナに接続できない場合があります。

fzfを使って現在起動中のDockerコンテナプロセスに簡単に接続するスクリプト

Thu, 16 Feb 2023 08:45:06 +0900

はじめに

ローカルで Docker を触ることが多いので、かんたんにコンテナプロセスの中にアタッチ ( 接続 ) できるようにスクリプトを作ってみました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

$ fzf --version
0.37.0 (brew)

スクリプト

docker-sh というスクリプト名で保存してください。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


#!/usr/bin/env bash
set -o errexit
set -o nounset

SH="bash"

type docker >/dev/null 2>&1 \
 || {
 echo "docker not found" >&2
 exit 1
 }
type fzf >/dev/null 2>&1 \
 || {
 echo "fzf not found" >&2
 exit 1
 }

HASH=$(
 docker \
 ps \
 --format 'table {{ .ID }}\t{{ .Image }}\t{{ .Command }}' \
 | fzf --header-lines=1 --select-1 --query="${1:-}" \
 | awk '{ print $1 }'
)

[[ -z ${HASH} ]] && exit 0

docker \
 exec -i -t \
 "${HASH}" "${SH}"

必要なもの ( ツール )

Docker
fzf

使い方・機能

引数なしで実行

1

$ docker-sh

fzf を使って、現在実行中のコンテナプロセスをインタラクティブに絞り込みできます。任意のものに特定できたら ENTER を押します。コンテナに対して docker exec -it が行われ、アタッチします。コンテナ内に接続します。

docker psコマンドで出力される情報をカスタマイズする( --format オプション )

Tue, 07 Feb 2023 09:34:53 +0900

はじめに

docker ps コマンドで現在稼働中の Docker コンテナを確認できます。

デフォルトでは以下のような情報が出力されます。

1
2
3
4


$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
05d7ee2a983c genzouw/ubuntu-sandbox "/bin/bash" 1 second ago Up 1 second adoring_bassi
78c24e86b192 genzouw/ubuntu-sandbox "/bin/bash" 34 seconds ago Up 33 seconds tender_carson

ここでは 2 つのコンテナが実行されています。

CONTAINER ID や IMAGE の情報を取り出して、パイプで別の処理に引き渡したい（例えば、実行中プロセスをすべて停止したい）場合は、 cut や awk を使って処理する方法が考えられます。

1
2
3
4
5
6
7
8
9


# 2行目以降を出力し、1列目のみを取り出す
$ docker ps | tail -n +2 | cut -d ' ' -f 1
6965cb418c29
7ff433dc6fb0

# 2行目以降を出力し、2列目のみを取り出す
$ docker ps | tail -n +2 | awk '{ print $2 }'
genzouw/ubuntu-sandbox
genzouw/ubuntu-sandbox

ヘッダーの除去するための tail や、任意の列だけを取り出すための cut 、 awk を使わずに --format オプションを使用する方法があります。また--format オプションには少し変わった使い方もあります。

Dockerコンテナ内でcronを実行し実行ログを出力する方法

Tue, 11 Oct 2022 20:19:31 +0900

はじめに

Docker Compose を使って構築している環境にスケジューリングされたジョブ実行の仕組みがほしいという相談をいただきました。

AWS や GCP といったクラウドサービスを利用している場合は CloudWatch Events や Google Scheduler の利用も選択肢に入ります。しかし今回の環境は Linux サーバに Docker デーモンが用意されているだけでしたので、cron を利用することにしました。

このときに構築した Docker 内で cron を実行する方法と、cron 実行結果を標準出力、標準エラー出力に流して docker logs コマンドで確認する方法を紹介します。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.2(1)-release (aarch64-apple-darwin21.6.0)

$ docker --version
Docker version 20.10.17, build 100c701

今回利用した Docker ベースイメージ

今回の検証で利用した Docker のベースイメージは Alpine です。

Google Container Registry (GCR) にDockerイメージをプッシュしようとしてエラーが出たときの対応

Sat, 05 Feb 2022 08:00:15 +0900

はじめに

独自にビルドした Docker イメージは、Docker Repository に配置して初めて自分以外も利用できるようになります。パブリックな Docker Repository としては Docker Hub が有名です。プライベートな Docker Repository として、僕は Google Container Registry (GCR) を利用することが多いです。

先日、他の方から「Google Container Registry にビルドイメージをプッシュしようとしてエラーが出てハマっている」という相談がありましたので、こちらの解消方法について解説しようと思いました。

検証環境

1
2
3
4
5
6
7
8


[vagrant@localhost ~]$ cat /etc/os-release | head -n 7
NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"

作業の流れ

gcloud + docker コマンドのインストール
Docker イメージを作成
GCR に対する認証を設定
Docker イメージをプッシュ
Docker イメージをプル＋実行

1. `gcloud` + `docker` コマンドのインストール

gcloud は “Google Container Registry (GCR)” に対して「認証」を行うために利用します。

コマンドラインで "Docker Hub" にアップロード済みのDocker Repositoryを削除する方法

Fri, 04 Feb 2022 20:36:06 +0900

はじめに

無料でDockerイメージを公開できるサービス Docker Hub はなくてはならないサービスですね。

昨年自動ビルド機能が暗号通貨マイニングに悪用され廃止となってしまったにもかかわらず、無料でDockerイメージを公開するリポジトリとしての地位はゆるぎません。

“Github Action” なり “CircleCI” なり “GCP Cloud Build” なりを使ってビルドしたイメージを打ち上げる先として未だに使い続けています。

自分のPCでビルドしたイメージをアップロードするためにも利用していますが、不要になったDocker リポジトリを削除したいと思いました。

その際に実行した、コマンドラインから削除するための方法を紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (x86_64-apple-darwin21.1.0)

“Docker Hub” のDocker Repository を操作するためのツール “hub-tool”

“Docker Hub” のDocker Repository をコマンドラインから操作する場合は、 “hub-tool” というツールを利用します。

過去のエントリ (“hub-tool”を使って”Docker Hub”上のイメージタグを一覧表示する) でも紹介しました。

今回のエントリも、 hub-tool コマンドがすでにインストールされていることを前提とします。

インストールされていない場合は、インストールしておきましょう。

1
2
3


# インストールされているかを確認 ( メッセージが気持ち悪い )
$ hub-tool --version
Docker Hub Tool unknown, build unknown

`hub-tool` を使って “Docker Hub” 上の Docker Repository を削除

それでは hub-tool を使って、不要な Docker Repository を削除してみましょう。

trコマンドとsed(y)コマンドの動作の同じところ、違うところ

Mon, 31 Jan 2022 08:00:19 +0900

はじめに

tr コマンドは、「文字」を別の「文字」に置き換えるコマンドです。

同じようなコマンドとして、 sed コマンドの y 内部コマンドがあります。

両方のコマンドの挙動を紹介します。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

`tr` コマンド

tr コマンドを使って、 “my name is test.” という文字を変換してみます。

tr コマンドは指定された複数の文字を、別の文字に変換するコマンドです。

具体例をもとに挙動を見ていきましょう。

例1

tr コマンドの第1引数と第2引数の文字数が同じ場合には、それぞれの文字位置が変換ルールとして対応します。以下のルールで変換されます。

t => a
e => b
s => c

1
2


$ echo 'my name is test.' | tr 'tes' 'abc'
my namb ic dbcd.

例2

tr コマンドの第2引数が第1引数の文字数よりも小さい場合は、以下のルールで変換されます。

実行中のBashシェルスクリプトを書き換えると挙動が変わる問題とその対処法

Tue, 18 Jan 2022 08:00:07 +0900

はじめに

時事ネタに乗り遅れましたが、昨年末にTwitterで話題になっていた内容について、かんたんなスクリプトを取り上げながら理解を整理してみたいと思います。

bashは、シェルスクリプトの実行中に適時シェルスクリプトを読み込みます。この挙動による副作用を認識できておらず、実行中のスクリプトが存在している状態でスクリプトの上書きによりリリースしてしまったことで、途中から修正したシェルスクリプトの再読み込みが発生し、結果的に未定義の変数を含むfindコマンドが実行されてしまいました。

この結果、本来のログディレクトリに保存されたファイルの削除をする処理ではなく、 /LARGE0のファイルを削除してしまいました

引用 : 「https://www.iimc.kyoto-u.ac.jp/services/comp/pdf/file_loss_insident_20211228.pdf」

僕もよくお世話になっている企業様ですし、お詫びの文面を公開し紳士に対応する姿勢、素晴らしいと思います。（被害を受けた側は災難だったと思いますが。）

そして、こちらの問題、決して他人事にできないと思います。

検証環境

1
2
3
4
5
6
7
8
9


$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

ケース1：永遠に終了しない

障害の原因は「Bashシェルスクリプトの実行中に適時シェルスクリプトを読み込む」という特性によるものということでした。

実験して特性を確認してみます。

シェルスクリプトで、自身の末尾に処理を追記する処理を実行し続けたらどうなるでしょう？

test1.sh を作成します。

1
2
3
4
5
6
7
8


#!/usr/bin/env bash

function hello() {
 echo 'hello' >>$0
 echo hello実行中
 sleep 1
}
hello

hello 関数は以下のような動作をします。

Bashシェルスクリプト(コマンドライン)でファイル名の一括置換を行う(ファイル名にスペースあり)

Mon, 17 Jan 2022 14:56:39 +0900

はじめに

昨年後半から仕事が忙しく、ブログ投稿を行っていました。些細なネタでもいいので毎日続けることが大事だと反省しました。

というのも、投稿を怠っていた間もブログを見てくれた方、訪問数、いいねの数が伸び続け、 月間の訪問者数もついに 5万PV/月となっていたためです ！

ありがとうございます。

今年一発目の投稿は多くの人がご存知の一発ネタですね。 Bashで特定のフォルダ配下にあるファイルの名前を一括置換する方法です。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


----------
$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)
----------

準備

適当なファイルとフォルダを作ります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# 適当なディレクトリを作成
$ mkdir -p dir1/ dir2/dir2-1


# 適当なファイルを作成
$ touch dir1/file-001.txt
$ touch dir2/file-002.txt
$ touch dir2/dir2-1/file-003.txt
$ touch dir3/dir3-1/file-004.txt
$ touch "dir3/dir3-1/file- -005.txt"

“file- -005.txt"だけ、ファイル名にスペースを含んでいることに注意です。

"docker diff"を使って"pip install"のライブラリインストール先を調べる

Fri, 03 Sep 2021 09:24:37 +0900

はじめに

クラウド化、コンテナ化、マイクロサービス化が進み、システムを 複数の言語で作られたサブシステム で構成することが増えてきました。どんどん学習も大変になって来ています。 Python、Go、TypeScript、Ruby といろんな言語を学習する必要に迫られているわけですが、それぞれの ライブラリ管理ツール ( PIP、BUNDLER、NPM、… ) がライブラリをどこにインストールするのか調べたいと思いました。

Linux のファイル寿司テム全体で diff を使って変更されたファイルを確認できれば便利ですね。

そんなときに便利なのが docker diff コマンドです。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ docker --version
Docker version 20.10.7, build f0df350

`docker diff` を使って `pip` コマンドでライブラリがインストールされる場所を調べる

それでは docker diff コマンドを使って pip install でライブラリがどこにインストールされるのかを調べてみます。

pip は Python のコマンドですので、Python の Docker イメージを使用します。

イメージのビルド高速化機構 Docker BuildKit、BuildX を理解していなかったので調べてみました

Sat, 17 Jul 2021 10:06:15 +0900

はじめに

Dockerfile を作成した後は docker build コマンドを使って Docker イメージをビルドします。

ある日を境に docker build コマンド実行時のコンソールメッセージの表示が様変わりしたのですが、これは Docker (正確には僕のローカル PC で利用している Docker for Mac) に BuildKit と言われるものが導入されたためのようです。

この BuildKit について理解していませんでしたので、調べてみました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ docker --version
Docker version 20.10.7, build f0df350

BuildKit とは？

BuildKit は、 Docker の 18.06 から試験的に導入され、18.09 以降で正式に導入された機構になります。

YAMLの重複記述を減らしDRYを保つためにエイリアス機能を使う

Sat, 19 Jun 2021 08:26:26 +0900

はじめに

僕が YAML ファイルを触りだしたのは、Ansible を使い始めてからでした。

そこから Docker Composes 、 Kubernetes ともはや YAML を触ることがないシステムはない状況となりました。

AWS や GCP 、 Azure といったクラウド環境でも YAML ファイルで設定するリソースは非常に多いですし、Rest API のインターフェイス定義として OpenAPI を YAML で記述します。

YAML ファイルの重要性が高まるにつれて、ファイルの内容はどんどん肥大化する傾向にあります。同時に 1 つの YAML ファイルの中に記述する内容が重複することも多く（Kubernetes マニフェストのラベル名など）、なんとか DRY に記述できないかと悩むことがあります。

重複記述を回避するために “エイリアス” を使う

そこで有効なのが YAML の標準機能として提供されている エイリアス 機能です。

現在担当してるシステムのローカル開発環境は Docker Compose を使って構築していますが、エイリアス機能を使って docker-compose.yaml ファイルの簡素化を行っています。

それでは、エイリアス機能について見ていきましょう。

エイリアス(別名)機能とは？

YAML のエイリアス機能とは、 単一の値 か ブロック(YAML のツリー構造) のどちらかに名前をつけて、あとから参照するための仕組みになります。

エイリアス機能を利用した例

値にエイリアスを設定し、参照する

値に名前をつけるというのが最もシンプルな使い方です。

&エイリアス名 で名前をつけ、 *エイリアス名 で値を参照します。

1
2
3
4
5
6
7


hello: &hello "hello"
greeting:
 audience: "world"
 hello: *hello # 'hello' という文字列となります
new_greeting:
 audience: "room"
 hello: *hello # 'hello' という文字列となります

正しく値が参照できているかを確認するために、 yq というコマンドラインから YAML ファイルを操作するツールを使ってみます。

Docker Container Registryサーバーを自前で作成してみる

Mon, 14 Jun 2021 07:29:06 +0900

はじめに

“Docker Hub” や GCR 、 ECR といったサービスがあるなか、わざわざ自前で “Docker Registry” を構築して Docker イメージを管理する必要性は少ないとは思いますが、仕組みを理解する目的で、自作の Docker Registry 環境を構築してみたいと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

作業の流れ（作業ログ）

Docker Registry サーバを立ち上げ
Docker Registry サーバに外部から接続するための設定を追加

準備

前提として、今回は最もかんたんな方法で Docker Registry サーバを立ち上げたいと思います。

その方法とは、「すでに公開されている Docker Registry サーバ用の Docker イメージを利用する」というものです。

Docker イメージを管理するためのサーバを Docker で立ち上げる、というのが面白いですね。

そんなわけで、Docker を事前にインストールしておきましょう。 Windows や Mac で動作させる最もかんたんな方法は以下のツールを導入することです。

Docker Desktop for Mac and Windows | Docker

1. Docker Registry サーバを立ち上げ

registry:2.7.1 というイメージを利用したいと思います。

Docker Composeで初回起動時のみyarn installを実行させる方法

Wed, 28 Apr 2021 21:58:32 +0900

はじめに

Docker Compose の初回起動時のみ、ライブラリのインストールを実行したい場合があります。

NodeJS の場合 yarn install や npm install
PHP の場合 composer install
Ruby on Rails の場合 bundle install

いい方法が無いか考えた末、 docker-compose.yaml の command 属性に工夫して解決させてみました。

検証環境

1
2


$ docker-compose --version
docker-compose version 1.29.0, build 07737305

Docker Compose 初回起動時にライブラリをインストールしておかないとどうなる？

例えば、以下のような NodeJS の Web アプリケーションを起動させたいと思います。

yarn start というコマンドでサーバが起動します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


version: "3.4"

services:
 nodejs:
 image: node:15.13.0-alpine
 volumes:
 - .:/app:cached
 working_dir: /app
 entrypoint:
 - sh
 command:
 - -c
 - |
 yarn start
 ports:
 - 3000:3000

entrypoint 、 command の設定情報から、起動時に以下のコマンドが実行されます。

Dockerイメージのうちlatestタグがついているものをすべて最新に更新する

Thu, 11 Mar 2021 08:00:04 +0900

はじめに

Docker イメージを取得する際にタグを指定しなかった場合には latest タグが自動的に利用されます。

例えば以下の二つのコマンドは両方とも同じ意味を示します。

1
2
3
4
5


# latestタグなし
$ docker pull bash

# latestタグ有り
$ docker pull bash:latest

latest タグ付きのイメージは Docker のイメージリポジトリ(DockerHub が利用されることが多いですね)が更新されてもローカルのキャッシュが利用されるため差異が発生する可能性があります。

これを避けるためにローカル PC 内にある Docker イメージを、Docker Repository の最新のイメージから一括で更新するためのコマンドを紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

前提条件

作業用 PC で docker コマンドが利用できること。

イメージ一括更新コマンド

以下のコマンドを作業用 PC で実行するだけです。

Bashシェルスクリプトでcsvの行と列を入れ替えるために csvtool を使う

Wed, 03 Mar 2021 08:00:57 +0900

シェルスクリプトで csv の行と列を入れ替える必要がありました。

Web を探してみると awk を使って変換する例がいくつか見つかりましたが、もっと簡単に実現する方法はないか調べてみたところ、 csvtool という面白そうなツールがありました。

今日はこのツールを紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 5.0.17(1)-release (x86_64-pc-linux-gnu)

インストール

まずは csvtool をインストールします。

1
2
3
4
5
6
7
8


$ apt update -y

$ apt install csvtool -y

$ csvtool --help
csvtool - Copyright (C) 2005-2006 Richard W.M. Jones, Merjis Ltd.
 - Copyright (C) 2007- Richard W.M. Jones & Christophe Troestler
...

簡単にインストールできました。

Githubリポジトリにコミットしたら、自動的に"Docker Hub"でDockerイメージを作成させる

Wed, 17 Feb 2021 21:04:58 +0900

はじめに

僕は Docker Hub 上で Docker イメージをいくつも公開しています。

genzouw/mkr : mkr - Command Line Tool For Mackerel written in Go.
genzouw/gpg : Docker image that give gpg command.
genzouw/td : This is a Docker image wrapping the command line client tool td of" Treasure Data “. Ruby installation, Gem installation, authentication information, etc. can all be managed by Docker container.
genzouw/jq : This is Dockerfile repository that wrap jq command.
genzouw/trim-text : This Docker image is intended to provide a UI that integrates command line text cut operations.
genzouw/ansize : Convert image to text ( ascii art ) .

いずれも自分の公開 Github リポジトリコミットしたタイミングで、 “Docker Hub"でイメージを自動的に作成するようにしています。

"hub-tool"を使って"Docker Hub"上のイメージタグを一覧表示する

Tue, 02 Feb 2021 19:32:42 +0900

はじめに

シェルでDockerHubリポジトリからイメージとタグを取得する方法 | ゲンゾウ用ポストイットで、 Docker Hub 上のイメージで利用できるタグを一覧表示するための方法を紹介しましたが、

hub-tool という便利なツールを導入することでタグの一覧表示が容易に実現できるようになりましたので紹介します。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

$ docker --version
Docker version 20.10.2, build 2291f61

`hub-tool` コマンド : Docker Hub Tool

Docker Hub Tool とは、コマンドラインから “Docker Hub” で自分が作成したリポジトリを操作するためのコマンドラインツールになります。

「自分が作成したリポジトリ」のみですが、例外として他のエンジニアが提供しているDockerイメージのタグを一覧表示するための機能が提供されています。

インストール

`go get` コマンドを使ってインストール

Go言語の実行環境が用意されている場合は go get コマンドが利用できます。

1

$ GO111MODULE=on go get github.com/docker/hub-tool

Go言語の実行環境が用意されていない場合には後述の方法をお試しください。

Dockerコンテナ環境でmanコマンドを使えない問題を解決する方法

Wed, 20 Jan 2021 20:09:39 +0900

はじめに

飽きずに毎日Bashやシェルスクリプト関連の記事を書いているわけですが、記事の内容が本当に正しいのかを確認するためにDockerコンテナ環境内で動作を確認しています。

僕のMac環境は随分汚れてしまっているので、正しい動作を確認するためにはクリーンな環境が必要なわけです。

執筆の合間にBashの正しい挙動はどう定義されているのかを書くにするために man コマンドを実行したくなることもあるのですが、Dockerコンテナ内で man bash を実行してもマニュアルが確認できません。

コンテナイメージのサイズが大きくなってしまいますが、事前にインストールしておこうと思いました。

検証環境

いつも執筆の際に利用しているディストリビューションは CentOS です。 ( 未だにCentOS なので、いい加減Ubuntuあたりに移行したい。 ) 大体 docker run --rm -it centos:centos7 bash を実行して、検証環境を立ち上げています。

1
2
3
4
5
6
7
8


$ cat /etc/os-release | head -n 1
NAME="CentOS Linux"

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`man` コマンドをインストールしてはみるが…

CentOSのパッケージ管理ツールといえば YUM です。 yum コマンドで man をインストールします。

1
2
3
4


$ yum install man -y

$ type man
man is /usr/bin/man

正しくインストールされたのを確認し、次のステップへ。

Kubernetes Podの"command"や"args"で環境変数を参照する方法いろいろ

Tue, 19 Jan 2021 21:30:38 +0900

はじめに

KubernetesでPod（もしくはReplicaSet、Deployment）のマニフェストにて、 command や args 属性を使って実行コマンドを指定する事ができます。

command や args に指定する実行コマンドで環境変数を利用する場合の注意点と対処法について紹介します。

検証環境

1
2
3


$ kubectl version
Client Version: version.Info{Major:"1", Minor:"19", GitVersion:"v1.19.4", GitCommit:"d360454c9bcd1634cf4cc52d1867af5491dc9c5f", GitTreeState:"clean", BuildDate:"2020-11-12T01:09:16Z", GoVersion:"go1.15.4", Compiler:"gc", Platform:"darwin/amd64"}
Server Version: version.Info{Major:"1", Minor:"16+", GitVersion:"v1.16.15-gke.4300", GitCommit:"7ed5ddc0e67cb68296994f0b754cec45450d6a64", GitTreeState:"clean", BuildDate:"2020-10-28T09:23:22Z", GoVersion:"go1.13.15b4", Compiler:"gc", Platform:"linux/amd64"}

command や args に環境変数をベタ書きした場合、うまく参照できない

環境変数を出力するだけのPodを作成してみます。まずはPodのマニフェストファイルを作成します。

env 属性で NAME という環境変数を設定し、それを出力させてみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


# test-pod.yaml というマニフェストファイルを作成
$ cat <<'EOF' >test-pod.yaml
apiVersion: v1
kind: Pod
metadata:
 name: test-pod
spec:
 containers:
 - name: test-pod
 image: bash
 command: ["echo"]
 args:
 - "${NAME}"
 env:
 - name: NAME
 value: "genzouw"
EOF

マニフェストファイルを元にPodを作成します。

envsubstを使ってテキストファイルをテンプレートエンジンとして使う

Thu, 14 Jan 2021 22:01:34 +0900

はじめに

Kubernetes のマニフェストファイル内に環境変数を埋め込み、出力内容を動的に変更したい場合がありました。

kustomize や helm といったツールを利用することで Kubernetes のマニフェストファイルに変数を埋め込むことはできます。しかし、そこまで大層な仕組みを導入するような手間を掛けたくありません。

sed を使う方法もありますが、可読性は低くなります。

そんな場合、 enｖsubst コマンドを利用することで実現できました。

テキストファイルをテンプレートエンジンのとして利用できるシンプルで便利なコマンドです。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`envsubst` コマンドとは

envsubst コマンドを使うと，変数展開など「テンプレートエンジン」のような仕組みを実現できます。

準備

僕の環境 ( CentOS ) には最初にインストールされていなかったため、まずはインストールから行いました。

1
2
3
4


$ yum install -y gettext

$ which envsubst
/usr/bin/envsubst

Mac 環境の場合は Homebrew でインストールできます ( 僕の Mac には気がついたらインストールされていました ) 。 apt でもきっと用意にインストールできるでしょう。

"bash -c"コマンド実行で子プロセスが作られる時、作られない時

Fri, 08 Jan 2021 20:28:00 +0900

はじめに

KubernetesのマニフェストファイルやDockerのビルドファイル、Docker Composeの設定ファイルを閲覧、編集することが増えてきました。

それらのファイルの中で bash -c というコマンドが実行されていることがあります。 bash の新しいプロセスを立ち上げ、 -c オプションで渡されたコマンドを実行する命令になります。

ps コマンドを使い、実行中の bash -c プロセスを見ていたところ、プロセスツリーの表示が時々で異なっていたため不思議に思い調べてみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

改めて、 `bash -c` って何？

bash -c "echo hello" といったように、 -c コマンドに文字列を渡すことで、文字列をコマンドとして実行させることができます。多くの言語系で実装されている eval 関数のようなものですね。

1
2
3


# 10秒待ってからhelloが表示される
$ bash -c "echo hogehoge"
hogehoge

コマンドは ; で区切って複数実行させることもできます。

1
2
3


# 10秒待ってからhelloが表示される
$ bash -c "sleep 10; echo hello;"
hello

`bash -c "sleep 10; echo hello;"` を実行したときのプロセスツリー

ここで、 bash -c "sleep 10; echo hello;" というコマンドを実行します。

Bashでコマンドライン上にタブ文字をはりつけると消える問題に対応

Wed, 18 Nov 2020 08:13:35 +0900

はじめに

MacのデフォルトシェルもZshになったこともあり、最近インタラクティブな操作目的でBashを起動する機会は徐々に減っています。とはいえ、やはりサーバのログインシェルに利用されているのは未だBashが多く、今後もこの状況が続くでしょう。

Bashのコマンドライン上にタブ文字を含む文字列を貼り付けた場合、タブ文字が消えてしまうことがないでしょうか？このタブ文字が消える問題への対処法について紹介します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

タブ文字が消える問題について

ここで、Bashのヒアドキュメント機能を利用して文字列を出力させたい、というケースを考えてみます。出力させない内容は、タブ区切り文字列である TSV 形式となっています。

以下のような3行からなるTSVです。

1
2
3


aa	bb	cc
aa	bb	cc
aa	bb	cc

cat コマンドと ヒアドキュメント を使って出力してみます。以下の内容をコピーして、Bashシェル上に貼り付けてみます。

1
2
3
4
5


cat <<EOF
aa	bb	cc
aa	bb	cc
aa	bb	cc
EOF

うまくいく環境もあるでしょうが、僕の環境ではタブが消えてしまいます。

DockerfileでENTRYPOINT、CMDを指定した時のベースイメージの挙動はどう変わるか

Tue, 06 Oct 2020 22:30:58 +0900

はじめに

先日投稿した以下のエントリは、今回のエントリを投稿するための前提知識になっています。

DockerfileでENTRYPOINT、CMDの挙動を動かしながら理解する | ゲンゾウ用ポストイット

前提知識を整理しておきたかったためにまとめたものになっています。

僕らが Dockerfile を記述するときには、一行目に FROM というコマンドを記述します。これは、Dockerイメージを作成する際に利用する ベースイメージ を指定するための命令となります。

ベースイメージも Dockerfile からビルドされたDockerイメージであり、 ENTRYPOINT や CMD コマンドが Dcokerfile 内に記述されている場合があるわけです。

自分で作成するDockerfileに ENTRYPOINT や CMD コマンドを記述した場合、それらはベースイメージの ENTRYOPTION や CMD とどう連携して動作するのでしょうか？

実験してみたいと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ docker --version
Docker version 19.03.13, build 4484c46d9d

実験の流れ

ENTRYPOINT ／ CMD コマンドをそれぞれ設定した Dockerfile を作成・ビルドし、作成されたDockerイメージを実行してみる
(1)で作成したDockerイメージを「ベースイメージ」とした Dockerfile を作成・ビルドし、作成されたDockerイメージを実行してみる。作成するDockerfileは以下の4つのパターンとする

ENTRYPOINT、CMD の両方を設定しない
ENTRYPOINT、CMD の両方を設定する
ENTRYPOINT だけ設定する
CMD だけ設定する

親となるDockerfileの作成・ビルド・実行

まずは親となるDockerfileを作成します。

DockerfileでENTRYPOINT、CMDの挙動を動かしながら理解する

Fri, 02 Oct 2020 00:08:10 +0900

はじめに

Dockerfile内で指定可能なコマンドはいくつかありますが、 ENTRYPOINT コマンドと CMD コマンドは初見ではわかりくいコマンドとなっています。

この2つのコマンドが、Dockerコンテナの実行にどのように影響するか、実行させながら理解していきたいと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ docker --version
Docker version 19.03.13-beta2, build ff3fbc9d55

Dockerイメージ実行時の実行コマンドの組み立てロジック

今回は結論から入ります。

Dockerイメージ内で実行されるコマンド は、以下の3つの要素を使って組み立てられます。

Dockerfile内の ENTRYPOINTの設定値
docker run IMAGE_NAME コマンド実行時の コマンドライン引数
Dockerfile内の CMDの設定値

2と3の両方が設定されている場合は、 2が優先され、3は無視 されます。

結果、 Dockerイメージ内で実行されるコマンド は以下のようになります。

1

<ENTRYPOINTの設定値> <コマンドライン引数|CMDの設定値>

具体的な例を見ていきたいと思います。

Dockerfileに ENTRYPOINT と CMD の両方が指定されている場合

ENTRYPOINT と CMD の両方が指定されたDockerfileから、Dockerイメージを作成してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# Dockerfileを作成
$ cat <<'EOF' >Dockerfile
FROM alpine:3.11.3

ENTRYPOINT ["seq"]

CMD ["1", "5"]
EOF

# my_docker_image_01 という名前のDockerイメージを作成
$ docker build -t my_docker_image_01 .

Dockerイメージを実行 (コマンドライン引数なし)

まずは作成されたDockerイメージを、イメージ名の後方に引数をつけずに実行してみます。

GCPのGoogle Container Registryのイメージを一括削除する方法

Thu, 13 Aug 2020 12:35:26 +0900

はじめに

GCP上の Google Container Registry 内に不要なDockerイメージがあるため、削除したいと思いました。

Dockerイメージを削除するためには、すべてのタグ（というかハッシュ。ビルド履歴）を削除する必要がありmさう。

対象のDockerイメージに4000以上のタグが付与されているため、できる限り一括かつ並列で削除擦る方法を探してみました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.17(1)-release (x86_64-apple-darwin19.4.0)

$ xargs --version | head -n 1
xargs (GNU findutils) 4.7.0

準備

GCP上のリソースをコマンドラインから操作するためのツールとして gcloud コマンドがあります。事前にこちらのコマンドをインストールし、 gcloud auth login などで認証を完了しておきましょう。

正しく準備ができていれば、以下のコマンドが動作するはずです。

1
2


# Google Container Registryからイメージの一覧を取得
$ gcloud container images list

結果

準備ができれば、後は以下のコマンドを実行するだけです。以下の2つの環境変数はご自分のGCP設定に合わせて書き換えてください。

GCP_PROJECT_ID
GCP_DOCKER_IMAGE_NAME

1
2
3
4
5
6
7
8
9


$ GCP_PROJECT_ID=YOUR_GCP_PROJECT_ID

$ GCP_DOCKER_IMAGE_NAME=gcr.io/${GCP_PROJECT_ID}/YOUR_DOCKER_IMAGE_NAME

$ gcloud \
 container images list-tags ${GCP_DOCKER_IMAGE_NAME} \
 | sed 1d \
 | awk '{ print $1 }' \
 | xargs -P4 -n 1 -I{} gcloud container images delete ${GCP_DOCKER_IMAGE_NAME}@sha256:{} --quiet --force-delete-tags

ここでは、 xargs の -P パラメータで 4並列実行しています 。マシンリソースに自身があるなら -P0 として、CPUを目一杯使うことができます。

シェルスクリプトで`while read`ループすると最終行が読み込まれない場合への対処

Wed, 15 Apr 2020 14:04:08 +0900

はじめに

シェルスクリプトでファイルの各行に対して複雑なロジックを書かざるを得ない場合、 while read を使って一行ずつ読み込む処理を騎獣します。

echo や cat を使ってファイルを作成した場合はファイルの末尾に必ず改行コード（LF）が付与されますが、少々変わったファイルの作り方をすると改行コードが付与されないことがあります。（どきどきチームで開発しているソースコードにもこういうファイルが紛れ込むケースもありますね。）

そんなファイルを while read する場合に最終行がループ処理の対象にならない、とハマりがちなので対処法をまとめます。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.16(1)-release (x86_64-apple-darwin18.7.0)

普通に作成したファイルを `while read` して一行ずつ読み込んでみる

普通に作成したファイルを while read して一行ずつ読み込む場合、以下のようなコードになるかと思います。

( IFS= を付与しないと、 read 時に行頭・行末のスペースが除去されてしまいます。 -r オプションがないと各行末に \ があった場合におかしな挙動をしてしまいます。 )

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


# 後述するケースにつながるため、あえてちょっと変わった書き方で echo しています。
$ echo "\
aaa
 bbb
ccc" >test1.txt

# ファイルの中身は3行となっています。
$ cat test1.txt
aaa
 bbb
ccc

# 一行ずつ読み込んでみます
$ cat test1.txt | while IFS= read -r LINE; do
 echo "${LINE}"
 done
aaa
 bbb
ccc

問題なく3行とも読み込めました。

DockerでPostgreSQL公式イメージを起動する際にスロークエリ出力を有効にする

Thu, 09 Apr 2020 08:00:39 +0900

はじめに

特にDocker ComposeでPostgreSQL公式イメージを利用しようと思った場合に、postgresql.conf を編集せずにスロークエリログの出力を有効にする方法について紹介します。

検証環境

1
2
3
4
5


$ docker --version
Docker version 19.03.8, build afacb8b

$ docker-compose --version
docker-compose version 1.25.4, build 8d51620a

普通にPostgreSQLを起動した場合

起動

まずは普通にPostgreSQLを起動してみます。

PostgreSQLを起動する場合、通常は docker run -d というように -d オプションを付与してデーモン起動させます。

ただし、今回はログを意図的に表示させたいこともあり -d オプションを付けずに起動します。 PostgreSQLイメージでは以下の環境変数3つは起動に必須です。

POSTGRES_PASSWORD
POSTGRES_USER
POSTGRES_DB

1
2
3
4
5


$ docker run --rm --name=postgres_test \
 -e POSTGRES_PASSWORD=testpass \
 -e POSTGRES_USER=testuser \
 -e POSTGRES_DB=testdb \
 postgres:9.6.17

アクセスして設定を確認

起動したコンテナ上のPostgreSQLデータベースに psql コマンドを使ってログインしてみます。 docker run したターミナルとは別に、ターミナルを立ち上げます。（WindowsならコマンドプロンプトあるいはPowerShellになるのかな？）

シェルスクリプトでマルチバイト文字の文字数を確認する際の注意事項（おまけでJSTなど）

Wed, 04 Mar 2020 08:58:51 +0900

はじめに

Bashシェルスクリプトで日本語の全角文字（ex: あいう）の文字数を取得したかったのですが環境の設定に注意しないといけないことがありました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

マルチバイト文字のを含む文字列の「バイト数」「文字数」を取得

マルチバイト文字のを含む文字列の「バイト数」「文字数」をそれぞれ取得してみたいと思いました。

クリーンな環境が欲しかったので、 docker run で CentOS7 環境を利用してみました。

1
2
3
4


# 以下のコマンドでCentOS7上のログインシェルが起動
$ docker run --rm -it centos:7

[root@fbdeab6f7982 /]#

ここで、 あいう という全角3文字のバイト数、文字数を取得してみます。それぞれ wc -c 、 wc -m というコマンドに対してパイプ経由で文字列を渡してやります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


# -nオプション無しでechoすると改行文字が含まれてしまうことに注意！
$ echo あいう | wc -c
10

# これで改行が除外される（プロンプトがおかしな場所に出力されていることからわかる）
$ echo -n あいう
あいう$

# wc -c でバイト数を取得
$ echo -n あいう | wc -c
9

# wc -c で文字数を取得
$ echo -n あいう | wc -m
9

# 変数に代入して、変数の文字列長を取得する命令を利用してみる
$ X=あいう
$ echo ${#X}
9

「バイト数」は想定通りでしたが、「文字数」が正しく取得できません。（バイト数と同じ値になってしまいました。）

ターミナルからTreasureDataにcsvファイルをアップロードする方法

Tue, 11 Feb 2020 08:00:53 +0900

はじめに

今までビックデータを扱う仕事をしてきたのにTreasure Dataを触ったことがありませんでした。 csvファイルをアップロードするだけでも悩んでしまいました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

アップロードの手順について

以下のサイトが参考になりました。 Embulkを使ってデータをインポートする方法です。

Bulk Import from CSV files – Arm Treasure Data

データのインポートのためにいくつか準備しないといけないようですので、順番に設定していきます。

1.Embulkのインストール

パット見た感じ、JRE 1.8が必要であり、セットアップが面相くさそうでした。

せっかくなのでDockerイメージを作成して公開してみました。

したがって、以下のDockerイメージを利用していただければインストールを省略できます。次へ進みましょう。

`genzouw/embulk-output-td`

2.seed構成ファイルを作成

Treasure Dataへデータをインポートするための設定ファイルは、“seed configuration file"と呼ばれるファイルから自動生成させることができます。

まずは"seed configuration file"を作成します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


in:
 type: file
 path_prefix: /workdir/your_data.csv
out:
 type: td
 apikey: **************your_td_apk_key****************
 endpoint: api.treasuredata.com
 database: your_db_name
 table: your_table_name
 mode: replace
 default_timestamp_format: '%Y-%m-%d %H:%M:%S'

seed.ymlの細かい設定についてはここでは取り上げません。

DockerfileのVOLUME命令とはなにか？どのように利用すると便利か？

Sat, 08 Feb 2020 22:58:25 +0900

はじめに

Docker を使うに当たり Dockerfile の各種命令の理解は必須です。 FROM や RUN などは確実に登場します。

ただ、 VOLUME という命令を使う機会が多くなかったため、改めて理解を整理してみます。また、どういうときに便利に利用できるのかについても取り上げてみたいと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ docker --version
Docker version 19.03.5, build 633a0ea

VOLUME 命令の記述方法

まずは動作確認のために、VOLUME 命令を使用したかんたんな Dockerfile を作成してみます。

1
2
3
4
5
6
7


$ cat <<EOF >Dockerfile
FROM alpine:3.11.3

RUN mkdir -p /hoge /fuga

VOLUME ["/hoge"]
EOF

記述している内容は 3 命令しかありません。

FROM : ベースとして利用するコンテナイメージ。何でも良いがここでは Alpine Linux を利用しています。
RUN : ルートディレクトリ直下に２つのディレクトリを作成しています。( /hoge, /fuga)
VOLUME : 配列で複数指定可能。ボリュームとしたいパスを指定。

ここでは、 /hoge というディレクトリを ボリューム として定義しています。

docker-compose.ymlのcommandプロパティに複数コマンドを設定する方法

Tue, 28 Jan 2020 12:00:14 +0900

はじめに

Docker Compose は非常に便利ですね。

3 層構造 ( クライアント、Web、DB ) のアプリケーションを作る際には、最低限 Web のコンテナ、DB のコンテナの 2 つを同時に立ち上げる必要があります。

Docker Compose なら簡単に環境を構築できます。

これらのコンテナを立ち上げる前の準備処理を行ってきたい場合があります。 ( init コンテナとでも呼びましょうか。例えば設定ファイルを作ったり。 )

docker-compose.yml の command プロパティにこれらの初期処理を設定したかったのですが、シェルを複数コマンド記述したり、リダイレクトさせたりで少々ハマったので共有します。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ docker-compose --version
docker-compose version 1.25.2, build 698e2846

どんなことがしたかったか？

初期処理として、以下のような 2 行のコマンドを実行してファイルを作成したいとします。

1
2


echo "Konnichiwa!" > /shared_dir/hello.txt
chmod 600 /shared_dir/hello.txt

シェルで記述すると非常に簡単です。ワンライナーだと以下のように記述できますね。

1

echo "Konnichiwa!" > /shared_dir/hello.txt; chmod 600 /shared_dir/hello.txt

改行で区切る代わりに ; を指定しています。

余ったPC1台を使ってオンプレKubernetesクラスタを構築してみる

Sat, 25 Jan 2020 00:11:10 +0900

はじめに

仕事ではGoogle Kubernetes Engine (GKE)を使ってのKubernetesクラスタ構築をしています。

仕事以外の時間でもKubernetesクラスタをゴリゴリ触ってみたいと思いました。そこで、家の使っていない古いPCを使ってKubernetesクラスタをいちから作成してみることにしました。

(2020-01-26 追記)

当エントリでまとめたセットアップ手順をシンプルなシェルスクリプトにまとめ、公開しました。

GitHub - genzouw/standalone_kubernetes_cluster: This simple shell script helps build a "standalone" Kubernetes cluster on an extra (eg, old) PC.

クラスタを構成する「マスタサーバ」と「ノード」の２つの役割はどうするの？

Kubernetesクラスタには、マスターサーバとノードと言われるサーバが必要になります。

ざっくりいうと、 マスターサーバは管理者からの要求に答えてノード(後述)にコンテナを立ち上げたり、ノードに存在するコンテナの状況を監視します。 ノードはコンテナそのものを動かすサーバです。

「Hadoop HDFS」におけるマスタノードとスレーブノードに似ていますね。

したがって、できる限りマスターサーバは余裕のある状況が望ましいです。

ただし今回は検証環境である、またお金をかけたくないなどの理由から、「マスタサーバ」x1台と「ノード」x1台を物理サーバx1台に共存させたいと思います。

セットアップ

Kubernetesクラスタを構築していきます。

OSのディストリビューション・バージョンを確認

さて、今回余っていた古いPCには Ubuntu18.04 がインストールされていたため、その環境をそのまま利用します。

1
2


$ uname -v
40~18.04.1-Ubuntu SMP Thu Nov 14 12:06:39 UTC 2019

Docker のインストール

セットアップ後は以下のコマンドを実行し、OSリブート時にもサービスが自動起動するようにしておきます。

1
2
3
4
5
6
7
8
9


$ sudo apt-get update -y
$ sudo apt-get install -y docker.io
$ sudo systemctl enable docker.service

# 現在ログインしているユーザが `docker` コマンドを実行できるようにしておく
$ sudo gpasswd -a "${USER}" docker

# 上記で設定したdockerグループへの所属は、一度ログインしないと反映されない
$ exit

正常にセットアップされたか配下のコマンドを実行すれば確認できます。

セットアップスクリプトなどでmkdir,cp,chown,chgrp,chmodが頻発するときにシンプルに記述する方法

Tue, 21 Jan 2020 12:00:17 +0900

はじめに

アプリケーションのセットアップスクリプト や Dockerfile 、 Vagrantfile を記述しているときに、以下のようなコマンドが乱立することがあります。

mkdir
cp
chown
chgrp
chmod

mkdir でコピー先のディレクトリを作成し、 cp でファイルをコピー、 chown / chgrp で所有者を変更し、 chmod でパーミッションを変更、といった記述をしだすと、4コマンドは実行することになります。

これを1コマンドでやってしまおうというのが今回のエントリです。

検証環境

今回は非常に軽量なDcokerイメージである alpine でも使えることを確認したいため、以下の環境を利用しました。

1
2
3
4
5


$ uname -moi
x86_64 unknown Linux

$ sh --help 2>&1 | head -n 1
BusyBox v1.30.1 (2019-06-12 17:51:55 UTC) multi-call binary.

ちなみに「Alpine Linux」は docker コマンドが利用できれば簡単に起動できます。

1

$ docker run -i -t --rm alpine

4つのコマンドを1コマンドで実現するためのコマンド `install`

答えとしては非常に簡単で、 install コマンドを利用します。

Alpine Linuxのapkコマンドでインストール可能なパッケージを検索する方法

Thu, 28 Nov 2019 17:34:00 +0900

はじめに

dig コマンドや nmap をつかって、サーバの外部からの見え方を調査する必要がありました。軽量でクリーンなLinux環境がほしかったので、 Alpine Linux を使ってみたのですが、パッケージの探し方について yum や apt との違いが理解できていませんでした。

特に導入したいコマンドを含むパッケージをどうやって探すかについて知らなかったので調べてみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

まずは “Alpine Linux” の起動

docker コマンドを使って、 “Alpine Linux” を起動します。以下のコマンドを実行すれば初回実行時のみ、 “Docker Hub” からイメージファイルがダウンロードされます。ダウンロードが完了していれば、直ちに “Alpine Linux” コンテナが起動し、ログイン済み状態となります。

1
2


$ docker run -i -t --rm alpine
/ #

1. 「インストール可能なパッケージ」をWebから検索する方法

“Alpine Linux” で使えるパッケージは Alpine Linux packages というサイトから検索できる。

Dockerのイメージビルド中でapt-getを高速化するたった1つの方法

Wed, 04 Sep 2019 08:51:35 +0900

はじめに

(追記)煽りタイトルが思っていたより反響があるのだなと思いました。

Dockerのイメージビルド処理は少しでも速い方が、試行錯誤にかかる時間を減らすことができます。

apt-get にかかる時間が全体のそこそこの時間を占めているのでなんとかできないかと思いました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

何も対処しない場合の処理時間

curl と postgresql-client が必要だったので、この２つをインストールしただけのイメージを作成してみます。

以下のような Dockerfile を作成します。

1
2
3
4
5
6
7
8


FROM ubuntu:19.10

RUN apt-get update \
 && apt-get install --no-install-recommends -y \
 curl \
 postgresql-client \
 && apt-get clean \
 && rm -r /var/lib/apt/lists/*

この Dockerfile を使ってイメージをビルドしてみます。

curl+pup+Dockerを使ってシェルスクリプトでスクレイピング

Mon, 02 Sep 2019 08:54:01 +0900

はじめに

コマンドラインあるいはシェルスクリプトでスクレイピングするときに pup というツールを使っていましたが、１から環境構築する場合を考え Docker を利用する方法を整理してみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

前提

以下のツールがインストールされていること

curl
Docker

早速試してみる

ちょうど良さそうなサイトを探したところ、以下のサイトを見つけました。表示されているイメージを収集してみます。

GO ON A JOURNEY

まずはページのHTMLを取得してみます。

1

$ curl -s https://itstudio.co/sample/flex-gallery/index.html

これを pup ツールに食わせてパースしたいのですが、今回はローカルPCに pup をインストールせず、 pup インストール済みの Docker イメージを利用してみます。 ( ※初回はDockerイメージを取得するため遅いです。 )

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


$ curl -s https://itstudio.co/sample/flex-gallery/index.html \
 | docker run -i --rm sheogorath/pup-docker ".gallery-img img attr{src}"
images/gallery_1.jpg
images/gallery_2.jpg
images/gallery_3.jpg
images/gallery_4.jpg
images/gallery_5.jpg
images/gallery_6.jpg
images/gallery_7.jpg
images/gallery_8.jpg
images/gallery_9.jpg
images/gallery_10.jpg

もし pup がインストールされている場合は、以下のコマンドと同義です。

コマンドラインから"Docker Hub"のDockerイメージを検索し詳細ページを開くスクリプト

Tue, 20 Aug 2019 08:48:57 +0900

はじめに

Docker Hub からDockerイメージを検索するためのコマンドとして、 docker search コマンドが利用できます。ただ、実際に便利なイメージが見つかったとしても利用する際には詳細ページを閲覧し、カスタマイズするための環境変数を確認したり、エントリポイントとなるコマンドのオプションを確認したりすることが多いです。

そこで、 docker search を実行しつつ、検索上位リポジトリの詳細ページをブラウザで開くようにしてみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.9(1)-release (x86_64-apple-darwin18.6.0)

必要なもの

Docker（ docker search コマンドを使いたいため）
Chromeブラウザ

作成したスクリプト

“dockerhub” というスクリプトファイル名で保存します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


#!/usr/bin/env bash
set -o errexit
set -o nounset

declare -r KEYWORD="${1}"
declare -r SELECTED_ROW_COUNT="${2:-1}"

TMP=$(mktemp)

# 標準出力と同時に一時ファイルにヘッダ行を除去して書き出しておく
docker search "${KEYWORD}" \
 | tee >(sed '1d' >"${TMP}")

# 指定された数分、検索上位のリポジトリをブラウザで開く
[[ $(cat "${TMP}" | wc -l) -ge ${SELECTED_ROW_COUNT} ]] && {
 cat "${TMP}" \
 | sed -n "1,${SELECTED_ROW_COUNT}p" \
 | awk '{ print $1 }' \
 | sed 's@^[^/]\+$@library/\0@' \
 | xargs -n 1 -I{} open "https://hub.docker.com/r/{}"
}

以下はGistのコード（AMPページに対応できないので、GistのScriptは使っていません）

Docker Hubのイメージを利用してSMTP認証＋メール送信のテストを実施

Wed, 07 Aug 2019 08:30:17 +0900

久々のエントリです

9日間も夏休みをいただき、実家の青森に帰省していました。 奥入瀬、十和田湖、八甲田山、酸ヶ湯・浅虫温泉、海と自然に目いっぱい触れていると永住したくなってきました。

はじめに

新たに利用するSMTPサーバに対して、認証した後メール送信ができるかを検証したかったので、コマンドラインから認証＋メール送信してみました。

アプリをインストールしたくなかったので Docker イメージを利用することにしました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ docker --version
Docker version 19.03.1, build 74b1e89

準備

docker コマンドが利用できればOKです。

1
2


$ which docker
/usr/local/bin/docker

やり方

以下のように「SMTP」認証に関わる情報の作成とメール情報を設定し、 docker コマンドを実行するだけです。

「Docker Hub」上の harobed/docker-heirloom-mailx というイメージを利用させていただき、 mailx コマンドを実行しているだけです。したがって mailx コマンドをインストールしていればDockerは不要です。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


# 情報を設定（適宜変更してください）
SMTP_HOST=smtp.example.com
SMTP_USER=your_user
SMTP_PASS=your_password

MAIL_SUBJECT="This is SUBJECT"
MAIL_BODY="This is BODY"
MAIL_FROM="${SMTP_USER}"
MAIL_TO=anyone@example.com

# 認証＋メール送信
echo "${MAIL_BODY}" \
 | docker run -i --rm harobed/docker-heirloom-mailx \
 mailx \
 -v \
 -S smtp-use-starttls \
 -S smtp-auth=login \
 -S ssl-verify=ignore \
 -S smtp="${SMTP_HOST}" \
 -S smtp-auth-user="${SMTP_USER}" \
 -S smtp-auth-password="${SMTP_PASS}" \
 -S from="${MAIL_FROM}" \
 -r "${MAIL_FROM}" \
 -s "${MAIL_SUBJECT}" \
 "${MAIL_TO}"

問題点

自分で解決できなかった問題があります。

パイプではまらないためにdockerコマンド実行時の「-it」オプションの挙動を確認してみた

Wed, 24 Jul 2019 14:37:49 +0900

はじめに

docker run コマンドや docker exec コマンドを実行する際に -i オプションと -t オプションを付与することが多いですが、理解をしていないとパイプとつなぐ際に思わぬ挙動をするので整理しました。

検証環境

1
2
3
4
5


$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

$ docker --version
Docker version 18.09.2, build 6247962

各種オプションの有無での挙動の違い

`-i` オプション有り、 `-t` オプション有り

まずは -it オプションつきでDockerコンテナを起動し bash を起動してみます。接続したコンテナ内でLinuxコマンドを実行でき、結果をターミナルで確認できます。

1
2
3
4
5
6
7


$ docker run -it ubuntu:19.10 bash

root@5ba28223ab82:/# ls
bin dev home lib32 libx32 mnt proc run srv tmp var
boot etc lib lib64 media opt root sbin sys usr
root@5ba28223ab82:/# echo test
test

`-i` オプション無し、 `-t` オプション無し

両方のオプションを外した場合はどうでしょう？

シェルでDockerHubリポジトリからイメージとタグを取得する方法

Tue, 23 Jul 2019 08:40:33 +0900

【2021-02-02追記】

もしコマンドをインストール可能な環境である場合は、後日リリースされた hub-tool の利用をおすすめします。

“hub-tool"を使って"Docker Hub"上のイメージタグを一覧表示する

はじめに

DockerHubのようなイメージリポジトリからイメージを検索する際には docker search コマンドが利用できます。このコマンドで「イメージ名」は検索できるのですが「タグ」が検索できず、例えば「MySQLイメージの5.6バージョンのタグを知りたいんだけど、どうしよう？」となることがよくあります。

コマンドラインでなんとかしてみます。

検証環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

$ docker --version
Docker version 18.09.2, build 6247962

$ jq --version
jq-1.6

`docker search` コマンドとは

Docker Hubでコンテナイメージをを検索するためのコマンドです。

例えば、 “mysql” 用のコンテナイメージを検索する場合には以下のようなコマンドを実行します。

DockerのMySQLイメージで接続元ホスト名によるアクセス制御ができない（ `skip-name-resolve`）

Sun, 21 Jul 2019 17:33:09 +0900

はじめに

MySQL では、接続元ホスト名ごとに「接続できる」「接続できない」の制御が可能ですが、設定方法を正しく把握していなかったので Docker 環境を使って検証したところハマってしまいました。

検証環境

1
2
3
4
5


$ docker --version
Docker version 18.09.2, build 6247962

$ docker-compose --version
docker-compose version 1.23.2, build 1110ad01

環境

「Docker」と「Docker Compose」を使って以下のような環境を構築し検証したいと思いました。

サーバは 2 台。
- 「MySQL サーバ」である db-server
- 「Apache+PHP サーバ」である web-server
「MySQL サーバ」には「Apache+PHP サーバ」からアクセス可能なユーザー app_user を用意する。
「MySQL サーバ」には「Apache+PHP サーバ」からのみアクセス可能な追加のユーザー app_user_additional を用意する。

検証環境の用意

「Web サーバ」用の Docker コンテナ、「MySQL サーバ」用の Docker コンテナを立ち上げるために、「Docker Compose」を利用しました。

docker-compose.ymlの設定は以下のようになりました。

docker-compose.yml

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


version: "2"
services:
 db-server:
 image: mysql:latest
 command: --default-authentication-plugin=mysql_native_password
 restart: always
 environment:
 - MYSQL_ROOT_PASSWORD=testpass
 - MYSQL_DATABASE=testdb
 - MYSQL_USER=app_user
 - MYSQL_PASSWORD=app_p@ssw0rd
 volumes:
 - "$PWD:/docker-entrypoint-initdb.d"
 web-server:
 image: php:7.3-apache
 volumes:
 - "$PWD:/var/www/html"

上記の YAML ファイルから Docker Compose を起動すれば、以下のユーザーで接続できます。

DockerでクリーンなVue.js開発環境を構築してみる

Fri, 10 May 2019 12:59:07 +0900

はじめに

Vue.jsの開発のためのクリーンな環境を構築するためにDockerを使った場合の流れをまとめてみました。

開発用ディレクトリの作成とGit初期化

今回作成するVueのプロジェクト名は my-app としたいと思います。

1
2
3
4


$ mkdir -p my-app

# カレントディレクトリを変更しておきます
$ cd my-app

Docker環境起動

Dockerイメージを作成

Vue開発に必要なライブラリをGlobalインストールしたDockerイメージを作成します。

まずは、以下のような Dockerfile を作成します。

1
2
3
4
5
6


$ cat <<'EOF' >Dockerfile
FROM node:13.7.0-alpine3.10

RUN npm install -g vue-cli \
 && npm install -g @vue/cli-service-global
EOF

Buildします。作成するDockerイメージ名はdocker-vueとしています。

1

$ docker build -t docker-vue .

問題なくイメージが作成できれば、次に進みましょう。

Vueアプリケーションの初期化

以下のコマンドを実行してプロジェクトを作成します。何度か選択肢を聞かれますが、はデフォルトのままで問題ありませんのでEnterキーを連打します。

1
2
3
4
5
6


# 以降のコマンドで利用している ${PWD##*/} は、カレントディレクトリ名となっている
$ echo ${PWD##*/}
my-app

$ docker run --rm -v $PWD:/${PWD##*/} --workdir /${PWD##*/} -it docker-vue \
 vue init webpack .

うまく行けば以下のようなメッセージが表示されます。（数分かかりますのでのんびり待ちましょう。）

Dockerfileで複数行を改行付きでechoする際にハマったので共有しておきます

Wed, 17 Apr 2019 08:05:00 +0900

はじめに

最近Dockerfileを作成したときに、 RUN コマンド内で改行付き情報を echo したかったのですが、多少ハマってしまったので共有します。

「2019-07-17 追記」コメント欄より

コメントを下さった Nig さん、ありがとうございます。勉強になりました。

以下のような構文を利用する際に、シングルクォーテーション( ' )で記述しないといけない部分がダブルクォーテーション( " )になっていたことが原因とのことでした。

*※debian系のLinuxOSを利用している場合、シングルクォーテーションの前の $ を削除しないといけないようです。不要な $ が出力されてしまいました。

1
2
3
4
5
6
7


FROM centos:centos7

RUN echo $'\n\
alias ll="ls -l"\n\
alias la="ls -a"\n\
alias lla="ls -l -a"\n\
' >> /root/.bashrc

※上記のスタイル以外で記述したい方は、当エントリを読み進めいただく意義はあるかと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ docker --version
Docker version 18.09.2, build 6247962

経緯（失敗例）

Dockerイメージ作成のために「Dockerfile」を作成しました。

CentOS7の検証用環境をDockerイメージとして作成し「Docker Hub」へプッシュする

Thu, 28 Mar 2019 15:00:56 +0900

はじめに

検証環境としてクリーンなCentOS7環境が必要なことが多いですが、とはいえほぼ必要になるツールが決まっていることが多いです。

アプリケーションのインストール方法として git が必須ということが多いですし、データ編集用や確認用に vim や view コマンドがあると便利です。

API呼び出し後のJSONデータ検証のために jq が必要だったりもしますね。

そのような頻繁に使われるツールがインストール済みの薄いCentOS7環境が予めあると助かります。 Dockerのイメージ作成の復習も兼ねてイメージ作成から「Docker Hub」での公開までの流れをまとめてみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ docker --version
Docker version 18.09.2, build 6247962

前提条件

Dockerがインストールされていること

作業開始

作業用ディレクトリのディレクトリ作成

作業用のディレクトリを作成しましょう。

1
2
3


$ mkdir centos-sandbox

$ cd centos-sandbox

Dockerfile（Dockerイメージを作成するためのレシピ）を作成する

Dockerイメージを作成するための「レシピ」となる Dockerfile を作成します。

ここでは、 git と vim コマンドを使えるようにしています。また yum を使ったあとはキャッシュ情報がローカルディスクに残ってしまいますが、ディスク使用領域が増えるとDockerイメージが大きくなり、立ち上げや「Docker Hub」のアップロードが遅くなりますので削除しておきます。

実施した内容をブログやWikiに転記することも多いので、プロンプトはシンプルなもの( $ のみ )にしておきます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ cat <<'EOF'
FROM centos:centos7

RUN yum install -y git vim \
 && rm -rf /var/cache/yum/* \
 && yum clean all \
;

ENV PS1 '$ '
EOF

内容を確認します。

AWSコマンドを使うための環境をDockerを使って構築(Mac/Linux/WindowsでもPythonなしで動くよ)

Sat, 23 Feb 2019 13:36:26 +0900

AWSコマンドを実行するための環境づくりをしたいが、自前のMac環境だけでなく、Windows環境のことも考慮して構築したいですよね。

Dcokerを作って実現するための手順をまとめてみました。

Dockerを使えれば、MacだろうがWindowsだろうがLinuxだろうが同じ手順で aws-cli 実行の環境が構築可能です。

事前にDockerのインストールが必要

こめんなさい。事前にDockerのインストールはされていることが前提です。
こちらはネット上に情報が転がっているので独力で頑張ってみてください。

“Docker Hub"から適当なコンテナを探す

Docker Hub から適当な既存のコンテナを探しました。

以下のコンテナがダンロード数も多く、比較的頻繁に更新されてそうでした。

mesosphere/aws-cli

Dockerを使った `aws-cli` を早速試してみる

実行のためには、以下の３つの情報が必要。

1
2
3


export AWS_ACCESS_KEY_ID="<id>"
export AWS_SECRET_ACCESS_KEY="<key>"
export AWS_DEFAULT_REGION="<region>"

環境変数として定義して export すれば利用可能ということで早速試してみます。

IAM管理コンソールページから、キー情報を取得

IAM Management Console のページを開く。
左サイドのメニューから「ユーザー」を選択すれば、現在登録されているIAMユーザの一覧が表示されます。
既存のものを使いたい 場合はそれをクリック。 新しいものを使いたい 場合は「ユーザーを追加」ボタンをクリック。

今回は既存のものを利用したいので、クリックしました。

「アクセスキー」 は最大2つまで登録できます。今回は既存のものがすでに登録してあったが 忘れてしまったため 新しく作成。

ボタンを押すと即座に新しいアクセスキーが作成されます。このタイミングでしっかりメモしておかないと2度と シークレットアクセスキー は確認できないので、メモしておきます。

環境変数を設定

Bash（ Windowsの方はコマンドプロンプトかPowerShell ）を開いて、以下の環境変数を設定します。

1
2
3


$ export AWS_ACCESS_KEY_ID="<先程のページのアクセスキーID>"
$ export AWS_SECRET_ACCESS_KEY="<先程のページのシークレットアクセスキー>"
$ export AWS_DEFAULT_REGION="ap-northeast-1"

AWS_DEFAULT_REGION は一番良く使うデフォルトのリージョンを指定する必要があります。（ 僕の場合は東京リージョン ） AWSの以下のページから自分がよく使うものを１つ選んで設定すればよいです。

https://docs.aws.amazon.com/ja_jp/general/latest/gr/rande.html

Bash起動時に自動的に環境変数が設定されるように、 ~/.bashrc ファイルに追記しておくとよいでしょう。

boot2dockerを最も簡単に利用するには

Fri, 09 May 2014 22:08:37 +0900

最近話題の Docker を勉強し始めました。

CentOS サーバーや Ubuntu サーバーと言ったCUI環境では、なかなか Vagnat を動かすまでの準備が面倒です。特に Virtualbox のインストールが面倒です。 （僕に至っては一度もVirtualBoxが正常にインストールできたことはありません）

それに比べてDockerは、VirtualboxやVMWareのような仮想化ツールは不要です。これ単体で動作します。また、 Vagrant を利用する場合に比べて軽量です。

さて、Dockerを利用するとホストOSとなるホスト環境には、ほとんどツールやライブラリ入りません。軽量であればあるほどよいです。そのような背景で生まれてきたのが boot2docker という軽量Linuxディストリビューションです。これを最も簡単に利用するためのコマンドを以下に載せておきます。

前提条件

以下のツールがインストールされており利用できる

Virtualbox*
Vagrant*

コマンド

1
2
3
4
5
6
7
8


$ [ ! -d "$HOME/vagrant/boot2docker" ] && mkdir -p "$HOME/vagrant/boot2docker"
$ cd "$HOME/vagrant/boot2docker"

$ vagrant init boot2docker https://github.com/mitchellh/boot2docker-vagrant-box/releases/download/v0.3.0/boot2docker.box

$ vagrant up

$ vagrant ssh

2014-05-16 追記

もっと簡単に行ける模様。

1
2
3
4
5
6
7
8


$ [ ! -d "$HOME/vagrant/boot2docker" ] && mkdir -p "$HOME/vagrant/boot2docker"
$ cd "$HOME/vagrant/boot2docker"

$ vagrant init mitchellh/boot2docker

$ vagrant up

$ vagrant ssh

Docker on ゲンゾウ用ポストイット

docker-compose.yamlのentrypoint/commandフィールドで環境変数を使いたい

はじめに

検証環境

docker-compose.yaml に環境変数 $VAR を記述した時の挙動

永遠に終了せず何もしないDockerコンテナを立ち上げる方法

はじめに

検証環境

どんなときに「永遠に終了せず何もしない」コンテナが必要？

永遠に終了せず何もしないコンテナを立ち上げる方法

Docker ComposeでMySQLがスタンバイになる前に他コンテナが接続しエラーとなってしまう場合の対処

はじめに

検証環境

Docker Compose を使って DB コンテナと DB クライアントを立ち上げた場合に遭遇する問題

再現方法

fzfを使って現在起動中のDockerコンテナプロセスに簡単に接続するスクリプト

はじめに

検証環境

スクリプト

必要なもの ( ツール )

使い方・機能

引数なしで実行

docker psコマンドで出力される情報をカスタマイズする( --format オプション )

はじめに

Dockerコンテナ内でcronを実行し実行ログを出力する方法

はじめに

検証環境

今回利用した Docker ベースイメージ

Google Container Registry (GCR) にDockerイメージをプッシュしようとしてエラーが出たときの対応

はじめに

検証環境

作業の流れ

1. gcloud + docker コマンドのインストール

コマンドラインで "Docker Hub" にアップロード済みのDocker Repositoryを削除する方法

はじめに

検証環境

“Docker Hub” のDocker Repository を操作するためのツール “hub-tool”

hub-tool を使って “Docker Hub” 上の Docker Repository を削除

trコマンドとsed(y)コマンドの動作の同じところ、違うところ

はじめに

検証環境

tr コマンド

例1

例2

実行中のBashシェルスクリプトを書き換えると挙動が変わる問題とその対処法

はじめに

検証環境

ケース1：永遠に終了しない

Bashシェルスクリプト(コマンドライン)でファイル名の一括置換を行う(ファイル名にスペースあり)

はじめに

検証環境

準備

"docker diff"を使って"pip install"のライブラリインストール先を調べる

はじめに

検証環境

docker diff を使って pip コマンドでライブラリがインストールされる場所を調べる

イメージのビルド高速化機構 Docker BuildKit、BuildX を理解していなかったので調べてみました

はじめに

検証環境

BuildKit とは？

YAMLの重複記述を減らしDRYを保つためにエイリアス機能を使う

はじめに

重複記述を回避するために “エイリアス” を使う

エイリアス(別名)機能とは？

エイリアス機能を利用した例

値にエイリアスを設定し、参照する

Docker Container Registryサーバーを自前で作成してみる

はじめに

検証環境

作業の流れ（作業ログ）

準備

1. Docker Registry サーバを立ち上げ

Docker Composeで初回起動時のみyarn installを実行させる方法

はじめに

検証環境

Docker Compose 初回起動時にライブラリをインストールしておかないとどうなる？

Dockerイメージのうちlatestタグがついているものをすべて最新に更新する

はじめに

検証環境

前提条件

`docker-compose.yaml` に環境変数 `$VAR` を記述した時の挙動

1. `gcloud` + `docker` コマンドのインストール

`hub-tool` を使って “Docker Hub” 上の Docker Repository を削除

`tr` コマンド

`docker diff` を使って `pip` コマンドでライブラリがインストールされる場所を調べる

`hub-tool` コマンド : Docker Hub Tool

`go get` コマンドを使ってインストール

`man` コマンドをインストールしてはみるが…

`envsubst` コマンドとは

改めて、 `bash -c` って何？

`bash -c "sleep 10; echo hello;"` を実行したときのプロセスツリー

普通に作成したファイルを `while read` して一行ずつ読み込んでみる

`genzouw/embulk-output-td`