Kubernetes on ゲンゾウ用ポストイット

イメージのビルド高速化機構 Docker BuildKit、BuildX を理解していなかったので調べてみました

Sat, 17 Jul 2021 10:06:15 +0900

はじめに

Dockerfile を作成した後は docker build コマンドを使って Docker イメージをビルドします。

ある日を境に docker build コマンド実行時のコンソールメッセージの表示が様変わりしたのですが、これは Docker (正確には僕のローカル PC で利用している Docker for Mac) に BuildKit と言われるものが導入されたためのようです。

この BuildKit について理解していませんでしたので、調べてみました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ docker --version
Docker version 20.10.7, build f0df350

BuildKit とは？

BuildKit は、 Docker の 18.06 から試験的に導入され、18.09 以降で正式に導入された機構になります。

YAMLの重複記述を減らしDRYを保つためにエイリアス機能を使う

Sat, 19 Jun 2021 08:26:26 +0900

はじめに

僕が YAML ファイルを触りだしたのは、Ansible を使い始めてからでした。

そこから Docker Composes 、 Kubernetes ともはや YAML を触ることがないシステムはない状況となりました。

AWS や GCP 、 Azure といったクラウド環境でも YAML ファイルで設定するリソースは非常に多いですし、Rest API のインターフェイス定義として OpenAPI を YAML で記述します。

YAML ファイルの重要性が高まるにつれて、ファイルの内容はどんどん肥大化する傾向にあります。同時に 1 つの YAML ファイルの中に記述する内容が重複することも多く（Kubernetes マニフェストのラベル名など）、なんとか DRY に記述できないかと悩むことがあります。

重複記述を回避するために “エイリアス” を使う

そこで有効なのが YAML の標準機能として提供されている エイリアス 機能です。

現在担当してるシステムのローカル開発環境は Docker Compose を使って構築していますが、エイリアス機能を使って docker-compose.yaml ファイルの簡素化を行っています。

それでは、エイリアス機能について見ていきましょう。

エイリアス(別名)機能とは？

YAML のエイリアス機能とは、 単一の値 か ブロック(YAML のツリー構造) のどちらかに名前をつけて、あとから参照するための仕組みになります。

エイリアス機能を利用した例

値にエイリアスを設定し、参照する

値に名前をつけるというのが最もシンプルな使い方です。

&エイリアス名 で名前をつけ、 *エイリアス名 で値を参照します。

1
2
3
4
5
6
7


hello: &hello "hello"
greeting:
 audience: "world"
 hello: *hello # 'hello' という文字列となります
new_greeting:
 audience: "room"
 hello: *hello # 'hello' という文字列となります

正しく値が参照できているかを確認するために、 yq というコマンドラインから YAML ファイルを操作するツールを使ってみます。

Docker Container Registryサーバーを自前で作成してみる

Mon, 14 Jun 2021 07:29:06 +0900

はじめに

“Docker Hub” や GCR 、 ECR といったサービスがあるなか、わざわざ自前で “Docker Registry” を構築して Docker イメージを管理する必要性は少ないとは思いますが、仕組みを理解する目的で、自作の Docker Registry 環境を構築してみたいと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

作業の流れ（作業ログ）

Docker Registry サーバを立ち上げ
Docker Registry サーバに外部から接続するための設定を追加

準備

前提として、今回は最もかんたんな方法で Docker Registry サーバを立ち上げたいと思います。

その方法とは、「すでに公開されている Docker Registry サーバ用の Docker イメージを利用する」というものです。

Docker イメージを管理するためのサーバを Docker で立ち上げる、というのが面白いですね。

そんなわけで、Docker を事前にインストールしておきましょう。 Windows や Mac で動作させる最もかんたんな方法は以下のツールを導入することです。

Docker Desktop for Mac and Windows | Docker

1. Docker Registry サーバを立ち上げ

registry:2.7.1 というイメージを利用したいと思います。

GKEのNEG(Network Endpoint Group)とIG(Instance Group)との違い、メリットを整理しました

Thu, 20 May 2021 16:02:45 +0900

はじめに

GCP の Cloud Armor について調べていたところ、ドキュメントに出てきた NEG という単語。

「VM インスタンスや NEG に対して WAF 機能を提供する」、とありましたが、NEG とはなんだろう？となってしまったため、 NEG について調べました。

NEG とは？

NEG についての記載があるページを参考にさせていただきました。

NEG とは何か. はじめに | by Yuki Furuyama | google-cloud-jp | Medium

Network Endpoint ( NE ) は Kubernetes の Pod に相当する

Network Endpoint を複数まとめたグループが Network Endpoint Group ( NEG ) であり、Kubernetes の Service に相当する

NEG を使うことで Kubernetes の Pod と Service を GCP 側で第一級市民として扱えるようになる

視覚化すると以下のようになります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


= GCP =====================================

 +-------------+ +-------+ +---+
 |Load Balancer| ----> |NEG | ----> |NE |+
 +-------------+ +-------+ +---+|+
 ^ ^ +---+|
 | | +---+
 | | ^
 | | |
= GKE =|===================|=============|=
 | | |
 +------------------+ +-------------------+
 |Ingress Controller| |NEG Controller |
 +------------------+ +-------------------+
 | | |
 +-------------+ +-------+ +---+
 |Ingress | ----> |Service| ----> |Pod|+
 +-------------+ +-------+ +---+|+
 +---+|
 +---+

GKE 上のリソースとして Ingress 、 Service 、 Pod がありますが、 GCP 上にも対になるリソースが生成されます。 NE は　 Pod に割り当てられている IP + Port のセットで一意となる GCP リソースです。

Kubernetes Podの"command"や"args"で環境変数を参照する方法いろいろ

Tue, 19 Jan 2021 21:30:38 +0900

はじめに

KubernetesでPod（もしくはReplicaSet、Deployment）のマニフェストにて、 command や args 属性を使って実行コマンドを指定する事ができます。

command や args に指定する実行コマンドで環境変数を利用する場合の注意点と対処法について紹介します。

検証環境

1
2
3


$ kubectl version
Client Version: version.Info{Major:"1", Minor:"19", GitVersion:"v1.19.4", GitCommit:"d360454c9bcd1634cf4cc52d1867af5491dc9c5f", GitTreeState:"clean", BuildDate:"2020-11-12T01:09:16Z", GoVersion:"go1.15.4", Compiler:"gc", Platform:"darwin/amd64"}
Server Version: version.Info{Major:"1", Minor:"16+", GitVersion:"v1.16.15-gke.4300", GitCommit:"7ed5ddc0e67cb68296994f0b754cec45450d6a64", GitTreeState:"clean", BuildDate:"2020-10-28T09:23:22Z", GoVersion:"go1.13.15b4", Compiler:"gc", Platform:"linux/amd64"}

command や args に環境変数をベタ書きした場合、うまく参照できない

環境変数を出力するだけのPodを作成してみます。まずはPodのマニフェストファイルを作成します。

env 属性で NAME という環境変数を設定し、それを出力させてみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


# test-pod.yaml というマニフェストファイルを作成
$ cat <<'EOF' >test-pod.yaml
apiVersion: v1
kind: Pod
metadata:
 name: test-pod
spec:
 containers:
 - name: test-pod
 image: bash
 command: ["echo"]
 args:
 - "${NAME}"
 env:
 - name: NAME
 value: "genzouw"
EOF

マニフェストファイルを元にPodを作成します。

envsubstを使ってテキストファイルをテンプレートエンジンとして使う

Thu, 14 Jan 2021 22:01:34 +0900

はじめに

Kubernetes のマニフェストファイル内に環境変数を埋め込み、出力内容を動的に変更したい場合がありました。

kustomize や helm といったツールを利用することで Kubernetes のマニフェストファイルに変数を埋め込むことはできます。しかし、そこまで大層な仕組みを導入するような手間を掛けたくありません。

sed を使う方法もありますが、可読性は低くなります。

そんな場合、 enｖsubst コマンドを利用することで実現できました。

テキストファイルをテンプレートエンジンのとして利用できるシンプルで便利なコマンドです。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`envsubst` コマンドとは

envsubst コマンドを使うと，変数展開など「テンプレートエンジン」のような仕組みを実現できます。

準備

僕の環境 ( CentOS ) には最初にインストールされていなかったため、まずはインストールから行いました。

1
2
3
4


$ yum install -y gettext

$ which envsubst
/usr/bin/envsubst

Mac 環境の場合は Homebrew でインストールできます ( 僕の Mac には気がついたらインストールされていました ) 。 apt でもきっと用意にインストールできるでしょう。

"bash -c"コマンド実行で子プロセスが作られる時、作られない時

Fri, 08 Jan 2021 20:28:00 +0900

はじめに

KubernetesのマニフェストファイルやDockerのビルドファイル、Docker Composeの設定ファイルを閲覧、編集することが増えてきました。

それらのファイルの中で bash -c というコマンドが実行されていることがあります。 bash の新しいプロセスを立ち上げ、 -c オプションで渡されたコマンドを実行する命令になります。

ps コマンドを使い、実行中の bash -c プロセスを見ていたところ、プロセスツリーの表示が時々で異なっていたため不思議に思い調べてみました。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

改めて、 `bash -c` って何？

bash -c "echo hello" といったように、 -c コマンドに文字列を渡すことで、文字列をコマンドとして実行させることができます。多くの言語系で実装されている eval 関数のようなものですね。

1
2
3


# 10秒待ってからhelloが表示される
$ bash -c "echo hogehoge"
hogehoge

コマンドは ; で区切って複数実行させることもできます。

1
2
3


# 10秒待ってからhelloが表示される
$ bash -c "sleep 10; echo hello;"
hello

`bash -c "sleep 10; echo hello;"` を実行したときのプロセスツリー

ここで、 bash -c "sleep 10; echo hello;" というコマンドを実行します。

DockerfileでENTRYPOINT、CMDの挙動を動かしながら理解する

Fri, 02 Oct 2020 00:08:10 +0900

はじめに

Dockerfile内で指定可能なコマンドはいくつかありますが、 ENTRYPOINT コマンドと CMD コマンドは初見ではわかりくいコマンドとなっています。

この2つのコマンドが、Dockerコンテナの実行にどのように影響するか、実行させながら理解していきたいと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ docker --version
Docker version 19.03.13-beta2, build ff3fbc9d55

Dockerイメージ実行時の実行コマンドの組み立てロジック

今回は結論から入ります。

Dockerイメージ内で実行されるコマンド は、以下の3つの要素を使って組み立てられます。

Dockerfile内の ENTRYPOINTの設定値
docker run IMAGE_NAME コマンド実行時の コマンドライン引数
Dockerfile内の CMDの設定値

2と3の両方が設定されている場合は、 2が優先され、3は無視 されます。

結果、 Dockerイメージ内で実行されるコマンド は以下のようになります。

1

<ENTRYPOINTの設定値> <コマンドライン引数|CMDの設定値>

具体的な例を見ていきたいと思います。

Dockerfileに ENTRYPOINT と CMD の両方が指定されている場合

ENTRYPOINT と CMD の両方が指定されたDockerfileから、Dockerイメージを作成してみます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# Dockerfileを作成
$ cat <<'EOF' >Dockerfile
FROM alpine:3.11.3

ENTRYPOINT ["seq"]

CMD ["1", "5"]
EOF

# my_docker_image_01 という名前のDockerイメージを作成
$ docker build -t my_docker_image_01 .

Dockerイメージを実行 (コマンドライン引数なし)

まずは作成されたDockerイメージを、イメージ名の後方に引数をつけずに実行してみます。

GCPのGoogle Container Registryのイメージを一括削除する方法

Thu, 13 Aug 2020 12:35:26 +0900

はじめに

GCP上の Google Container Registry 内に不要なDockerイメージがあるため、削除したいと思いました。

Dockerイメージを削除するためには、すべてのタグ（というかハッシュ。ビルド履歴）を削除する必要がありmさう。

対象のDockerイメージに4000以上のタグが付与されているため、できる限り一括かつ並列で削除擦る方法を探してみました。

検証環境

1
2
3
4
5
6
7
8


$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.17(1)-release (x86_64-apple-darwin19.4.0)

$ xargs --version | head -n 1
xargs (GNU findutils) 4.7.0

準備

GCP上のリソースをコマンドラインから操作するためのツールとして gcloud コマンドがあります。事前にこちらのコマンドをインストールし、 gcloud auth login などで認証を完了しておきましょう。

正しく準備ができていれば、以下のコマンドが動作するはずです。

1
2


# Google Container Registryからイメージの一覧を取得
$ gcloud container images list

結果

準備ができれば、後は以下のコマンドを実行するだけです。以下の2つの環境変数はご自分のGCP設定に合わせて書き換えてください。

GCP_PROJECT_ID
GCP_DOCKER_IMAGE_NAME

1
2
3
4
5
6
7
8
9


$ GCP_PROJECT_ID=YOUR_GCP_PROJECT_ID

$ GCP_DOCKER_IMAGE_NAME=gcr.io/${GCP_PROJECT_ID}/YOUR_DOCKER_IMAGE_NAME

$ gcloud \
 container images list-tags ${GCP_DOCKER_IMAGE_NAME} \
 | sed 1d \
 | awk '{ print $1 }' \
 | xargs -P4 -n 1 -I{} gcloud container images delete ${GCP_DOCKER_IMAGE_NAME}@sha256:{} --quiet --force-delete-tags

ここでは、 xargs の -P パラメータで 4並列実行しています 。マシンリソースに自身があるなら -P0 として、CPUを目一杯使うことができます。

DockerfileのVOLUME命令とはなにか？どのように利用すると便利か？

Sat, 08 Feb 2020 22:58:25 +0900

はじめに

Docker を使うに当たり Dockerfile の各種命令の理解は必須です。 FROM や RUN などは確実に登場します。

ただ、 VOLUME という命令を使う機会が多くなかったため、改めて理解を整理してみます。また、どういうときに便利に利用できるのかについても取り上げてみたいと思います。

検証環境

1
2
3
4
5


$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ docker --version
Docker version 19.03.5, build 633a0ea

VOLUME 命令の記述方法

まずは動作確認のために、VOLUME 命令を使用したかんたんな Dockerfile を作成してみます。

1
2
3
4
5
6
7


$ cat <<EOF >Dockerfile
FROM alpine:3.11.3

RUN mkdir -p /hoge /fuga

VOLUME ["/hoge"]
EOF

記述している内容は 3 命令しかありません。

FROM : ベースとして利用するコンテナイメージ。何でも良いがここでは Alpine Linux を利用しています。
RUN : ルートディレクトリ直下に２つのディレクトリを作成しています。( /hoge, /fuga)
VOLUME : 配列で複数指定可能。ボリュームとしたいパスを指定。

ここでは、 /hoge というディレクトリを ボリューム として定義しています。

スタンドアロンKubernetesクラスタにIngressを設定しWebサーバを公開する

Sun, 26 Jan 2020 23:47:02 +0900

はじめに

余ったPC1台を使ってKubernetesクラスタを構築してみるでKubernetesの検証環境を構築できました。

せっかくできたこの環境を使って外部からアクセス可能なWebサーバを構築し、公開してみたいと思います。

Ingressとは

Ingressとは、Kubernetesで利用できるL7(HTTP/HTTPS)ロードバランサです。クラスタ内のコンテナ(正確にはPod)を外部に公開できます。

似たようなものとしてLoad Balancer Serviceというものがあります。こちらはL4(TCP/UDP)ロードバランサです。後々やってみたいと思っているTLSターミネーションやURLマップができません。

したがって、Ingressを使ってみたいと思います。

セットアップ

検証環境

前回のエントリの続きのため、Ubuntu環境を利用しました。

1
2


$ uname -v
40~18.04.1-Ubuntu SMP Thu Nov 14 12:06:39 UTC 2019

Ingress Nginx Controller

Ingressとは先程触れたとおり、Kubernetesで利用できるL7(HTTP/HTTPS)ロードバランサです。

Ingressの内部実装はIngress Controllerと呼ばれており、GCPで動作するもの、AWSで動作するものなど色々あります。

ここではオンプレミス環境でも利用できるIngress Nginx Controllerをインストールします。

Ingress Nginx ControllerをHelmというツールを使ってセットアップを行います。 *Helm**を利用する理由は、クラスタ外からアクセスするためのIPアドレス（external_ip）の設定が容易なためです。

Helmのインストール

公式ページに記載されている方法でインストールします。

1
2
3
4
5
6
7


# Install
$ curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3
$ chmod 700 get_helm.sh
$ ./get_helm.sh

# Initialize
$ helm repo add stable https://kubernetes-charts.storage.googleapis.com/

次に外部からアクセスする際のクラスタのIPについて確認します。スタンドアローンのクラスタなので、 マスタサーバ で ip addr を実行した結果のIPアドレスを利用します。

余ったPC1台を使ってオンプレKubernetesクラスタを構築してみる

Sat, 25 Jan 2020 00:11:10 +0900

はじめに

仕事ではGoogle Kubernetes Engine (GKE)を使ってのKubernetesクラスタ構築をしています。

仕事以外の時間でもKubernetesクラスタをゴリゴリ触ってみたいと思いました。そこで、家の使っていない古いPCを使ってKubernetesクラスタをいちから作成してみることにしました。

(2020-01-26 追記)

当エントリでまとめたセットアップ手順をシンプルなシェルスクリプトにまとめ、公開しました。

GitHub - genzouw/standalone_kubernetes_cluster: This simple shell script helps build a "standalone" Kubernetes cluster on an extra (eg, old) PC.

クラスタを構成する「マスタサーバ」と「ノード」の２つの役割はどうするの？

Kubernetesクラスタには、マスターサーバとノードと言われるサーバが必要になります。

ざっくりいうと、 マスターサーバは管理者からの要求に答えてノード(後述)にコンテナを立ち上げたり、ノードに存在するコンテナの状況を監視します。 ノードはコンテナそのものを動かすサーバです。

「Hadoop HDFS」におけるマスタノードとスレーブノードに似ていますね。

したがって、できる限りマスターサーバは余裕のある状況が望ましいです。

ただし今回は検証環境である、またお金をかけたくないなどの理由から、「マスタサーバ」x1台と「ノード」x1台を物理サーバx1台に共存させたいと思います。

セットアップ

Kubernetesクラスタを構築していきます。

OSのディストリビューション・バージョンを確認

さて、今回余っていた古いPCには Ubuntu18.04 がインストールされていたため、その環境をそのまま利用します。

1
2


$ uname -v
40~18.04.1-Ubuntu SMP Thu Nov 14 12:06:39 UTC 2019

Docker のインストール

セットアップ後は以下のコマンドを実行し、OSリブート時にもサービスが自動起動するようにしておきます。

1
2
3
4
5
6
7
8
9


$ sudo apt-get update -y
$ sudo apt-get install -y docker.io
$ sudo systemctl enable docker.service

# 現在ログインしているユーザが `docker` コマンドを実行できるようにしておく
$ sudo gpasswd -a "${USER}" docker

# 上記で設定したdockerグループへの所属は、一度ログインしないと反映されない
$ exit

正常にセットアップされたか配下のコマンドを実行すれば確認できます。

Kubernetes on ゲンゾウ用ポストイット

イメージのビルド高速化機構 Docker BuildKit、BuildX を理解していなかったので調べてみました

はじめに

検証環境

BuildKit とは？

YAMLの重複記述を減らしDRYを保つためにエイリアス機能を使う

はじめに

重複記述を回避するために “エイリアス” を使う

エイリアス(別名)機能とは？

エイリアス機能を利用した例

値にエイリアスを設定し、参照する

Docker Container Registryサーバーを自前で作成してみる

はじめに

検証環境

作業の流れ（作業ログ）

準備

1. Docker Registry サーバを立ち上げ

GKEのNEG(Network Endpoint Group)とIG(Instance Group)との違い、メリットを整理しました

はじめに

NEG とは？

Kubernetes Podの"command"や"args"で環境変数を参照する方法いろいろ

はじめに

検証環境

command や args に環境変数をベタ書きした場合、うまく参照できない

envsubstを使ってテキストファイルをテンプレートエンジンとして使う

はじめに

検証環境

envsubst コマンドとは

準備

"bash -c"コマンド実行で子プロセスが作られる時、作られない時

はじめに

検証環境

改めて、 bash -c って何？

bash -c "sleep 10; echo hello;" を実行したときのプロセスツリー

DockerfileでENTRYPOINT、CMDの挙動を動かしながら理解する

はじめに

検証環境

Dockerイメージ実行時の実行コマンドの組み立てロジック

Dockerfileに ENTRYPOINT と CMD の両方が指定されている場合

Dockerイメージを実行 (コマンドライン引数なし)

GCPのGoogle Container Registryのイメージを一括削除する方法

はじめに

検証環境

準備

結果

DockerfileのVOLUME命令とはなにか？どのように利用すると便利か？

はじめに

検証環境

VOLUME 命令の記述方法

スタンドアロンKubernetesクラスタにIngressを設定しWebサーバを公開する

はじめに

Ingressとは

セットアップ

検証環境

Ingress Nginx Controller

Helmのインストール

余ったPC1台を使ってオンプレKubernetesクラスタを構築してみる

はじめに

クラスタを構成する「マスタサーバ」と「ノード」の２つの役割はどうするの？

セットアップ

OSのディストリビューション・バージョンを確認

Docker のインストール

`envsubst` コマンドとは

改めて、 `bash -c` って何？

`bash -c "sleep 10; echo hello;"` を実行したときのプロセスツリー