Posts on ゲンゾウ用ポストイット

Bashの組み込みコマンド "bc" を使ってみる

Sat, 30 Dec 2023 09:11:44 +0900

はじめに

Bash でコマンドを実行しているときにコマンドをうち間違えたことは何度もありますよね。

間違えただけではなく、過去に実行したコマンドのスペルを忘れてしまったり、引数やオプションを忘れてしまったりも一度ならず何度もあるはずです。

Bash にはヒストリ機能があるため上矢印キーや下矢印キーで過去に実行されたコマンドの履歴をたどることができますが、 fc コマンドを利用することで過去に実行したコマンドの再利用が更にはかどります。

今回は fc コマンドの使い方について紹介します。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu 22.10"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.2(1)-release (aarch64-unknown-linux-gnu)

“fc” コマンドの概要

fc コマンドは、Bash の組み込みコマンドの 1 つです。 “fix command” の 2 つの単語の頭文字をとって fc コマンドと名付けられているようです。具体的には、次のような機能を持っています。

過去に実行したコマンドを一覧表示
直前に実行したコマンドをエディタで編集し実行
過去に実行した任意のコマンドをエディタで編集し実行
過去に実行した複数のコマンドをひとまとめに実行
直前に実行したコマンドを編集せずに実行

fc コマンドは Bash だけでなく、Zsh でも使用できます。 Mac OS ユーザーでも学習しておいて損はありません。

過去に実行したコマンドを一覧表示

ターミナル上の作業から一時的に離れたのち戻ってきたら何をしていたか忘れていました、なんてことがあります。複数のコマンドを順番に 1 つ 1 つ実行していたが、どこまで実行したか忘れてしまったといったこともあります。

シェルスクリプトで標準出力と標準エラー出力を入れ替える

Fri, 29 Dec 2023 08:38:12 +0900

はじめに

あまり利用する機会はありませんが、今回はシェルスクリプトを使って、標準出力と標準エラー出力を入れ替える方法についてお話しします。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

解答

珍しく解答を掲載した後、ブログ記事を書きます。

次のコマンドはどちらを使っても標準出力、標準エラー出力を入れ替えることができます。

$ echo "Hello" 3>&2 2>&1 1>&3

$ echo "Hello" 3>&1 1>&2 2>&3

解説

ファイル記述子 ( ファイルディスクリプタ ) について

ファイル記述子 ( ファイルディスクリプタ ) とは、プログラムがファイルやデバイスとやり取りするために使用する識別子のことです。

ファイル記述子について当ブログで紹介したこともあるので、よけれご参考ください 。

オープンできるファイル数上限を管理する「ファイルディスクリプタ」について( Too many open files エラーを理解する ) | ゲンゾウ用ポストイット

Bash シェルにおけるファイル記述子には、次の 3 種類があります。

標準入力 ( stdin ) 標準入力は、プログラムにデータを入力するファイル記述子です。通常、キーボードからの入力が標準入力として扱われます。パイプを使用することで、標準入力にキーボードからの入力ではなく、別のプロセスからの出力を渡すことができます。
標準出力 ( stdout ) 標準出力は、プログラムから出力されるデータを受け取るファイル記述子です。通常、コンソールに出力されます。プログラムが標準出力を使用すると、コンソールにデータを表示できます。

Github Copilot in the CLI を使ってみる

Wed, 20 Dec 2023 11:08:33 +0900

はじめに

先日Githubからメールが届きました。

You have been granted access to GitHub Copilot in the CLI.

ようやく Github Copilot in the CLI が利用できるようになりました。

今までは Vim 環境でだけGithub Copilot を使うことができましたが、コマンドライン環境からCopilotの力を利用できることになるのでしょうか？と思い早速試してみました。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

作業の流れ ( 作業ログ )

まずはメールのリンクに書かれていたドキュメントページから概要や使い方を学んでいくことにしました。

About GitHub Copilot in the CLI - GitHub Docs

Github Copilot in the CLI の概要

Github Copilot in the CLI を使うと、ターミナル操作中にコマンドの候補を提示してくれたり、コマンドの説明を提示してくれたりするそうです。

_2023-12-19現在はパブリックベータとして提供されているサービスですので、まだまだ基本機能や使い方が変わっていくかもしれません。 _

以降、Copilot CLI と省略します。

生物の進化から学ぶシステムの進化 - Timee Advent Calendar 2023

Fri, 08 Dec 2023 00:00:27 +0900

はじめに

今の組織には話がうまいエンジニアばかりです。僕は自分のことを語るのが苦手です。

そんな僕にも「アドベントカレンダーの記事を書いてほしい」というお願いがありました。記事を書かなければならないということで、今までエンジニアという仕事を通じて僕が感じてきた「システムの進化」と「生物の進化」の似ている点について書いてみることにしました。

お断りしておくと、このエントリで述べる内容は多分に自分の体験・主観に基づいたものとなっており、現職の組織を代表するものではありません 。

「生物の進化とシステムの進化を同じように考えるのは短絡的だ」という意見が上がるだろうということは予想されますが少しでも興味があればお付き合いください。

収斂進化 : どれを選んでも結局同じような仕組みになる

アプリケーションの初期開発時やリプレイス時に「どの言語でシステムを開発するか」の議論になります。各社ごとにメインとするプログラミング言語を決定しています。僕も今まで Java、C#、PHP、JavaScript、Go、 Python、 Ruby といろいろな言語の使用を決定した組織でWebシステムの開発に携わりました。言語ごとに言語仕様に違いはありますが、俯瞰してみるとシステム構成の要素は似たようなものが必要となります。

データベース接続
ログイン認証・認可・ACL
ロギング
キャッシュ
モジュール・プラグインによる拡張
ライブラリ・パッケージ管理ツール
Linter ( コードの静的解析ツール )
Formatter ( コードの整形ツール )
ビルドツール

上記のような機構やツールは、いずれの言語にもフレームワークなりOSSなりSDKなりで提供されており、言語前提の選定基準にはならないと考えています。処理性能はプログラミング言語ごとに差はありますが、実際言語選定時に重要視しているケースは多くないのではないかと思います。 ( 処理性能が重要視されているなら、いくつかの言語は選定外から外れるはずですよね ) これらの問題も、キャッシュを上手に利用するなど工夫すれば解決可能なためと考えています。

どの言語でも必要な周辺システム ( エコシステム ) が必ず出来上がっていくことに不思議さを覚えます。

僕は生物学の中でもよく知られている現象である「収斂進化」を連想します。

異なるグループの生物が、環境に適応するために同じような形質 ( 見た目、機能 ) を獲得するという現象です。

具体例を見ていきましょう。

サメとイルカはどちらも海の生物です。海の中を上手に泳ぎながら生活しています。見た目はどちらも魚のようであり、背びれ、尾びれ、胸びれがあります。ところがサメは軟骨魚類、イルカは哺乳類であり、両者は別の生物群として分類されます。御存知の通りイルカの祖先は陸上で四本足で生活していたと言われていますから、独自の進化を経て、ひれを手に入れたことになります。

哺乳類であるもぐらと昆虫のケラも収斂進化の例としてあげられます。両者とも地中で土を掘りながら生活している生物ですが、土を掘り進むために鍬のような前足と細長くでっぱりが無い体を持っています。

僕は生物もシステムも同じ圧力が加えられれば同じような形質を獲得すると考えています。

	生物	システム
圧力	環境圧	要件
具体例	土の中、水の中、樹上、極寒	Web系、組込系、基幹系、デスクトップアプリ、0.1s以外のレスポンス

言語の選定に影響を与えるのは、非技術的要因のほうが大きいと思います。 ( エンジニアメンバーのスキル、声の大きなメンバーの好み、対外的な視点・採用戦略など )

OIDCを使ってGithub ActionsからAWSにアクセスする仕組みについて理解を整理してみた

Wed, 16 Aug 2023 17:47:45 +0900

はじめに

Github Actions から AWS クラウドリソースを操作するためにACCESS_KEY、SECRET_ACCESS_KEYを使う方法はもう古い、OIDCを使うのが一般的といわれましたが理解していなかったため整理しました。

検証環境

今回取り上げる CI/CD ( ビルド ) パイプライン は Github Actions に限定しています。

クラウドプロバイダー に関しても、 AWS に限定しています。

ただしアーキテクチャはCI/CDパイプラインがCircleCIやCloudBuild、クラウドプロバイダーがGCPやAzureに置き換えられたとしても適用可能なものと考えられます。

パスワードやアクセストークンを使ってGithub Actionsからクラウドへ認証する方法の問題点

Github ActionsのようなCI/CDパイプラインから、クラウド環境 ( AWS、Azure、GCP… ) にアクセスするケースは多いはずです。

ビルドされたソフトウェアやコンテナイメージはいずれデプロイされますし、デプロイ環境としてクラウド環境 ( ex: AWS ) が利用されることが多いからです。

Github Actionsがクラウド上のリソースにアクセスするために、事前にパスワードやアクセストークンといった認証情報を取得しておく必要があります。

これらの認証情報はGithubの secrets に保存することが多いでしょう。 Github Actionsワークフローは実行のたびに secrets から認証情報を取り出し、これを使ってクラウド環境へのアクセスを可能にします。

しかし、このような secrets を使う方法には問題があります。以下のような手間が発生します。

クラウド上のIAMサービスで認証情報を生成する
生成した認証情報をGithubのsecretsに登録する

つまり、認証情報が二重管理されることになります 。

OIDC ( OpenID Connect ) を使うメリット

そこで登場するのがOIDC ( OpenID Connect ) です。

OIDCを使うと、Github Actionsワークフローがクラウドプロバイダーに対して要求するアクセストークンは、有効期限の短いものとなります。

もちろんOIDC認証による認証をサポートされているクラウドプロバイダーでしか利用できない方式ではありますが、現在はほとんどのクラウドプロバイダー ( AWS、Azune、GCP、HashiCorp Vault… ) がOIDCをサポートしています。

Github Actions入門その5-式と関数

Sun, 07 May 2023 08:10:25 +0900

はじめに

以下のエントリに引き続き、Github Actions を学習して学んだことをまとめて見ました。

今回は Github Actions の学習シリーズの第 5 弾として、ワークフローの YAML 設定ファイル内で使用可能な式について解説します。その後、式の種類や使い方について説明していきます。

式について

環境変数の設定や実行中のワークフローの状態を取得するために「式」を利用できます。

式を使うと、以下のようなことができます。

リテラルの結合
実行中の環境情報の取得 ( 実行者、仮想マシン、等 )
関数呼び出し ( 値の加工等 )

算術計算のために演算子を使うこともできます。

式は if キーワードと一緒に利用されることが多いです。プログラミング言語のように、 if で指定した式の値が true となったときに、該当のステップが実行されます。

「文字列」ではなく「式」であると Github Actions に認識させるためには、以下の構文を使います。

${{ <式> }}

if キーワードの値として式を使用した場合は、 ${{ ... }} の構文を指定しないこともあります。というのも、Github Actions は if: 以降に指定した記述を「式」として評価・処理するためです。 if: 以降の記述に関しては、冗長かもしれませんが ${{ ... }} の形式で記述しておくのが間違いないでしょうし、チームメンバにとってもわかりやすいでしょう。

ローカルPC内でGithub Actionsを実行する - 'nekos/act'

Tue, 02 May 2023 08:34:34 +0900

はじめに

Github Actions の設定ファイルを記述した後、正しく動作するかを確認するために毎回リモートリポジトリにプッシュするのが面倒だなと思ったので良い方法が無いかと調べてみました。すると、ローカルで Github Actions の実行が可能なツールが見つかったので、検証してみました。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, version 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

見つけたツール : `nektos/act`

利用するツールは以下になります。

GitHub - nektos/act: Run your GitHub Actions locally ?

概要を見る限りは自分の目的にフィットしています。

`nektos/act` ってどんなツール？

Github Actions をローカルで実行するためのツールとのことです。

このツールを導入するメリットは以下となります。

.github/workflows ディレクトリ配下に設定ファイルを作成、変更した後、 commit/push しなくてもテストできるため開発効率が上がる
Makefile でタスクを管理することもできますが、 .github/worflows とタスクが重複し DRY ではなくなります。ローカルで実行できれば Makefile が不要となります。
- (この点については、 Github Actions から make を呼ぶことで回避できると思いますが公式ページのメリットとして書かれていました )

`nektos/act` って何をしてくれるに？

act コマンドが提供されます。

act コマンドを実行すると、 .github/workflows/ ディレクトリから設定ファイルを読み込み、実行すべきアクションのセットを決定します。実行されるアクションを決定するためには「イベント」 ( push、branch作成など ) を指定しなければいけませんが、明示しなければ push イベントが発生したものとして解釈されます。ワークフローファイルで定義されているように、Docker API を使用して必要なイメージをプルまたはビルドし、定義された依存関係に基づいて実行パスを最終的に決定します。

Github Actions入門その4-環境変数/スクリプト/Artifactsを使う

Sun, 30 Apr 2023 08:23:33 +0900

はじめに

以下のエントリに引き続き、Github Actions を学習して学んだことをまとめて見ました。

このエントリでは、カスタマイズのテクニックについて触れていきます。変数の使用方法、スクリプトの実行方法、ジョブとジョブの間をつなぐための方法により、カスタマイズが可能です。

ワークフローの中で変数を使う

Github Actions では、ワークフローが実行されるたびに割り当てられるデフォルトの環境変数があります。デフォルトの環境変数だけで不十分であれば、独自に環境変数を追加することも可能です。ワークフローの YAML 設定ファイルに定義することでこれを実現できます。

サンプルコードを見ていきましょう。以下のサンプルコードでは、 POSTGRES_HOST と POSTGRES_PORT という 2 つの環境変数を作成しています。環境変数は node client.js の中で参照可能です( Github Actions のなかでは、 Node.js はデフォルトで利用可能みたいです )。

---
name: use-environment-variables
run-name: use-environment-variables
on:
 - push
jobs:
 use-environment-variables:
 runs-on: ubuntu-22.04
 steps:
 - uses: actions/checkout@v3
 - run: node .github/scripts/use_environment_variables.js
 env:
 POSTGRES_HOST: postgres_host
 POSTGRES_PORT: 5432

呼び出している JavaScript のコードは以下のようになっています。

Github Actions入門その3-アクションを探す・使う・自作する

Thu, 27 Apr 2023 10:44:39 +0900

はじめに

前々回、前回と Github Actions に登場する用語の整理した後、実際の YAML 設定ファイルの各項目と用語の対応を見てきました。

アクション ( Action ) は１つ以上のステップで構成されたブロックです。

ワークフローは、１つ以上のジョブを持ち、ジョブは１つ以上のステップを持ちます。 ( 詳細は以下を参照 )

Github Actions 入門その 1 ( 概要と用語の整理 ) | ゲンゾウ用ポストイット

ステップは独自のシェルコマンドを記述しても良いのですが、アクションを指定できます。アクションは Github で公開されているものを指定したり、自作したものを利用することもできます。

今回はアクションの探し方、使い方、自作方法について紹介します。

概要

ワークフローの中で利用するアクションは以下のいずれかの方法で提供されます。

ワークフローが実行される Github リポジトリ内(当然、 git commit && git push されています)
Github の公開リポジトリ
Docker Hub 上の公開 Docker イメージ

公開されているアクションの探し方

Github コミュニティで作成されたアクションを探す場合は、 Github Marketplace というサイトを利用するのが良いでしょう。キーワード検索もできますし、カテゴリ分類されているので役割の観点から探すこともできます。

Github Marketplace で見つけたアクションを追加

実際に Github Marketplace から検索したアクションを使ってみましょう。

Github Actions入門その2-簡単なワークフローを作成してみる

Wed, 26 Apr 2023 06:29:46 +0900

はじめに

前回は Github Actions の概要と用語の整理をしました。

Github Actions 入門その 1-概要と用語の整理 | ゲンゾウ用ポストイット

Github 上で実行できるワークフローを構築するためのサービスです。 Github 上でのソースコードの変更をトリガーにして、自動的にビルドやテストなどのワークフローを実行できます。 Unbutu、Windows、macOS などの環境で実行でき、必要なリソースを設定することで、ビルドなどのタスクを実行できます。

今回は、サンプルコードを触って Github Actions を実際に操作してみます。

簡単なワークフローを作成してみる

Github Actions では、ワークフローの設定を YAML 形式で記述します。

それぞれのワークフローは YAML 形式のファイル 1 つで表現されます。その YAML をワークフローを実行させたい Github リポジトリの .github/workflows というディレクトリに配置します。

ワークフローは、トリガーとなるイベント ( 例えば git push ) が発生したタイミングで実行されます。

ここからは実際にワークフロー設定ファイルを見ていきます。

以下のようなワークフローを作成してみます。

プッシュのタイミングで実行される
Node.js のツールである bats をインストールする
bats -v コマンドを実行する

まずはローカルに Git ワークスペースを作成します。

$ mkdir learning-github-actions

$ cd learning-github-actions

$ git init

対応する Git リモートリポジトリを作成します。ここでは Github CLI ( gh コマンド) を使って作成しますが、もちろんブラウザ経由で作成しても構いません。

Github Actions入門その1-概要と用語の整理

Sat, 22 Apr 2023 08:29:00 +0900

はじめに

今の組織で CICD のプラットフォームとして Github Actions メインに切り替えています。

今後更にこの流れが進みそうなので Github Actions について一から学びなおしてみようと思いました。

Github Actions とは

Github が提供している CI ( continuous integration ) と CD ( continuous delivery ) を実現するためのプラットフォームです。

CI/CD パイプラインとは

CI とはビルド、テスト、静的解析などの開発パイプラインを示します。過去には各作業者の PC 内で実行していましたが、環境差異による実行結果の違いや実行忘れなどの問題があることから、現在のほぼすべての開発組織で導入されている仕組みです。

CD とは CI に加えてアプリケーションのデプロイの流れまでを含めた用語となっています。

Github Actions が実行されるタイミング ( イベント )

実行のトリガは「Git ブランチに対して push されたタイミング」「プルリクが作成されたタイミング」「プルリクが main ブランチにマージされたタイミング」など任意のタイミングが指定できます。

具体的な例として、「誰かが Github リポジトリに新しい Issue を作成したタイミングで、ラベルを付与する」ことができます。

実行環境

Linxu、Windows、macOS の仮想マシンが用意されています。

Github 上のマネージド環境だけでなく、オンプレ環境や他のクラウドを実行環境とすることもできます。

また、仮想マシンではなくコンテナ環境を利用することもできます。

概要

Github Actions の構成要素について、概要を掴んでおきます。

「ワークフロー」と呼ばれるものを設定します。ワークフローは Github リポジトリの中で何らかの「イベント」が発生 ( トリガー ) したときに実行されます。例えば「プルリクエストの作成」や「Issue の作成」といったイベントがあります。

Gitでいろいろな形式、方法でタグの一覧を出力する

Fri, 21 Apr 2023 08:10:07 +0900

はじめに

Git のローカルワークスペース内でタグの一覧を出力するいろいろな方法を紹介します。

検証環境

$ git version
git version 2.40.0

利用する Git リポジトリは新規に自作するのが面倒だったので、程よい数のタグを保有している適当なリポジトリを利用させていただきました。

GitHub - sstephenson/bats: Bash Automated Testing System

シンプルにタグを一覧出力

git clone したディレクトリ内でタグの一覧を出力する最もシンプルな方法は、 git tag コマンドを実行することです。

$ git tag
v0.1.0
v0.2.0
v0.3.0
v0.3.1
v0.4.0

⚠ 事前に以下のコマンドを実行し、ローカルのワークスペース内にリモートリポジトリ上にある最新のタグ情報を取得していることを確認しておきましょう。

$ git fetch --all --tags

コミットハッシュと一緒にタグを一覧出力

git show ref コマンドを使うことで、タグと一緒にコミットハッシュを一覧出力できます。 ( 正しくはコミットハッシュの一覧の後方にタグをつけて出力しているんですけどね )

$ git show-ref --tags -d

2f192ebffa8f8f8d1a5882e74188d6f67b295950 refs/tags/v0.1.0
5030f53eccc66ba9a041d1a4a28f73286de50449 refs/tags/v0.2.0
0e5e44572844ce8fd027d96a5001125c33abd822 refs/tags/v0.3.0
2e2477881bc52791f7bc0321599064b9daf7c6bf refs/tags/v0.3.1
7b032e4b232666ee24f150338bad73de65c7b99d refs/tags/v0.4.0

名前をパターン指定してタグを一覧出力

-l オプション(--list)を使って、指定されたパターンにマッチしたタグ名のものだけを一覧出力できます。

# メジャーバージョンとパッチバージョンが0となっているもののみ出力
$ git tag --list 'v0.*.0'
v0.1.0
v0.2.0
v0.3.0
v0.4.0

# マイナーバージョンが1または3のものののみ
$ git tag --list 'v0.[13].*'
v0.1.0
v0.3.0
v0.3.1

# これでは何もヒットしないです。部分を指定するのではなく、全体を指定しなければならない
$ git tag --list 'v0.*.'

説明文付きでタグを一覧出力

アノテーションメッセージ付きでタグを一覧出力するには、 -n オプションを使います。

Gitで最新のタグを取得する方法

Fri, 21 Apr 2023 07:38:19 +0900

はじめに

Git のローカルワークスペース内で最新のタグを取得するコマンドを紹介します。

検証環境

$ git version
git version 2.40.0

`git describe --tags` コマンドを使う

結論からいうと、 git describe --tags コマンドを使うことで最新のタグを取得できます。

実際に試してみる

ローカルに Git のローカルワークスペースを作成し動作を確認してみます。

まずは git init でワークスペースを作成します。

$ git init
Initialized empty Git repository in /Users/genzouw/work/.git/

適当なファイル(ここではtest.txt)を作成し、内容を編集した後、コミットします。

それぞれのコミットタイミングでタグを付与しておきます。 ( それぞれ 1 、 2 、 2.1 というタグを付与 )

$ echo 1 >> test.txt
$ git add test.txt
$ git commit -m "commit 1"
$ git tag 1

$ echo 2 >> test.txt
$ git add test.txt
$ git commit -m "commit 2"
$ git tag 2 -m "Tag 2"

$ echo 3 >> test.txt
$ git add test.txt
$ git commit -m "commit 3"
$ git tag 2.1

git log で確認してみると、3 つのコミットとともにタグが付与されていることがわかります。

docker-compose.yamlのentrypoint/commandフィールドで環境変数を使いたい

Tue, 18 Apr 2023 08:30:45 +0900

はじめに

docker-compose.yaml 内で環境変数を記述する際には、その展開時期に注意しましょう。 entrypoint や command フィールドに環境変数を記述する場合には、environment フィールドでの環境変数定義を参照できないため、別途工夫が必要です。また、docker-compose up 実行時に、環境変数が「置換」される挙動については、使い方次第では不便な場合もあるため、注意が必要です。

問題点について、具体的なコードをあげて説明した後、対処法を紹介します。

検証環境

$ uname -moi
arm64 unknown Darwin

$ docker-compose --version
Docker Compose version v2.15.1

`docker-compose.yaml` に環境変数 `$VAR` を記述した時の挙動

docker-compose.yaml には $VAR あるいは ${VAR} の形式で環境変数を記述できます。

環境変数の展開の挙動を確認しておきます。

以下のような docker-compose.yaml ファイルを用意します。

version: "3"
services:
 app:
 image: bash
 environment:
 "Z": genzouw
 entrypoint: echo "$X",'$Y',"$Z"

YAML ファイルを配置しているディレクトリで、以下のコマンドを実行することで Docker Compose 内に記述されているイメージを使ってコンテナが立ち上がります。

$ docker-compose up

ここで、環境変数 X 、 Y を渡して起動してみます。 Z は docker-compose.yaml 内の environment フィールドで定義したものを参照してみます。

"2>&1"を使わずに標準出力と標準エラー出力を同じファイルに出力する

Sun, 16 Apr 2023 08:47:29 +0900

はじめに

標準出力と標準エラー出力を同じファイルに出力する方法について、標準的な方法である「2>&1」を使わずに簡潔に記述する方法を紹介します。この記事では、その方法を解説します。また、実際に検証した結果も紹介します。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu 22.10"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.2(1)-release (aarch64-unknown-linux-gnu)

実際に検証したスクリプト

次のようなスクリプトを用意しました。

#!/bin/bash

echo "Hello World to stdout"
echo "Hello World to stderr" >&2

実行すると次のようになります。

$ ./main.sh
Hello World to stdout
Hello World to stderr

見ただけではわかりにくいですが、 “Hello World to stdout” は標準出力、 “Hello World to stderr” は標準エラー出力となっています。

“>” で標準出力をファイルに出力する方法

標準出力をファイルに出力する方法として、「>」を使う方法があります。

次のように記述します。実行した結果、標準エラー出力のみが出力されています。

AWS CodeWhispererを使うためにセットアップを進めたがVimから利用できないことがわかり諦める

Sun, 16 Apr 2023 07:23:20 +0900

はじめに

きっかけは以下の記事を見たことです。

[AWS 版 GitHub Copilot となる「Amazon CodeWhisperer」が正式版に。個人ユーザーは無料、VSCode に対応－ Publickey] ( https://www.publickey1.jp/blog/23/awsgithub_copilotamazon_codewhisperervscode.html )

正式版となった上に、個人ユーザーは無料。 OpenAI 様にはそこそこのお金を払っているわけですが、無料のものが利用できるとなれば乗っかりたいところです。またビジネス版でも $19 とまあまあ許容範囲かと思いました。 Github Copilot との違いも把握しておきたいです。

となれば早速使ってみなければ。

作業の流れ ( 作業ログ )

いつものように AWS Console にログインし、上部の検索エリアから検索してみました。

whisper と入力しようとしたらすでに候補が上がってきました。見つかったページをクリックしました。

メニューをクリックすると以下のようなページが表示されました。

Get started をクリック。

残念。利用のためには事前準備が必要とのこと。

IAM Identity Center が有効になっていないので、事前に有効にしなければなりません。

IAM Identity Center 有効化

以下のページを参考に、 IAM Identity Center を有効にします。

はじめに - AWS IAM Identity Center ( successor to AWS Single Sign-On )

Active Directory のような LDAP データベースとつないで ID 管理を容易にするサービスのようです。自分個人で利用するので当然そんな DB は持ち合わせていませんが、必要だということなので有効化しておきましょう。

ChatGPTをVimから利用するためのプラグイン"vim-chatgpt"を触ってみる

Fri, 07 Apr 2023 17:39:08 +0900

はじめに

Vim から ChatGTP の恩恵を受けたいと思ったので、良さそうなプラグインを探してみたところ以下のようなプラグインを見つけたので、検証を兼ねて調べてみました。

GitHub - CoderCookE/vim-chatgpt: Vim Plugin For ChatGPT

検証環境

$ uname -moi
arm64 unknown Darwin

$ nvim --version
NVIM v0.9.0-dev-3548+gaa04efcf5-dirty
Build type: Release
LuaJIT 2.1.0-beta3

Features: +acl +tui
See ":help feature-compile"

 システム vimrc: "$VIM/sysinit.vim"
 省略時の $VIM: "/opt/homebrew/Cellar/neovim/HEAD-aa04efc/share/nvim"

Run :checkhealth for more info

ChatGPT Vim Plugin “vim-chatgpt” とは？

OpenAI 者が提供するサービス ChatGPT の API を使って Vim 上での編集作業を効率化するためのプラグインです。

コードロジックに関する「説明」や「改善」について尋ねることができます。

プラグインを使うと、ChatGPT に説明を求めたり、レビューしてもらったり、修正してもらったコード部分をハイライトすることができます。

利用の前提条件

以下のものが必要となります。

Python3 がサポートされた Vim 環境
OpenAI の ChatGPT API Key

準備

OpenAI 　社の以下のページから、自分の ChatGPT API Key を取得しておきます。

Koyebを使ってWebサービスをコマンドラインから立ち上げる(そして失敗)

Fri, 31 Mar 2023 19:00:45 +0900

はじめに

Heroku を使おうと思った矢先、有料になったということを知りました。

代替えサービスがないか探したところ、Gin という Go 言語のフレームワークのドキュメントページで Koyeb について紹介されていました。

インスタンスタイプ nano ( CPUx1、MEMOx256GB ) が 2 インスタンスまで無料ということで、AWS EC2 の毎月の無料枠を使い切っている現状を解決してくれそうだったので早速使ってみます。

検証環境

$ uname -moi
arm64 unknown Darwin

$ zsh --version | head -n 2
zsh 5.9 (arm-apple-darwin21.3.0)

Koyeb のアカウント作成

アカウントの開設についてはここでは説明しません。

一般的な Web サービス同様の手順でアカウントの作成は完了します。

“koyeb-cli” のインストール

Koyeb のサービスはコマンドラインから操作可能なようです。

koyeb/koyeb-cli: Koyeb cli というツールを見つけたので早速試してみます。

ただし、macOS 版の Homebrew モジュールを使うとどうもコマンド実行のたびに以下のようなエラーが発生してしまう。

# 例えば、 apps list コマンドを実行する
i$ koyeb apps list
GET https://api.github.com/repos/koyeb/koyeb-cli/releases: 401 Bad credentials []

バージョンの問題の可能性もあるが深堀りせず、 go install で導入してみました。

$ go install github.com/koyeb/koyeb-cli/cmd/koyeb@latest

こちらを使えば先のエラーが発生しなくなった。

findコマンドを実行した結果、ファイルが 1 つも見つからなかった場合の判定

Tue, 28 Mar 2023 08:30:55 +0900

はじめに

今回は、findコマンドを使ってファイルが見つからなかった場合の処理について紹介します。

findコマンドは Unix 系 OS でファイルを検索するために使われます。ただファイルを検索するだけではなく、パイプでつなぐことで見つかったファイルに対して 1 つずつ何かの処理をすることもできます。

さて、find コマンドで検索した結果、該当のファイルが 1 つも見つからなかった場合の処理はどう書いたら良いのでしょうか？

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ find --version | head -n 2
find (GNU findutils) 4.9.0
Copyright (C) 2022 Free Software Foundation, Inc.

$ grep --version | head -n 2
grep (GNU grep) 3.7
Copyright (C) 2021 Free Software Foundation, Inc.

`find` を `grep` をパイプでつなぎ、ファイルの検出を判定

find の実行結果を grep -q . コマンドにパイプで渡します。

"tail -f"でログファイルを監視しながら"grep"すると出力が遅延する問題への対応

Mon, 27 Mar 2023 08:30:29 +0900

はじめに

稼働中の Web サーバーのアクセスログを tail -f で監視しながら、特定のログのみを探したことはあるでしょうか？

アクセス数の多いサービスの場合、tail -f access.log といった単純なコマンドではとても注視したい情報を見つけることはできません。そのため tail -f access.log | grep xxx | awk {...} のような形で監視対象のログレコードを減らしながら、任意のカラム情報のみ切り出し監視を行います。

しかし、この際に遭遇する問題があります。それは grep で絞り込むと出力が遅延する、という現象です。

問題の原因と対処法を紹介します。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ grep --version | head -n 2
grep (GNU grep) 3.7
Copyright (C) 2021 Free Software Foundation, Inc.

$ tail --version | head -n 2
tail (GNU coreutils) 8.32
Copyright (C) 2020 Free Software Foundation, Inc.

「`grep` で絞り込むと出力が遅延する」とは？

「grep で絞り込むと出力が遅延する」とはどのような現象でしょうか？

Bashシェルでtypeコマンドを使ってコマンドの存在チェックを行う際の注意

Sat, 25 Mar 2023 08:30:12 +0900

はじめに

昔から、Linux 上で任意のコマンドがどこにあるかを確認するために which コマンドを使っていました。

最近では type コマンドを使ってコマンドがインストールされているかを確認することが増えてきました。ところがつい最近、注意しないといけないことに気がつきました。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

`type` コマンドとは

type を使うと、引数の文字列に一致するコマンドの情報を表示できます。ここで「コマンド」と呼んでいるものは以下のようなものになります。

実行可能ファイル ( シェル、Python、Ruby、Perl などのスクリプトやコードからコンパイルされた実行可能なバイナリファイル )
予約語 ( keyword )
ビルトインコマンド ( builtin )
エイリアス ( alias )
関数 ( function )

以下の例は rm コマンドに関する情報を表示しています。

$ type rm
rm は /usr/bin/rm です

「実行可能ファイル」だけは、 $PATH 環境変数に設定されているパスのリスト ( Linux 環境では : が区切り文字として使われます) から検索されます。

永遠に終了せず何もしないDockerコンテナを立ち上げる方法

Fri, 24 Mar 2023 08:30:11 +0900

はじめに

Docker コンテナを運用する際、仮想化された環境内で動作するコンテナプロセスを最小限に抑えることで無駄なサーバーリソースの消費を抑え、コストダウンにつなげることができます。

しかし、場合によっては何もしないコンテナを起動しておき、そのままにしたいというケースがあります。具体的には AWS ECS 環境や CKE 、Kubernetes 環境でコンテナを立ち上げ、アタッチ ( 接続 ) して運用作業を行いたい、といった場合です。そんなときに役立つのが「永遠に終了せず何もしない」コンテナです。

毎回起動コマンドをどうしたらよいか悩むので、選択肢を整理するためにまとめてみました。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

$ docker --version
Docker version 20.10.21, build baeda1f

どんなときに「永遠に終了せず何もしない」コンテナが必要？

冒頭でも紹介したように、AWS ECS 環境や CKE 、Kubernetes 環境でコンテナを立ち上げ、アタッチ ( 接続 ) して運用作業を行うときに役立つのが「永遠に終了せず何もしない」コンテナです。

例えば、コンテナを立ち上げてアタッチしてから、コンテナ内で作業するときです。

永遠に終了せず何もしないコンテナを立ち上げる方法

以下の方法で「永遠に終了せず何もしない」コンテナを立ち上げることができます。

“tail -F /dev/null” を使う
“sleep infinity” を使う
“while true; do sleep 1; done” を使う

以下でそれぞれの方法を詳しく見ていきます。

Docker ComposeでMySQLがスタンバイになる前に他コンテナが接続しエラーとなってしまう場合の対処

Thu, 23 Mar 2023 08:30:27 +0900

はじめに

Web アプリケーションでは全てと言っていいほど Web サーバーと DB サーバーを利用することとなります。

単一の物理サーバーに Web サーバー、DB サーバーの機能を同居していたのも今は昔。

最近では Docker を使った環境構築が主流となっています。

物理的には従来同様単一の物理サーバー上で稼働していたとしても、仮想的には複数のコンテナが稼働しているというイメージです。

そのような環境では、Docker Compose を使って両サービスを稼働させることがあります。

しかし、DB サーバー、例えば MySQL がスタンバイとなる前に他コンテナが接続しようとしてエラーとなってしまう場合があります。

このような場合の対処法を説明します。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

$ docker-compose version
Docker Compose version v2.13.0

Docker Compose を使って DB コンテナと DB クライアントを立ち上げた場合に遭遇する問題

再現方法

Docker Compose を使って DB コンテナと DB クライアントを立ち上げた場合、DB クライアントから DB コンテナに接続できない場合があります。

例えば、以下のような MySQL コンテナとそれを利用するクライアントコンテナを立ち上げる docker-compose.yaml を用意したとします。

再ログインせずにログイン中ユーザの所属グループの変更を反映する方法

Wed, 22 Mar 2023 17:54:55 +0900

はじめに

UNIX 系の OS では、ログイン中のユーザの所属グループを変更した場合、一度ログアウトしなければ変更が反映されません。

しかし、あるコマンドを使えば再ログインせずにログイン中のユーザの所属グループを変更し、その変更を反映させる方法があります。

この記事では、その方法を紹介します。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

ログイン中のユーザの所属グループを変更しても直ちに設定が反映されない

実際に Linux 環境を使って検証してみます。

準備 : `sudo` 実行可能なテストユーザーを作成

最終的に以下のようなユーザーgenzouwを作成します。

ユーザー : genzouw
グループ : genzouw
セカンダリグループ : sudo

以下のコマンドを順番に実行していきます。

# 現在操作中のユーザーはroot
$ id
uid=0(root) gid=0(root) groups=0(root)

# ユーザーを作成
$ useradd -m -s /bin/bash genzouw

# ユーザーを sudo グループに追加
$ usermod -a -G sudo genzouw

# 適当なユーザーを作成しておく (何でもよいが、ここではhelloとしました)
$ passwd genzouw
新しい パスワード:
新しい パスワードを再入力してください:
passwd: パスワードは正しく更新されました

# ユーザーの設定を確認
$ id genzouw
uid=1000(genzouw) gid=1000(genzouw) groups=1000(genzouw),27(sudo)

上記のコマンドを実行すると、genzouwユーザーが作成されました。

ChatGPT(+Shell GPT)を使って簡単な計算を行う電卓シェルスクリプトを生成してみた

Tue, 21 Mar 2023 09:20:30 +0900

はじめに

Linux では、シェルスクリプトを使って簡単な計算ができます。

今回は、シェルスクリプトを使って 2 つの数値を入力し、指定された演算子を使って計算するプログラムを作成しました。 ただし、自分ではロジックを一切書かず、ChatGPT に生成してもらうことにしました 。

ChatGPT API 呼び出し方法として、 前回紹介した Shell GPT を使います。

検証環境

$ uname -moi
arm64 unknown Darwin

$ zsh --version
zsh 5.9 (arm-apple-darwin21.3.0)

$ python --version
Python 3.11.2

ChatGPT API はトライアル版のものを利用しました 。言語モデルは GPT-3.5 です。

Shell GPT さんと僕のやり取り

ここからは、電卓シェルスクリプトを作成するまでの Shell GPT さんと僕のやりとり ( シェル操作 ) をなるべく加工無しでそのまま紹介します。

1 回目のやりとり

$ sgpt --chat "calculator" --shell "電卓プログラムを生成して"
Sorry, I cannot fulfill this request as it is in Japanese and it is not clear what is being asked. Please provide a request in English with clear details on what needs to be done.

何言ってるかわからん、と言われてしまった。

Shell GPTでコマンドラインからChatGPTを呼び出す

Tue, 21 Mar 2023 08:53:28 +0900

はじめに

AI 技術の進歩、とくに ChatGPT に注目が集まっています。これに伴い、ChatGPT を使った自動生成ツールが登場してきています。これらのツールを活用することで、プログラミングの効率性を高めることができます。

AI を利用した自動生成ツールの 1 つ、 Shell GPT について紹介します。

Shell GPT を利用するためには Python が必要ですので、事前にインストールしておきましょう。ここでは Python のインストールについては取り扱いません。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

$ python --version
Python 3.11.2

$ pip --version
pip 23.0.1 from /Users/genzouw/.anyenv/envs/pyenv/versions/3.11.2/lib/python3.11/site-packages/pip (python 3.11)

ChatGPT API はトライアル版のものを利用しました 。言語モデルは GPT-3.5 です。

Shell GPT とは？

Shell GPT は、ChatGPT を活用したコマンドラインツールです。コマンドラインから ChatGPT に対して質問を投げ、回答を受け取ることができます。シェルコマンドの生成機能もあり、ユーザーの入力に応じて最適なスクリプトを自動生成してくれます。

Bashシェルスクリプトで"while read"ループ内で"read"コマンドを使う方法

Sat, 18 Feb 2023 08:45:31 +0900

はじめに

決して多くないケースですが、 while read　ループ中で read コマンドを利用したいという場合に起きる問題と、その対処法について紹介します。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

`while read` ループ中で `read` コマンドを利用するとどうなるか？

while read ループ中で read コマンドを利用するとどうなるか。具体例をもとに見ていきます。

例えば、簡単な英単語の暗記スクリプトを作ってみます。

仕様は単純で、単語を１つ表示しては ENTER キーの入力を待つ、を繰り返します。

$ cat <<EOF >words.txt
one
two
three
EOF

$ cat words.txt \
 | while read -r WORD; do
 echo "WORD: $WORD"
 echo "---"
 read -r -p "次に進むには ENTER を押してね >"
 echo "---"
 done

実行結果は以下のようになります。

Bashシェルスクリプトで月の最初の日、最後の日を算出する

Fri, 17 Feb 2023 08:45:41 +0900

はじめに

他の方が作成したシェルスクリプトを見ていたときに月初め、月末の値がリテラル表記されていました。

date コマンドを使って算出する方法を紹介すると面白いと思いまとめました。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, version 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

前提

今回紹介する日の出力フォーマットは YYYY-MM-DD 形式としています。

けれども少しコマンドを触れば任意のフォーマットで出力可能な内容となっています。

月の最初の日 ( 月初め ) を算出

# 2ヶ月前
$ N=2
$ date -d "-${N}month" +%Y-%m-01
2022-12-01

# 1ヶ月前 / 前月
$ N=1
$ date -d "-${N}month" +%Y-%m-01
2023-01-01

# 0ヶ月前 / 今月
$ N=0
$ date -d "-${N}month" +%Y-%m-01
2023-02-01

月の最後の日 ( 月末 ) を算出

今月

# 2ヶ月前
$ N=2
$ date -d "$(date -d "$((-N+1))month" +%Y-%m-01) -1day" +%Y-%m-%d
2022-12-31

# 1ヶ月前 / 前月
$ N=1
$ date -d "$(date -d "$((-N+1))month" +%Y-%m-01) -1day" +%Y-%m-%d
2023-01-31

# 0ヶ月前 / 今月
$ N=0
$ date -d "$(date -d "$((-N+1))month" +%Y-%m-01) -1day" +%Y-%m-%d
2023-02-28

( 簡易版 ) 今月の月初め

$ date -d "-$(date +%d) days + 1 days" +%Y-%m-%d
2023-02-01

$ date -d "-$(($(date +%d)-1)) days" +%Y-%m-%d
2023-02-01

( 簡易版 ) 前月の月末

$ date -d "-$(date +%d) days" +%Y-%m-%d
2023-01-31

ひとこと

まずは月初めを算出する。

fzfを使って現在起動中のDockerコンテナプロセスに簡単に接続するスクリプト

Thu, 16 Feb 2023 08:45:06 +0900

はじめに

ローカルで Docker を触ることが多いので、かんたんにコンテナプロセスの中にアタッチ ( 接続 ) できるようにスクリプトを作ってみました。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

$ fzf --version
0.37.0 (brew)

スクリプト

docker-sh というスクリプト名で保存してください。

#!/usr/bin/env bash
set -o errexit
set -o nounset

SH="bash"

type docker >/dev/null 2>&1 \
 || {
 echo "docker not found" >&2
 exit 1
 }
type fzf >/dev/null 2>&1 \
 || {
 echo "fzf not found" >&2
 exit 1
 }

HASH=$(
 docker \
 ps \
 --format 'table {{ .ID }}\t{{ .Image }}\t{{ .Command }}' \
 | fzf --header-lines=1 --select-1 --query="${1:-}" \
 | awk '{ print $1 }'
)

[[ -z ${HASH} ]] && exit 0

docker \
 exec -i -t \
 "${HASH}" "${SH}"

必要なもの ( ツール )

Docker
fzf

使い方・機能

引数なしで実行

$ docker-sh

fzf を使って、現在実行中のコンテナプロセスをインタラクティブに絞り込みできます。任意のものに特定できたら ENTER を押します。コンテナに対して docker exec -it が行われ、アタッチします。コンテナ内に接続します。

(有料になったが) Heroku CLI を使ってコマンドラインから Heroku を操作

Wed, 15 Feb 2023 22:00:29 +0900

はじめに

今更ながら、 Heroku CLI を使う必要が出てきたので開発環境を整備しはじめました。 Heroku の操作をいつものコマンドラインから行いたいと思い、CLI ツールを導入することにしました。

ちなみに、話題になりだしてからもほぼ触ることが有りませんでしたが、いつの間にか無料プランが無くなってしまったんですね。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

インストールに必要なもの

多くのエンジニアの開発環境には導入済みでしょう。

インストール

Mac 環境の場合には、みんな大好き Homebrew を使用するのがかんたんです。

$ brew tap heroku/brew && brew install heroku

Windows 環境の場合にはインストーラーが提供されています。

https://devcenter.heroku.com/articles/heroku-cli

その他の環境、例えば Linux 環境向けに tar 形式の実行ファイルや apt-get で導入できるものも提供されています。

動作確認

$ heroku --version
heroku/7.68.0 darwin-x64 node-v14.19.0

.netrcファイルについて知らなかったので調べてみました

Wed, 15 Feb 2023 09:12:54 +0900

はじめに

Heroku CLI のセットアップ中に作成された ~/.netrc というファイルについて。

これは一体どういったものなのか、いつ使われるものなのかを調べてみました。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, version 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

$ docker --version
Docker version 20.10.21, build baeda1f

Man ページを参照

以下のページを見つけました。

Man page of NETRC

netrc, .netrc - ftp のためのユーザー設定ファイル … このファイルには、ファイル転送プロトコル ( File Transfer Protocol ) クライアント ftp ( 1 ) のための、設定情報と自動ログイン情報が書かれている。

FTP サーバに接続する際の認証情報を保存しておくファイルということです。

curl 関連の情報を調べているときにも .netrc の名前を見た記憶があるので、登場背景の FTP 以外でも使われるようになっているということでしょうか。

`~/.netrc` の有無による動作の違いを確認

検証準備 ( FTP サーバコンテナを起動 )

FTP サーバを構築し、接続時に ~/.netrc が利用されるかを確認してみます。

Semantic Versioning形式のGitタグをインクリメントしてpushするスクリプト

Mon, 13 Feb 2023 10:07:24 +0900

はじめに

先日ネット上で見つけたエントリを見て書こうと思ったエントリです。

Git のタグとして Semantic Versioning 形式を採用している事例でした。そのエントリでは、パッチバージョン ( vXXX.YYY.ZZZ の ZZZ 部分 ) をインクリメントするのが面倒なのでスクリプト化してみたと書かれていました。

それをみて、僕も同じようにスクリプト化してみました。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

前提

前提として、バージョニングのフォーマットは vXXX.YYY.ZZZ としました。

タグの先頭に固定の文字として v という文字列を付与しています。

その後に数値が続き、 メジャーパージョン + . + マイナーバージョン + . + パッチバージョン の形式で続くものとしました。

ただし、 v を不要にしたり、ドットを 4 つにしたりは容易にできる作りとなっています。

スクリプト

スクリプト名は何でも良いですが、 git-tag-inc として保存しました。

#!/usr/bin/env bash
set -o errexit
set -o nounset
set -o noclobber

declare TAG_FORMAT='v[0-9]+.[0-9]+.[0-9]+'

echo "[CAUTION] The tag format is '${TAG_FORMAT}'." >&2

IFS=. read -r MAJOR MINOR PATCH < <(
 git tag \
 | grep -E "${TAG_FORMAT}" \
 | sort -t "." -k1,1n -k2,2n -k3,3n \
 | sed -n '$s/^v//p'
) || true

TAG="v${MAJOR:-1}.${MINOR:-0}.$((${PATCH:- -1} + 1))"

git tag "${TAG}" \
 && echo "${TAG}" >&2

git push --tags

使い方

Git のローカルワークスペースで、 git-tag-inc コマンドを実行してください。

コマンドの出力結果からANSIエスケープシーケンスのカラーリングを取り除く方法

Thu, 09 Feb 2023 09:00:44 +0900

はじめに

ターミナル操作時、コマンドの実行結果が色付けされていることがあります。

僕がプログラミングを始めた頃はもう少し淡白なコマンドの出力結果ばかりだったのですが、最近のツールは出力結果がカラフルなものも多いです。

ターミナル上の出力結果をカラフルに色付けしてくれるための制御文字は ANSI エスケープシーケンスと呼ばれます。 ( 厳密に言うと、ANSI エスケープシーケンスには色付けだけでなく、カーソル位置、フォントスタイル、その他のオプションなどの制御文字が含まれているそうです。 )

コマンドによっては、出力結果をパイプで繋いだ場合にカラーリングの ANSI エスケープシーケンスを除去してくれ、パイプ先で文字列操作する際に大変便利です。

例えば、 ls コマンドは ls -l を実行すると色付けされますが、 ls -l | cat のようにパイプでつなぐと制御文字が除去されます。 cut で切り取る場合は制御文字が邪魔になるので大変便利な挙動です。しかし、コマンドによってはこのような色付けの制御文字を除去しません。

そんなときに ANSI エスケープシーケンスのカラーリング制御文字を取り除く方法について紹介します。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ sed --version | head -n 2
sed (GNU sed) 4.8
パッケージ作成者: Debian

`[...]` で囲まれた部分の文字列だけを取り出したいが ANSI エスケープシーケンスが邪魔をする場合

JavaScript 関連のツールを起動した際の文言として、以下のようなものがあります。

docker psコマンドで出力される情報をカスタマイズする( --format オプション )

Tue, 07 Feb 2023 09:34:53 +0900

はじめに

docker ps コマンドで現在稼働中の Docker コンテナを確認できます。

デフォルトでは以下のような情報が出力されます。

$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
05d7ee2a983c genzouw/ubuntu-sandbox "/bin/bash" 1 second ago Up 1 second adoring_bassi
78c24e86b192 genzouw/ubuntu-sandbox "/bin/bash" 34 seconds ago Up 33 seconds tender_carson

ここでは 2 つのコンテナが実行されています。

CONTAINER ID や IMAGE の情報を取り出して、パイプで別の処理に引き渡したい（例えば、実行中プロセスをすべて停止したい）場合は、 cut や awk を使って処理する方法が考えられます。

# 2行目以降を出力し、1列目のみを取り出す
$ docker ps | tail -n +2 | cut -d ' ' -f 1
6965cb418c29
7ff433dc6fb0

# 2行目以降を出力し、2列目のみを取り出す
$ docker ps | tail -n +2 | awk '{ print $2 }'
genzouw/ubuntu-sandbox
genzouw/ubuntu-sandbox

ヘッダーの除去するための tail や、任意の列だけを取り出すための cut 、 awk を使わずに --format オプションを使用する方法があります。また--format オプションには少し変わった使い方もあります。

Bashシェルスクリプトで配列の全要素を連結(join)し文字列を生成する

Sun, 05 Feb 2023 09:00:17 +0900

はじめに

紹介してそうで紹介していなかった、Bash シェルスクリプトで配列の全要素を連結して文字列を生成する方法について。

多くのプログラミング言語では、 join や implode といった関数で提供されている機能になります。

Bash の場合にはこのような機能はどのように実現したら良いでしょうか。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

環境変数 `IFS` ( Internal Field Separator ) を変更する

配列を指定した区切り文字 ( デリミタ ) で連結し、文字列を生成するには環境変数 IFS の値を一時的に変更してやります。

# 配列を定義
$ declare -a LIST=(
 "hello"
 "world"
 "your name"
 "!"
)

特に工夫せずに配列の要素を出力すると以下のようになります。

# 変数名のみを指定し出力した場合
$ echo "${LIST}"
hello

# 配列の要素を指定して出力した場合
$ echo "${LIST[*]}"
hello world your name !

$ echo "${LIST[@]}"
hello world your name !

配列変数は ${L[*]} あるいは ${L[@]} の形式で参照しなければ、最初の要素だけしか出力されない点に注意です。

MySQLのMAX_EXECUTION_TIMEを使って長時間実行中のクエリを強制的に中断させる

Sat, 04 Feb 2023 09:00:07 +0900

はじめに

多くのサービスでは、MySQL データベースを利用しています。

まれに実行時間の長いクエリが発生します。いくつか上がった対策の 1 つに実行時間の長い SELECT クエリを強制的に終了させるという案がありました。案を実現するために MAX_EXECUTION_TIME の設定を利用できます。

ここで挙がった MAX_EXECUTION_TIME とはどのような設定であり、どのように変更するのがよいかを紹介します。

MySQL の `MAX_EXECUTION_TIME` とはなにか？

MAX_EXECUTION_TIME とはどんな設定項目なのでしょうか。

MySQL 5.7 の公式ドキュメントには以下のように書かれています。

MySQL 5.7 から利用できる設定項目である
読み取り専用の SELECT 文にだけ適用される
- 読み取り専用じゃない SELECT 文とは、更新を行うファンクションを呼び出している SELECT 文のこと ( ex: select my_stored_func_to update )
ファンクションの中の SELECT 文には適用されない
デフォルト値は 0 であり、この状態では実行タイムアウトは無効 ( 結果が取得できるまで実行される )

検証環境

検証は Docker Compose を使って行います。

$ docker-compose --version

$ docker --version
Docker version 20.10.21, build baeda1f

利用する MySQL の Docker イメージは MAX_EXECUTION_TIME の設定が利用できる MySQL 5.7 を使用します。

パスワード付きzipファイルがどのぐらいでクラック(パスワード解析)できるか試してみる

Fri, 03 Feb 2023 08:40:16 +0900

はじめに

前回のエントリで zip ファイルにパスワードを設定する方法について紹介しました。

zip コマンドでパスワード付き圧縮ファイルを生成する | ゲンゾウ用ポストイット

標準的な zip ファイルは比較的容易にパスワード解析できるということなので、実際に突破できるか試してみることにしました。

総当りでクラック ( パスワードの解析 ) を行うスクリプトを適当に見繕って、試してみます。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

$ go version
go version go1.19.2 darwin/arm64

zip クラック用のスクリプトを探す

Github には、 zip ファイルのパスワードを解析するためのスクリプトがいくつも存在しています。

いくつかスクリプトを見て、適当なものを採用しました。

henriksb/ZipCrack: Crack password protected zip files

zip クラック環境セットアップ

henriksb/ZipCrack は Go 言語で実装されていたため、Go 実行環境が必要です。

ここでは Go の実行環境構築の手順は割愛します。

Go で書かれたコードから実行可能ファイルを生成しておきます。

$ go mod init henriksb/ZipCrack.git
go: creating new go.mod: module henriksb/ZipCrack.git
go: to add module requirements and sums:
 go mod tidy

$ go mod tidy
go: finding module for package github.com/yeka/zip
go: downloading github.com/yeka/zip v0.0.0-20180914125537-d046722c6feb
go: found github.com/yeka/zip in github.com/yeka/zip v0.0.0-20180914125537-d046722c6feb
go: finding module for package golang.org/x/crypto/pbkdf2
go: downloading golang.org/x/crypto v0.5.0
go: found golang.org/x/crypto/pbkdf2 in golang.org/x/crypto v0.5.0

$ go build -o ZipCrack

クラック対象のパスワード付き zip ファイルを作成

zip コマンドでパスワード付き圧縮ファイルを生成する | ゲンゾウ用ポストイットで紹介した方法でパスワード付き zip ファイルを生成します。

zipコマンドでパスワード付き圧縮ファイルを生成する

Thu, 02 Feb 2023 19:55:55 +0900

はじめに

最近はめっきり使わなくなった zip ファイル形式。

圧縮率は gzip 、 bz 、 7z や Zsrtandard という圧縮アルゴリズムも登場していますが、未だに zip でファイルを公開してるサービスもあります。

そんな zip 形式の圧縮ファイルを生成するためのコマンド zip を使って「パスワード付き zip ファイル」を生成する方法について紹介します。

※「パスワード付き zip ファイル」というネタを扱うと、炎上しそうでドキドキします※。

検証環境

今回の検証環境は Ubuntu 22.10 を利用しますが、他の Linux ディストリビューションであれば大きな違いはないと思っています。

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ zip --version | head -n 2
Copyright (c) 1990-2008 Info-ZIP - Type 'zip "-L"' for software license.
This is Zip 3.0 (July 5th 2008), by Info-ZIP.

`zip` コマンドのインストール

もし zip コマンドがインストールされていない場合には、 apt コマンドでインストールしましょう。

Gitリポジトリに誤ってAWSアクセスキーなどをコミットしないようにgit-secretsを導入

Wed, 01 Feb 2023 11:43:51 +0900

はじめに

サービスの事項環境として AWS を利用していた場合に特に気をつけなければ行けないのが、AWS のアクセスキーのような「API キー」の類をコミットしてしまうことです。

コードに記述しないように気をつけていたとしても、ひょんな事でコミットしてしまうことがあります。

このようなミスに気付けるように git-secrets を導入してみましょう。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.15(1)-release (aarch64-apple-darwin22.1.0)

git-secrets とは

git-secrets は、「API キー」だけでなく、パスワードやその他のセンシティブ情報のコミットを防ぐためのツールです。

GitHub - awslabs/git-secrets: Prevents you from committing secrets and credentials into git repositories

Git リポジトリに秘匿情報が含まれないように、次のものを監視します。

コミット
コミットメッセージ
--no-ff マージ

上記のいずれかに秘匿情報が含まれていた場合には、コミットが拒否されるようにできます。

git commit のタイミングでチェックが実行されるということです 。

インストール

PATH 環境変数に設定されているいずれかのディレクトリ ( echo "$PATH" | sed 's/:/\n/g' で確認できる ) に配置しておきましょう。

Mac OS 環境で Homebrew が使える場合はかんたんにインストールできます。

sedのcコマンドを使って条件に合致した行を別の文字列で置き換える

Sat, 15 Oct 2022 08:00:18 +0900

はじめに

個人的に sed で最もよく使われる内部コマンドは s コマンドです。

例えば、出力された文字列の中の 1 を @ に置換する場合は以下のように記述できます。

$ seq 10 15
10
11
12
13
14
15

$ seq 10 15 | sed 's/1/@/g'
@0
@@
@2
@3
@4
@5

あまり使う機会がありませんが、同じように「置き換え」を行う sed の内部コマンドとして c コマンドがあります。

c コマンドについて紹介します。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

`c` コマンドは条件に合致した行を別の文字列で置き換える

c コマンドは条件に合致した行を別の文字列で置き換えるコマンドになります。

s コマンドとの違いは、置き換えの単位にあります。

Bashシェルスクリプトで配列要素を 1 つ 1 つ置換する

Fri, 14 Oct 2022 08:00:50 +0900

はじめに

Bash では、配列を作成し、変数に代入できます。

例えば、1〜3 の要素を持つ配列変数は以下のように定義できます。

# 以下のいずれかで定義できる
$ declare -a NUMS=(11 12 13)

$ typeset -a NUMS=(11 12 13)

$ NUMS=(11 12 13)

ここで、変数 NUMS の各要素の 1 という文字列を x に置換したいとします。

ループで置換していけばよいのですが、ループを記述子なくても置換できます。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

変数の置換記法を使う

Bash には変数を参照する際にパターンマッチで置換する機能があります。

# 変数 HELLO を定義
$ declare HELLO="My name is genzouw"

ここで作成した変数 HELLO を、参照するタイミングで置換できます。

anyenvで管理しているバージョン管理ツールを一括でアップデートする方法

Thu, 13 Oct 2022 12:00:54 +0900

はじめに

anyenv を使うと、 xxxenv 系のツールを管理できます。

ここで、 xxxenv 系のツールとは、例えば **pyenv ** や **goenv ** や nodeenv といったツールを指しています。

導入することで、1 台の作業用 PC 内に複数バージョンのプログラム言語実行・ビルド環境を構築できます。

最近は Docker の登場、普及により xxxenv 系ツールの需要も下がっています。しかし、Docker による仮想化の進んでいないコードベースもあるため、僕の PC 内では現役で活躍してくれています。

anyenv は、これら xxxenv 系のツールを一元管理するための上位のツールとなっています。

便利ですが anyenv でインストールされた xxxenv 系ツールで、最新バージョンがインストールできないときがあります。

具体的には anyenv を使ってインストールした goenv を使っていたときに、Go の最新バージョンをインストールできない時がありました。

この問題に対処します。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.2(1)-release (aarch64-apple-darwin21.6.0)

$ anyenv --version
anyenv 1.1.5

anyenv について

anyenv について、サラッと触れておきます。

シェルでsedを使ってパス文字列からディレクトリ名,ファイル名,拡張子を抽出する

Wed, 12 Oct 2022 12:00:05 +0900

はじめに

ネタが無いのでありふれたネタを取り上げてみました。

シェルでパス文字列をディレクトリ名、ファイル名、拡張子に分割する方法はいくつかあります。

過去に投稿した Bash 組み込みの正規表現機能を使ったり、Bash の変数を使ったり、　dirname + basename コマンドを使ったり、 grep を使ったり。

今回は sed のみで実現してみます。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

$ sed --version | head -n 2
sed (GNU sed) 4.8
パッケージ作成者: Debian

`sed` を使ったパス文字列分割の正規表現

以下のような sed を使った正規表現を用いて、パス文字列を分割できます。

sed -E 's@^(.*/)(([^.]+)\.?(.*))$@\1 \2 \3 \4@'

実行すると、スペース区切りで 4 つの情報が出力されます。

Dockerコンテナ内でcronを実行し実行ログを出力する方法

Tue, 11 Oct 2022 20:19:31 +0900

はじめに

Docker Compose を使って構築している環境にスケジューリングされたジョブ実行の仕組みがほしいという相談をいただきました。

AWS や GCP といったクラウドサービスを利用している場合は CloudWatch Events や Google Scheduler の利用も選択肢に入ります。しかし今回の環境は Linux サーバに Docker デーモンが用意されているだけでしたので、cron を利用することにしました。

このときに構築した Docker 内で cron を実行する方法と、cron 実行結果を標準出力、標準エラー出力に流して docker logs コマンドで確認する方法を紹介します。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.2.2(1)-release (aarch64-apple-darwin21.6.0)

$ docker --version
Docker version 20.10.17, build 100c701

今回利用した Docker ベースイメージ

今回の検証で利用した Docker のベースイメージは Alpine です。

以下のタグの Alpine イメージを利用しました。

alpine:3.16.2

準備

まずは cron の本体であるcrondが実行可能な Docker イメージを用意します。

Gitの作業ディレクトリからコマンドでデフォルトブランチ名を取得する

Sat, 06 Aug 2022 08:00:46 +0900

はじめに

git clone した作業ディレクトリで作業中しているとき、デフォルトブランチに切り替えたいのですが、デフォルトブランチ名を取得する方法がわかりませんでした。

以前は master ブランチをデフォルトブランチとしているケースがほとんどでしたが、最近では main ブランチや中には develop ブランチをデフォルトブランチに設定しているリポジトリにも出会うようになりました。

なんとか取得できないかと調べて、取得する方法が見つかったのでメモを残しておきます。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

$ git --version
git version 2.37.1

GitHub CLI を使う

GitHub を使っていることが前提となりますが、 Git の作業ディレクトリに対応するリモートリポジトリからデフォルトブランチ名を取得します。

GitHub リポジトリの情報にアクセスするため GitHub CLI を使います。

GitHub CLI については、インストール方法や使い方を過去のエントリで紹介しています。

GitHub CLI を使ってコマンドラインからイシュー、プルリクを検索、表示してみる | ゲンゾウ用ポストイット

GitHub CLI でインストールされた gh コマンドを使えば、作業ディレクトリに対応する GitHub 上のリポジトリの設定情報を取得する事ができます。

以下のようなコマンドを実行することで、デフォルトブランチ名が取得できます。

$ gh repo view --json "defaultBranchRef" --jq ".defaultBranchRef.name"
master

変数に代入して利用したい場合には以下のようにかけます。

ipcalcコマンドでIPアドレスからネットマスク、ネットワークアドレス、ブロードキャストアドレス、ホスト数を算出する

Fri, 05 Aug 2022 08:00:41 +0900

はじめに

IPアドレス/CIDR ( ex: 192.168.1.16/27 ) のパターンから、特定のサブネットに所属するかを１つずつ確認する作業を行いました。

目視で１つずつ計算していたのですが、効率が悪いし何より疲れるため、かんたんにサブネットの計算ができないかと思っていたときに見つけたツールを紹介します。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

IP アドレスと CIDR からネットワークに関する情報を算出する `ipcalc` コマンド

見つけたツールは、 IP アドレスと CIDR 表記の組み合わせ ( ex: 192.168.1.16/27 ) からネットワークに関する情報を算出してくれる ipcalc と言うものです。

インストール

macOS の場合、 Homebrew でかんたんにインストールできました。

$ brew install ipcalc

Ubuntu 22.10 環境でも APT を使ってかんたんにインストールできました。

$ sudo apt install ipcalc

使い方

ipcalc コマンドの引数に IP アドレス (+CIDR) を指定すると、IP アドレスが存在するネットワークの情報を逆算してくれます。

シェルスクリプトを使ってmacOS上で有効になっている物理ネットワークデバイス名を取得する

Thu, 04 Aug 2022 09:33:38 +0900

はじめに

非常に限定されたシチュエーションに関する内容です。

macOS プラットフォームに限定ですが、現在接続中の無線/有線ネットワークデバイスを抽出したいという相談がありました。

「なるほどそういう要件もあるのだな」と思うと同時に興味深かったため、対応方法を考えてみました。

検証環境

$ uname -v
Darwin Kernel Version 21.6.0: Sat Jun 18 17:07:22 PDT 2022; root:xnu-8020.140.41~1/RELEASE_ARM64_T6000

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

`networksetup` コマンドを利用する

macOS 上のネットワークインタフェースを操作するためのコマンドとして、 networksetup があります。

こちらのコマンドには様々なオプションが用意されています。

まずは networksetup --listallhardwareports を使って、ネットワークインタフェースハードウェアを一覧出力できます。

$ networksetup -listallhardwareports

Hardware Port: Ethernet Adapter (en4)
Device: en4
Ethernet Address: d2:d6:53:14:xx:xx

Hardware Port: Ethernet Adapter (en5)
Device: en5
Ethernet Address: d2:d6:53:14:xx:xx

Hardware Port: Ethernet Adapter (en6)
Device: en6
Ethernet Address: d2:d6:53:14:xx:xx

Hardware Port: Wi-Fi
Device: en0
Ethernet Address: bc:d0:74:1a:xx:xx

Hardware Port: Thunderbolt 1
Device: en1
Ethernet Address: 36:dd:b7:8d:xx:xx

Hardware Port: Thunderbolt 2
Device: en2
Ethernet Address: 36:dd:b7:8d:xx:xx

Hardware Port: Thunderbolt 3
Device: en3
Ethernet Address: 36:dd:b7:8d:xx:xx

Hardware Port: Thunderbolt Bridge
Device: bridge0
Ethernet Address: 36:dd:b7:8d:xx:xx

VLAN Configurations
===================

それぞれのネットワークハードウェアが 3 行のまとまりで出力されています。

nodemonを使ってGo製Ginサーバをホットリロードしようとしたらハマった話

Tue, 02 Aug 2022 08:00:18 +0900

はじめに

事前にお伝えすると、Go 言語アプリケーションの開発を効率化するためにホットリロードを導入しようとした場合、最適なのは Air と呼ばれるライブリロードツールを利用するのが良いでしょう。 Air も Go 製ですので、Go の実行環境が整っていれば利用できます。

という前提をおいた上で今回のエントリへ。

ホットリロード ( ライブリロード ) を導入し、コードが変更されたことを自動検知して実行プロセスを再起動させると開発がスムーズに進められます。

今までいくつかのツールを遷移してきましたが、ここ数年は nodemon がお気に入りです。

アプリケーション開発時だけでなく、シェルスクリプト作成時にも利用でき、かつコマンド＋オプション指定で利用できるところが気に入っています。過去にも以下のようなエントリを投稿しています。

シェルにも使える！nodemon を使ってコードに変更があった場合にホットリロード ( 自動再起動 ) させる

前置きが長くなりましたが、Go 言語+Gin Web Framework を使った開発中をしていてホットリロードを導入するために nodemon 経由で go run したところ、うまくリロードされないという事象にあいました。

どのような問題が発生したのかと、どのように解決したかを紹介します。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

$ nodemon --version
2.0.19

$ go version
go version go1.18 darwin/arm64

まずは Gin のチュートリアルどおりにかんたんな Web API を作成

このあたりは足早に流していきます。

sqlite3コマンドを実行したら"-- Loading resources from ~/.sqliterc"というメッセージが表示され困った話

Mon, 01 Aug 2022 08:00:21 +0900

sqlite3 コマンドを実行したら “– Loading resources from ~/.sqliterc” というメッセージが表示され困った話

はじめに

最近、なぜだか急に SQLite 周りの話題で盛り上がり始めましたね。

過去にマーケティングの効果測定サービスの設計/開発/運用をしていたときには、ストレージ層(MySQL クラスタ)の冗長化の一環として、SQLite を各 Web サーバに定期的にばらまく、といったキャッシュ機構を導入したいた事がありました。

その時のことを思い出して、懐かしさを感じています。

今回は自分の作業用 PC で sqlite3 コマンドを実行したところ、 -- Loading resources from ~/.sqliterc というメッセージが出力されました。

こちらのメッセージが邪魔なのでなんとか除外したいなぁと悩んで対処したことをエントリにまとめてみました。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

$ sqlite3 --version
3.37.0 2021-12-09 01:34:53 9ff244ce0739f8ee52a3e9671adb4ee54c83c640b02e3f9d185fd2f9a179aapl

問題

とある SQLite データベースファイル test.db があり、こちらにはテーブル t1 が含まれています。

$ sqlite3 ./test.db

Enter ".help" for usage hints.
sqlite> .schema t1
CREATE TABLE t1 (c1 int, c2 text);

t1 テーブルデータを全て閲覧したかったので、 sqlite3 コマンドの引数に SQL を指定し実行してみました。

Bashで読み込んだファイルに対して、リダイレクトで上書きするとファイルが空になる問題への対処

Sat, 30 Jul 2022 08:00:38 +0900

はじめに

Bash に限らずシェルスクリプトでも発生する事象ですが、 cat や < で読み込んだファイルに対して > (リダイレクト) で上書きを行ったにも関わらず、ファイルが空になってしまうという事象に一度は遭遇したことがある方も多いでしょう。

シェル操作を行うことが多い貴兄にはよくある話ですが、この問題への対処法を紹介します。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

「リダイレクトで上書きするとファイルが空になる」問題とは？

対処法の話をする前に、「リダイレクトで上書きするとファイルが空になる」問題とは何かについて説明しておきます。

例えば、以下のようなファイルがあるとします。

$ seq 1 10 > data.txt

$ cat data.txt
1
2
3
4
5
6
7
8
9
10

1~10 の数値が書かれている data.txt というファイルを用意しました。このファイルにから、 2 と 5 の数値が登場する行を除外し、 data.txt に上書きします。

以下のようなコマンドを実行すれば、 2 と 5 の数値を含む行が除外されることを確認できます。

$ cat data.txt | grep -v -e 2 -e 5
1
3
4
6
7
8
9
10

実行結果を data.txt に書き込みます。

Bashの特殊な変数$_を使って直前に実行されたコマンドの引数を取得する

Fri, 29 Jul 2022 08:00:48 +0900

はじめに

先日、他の方が作成されたスクリプトを拝見していたときに見つけた特殊変数 $_ があまり見慣れないものだったので、調べてみました。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 2 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-unknown-linux-gnu)

スクリプトで使われていた `$_` 特殊変数について

Bash では 全ての引数を表す $@ や 引数の数を表す $# 　、 実行中のプロセス ID を表す $$ など、いくつか組み込み機能として提供されている変数があります。

$_ はそういった変数のうちの 1 つになります。

では、 $_ はどのような変数なのでしょうか。

`$_` 　変数は「直前に実行されたコマンドの最後の引数」を表す

$_ 　変数は「直前に実行されたコマンドの最後の引数」を表します。

早速具体的な例を見ていきましょう。

$_ 変数が利用されていたコードは以下のようなものになっていました。

$ mkdir hoge && cd "$_"

こちらの命令を実際に実行してみたいと思います。

実行前、実行後にカレントディレクトリを出力してみます。

$ pwd
/workdir

# hoge/ ディレクトリを作成し、 `$_` の指し示すディレクトリに移動
$ mkdir hoge && cd "$_"

$ pwd
/workdir/hoge

こちらのコードからわかるのは、 $_ が hoge を示しているということです。値を出力してみましょう。

Bashシェルスクリプトで数値(小数を含む)かどうかを判定する方法

Thu, 28 Jul 2022 14:08:29 +0900

はじめに

関連したエントリは今まで何度もしていますが、特定のケースに限定した「こんなときどうする？」集の１つとしてまとめてみました。

今回は変数や ファイルのコンテンツ などが数字以外が含まれていないことを判定する方法を紹介します。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-unknown-linux-gnu)

$ grep --version | head -n 1
grep (GNU grep) 3.7

`grep` を用いた正規表現で判定する

小数を考慮した実数を判定するための正規表現を利用するのが最もかんたんです。

$ VAR=123

$ grep -Eq '^-?[1-9]*[0-9](\.[0-9]+)?$' <<<"$VAR" && echo "数値ですよ"
数値ですよ

-q オプションについては過去のエントリでも紹介しています。

シェルスクリプトでファイルに特定の文字が含まれているかどうかを高速に判定する方法 | ゲンゾウ用ポストイット

-E オプションはエスケープ文字列 \\ が大量に登場しそうな場合に完結に記述するための拡張表現有効化オプションです。

いろいろな数値文字列で動作を確認してみます。

grep -Eq '^-?[1-9]*[0-9](\.[0-9]+)?$' <<<"0" && echo "数値ですよ"
数値ですよ

grep -Eq '^-?[1-9]*[0-9](\.[0-9]+)?$' <<<"123" && echo "数値ですよ"
数値ですよ

grep -Eq '^-?[1-9]*[0-9](\.[0-9]+)?$' <<<"-123" && echo "数値ですよ"
数値ですよ

grep -Eq '^-?[1-9]*[0-9](\.[0-9]+)?$' <<<"123.4" && echo "数値ですよ"
数値ですよ

grep -Eq '^-?[1-9]*[0-9](\.[0-9]+)?$' <<<"0.5" && echo "数値ですよ"
数値ですよ

grep -Eq '^-?[1-9]*[0-9](\.[0-9]+)?$' <<<"-0.0102" && echo "数値ですよ"
数値ですよ

# 何も出力されない
grep -Eq '^-?[1-9]*[0-9](\.[0-9]+)?$' <<<"1x23" && echo "数値ですよ"
grep -Eq '^-?[1-9]*[0-9](\.[0-9]+)?$' <<<"12+3" && echo "数値ですよ"
grep -Eq '^-?[1-9]*[0-9](\.[0-9]+)?$' <<<"123-" && echo "数値ですよ"
grep -Eq '^-?[1-9]*[0-9](\.[0-9]+)?$' <<<"1.2.3" && echo "数値ですよ"

ひとこと

grep を利用しない方法ももちろんあるでしょうが、今回はかんたんな方法だけ紹介するにとどめます。

Gitでローカルブランチ、リモートブランチの名前を変更(リネーム)する方法

Tue, 19 Jul 2022 17:12:40 +0900

はじめに

今更のエントリではありますが、Git でブランチ名を変更する方法を毎回忘れてわざわざ以下のステップを実行しているのでいいかげん整理しておこうと思いました。

# 間違ったブランチ ブランチが現在のブランチ
$ git branch
 main
* 間違ったブランチ

# 正しいブランチ ブランチを新規作成
$ git checkout -b 正しいブランチ
Switched to a new branch '正しいブランチ'


# 正しいブランチ ブランチが現在のブランチ
$ git branch
 main
* 正しいブランチ
 間違ったブランチ

# 間違ったブランチ ブランチは不要なため削除
$ git branch -d 間違ったブランチ
Deleted branch 間違ったブランチ (was 3c3b0a1).

# ブランチを確認
$ git branch
 main
* 正しいブランチ

この方法でブランチはリネーム出来ますが、面倒であることや git push しリモートブランチとして反映されてしまった場合に対応でき ません。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (aarch64-unknown-linux-gnu)

$ git --version
git version 2.30.2

準備

今回の学習のために、シンプルな Git ローカル環境を作成しておきます。

"rails console"でもBashのvi 編集モードと同じキーバインドを使う方法

Fri, 17 Jun 2022 15:37:06 +0900

はじめに

今回は完全に「誰得」な記事です。

僕は普段から Zsh あるは Bash の vi キーバインディングモードを有効にして仕事をしています。

それぞれ、以下の command を実行することで有効になります。

Zsh : bindkey -v ( 実際には zplug でもう少しカスタマイズしている )
Bash : set -o vi

ところで最近は新しい職場で Ruby on Rails の開発をするようになりました。毎日チームメンバに指摘をいただきつつ、新卒エンジニアの頃のような挫折感と戦いながら仕事をしています。 ( 一日が終わると涙でそうなぐらい凹んている… )

話を戻して本題に。

rails console を使ってデバッグや本番環境のデータ確認をするタイミングがあるのですが、そんなときに Zsh や Bash のような vi キーバインドが使えないと生産性が半減してしまいます。

どうしたら有効になるか調べてみました。

検証環境

$ uname -moi
arm64 unknown Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

$ bin/rails console
Loading development environment (Rails 6.1.6)

`~/.inputrc` ファイルに設定を記述するだけ

設定は ~/.inputrc に以下の一文を追記するだけです。

BashのGlob パターンマッチ使用時に該当ファイルが見つからなかった場合の挙動を理解する

Wed, 18 May 2022 21:09:32 +0900

はじめに

Bash で該当ディレクトリ内にあるファイルを一括でコマンドの引数として渡したい場合は、 * を使った Glob 機能が便利です。

さて、この * を使ったワイルドカードによるコマンドライン引数の展開ですが、「パターンにマッチするファイルが無かった場合」に想定しない挙動をしてしまうことがあります。

「パターンにマッチするファイルが無かった場合」にどんな問題が起きるか と その対処法 を紹介します。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (aarch64-unknown-linux-gnu)

作業の流れ（作業ログ）

Glob によるパラーんマッチの挙動を確認するために、事前にカレントディレクトリに数ファイル作成しておきます。

名前は単純に以下のような数字の連番としておきます。

10.txt
11.txt
12.txt

$ touch 10.txt 11.txt 12.txt

Glob によるパターンマッチを試してみる

それでは Bash Glob によるパターンマッチの機能を使ってみます。

Glob 機能ではパターンにマッチした部分がコマンドライン引数として展開されます。 ( 厳密には引数以外の部分にも適用されますが、引数として利用するケースがほとんどのはずです。 )

パターンが 1 ファイル以上にマッチした場合

まずはファイル名が .txt で終わるファイルを検出し、コマンドライン引数として展開された場合の挙動をみてみましょう。

jqコマンドで存在しないキーを指定した場合にnullという文字列が取得されることへの対処

Mon, 04 Apr 2022 17:32:54 +0900

はじめに

AWS、GCP といったクラウドサービスや、 SaaS サービスの利用が進むにつれて、外部 API を呼び出してレスポンスされた JSON を処理するケースが多くなってきています。

JSON を処理するためのコマンドラインツールといえば jq コマンドがデファクトスタンダードかと思います。

そんな jq コマンドをつかってシェルスクリプトを作成していたときのことです。

JSON データから jq コマンドで必要な属性だけを取得しましたが、たまに JSON データに想定した情報が存在せず、 jq 実行結果が null となっていまい、後続処理で null という文字を使って処理を行う用になってしまっていました。

これをなんとかしたというのが今回の主旨です。

（説明がわかりにくいですね）

具体例をあげながら対処方法を記載していきます。

検証環境

$ uname -moi
arm64 MacBookPro18,3 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

問題

まずはかんたんな JSON を echoで出力してみます。

$ echo '{"x":"hello"}'
{"x":"hello"}

jq を使って、上記の出力結果から x の値だけを抽出してみます。

$ echo '{"x":"hello"}' | jq .x
"hello"

抽出できましたが、ダブルクォートが不要なのでこれを出力しないようにします。

jq コマンドに -r オプションを付与するだけです。

Bashでテスト用に1GiBの大容量ファイル(バイナリ/テキスト)を作成する方法いろいろ

Tue, 08 Mar 2022 09:18:33 +0900

はじめに

アップロード・ダウンロード速度、通信速度を確認するために、サイズの大きなファイルを作成したいときがあります。

よく知られた方法ばかりですが、1GB の大容量のファイルを作成する方法を紹介します。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (aarch64-unknown-linux-gnu)

NULL 文字（0x00）で埋められた「バイナリファイル」を作成

最もかんたんかつ高速なのは、 dd コマンドを使って NULL 文字（0x00）で埋められたバイナリファイルを作成する方法 です。

$ dd if=/dev/zero of=1Gi bs=1024 count=$((1024**2))
1048576+0 レコード入力
1048576+0 レコード出力
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 2.45573 s, 437 MB/s

bs でブロックサイズ 1024bytes を指定しています。このブロックを、count の回数分、つまり 1024**2 回書き込みます。

合計サイズは 1024**3 = 1073741824 となります。

作成されたファイルの容量を確認してみます。

$ ls -l 1Gi
-rw-r--r-- 1 root root 1073741824 3月 8 08:43 1Gi

$ stat 1Gi
 File: 1Gi
 Size: 1073741824 Blocks: 2097160 IO Block: 4096 通常ファイル
Device: 40h/64d Inode: 7086333 Links: 1
Access: (0644/-rw-r--r--) Uid: ( 0/ root) Gid: ( 0/ root)
Access: 2022-03-08 08:43:17.848731009 +0900
Modify: 2022-03-08 08:43:20.304731010 +0900
Change: 2022-03-08 08:43:20.304731010 +0900
 Birth: 2022-03-08 08:43:17.848731009 +0900

サイズは 1024 ** 3 = 1073741824 bytes となりました。

"GitHub CLI"でOrganization内のリポジトリを一覧表示する方法

Fri, 04 Mar 2022 10:59:32 +0900

はじめに

GitHub CLI が便利で愛用しています。 GitHub CLI をインストールすると使えるようになる gh コマンドと、別ツールである ghq コマンドを組み合わせるとコマンドラインライフ（？）がとても快適になります。

さて、GitHub にて新しい組織（Organizations）に所属したとき、この組織が所有するリポジトリの一覧を取得したかったのですが、ほんの少しハマったのでやり方を紹介します。

検証環境

$ uname -moi
arm64 MacBookPro18,3 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (aarch64-apple-darwin21.1.0)

$ gh --version
gh version 2.5.2 (2022-03-01)
https://github.com/cli/cli/releases/tag/v2.5.2

`gh` コマンドで普通にリポジトリを一覧

gh コマンドで普通にリポジトリを一覧出力してみましょう。

$ gh repo list

Showing 30 of 200 repositories in @genzouw

genzouw/docker-minecraft-server Docker image that provides a Minecraft Server that will automatical... public, fork 1d
genzouw/bin private 1d
genzouw/setup_scripts private 3d
genzouw/myconfig private 4d
genzouw/kanji private 4d
genzouw/golly private 4d
genzouw/haldata-apollo-client private 4d
genzouw/backend private 4d
genzouw/hyakuninissyu private 4d
genzouw/aws-cognito-example-custom-page public 5d
genzouw/ubuntu-sandbox Dockerfile for Ubuntu public 6d
...

自分の所有するリポジトリが一覧表示されます。 200 リポジトリも所有しているんですね。びっくりしました。 掃除しないと。

Gitに大容量ファイルをプッシュするときには"Git LFS"を利用しよう

Wed, 09 Feb 2022 11:21:50 +0900

はじめに

Git の利用目的として、「ソースコード」の配置だけでなく、「テストデータ」や画像や音声、動画といった「メディアファイル」の配置にも使われるようになってきている。

ところが、 Git は大容量のファイルをうまく処理できず、リポジトリがすぐに肥大化してしまう。

そこで登場したのが Git LFS という機能です。

今回は Git LFS のメリットや、

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (x86_64-apple-darwin21.1.0)

“Git LFS” がない時

もともとソースコード用に最適化されていた。テキストファイルですので、マージしたり、圧縮することで容量を劇的に小さくできます。

ところが、大きなバイナリファイルを履歴管理したり、圧縮したりするととたんに非効率となり、速度も劣化しました。特にバイナリファイルは圧縮率が低く（画像や動画はもともと圧縮済みということもあり）ほぼそのままのサイズで履歴保存されてしまいます。

10MB のファイルを 10 回コミットすれば履歴はあっという間に 100MB、100 回コミットすれば 1GB となってしまいます。

“Git LFS” がある時

この問題に対して、 “Git LFS” では大容量のファイル（主にバイナリファイルとなる）を Git の外部にあるストレージ ( LFS = Large File Storage )に保存するという方法を取ります。

バイナリファイルの実体（実ファイル）は外部ストレージに保存し、これに対する「参照（リンク）」だけを Git で履歴として保存、操作します。

Github では"Git LFS"を無料で利用できる

Github では巨大なファイルの取り扱いに制限を設けています。

Linux ファイルシステムにおけるタイムスタンプ(mtime、atime、ctime)の違い、確認方法、変更方法

Mon, 07 Feb 2022 21:10:51 +0900

はじめに

Linux OS 上で行う操作はほぼ全て「ファイル」に対して行われます。

ファイルには「作成された時」や「更新された時」の「日時」の情報が付与されています。

タイトルにある mtime 、 atime 、 ctime というのはファイルに関する日時情報にあたりますが、 なぜ 3 つあるのか？ 、 それぞれどういった情報なのか? は即答が難しいです。

これら 3 つの「日時」情報を紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

「タイムスタンプ」はファイル操作したときの日時情報

Linux ファイルシステムにおける日時情報のことを タイムスタンプ と呼びます。

タイムスタンプ はファイルに対して何らかの操作したときに記録されます。

ファイルが作られたタイミングでもタイムスタンプが記録されるので、「タイムスタンプが存在しない」ということはありえません。

「タイムスタンプ」はいくつかの種類がある

一口に「日時情報」といっても、Linux ファイルシステムには以下の 3 つの「タイムスタンプ」があり、更新されるタイミングが異なります。

mtime : 中身(コンテンツ)が変更された日時
atime : アクセスされた日時
ctime : 属性が変更された日時

mtime は比較的わかりやすいですが、他のものがわかりにくいです。

Google Container Registry (GCR) にDockerイメージをプッシュしようとしてエラーが出たときの対応

Sat, 05 Feb 2022 08:00:15 +0900

はじめに

独自にビルドした Docker イメージは、Docker Repository に配置して初めて自分以外も利用できるようになります。パブリックな Docker Repository としては Docker Hub が有名です。プライベートな Docker Repository として、僕は Google Container Registry (GCR) を利用することが多いです。

先日、他の方から「Google Container Registry にビルドイメージをプッシュしようとしてエラーが出てハマっている」という相談がありましたので、こちらの解消方法について解説しようと思いました。

検証環境

[vagrant@localhost ~]$ cat /etc/os-release | head -n 7
NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"

作業の流れ

gcloud + docker コマンドのインストール
Docker イメージを作成
GCR に対する認証を設定
Docker イメージをプッシュ
Docker イメージをプル＋実行

1. `gcloud` + `docker` コマンドのインストール

gcloud は “Google Container Registry (GCR)” に対して「認証」を行うために利用します。

コマンドラインで "Docker Hub" にアップロード済みのDocker Repositoryを削除する方法

Fri, 04 Feb 2022 20:36:06 +0900

はじめに

無料でDockerイメージを公開できるサービス Docker Hub はなくてはならないサービスですね。

昨年自動ビルド機能が暗号通貨マイニングに悪用され廃止となってしまったにもかかわらず、無料でDockerイメージを公開するリポジトリとしての地位はゆるぎません。

“Github Action” なり “CircleCI” なり “GCP Cloud Build” なりを使ってビルドしたイメージを打ち上げる先として未だに使い続けています。

自分のPCでビルドしたイメージをアップロードするためにも利用していますが、不要になったDocker リポジトリを削除したいと思いました。

その際に実行した、コマンドラインから削除するための方法を紹介します。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (x86_64-apple-darwin21.1.0)

“Docker Hub” のDocker Repository を操作するためのツール “hub-tool”

“Docker Hub” のDocker Repository をコマンドラインから操作する場合は、 “hub-tool” というツールを利用します。

過去のエントリ (“hub-tool”を使って”Docker Hub”上のイメージタグを一覧表示する) でも紹介しました。

今回のエントリも、 hub-tool コマンドがすでにインストールされていることを前提とします。

インストールされていない場合は、インストールしておきましょう。

# インストールされているかを確認 ( メッセージが気持ち悪い )
$ hub-tool --version
Docker Hub Tool unknown, build unknown

`hub-tool` を使って “Docker Hub” 上の Docker Repository を削除

それでは hub-tool を使って、不要な Docker Repository を削除してみましょう。

Bashシェルスクリプトで1〜999の数字をあてるゲームを作ってみる

Tue, 01 Feb 2022 08:04:50 +0900

はじめに

「子供と遊ぶ」＋「プログラミングの学習」のために、1〜999の数字をあてるゲームを作ってみました。

過去に別の言語で作ったことはありましたが、最近プログラミングをしていなかったせいで衰えを感じたため、どのぐらい衰えたか心配になり試してみました。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

ソースコード

ここで掲載しているスクリプトはGithubにもプッシュしておきました。

`game_of_guess.sh`

#!/usr/bin/env bash
set -o errexit
set -o nounset

ANS=$((RANDOM % 999 + 1))

MAX_RETRY=10

for ((i = 0; i < MAX_RETRY; i++)); do
 read -r -p "数値(0〜999)を入力してください: " GUESS
 if [[ $GUESS -eq $ANS ]]; then
 echo "あなたの勝ち!"
 exit 0
 elif [[ $GUESS -gt $ANS ]]; then
 echo "大きすぎ! (残り $((MAX_RETRY - i - 1)))"
 else
 echo "小さすぎ! (残り $((MAX_RETRY - i - 1)))"
 fi
done

echo "あなたの負け! 答えは $ANS"
exit 1

実行

$ ./game_of_guess.sh
数値(0〜999)を入力してください: 500
大きすぎ! (残り 9)
数値(0〜999)を入力してください: 251
小さすぎ! (残り 8)
数値(0〜999)を入力してください: 375
小さすぎ! (残り 7)
数値(0〜999)を入力してください: 437
小さすぎ! (残り 6)
数値(0〜999)を入力してください: 468
小さすぎ! (残り 5)
数値(0〜999)を入力してください: 484
小さすぎ! (残り 4)
数値(0〜999)を入力してください: 497
あなたの勝ち!

おまけ：答えを自動的に求めるスクリプト

`game_of_guess_auto.sh`

#!/usr/bin/env bash
set -o errexit
set -o nounset

ANS=$((RANDOM % 999 + 1))

MAX_RETRY=10

TOP=1000
BOTTOM=1

for ((i = 0; i < MAX_RETRY; i++)); do
 GUESS=$(((TOP + BOTTOM) / 2))
 echo "数値(0〜999)を入力してください: "$GUESS
 if [[ $GUESS -eq $ANS ]]; then
 echo "あなたの勝ち!"
 exit 0
 elif [[ $GUESS -gt $ANS ]]; then
 echo "大きすぎ! (残り $((MAX_RETRY - i - 1)))"
 TOP=$GUESS
 else
 echo "小さすぎ! (残り $((MAX_RETRY - i - 1)))"
 BOTTOM=$GUESS
 fi
done

echo "あなたの負け! 答えは $ANS"
exit 1

ひとこと

実はコードの大部分は GitHub Copilot が作成してくれました。

trコマンドとsed(y)コマンドの動作の同じところ、違うところ

Mon, 31 Jan 2022 08:00:19 +0900

はじめに

tr コマンドは、「文字」を別の「文字」に置き換えるコマンドです。

同じようなコマンドとして、 sed コマンドの y 内部コマンドがあります。

両方のコマンドの挙動を紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

`tr` コマンド

tr コマンドを使って、 “my name is test.” という文字を変換してみます。

tr コマンドは指定された複数の文字を、別の文字に変換するコマンドです。

具体例をもとに挙動を見ていきましょう。

例1

tr コマンドの第1引数と第2引数の文字数が同じ場合には、それぞれの文字位置が変換ルールとして対応します。以下のルールで変換されます。

t => a
e => b
s => c

$ echo 'my name is test.' | tr 'tes' 'abc'
my namb ic dbcd.

例2

tr コマンドの第2引数が第1引数の文字数よりも小さい場合は、以下のルールで変換されます。

Bashで"while read"ループ内で変更した変数がループ外に反映されないときの対処

Sat, 29 Jan 2022 08:00:31 +0900

はじめに

よく知られていることですが、あるコマンドの実行結果をパイプで渡し、 while read 命令で 1 行ずつ読み込んで処理する場合に注意しないといけないことがあります。

多くのエンジニアが一度はハマったことがあるはずです。

while read ループ内で変更した変数の内容がループ外でうまく参照できない、という事象です。

「注意事項」 と 「解決方法」 を紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

`seq 1 5` の実行結果を合計してみる

1〜5 の数の中から、 3 の倍数 を求めてみます。

SUM という変数を用意し、1〜5の値を加算します。

最後に SUM 変数を出力すれば、 1〜5の合計値がわかります。

$ SUM=0

$ seq 1 5 | while read -r NUM; do
 ((SUM+=$NUM))
done

$ echo $SUM
0

実行結果は 0 となってしまいました。

Bashシェルスクリプトでランダムな数値(乱数)を生成する

Fri, 28 Jan 2022 12:00:29 +0900

はじめに

意外にも、初歩的な「乱数」に関するエントリを書いたことがなかった( 過去にサラリと触れていぐらいた )ようなので、今回ネタにすることにしました。

「ランダム」というキーワードを取り上げたエントリも参考に紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="Ubuntu"
VERSION="21.04 (Hirsute Hippo)"

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-pc-linux-gnu)

乱数を取得するための組み込み変数「RANDOM」を使う

Bash には、乱数を取得するための組み込み変数として RANDOM というものが用意されています。

試しに $RANDOM を出力してみましょう。

$ echo $RANDOM
458

$ echo $RANDOM
11854

echo $RANDOM を実行するたびに、出力される数値が異なります。

“RANDOM” 変数の最大値は？最小値は？

RANDOM 変数は参照するたびにランダムな値を返しますが、値の範囲はどうなっているでしょうか？

試しに $RANDOM を 1,000,000 回出力した結果を集計してみます。

# 1,000,000回 ループして、 RANDOM 変数を参照する。
# 結果を ソート → 重複除去 してファイルに書き出す。
$ for i in {0..1000000}; do echo ${RANDOM}; done | sort -n | uniq > result.txt

# ファイルの行数は 32,768 行
$ wc -l result.txt
32768 result.txt

# 先頭5行を確認
$ head -n 5 result.txt
0
1
2
3
4

# 末尾5行を確認
$ tail -n 5 result.txt
32763
32764
32765
32766
32767

このように、 “RANDOM” 変数は 0 〜 32767 の間でランダムな数値を返却します 。

13年前の投稿で解いたプログラミング問題をシェルで解いてみる

Thu, 27 Jan 2022 14:18:57 +0900

はじめに

もう13年も前になる記事がふと目に入って、今だったらどう解くかな？とやってみました。

topcoderの道１をといてみる | ゲンゾウ用ポストイット

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (x86_64-apple-darwin21.1.0)

問題

（難易度　超簡単, 目標時間　１０分以内）
与えられた英語の大文字で構成された文字列の中の文字を、与えられた数字の分だけ左にシフトさせなさい。たとえば、’C’を２つ左にシフトさせると’A’、’Z’を２つ左にシフトさせると’X’。
与えられる英語の文字列はAからZで、Aの次はZにシフトさせるものとする。

例1)

"VQREQFGT"
2
Returns: "TOPCODER"

例2)

"ABCDEFGHIJKLMNOPQRSTUVWXYZ"
10
Returns: "QRSTUVWXYZABCDEFGHIJKLMNOP"

例3)

"TOPCODER"
0
Returns: "TOPCODER"

例4)

"LIPPSASVPH"
4
Returns: "HELLOWORLD"

解答

シェルで解いてみました。

`main.sh`

L=ABCDEFGHIJKLMNOPQRSTUVWXYZ

echo "$1" \
 | tr "${L}" "$(echo "${L}" | sed -E "s/^(.*)(.{${2}})$/\2\1/")"

実行

$ ./main.sh "VQREQFGT" 2
TOPCODER

$ ./main.sh "ABCDEFGHIJKLMNOPQRSTUVWXYZ" 10
QRSTUVWXYZABCDEFGHIJKLMNOP

$ ./main.sh "TOPCODER" 0
TOPCODER

$ ./main.sh "LIPPSASVPH" 4
HELLOWORLD

ひとこと

日々コーディングを横着しているから、だんだんシェルしかかけない頭になってきている気がしています。

シェルスクリプト(awk)でCSVデータの行合計、列合計を算出する

Wed, 26 Jan 2022 21:00:43 +0900

はじめに

あまり AWK が得意ではないのでエントリで取り扱うことがありませんでしたが、csvファイルの行合計、列合計を求める作業をしたためエントリにまとめました。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (x86_64-apple-darwin21.1.0)

準備：テスト用のcsvデータ

今回は awk を使って行の合計、列の合計を算出してみようと思います。

算出操作を紹介する際に利用するテストデータを事前に準備します。

適当なデータファイルとして data.csv を作成します。

$ seq 1 30 \
 | xargs -n 5 echo \
 | sed 's/ \+/,/g' >data.csv

作成された data.csv のデータは以下のようになっています。

$ cat data.csv
1,2,3,4,5
6,7,8,9,10
11,12,13,14,15
16,17,18,19,20
21,22,23,24,25
26,27,28,29,30

`awk` で各行の合計を算出する方法

awk コマンドを使い、各行に対して、5列の値を合計し出力してみたいと思います。

$ awk <data.csv -F, '{ sum=0; for (i=1; i<=NF; i++) { sum+=$i } print sum; }'
15
40
65
90
115
140

各列の区切り文字として「カンマ ( , )」を利用したい場合には、 -F, というオプションを指定します。

2つのコマンドをパイプで繋いだときのパイプバッファをエディタで編集する方法

Tue, 25 Jan 2022 20:10:41 +0900

はじめに

以前コマンド実行結果を Vim や Visual Studio Code で開く方法というエントリで、あるコマンドの実行結果をエディタにわたすための方法を紹介しました。

今回はそれに関連したエントリです。

Linux には、「あるコマンドの ( 標準 ) 出力」を「別のコマンドの ( 標準 ) 入力」として渡すための方法として 「パイプ」 が用意されています。

例えば、 seq コマンドの実行結果を 2 行だけ抽出したい場合には、 head コマンドをパイプ (|)でつないで実行してやります。

# 1から5まで5行出力
$ seq 5
1
2
3
4
5

# seq 5 の実行結果から先頭2行を出力
$ seq 5 | head -n 2
1
2

ここで seq 5 の実行結果が、 head -n 2 に渡る前にエディタで加工する方法があります。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`vipe` コマンドでパイプバッファをエディタで編集する

パイプバッファをエディタで編集するツールとして、 vipe というツールがあります。

コマンド実行結果をVimやVisual Studio Codeで開く方法

Sat, 22 Jan 2022 08:10:52 +0900

はじめに

先日、会社の後輩からターミナルでコマンドを実行した結果をエディタで開く方法がないか質問があったときに回答した内容を紹介します。

暗号化されているファイルを復号化した結果をエディタで開いて触りたいが、コマンド実行結果をクリップボードに貼り付けて、という操作が面倒というのが発端です。

Vim でのやり方を知っていましたが、後輩は Visual Code Studio 使いだったために「さあどうしようか」と思いました。ダメ元で Vim と同じ方法を実行してみたところ、うまく行けてびっくりしました。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.16(1)-release (x86_64-apple-darwin21.1.0)

コマンド実行結果をVimやVisual Studio Codeで開く方法

“Vim” の場合

Vim では、パイプで渡された文字列を開くことができます。

vim - というコマンドを利用します。

多くのコマンドで、 - という引数は 「標準入力」 を表します。

vim - とは 「標準入力の内容をファイルに見立ててエディタで開く」 という命令になります。

# 100 から 105 までの連番を出力するコマンド
$ seq 100 105
100
101
102
103
104
105

# seq コマンド実行結果をVimにパイプで渡す
$ seq 100 105 | vim -

Bashシェルスクリプトで2つのディレクトリ内のファイル名のみを比較する(ファイルの内容の違いは許容)

Fri, 21 Jan 2022 21:24:11 +0900

はじめに

過去に以下のようなエントリを投稿しました。

Bashシェルスクリプトで2つのディレクトリを比較し内容に差異があったファイルを一覧表示する | ゲンゾウ用ポストイット

今回は似ていますが、 存在するファイル名の違いを出力してみたいと思います。

ファイルの中身に違いがあっても差分として検出しません。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

検証のための事前準備

比較するための2つのディレクトリ dir1 と dir2 を作成し、いくつかのファイルを作成しておきます。

後ほどこの2つのディレクトリに含まれているファイル名を比較します。

# dir1 とそのサブディレクトリ、含まれるファイルを作成
mkdir -p dir1/a dir1/b dir1/c/d
date >dir1/a/1.txt
date >dir1/b/2.txt
date >dir1/c/3.txt
date >dir1/c/4.txt
date >dir1/c/d/5.txt

# dir2 とそのサブディレクトリ、含まれるファイルを作成
mkdir -p dir2/a dir2/b dir2/c/d
date >dir2/a/1.txt
date >dir2/c/3.txt
date >dir2/c/5.txt
date >dir2/c/d/5.txt

tree コマンドでそれぞれのディレクトリの階層構造を確認してみましょう。

実行中のBashシェルスクリプトを書き換えると挙動が変わる問題とその対処法

Tue, 18 Jan 2022 08:00:07 +0900

はじめに

時事ネタに乗り遅れましたが、昨年末にTwitterで話題になっていた内容について、かんたんなスクリプトを取り上げながら理解を整理してみたいと思います。

bashは、シェルスクリプトの実行中に適時シェルスクリプトを読み込みます。この挙動による副作用を認識できておらず、実行中のスクリプトが存在している状態でスクリプトの上書きによりリリースしてしまったことで、途中から修正したシェルスクリプトの再読み込みが発生し、結果的に未定義の変数を含むfindコマンドが実行されてしまいました。

この結果、本来のログディレクトリに保存されたファイルの削除をする処理ではなく、 /LARGE0のファイルを削除してしまいました

引用 : 「https://www.iimc.kyoto-u.ac.jp/services/comp/pdf/file_loss_insident_20211228.pdf」

僕もよくお世話になっている企業様ですし、お詫びの文面を公開し紳士に対応する姿勢、素晴らしいと思います。（被害を受けた側は災難だったと思いますが。）

そして、こちらの問題、決して他人事にできないと思います。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

ケース1：永遠に終了しない

障害の原因は「Bashシェルスクリプトの実行中に適時シェルスクリプトを読み込む」という特性によるものということでした。

実験して特性を確認してみます。

シェルスクリプトで、自身の末尾に処理を追記する処理を実行し続けたらどうなるでしょう？

test1.sh を作成します。

#!/usr/bin/env bash

function hello() {
 echo 'hello' >>$0
 echo hello実行中
 sleep 1
}
hello

hello 関数は以下のような動作をします。

自身のシェルスクリプトの末尾に hello 関数呼び出し処理を追記
“hello実行中” と出力
1秒待つ

この test1.sh スクリプトを実行してみます。

Bashシェルスクリプト(コマンドライン)でファイル名の一括置換を行う(ファイル名にスペースあり)

Mon, 17 Jan 2022 14:56:39 +0900

はじめに

昨年後半から仕事が忙しく、ブログ投稿を行っていました。些細なネタでもいいので毎日続けることが大事だと反省しました。

というのも、投稿を怠っていた間もブログを見てくれた方、訪問数、いいねの数が伸び続け、 月間の訪問者数もついに 5万PV/月となっていたためです ！

ありがとうございます。

今年一発目の投稿は多くの人がご存知の一発ネタですね。 Bashで特定のフォルダ配下にあるファイルの名前を一括置換する方法です。

検証環境

----------
$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)
----------

準備

適当なファイルとフォルダを作ります。

# 適当なディレクトリを作成
$ mkdir -p dir1/ dir2/dir2-1


# 適当なファイルを作成
$ touch dir1/file-001.txt
$ touch dir2/file-002.txt
$ touch dir2/dir2-1/file-003.txt
$ touch dir3/dir3-1/file-004.txt
$ touch "dir3/dir3-1/file- -005.txt"

“file- -005.txt"だけ、ファイル名にスペースを含んでいることに注意です。

フォルダ構成を確認してみます。

$ tree -f
.
|-- ./dir1
| `-- ./dir1/file-001.txt
|-- ./dir2
| |-- ./dir2/dir2-1
| | `-- ./dir2/dir2-1/file-003.txt
| `-- ./dir2/file-002.txt
`-- ./dir3
 `-- ./dir3/dir3-1
 |-- ./dir3/dir3-1/file-\ -005.txt
 `-- ./dir3/dir3-1/file-004.txt

5 directories, 5 files

一括置換を行う

find コマンドで実行した結果をループで読み込み mv しましょう。

意外と知られていない？シェルスクリプトで1秒未満のsleep(wait)が使える

Sat, 18 Sep 2021 09:10:22 +0900

はじめに

今回紹介する機能が利用できる環境、利用できない環境があるかと思います。（逆に利用できる環境のほうが少ないかもしれないです ^^;）

シェルスクリプトで1秒未満のsleep (wait処理といったほうがよい？) を行う方法について紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ date --version | head -n 2
date (GNU coreutils) 8.22
Copyright (C) 2013 Free Software Foundation, Inc.

sleep に小数を指定するだけ

ブログネタがなかったのでひねり出したというのが正直なところですね。

1秒未満の sleep 処理を行う方法、それは 「sleep コマンドの引数に小数を指定する」 だけです。

なんか昔は小数指定できなかった気がしたんですけどね。数年前に0.1秒ごとにポーリングする機能を実現する際に使ってみたらいけました。

$ sleep 0.5; echo ok
ok

上記のコマンドは「0.5秒待ってから “ok” という文字を出力する処理」ですが、本当に0.5秒waitしたのかわからないですね。

開始時間と終了時間の差 を出力して確認してみます。

date +%s%3N というコマンドでミリ秒を取得できる ので、これを利用します。

シェルスクリプトが二重起動されないように flock で排他制御を行う

Tue, 14 Sep 2021 14:03:15 +0900

はじめに

最近ではすっかり Docker を使うようになり、 Linux サーバの Daemon に触れることがなくなりました。

久しぶりに Daemon 設定を触る機会がありました。

起動スクリプトにシェルスクリプトを設定しましたが、Daemon 起動中に万が一に二重起動してしまったら、あるいは手動実行されてしまったらといった場合に備えて、二重起動を抑制する仕組みを入れておきたいと思いました。

シェルスクリプトが二重起動されないように方法について紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ flock --version
flock from util-linux 2.23.2

`flock` コマンドを利用する

Linux に用意されている flock コマンドを使うことで二重起動を抑制することができます。

$ type flock
flock is hashed (/usr/bin/flock)

flock は ファイルディスクリプタ を指定することで、対象ファイルをロックするコマンドです。

( ファイルディスクリプタ とは、「ファイル」を操作するための別名、番号です。 )

過去に少しだけ「ファイルディスクリプタ」に触れた記事もありますので、参考にどうぞ。

オープンできるファイル数上限を管理する「ファイルディスクリプタ」について（ Too many open files エラーを理解する） | ゲンゾウ用ポストイット

サンプルスクリプト

二重起動を抑制するためのサンプルスクリプトを掲載します。

AWSの設定(プロファイル)をコマンドで簡単に切り替える方法

Fri, 03 Sep 2021 21:26:10 +0900

はじめに

管理するクラウド上のシステムが増えてくると、AWS の設定(プロファイル)の切り替えが頻発してきます。

aws では、設定情報+認証情報をそれぞれ以下のファイルで管理しています。

`~/.aws/config
~/.aws/credentials

僕の Mac の設定ファイルはそれぞれ以下のようになっています。 ( セキュアな情報のため、一部マスキング OR 変換しています。 )

$ cat ~/.aws/config
[default]
region = ap-southeast-1
output = json
[profile project-production]
region = ap-northeast-1
output = json
[profile project-staging]
region = ap-northeast-1
output = json
[profile project-development]
region = ap-northeast-1
output = json

$ cat ~/.aws/credentials
[default]
aws_access_key_id = ********************
aws_secret_access_key = ****************************************
[project-production]
aws_access_key_id = ********************
aws_secret_access_key = ****************************************
[project-staging]
aws_access_key_id = ********************
aws_secret_access_key = ****************************************
[project-development]
aws_access_key_id = ********************
aws_secret_access_key = ****************************************

僕の Mac には AWS 接続用のプロファイルが 4 つ 存在していることになります。

"docker diff"を使って"pip install"のライブラリインストール先を調べる

Fri, 03 Sep 2021 09:24:37 +0900

はじめに

クラウド化、コンテナ化、マイクロサービス化が進み、システムを 複数の言語で作られたサブシステム で構成することが増えてきました。どんどん学習も大変になって来ています。 Python、Go、TypeScript、Ruby といろんな言語を学習する必要に迫られているわけですが、それぞれの ライブラリ管理ツール ( PIP、BUNDLER、NPM、… ) がライブラリをどこにインストールするのか調べたいと思いました。

Linux のファイル寿司テム全体で diff を使って変更されたファイルを確認できれば便利ですね。

そんなときに便利なのが docker diff コマンドです。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ docker --version
Docker version 20.10.7, build f0df350

`docker diff` を使って `pip` コマンドでライブラリがインストールされる場所を調べる

それでは docker diff コマンドを使って pip install でライブラリがどこにインストールされるのかを調べてみます。

pip は Python のコマンドですので、Python の Docker イメージを使用します。

1. Docker コンテナの起動

Docker コンテナを起動します。起動する際に わかりやすい名前を付けておきます 。

コマンドラインから新しいウィンドウで Chrome ブラウザを開きたい

Sun, 29 Aug 2021 08:19:19 +0900

はじめに

Mac の open コマンド、便利ですね。

$ open "ファイルやURL"

というコマンドを実行すれば、テキストファイルであれば簡易なエディタが、URL であれば Chrome ブラウザが起動します。

ここで起動する Chrome ブラウザですが、すでに起動している Chrome ブラウザのウィンドウが存在していた場合、ページは新しいタブとして表示されます。

しかし、タブではなく ウィンドウ として起動したい場合にはどうしたら良いでしょうか？

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" --version
Google Chrome 92.0.4515.159

`open "URL"` で起動するアプリケーションの実態

例えば open "https://google.jp" コマンドが実行されたときに起動する Chrome ブラウザアプリケーションの実態はどこにあるでしょうか？

Mac 環境に限って言えばこれは "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" というアプリケーションになります。

ですので、以下のコマンドを実行しても同じ結果となります。

$ "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" https://google.jp

Chrome アプリケーション起動時の新規ウィンドウ起動オプション

Chorme アプリケーション起動の際に --new-window オプションを指定し、新規ウィンドウの起動を強制することができます。

$ "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" --new-window https://google.jp

`open` コマンドを使う場合も `--new-window` オプションを使う

Chrome アプリケーションを --new-window オプション付きで呼び出すことでタブではなくウィンドウで起動することができました。

最近のtarコマンドは展開時だけでなく、圧縮時もフォーマットを自動判定してくれる

Tue, 24 Aug 2021 12:00:19 +0900

はじめに

随分眺めの夏休みでした。ブログ投稿も二週間空いてしまいました。一度途絶えた習慣をもう一度体に染み込ませるのは骨が折れます。早くも頭が抵抗して「面倒くさい」気持ちが生まれてしまいました。気を取り直して。

こちらのエントリを書くきっかけは以前投稿した以下のエントリです。

tar コマンドで”z フラグを付ける”、”ハイフンを付けない”のはおっさんだそうです | ゲンゾウ用ポストイット

tarball ファイルを 展開する 際に、最近は圧縮フォーマットが自動判定されるため、 z (gzip ファイル展開時) やら j (bzip2 ファイル展開時) やら J (xz ファイル展開時)のオプションは指定不要ということでした。

追加で調べてみると、展開時だけでなく 圧縮時 もフォーマット指定が不要ということがわかりました。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ tar --version
tar (GNU tar) 1.26
Copyright (C) 2011 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

Written by John Gilmore and Jay Fenlason.

`-a` オプションを使う

いろんな圧縮フォーマットのファイルを圧縮する際に、 z / j / J その他と使い分けるのは面倒です。忘れてしまっていたらいちいち調べないといけないのも手間ですね。

シェルでfindコマンドの実行結果を `ls -l` のようなフォーマットで出力する

Sun, 08 Aug 2021 08:59:30 +0900

はじめに

find コマンドを実行するとファイルの一覧が出力されます。

例えば、以下は /etc ディレクトリの中から、拡張子 sh を持つファイルを検索し一覧表示した結果となります。

$ find /etc -name '*.sh'
/etc/bash_completion.d/mercurial.sh
/etc/profile.d/colorgrep.sh
/etc/profile.d/colorls.sh
/etc/profile.d/less.sh

ちなみに一番最初に見つかったファイルを ls -l コマンドの引数として実行すると、以下のようにファイルのパーミッションや所有者、グループ、サイズが確認できます。

$ ls -l /etc/bash_completion.d/mercurial.sh
-rw-r--r-- 1 root root 11736 Apr 1 2020 /etc/bash_completion.d/mercurial.sh

find の実行結果を ls -l のようなフォーマットで出力する方法はないでしょうか？

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

方法1 : `-ls` オプションを使用する

find コマンドには、 -ls オプションというものがあります。

-ls オプションを付与すると、 find の実行結果が -ls のようになります。 ( 厳密には ls -dils の実行結果と同様の表示のされ方となります。 )

direnvと環境変数を使ってGitのユーザ名、メールアドレス、SSH KEYをリポジトリ毎に切り替える

Wed, 04 Aug 2021 15:30:26 +0900

はじめに

Github を使って複数のプロジェクトを兼任していると、Git の複数アカウントを切り替えて使う必要がある場合があります。

僕は諸事情により Github アカウントを仕事用 x2、個人用 x1 を所有しています。

よく知られている方法としては、以下のように git config --local コマンドで切り替えるやり方があります。

$ git config --local user.name "アカウント"
$ git config --local user.email "メールアドレス"
$ git config --local core.sshCommand="ssh -i ~/.ssh/ANOTHER_ID_RSA"

こういったマルチアカウント利用ケースにて、環境変数を使って Git の ユーザ名(username) 、 e-mail(email) 、 SSH KEY の切り替え作業を効率化するための方法について紹介します。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ git --version
git version 2.32.0

前提条件（必要なツール）

今回は direnv というツールを利用することを前提としています。

"git prune"コマンドが何をしてくれるものなのかを操作しながら理解する

Wed, 21 Jul 2021 09:33:34 +0900

はじめに

git prune コマンドは掃除用の Git サブコマンドです。

Git のコミット履歴の実体はハッシュ値を一意キーとする “Git オブジェクト” の集合体です。 Git オブジェクトのうち、到達不能(不要)になったものを掃除するために使用するのが git prune コマンドです。

ブランチ名やタグ名を起点として、コミットツリーからたどることができなくなった要素を 到達不能となった Git オブジェクト と呼びます。

git pruneは基本的に直接実行しません。

「ゴミ掃除コマンド」であり、git gc コマンドの 子コマンド ( git gc コマンドの中で実行されるコマング群の 1 つ ) です。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
PRETTY_NAME="Ubuntu Impish Indri (development branch)"
NAME="Ubuntu"

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-pc-linux-gnu)

$ git --version | head -n 1
git version 2.31.1

`git prune` コマンドの「お掃除機能」について

git pruneコマンドが実行されたときにどんなことが起きるかを理解するために、実際に到達不能なコミットを作った後、実行してみましょう。

"git commit --amend" コマンド実行時にコミットログの入力を省略する方法

Tue, 20 Jul 2021 14:17:06 +0900

はじめに

CI/CD パイプラインの動作確認をしていました。 Github へのプッシュを契機にうまく動作するかを見ていました。

何度か git commit --amend コマンドを実行しては git push origin --force-with-lease を実行していたのですが、 git commit --amend するたびにコミットログの入力のためのエディタが起動するのが煩わしくどうにかならないかと思って調べてみました。

別ブランチを作る、別リポジトリを作るなどするべきなのかもしれません。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ git --version | head -n 1
git version 1.8.3.1

`-C` オプションを指定する

-C オプションを指定し、どのコミットのログを採用するかを指定してやればよいです。

最終コミットのログをそのまま採用したいので、 -C HEAD のように指定してやります。

$ git commit --amend -C HEAD

これは便利です。

Terraformでstateのロックを解除する方法、ロックを手動で行う方法

Mon, 19 Jul 2021 14:23:12 +0900

はじめに

Terraform には自動的にステートをロックする機能があります。

terraform plan や terraform apply コマンドを実行したときに自動的にロックされるので、普段意識して操作する事はありません。

チーム開発する際には Terraform のステートをクラウドサービス(AWS S3、GCP Cloud Storage、AWS DynamoDB など)を使って管理することが多いでしょう。

この場合、 terraform plan コマンド実行中に Ctrl + C などで強制停止してしまうと、クラウドサービス上にロックデータが残ってしまいます。結果、以降の terraform plan や terraform apply コマンドを実行できなくなってしまいます。

これを解消する方法 と 逆に明示的にロックを行い、チームメンバーに対して排他する方法 について紹介します。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ terraform --version | head -n 1
Terraform v0.13.7

ステートのロックを解除する方法

僕は GCP の Cloud Storage を使うことが多いのですが、中途半端にステートのロックが残ってしまった場合には gs://XXXXX といったステート管理バケット上にロックファイルが残ってしまいます。こちらを直接削除してもいいのですが、 terraform コマンドにロック解除コマンドが提供されているのでこれを利用するのが良いでしょう。

tarコマンドで"zフラグを付ける"、"ハイフンを付けない"のはおっさんだそうです

Sun, 18 Jul 2021 07:51:16 +0900

はじめに

今日は小ネタで。

一時期Twitterでも話題に上がっていたそうですが、 tar コマンドの使い方でおっさんかどうか分かるそうです。

きっかけは2年ぐらい前に同僚と雑談をしていたときに言われたことでした。

tarコマンドでアーカイブを展開するとき、zフラグやjフラグを付与するのはおっさんだけだよ …って、Twitterで言われてた

いつか突っ込んで調べようと思っていたのですが、そのまま置きっぱなしになってはや2年。時間ができたので調べてみることにしました。

検証環境

$ head -n 2 /etc/os-release
PRETTY_NAME="Ubuntu Impish Indri (development branch)"
NAME="Ubuntu"

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-pc-linux-gnu)

$ tar --version | head -n 2
tar (GNU tar) 1.34
Copyright (C) 2021 Free Software Foundation, Inc.

tarコマンドでgzip圧縮済みファイルを展開してみる

圧縮形式で一番使われるのは gzip でしょう。速度、圧縮率のいずれのバランスもよく、デファクトスタンダードだと思っています。

tar コマンドで gzip 圧縮を使ったアーカイブ、展開を行う際には z オプションを使用します。

まずはtarコマンドでgzip圧縮済みのファイルを作成します。その後、そのファイルをいくつかの方法で展開してみます。

# ディレクトリを作成し
$ mkdir test


# 適当なファイルを2つ突っ込む
$ echo hello > test/1.txt
$ echo world > test/2.txt

# test.tar.gz ファイルを作成
$ tar zcf test.tar.gz test

# ゴミ掃除
$ rm -rf test

$ ls -l
total 4
-rw-r--r-- 1 root root 174 Jul 17 22:35 test.tar.gz

さて、ここから展開をしてみたいと思います。

イメージのビルド高速化機構 Docker BuildKit、BuildX を理解していなかったので調べてみました

Sat, 17 Jul 2021 10:06:15 +0900

はじめに

Dockerfile を作成した後は docker build コマンドを使って Docker イメージをビルドします。

ある日を境に docker build コマンド実行時のコンソールメッセージの表示が様変わりしたのですが、これは Docker (正確には僕のローカル PC で利用している Docker for Mac) に BuildKit と言われるものが導入されたためのようです。

この BuildKit について理解していませんでしたので、調べてみました。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ docker --version
Docker version 20.10.7, build f0df350

BuildKit とは？

BuildKit は、 Docker の 18.06 から試験的に導入され、18.09 以降で正式に導入された機構になります。

ビルド処理時にバックグラウンドで実行されます。

環境変数を使って有効化することができる という記事を拝見しましたが、僕の PC では特に環境変数を設定していない状態でいつの間にかビルド時の表示が変わっていたので、もう正式導入しているようです。

従来の docker build コマンドでは、Dockerfile の各命令（ FROM とか RUN とか )を順番に実行していきます。

GCPのVPC(Virtual Private Cloud)に入門する

Thu, 08 Jul 2021 09:56:27 +0900

はじめに

今まで、GCP の VPC についてあまり意識せずに通信ができていました。

Terraform 化を進めていくタイミングで気がついたのですが、 GCP プロジェクト作成時に 自動的に作成された「VPC ネットワーク」 をそのまま使っていることがわかりました。

GCP ではこの 自動的に作成された VCP ネットワーク を本番運用で利用することを推奨していないようでしたので、理解を含めてどうするべきかを考えたいと思いました。

「VPC ネットワーク」と構成要素を理解する

かんたんではありますが、VCP ネットワーク の構成要素を図示しました。

+- vpc network ---------------------+
| +-----------------+ |
| |Routing | |
| +-----------------+ |
| +-----------------+ |
| |Firewall rule | |
| +-----------------+ |
| |
| +- region us-west --------------+ |
| | +- subnet1 -+ +- subnet2 -+ | |
| | | +-------+ | | | | |
| | | |GCE | | | | | |
| | | +-------+ | | | | |
| | | +-------+ | | | | |
| | | |内部LB | | | | | |
| | | +-------+ | | | | |
| | | +-------+ | | | | |
| | | |内部 | | | | | |
| | | |静的IP | | | | | |
| | | +-------+ | | | | |
| | | +-------+ | | | | |
| | | |Subnet | | | | | |
| | | |routing| | | | | |
| | | +-------+ | | | | |
| | +-----------+ +-----------+ | |
| +-------------------------------+ |
| |
| +- region us-eas--t ------------+ |
| | +- subnet3 -+ | |
| | | | | |
| | | | | |
| | | | | |
| | | | | |
| | +-----------+ | |
| +-------------------------------+ |
| |
+-----------------------------------+

GCP のドキュメントには、 「ネットワーク = 「VPC ネットワーク」」 と書かれているフシがあります。 VPC というプレフィックスが記載されていなかったとしても、両者は同じものを指しています。

自作したシェルスクリプトをLinuxのsystemdサービスとして起動する方法

Mon, 05 Jul 2021 15:41:56 +0900

はじめに

最近は Kubernetes や サーバレス なしくみを用いたサービス運用が進んでいるため、Linux の Systemd を触る機会はほぼありません。

利用機会は今後どんどん減ってでしょう。

しかし、担当しているサービスの一部で Google Compute Engine を利用しており、 Systemd を使ってシェルスクリプトをサービス化しています。

AWS EC2 を使ったサーバー構築の可能性もあり、 Systemd を使ったサーバーを構築する機会はまだ残り続けるでしょう。

そこで Systemd を使ってシェルをサービス化する方法をまとめておきます。

概要

当エントリでは Linux サーバー上が起動してたタイミングで、Systemd からシェルスクリプトを自動的に実行する方法 について紹介します。

“Systemd” とは？

Systemd は、LinuxOS の起動、管理、および終了に関するサービス管理システムです。従来は SysVinit という仕組みが使われていました。今は SysVinit が Systemd に置き換わり、OS の起動とサービスの管理を行う仕組みとなりました。

Systemd は、LinuxOS の初期化プロセスとして起動し、サービスの管理、ネットワークの設定、ログの管理などを主に担当しています。

管理者は簡単にシステムの状態を監視し、サービスの状態をコントロールできます。以下は、管理者が利用する Systemd の基本的なコマンドの例です。

systemctl start [サービス名] : サービスを開始します。
systemctl stop [サービス名] : サービスを停止します。
systemctl enable [サービス名] : システムの起動時にサービスを自動的に起動します。
systemctl disable [サービス名] : システムの起動時にサービスを自動的に起動しないようにします。
systemctl status [サービス名] : サービスの状態を確認します。

“Systemd” の実行プロセス

Systemd の実行プロセスは以下のような性質を持っています。

Unix上で利用できるパスワード生成コマンドmkpasswdの使い方を紹介

Sun, 04 Jul 2021 08:37:00 +0900

はじめに

過去に Bash シェルスクリプトでランダムな文字列を作成する方法について投稿しましたが、もし Linux のパッケージマネージャでツールをインストールできる環境であれば、 mkpasswd を使うのがより柔軟かつかんたんです。

ランダムな文字列の生成だけでなく、パスワード生成ももちろん可能なコマンドです。

( コマンド名からわかるように、本来はパスワード生成を目的としたものですよね。 )

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`mkpasswd` コマンドとは？

mkpasswd コマンドは、パスワードを生成するためのコマンドです。

デフォルトでは 9 文字のランダムなパスワード が生成されますが、 オプションを指定することで生成されるパスワードの長さや文字種などを調整できます。

インストール

RedHat 系の OS の場合、 YUM を使って expect というパッケージをインストールします。

$ yum install expect -y

インストールされたかを確認してみます。

$ type mkpasswd
mkpasswd is hashed (/usr/bin/mkpasswd)

ちなみに、ヘルプを表示しようとすると、いきなり謎の文言が表示されます。

$ mkpasswd --help
Zy$6aO2nb

--help オプションは利用できないようですね。

Git でやってしまった！そんなときに変更を取り消す便利なツール "git-branchless"

Thu, 01 Jul 2021 17:29:45 +0900

はじめに

Git で誤って git reset 、 git rebase をしてしまって冷や汗が出たことがある方は少なくないはずです。

僕も何度自分のローカルブランチでやってしまったことか。

焦りながらも git reflog で最後の変更を見つけ出し、なんとかもとに戻せた！

という場合もあれば、

うまく戻せずに結局最初から開発やり直し…

となったこともあります。

git reflog の操作が難しいですよね。

変更がもっとかんたんにもとに戻せたら、と常々思っていましたが、そんな問題にぴったりのツールを見つけました。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ zsh --version | head -n 1
zsh 5.8 (x86_64-apple-darwin19.6.0)

$ git version
git version 2.32.0

git-branchless

見つけたのは arxanas/git-branchless というツールになります。

git-branchless はツールのセットになります。コミット履歴を 視覚化 、 ナビゲーション 、 操作の支援 、修復するのを手助けしてくれます。

“Google” や “Facebook” といった大企業で利用されている branchless Mercurial worlflows と呼ばれる開発フロー（？）に基づいているそうです。

インストール

Rust がインストールされていることが前提となっているようです。

$ brew install rust

Rust をインストールすると、Rust のビルド、パッケージマネージャーである cargo というコマンドが使えるうようになります。

Bashシェルスクリプトでコマンドライン引数を後方から参照する

Wed, 30 Jun 2021 12:00:14 +0900

はじめに

Bash シェルスクリプトでは、 コマンドライン引数は "${1}"、 "${2}"、"${3}" といった特殊な変数で参照 できます。

さてここで、配列の要素を先頭ではなく 末尾から参照したい としましょう。

コマンドライン引数の個数がわかっている場合、例えば 3 個である場合には "${3}" を参照すれば良いですね。

しかしコマンドライン引数の個数が可変であった場合には、どうしたら良いでしょうか。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`${@: -1}` と記述すれば OK (スペースに注意！)

Twitter 上でかんたんに記述できることを教えていただきました。ありがとうございます。

main.sh というスクリプトを作って実行してみます。

# スクリプトを作成
$ cat <<'EOF' >main.sh
#!/usr/bin/env bash

echo "${@: -1}"
EOF

$ chmod 700 main.sh

# 実行( 一番最後の引数が出力されます )
$ ./main.sh 1 3 5 7 9
9

一見わかりにくい記述ですので段階を追って説明しましょう。

シェルスクリプトで数値をN進数に変換する方法

Tue, 29 Jun 2021 21:09:58 +0900

はじめに

競技プログラミングで問題を解いているときによく出題される問題として、 数値を N 進数表記に変換する というものがあります。プログラミング言語だとかんたんなのですが、シェルスクリプトでやろうとすると普段やらないためやり方が分からずハマってしまいます。

変換方法を紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

Bash 組み込みの算術演算を利用する

これが最もかんたんです。

10101 を変換してみます。

# 10101 を変換 ( 2進数→10進数 )
$ echo $((2#10101))
21

# 10101 を変換 ( 8進数→10進数 )
$ echo $((8#10101))
4161

# 10101 を変換 ( 16進数→10進数 )
$ echo $((16#10101))
65793

ポイントは数値の前に N# のように基数を指定する点です。

ただし、N進数から10進数への変換しかできません。

`bc` コマンドを利用する

bc コマンドに標準入力で計算式を渡してやります。その際に、インプット時の基数、アウトプット時の基数を指定してやります。 (obase、ibaseの記述順序に注意！)

Bashシェルスクリプトで空ディレクトリを再帰的に検索し削除する

Mon, 28 Jun 2021 20:20:44 +0900

はじめに

開発が進むと、アプリケーション内に不要な空ディレクトリが誕生することがあります。そのまま残り続けていると、本当に必要なディレクトリなのかわからなくなることがあります。あるいはサーバのデータディレクトリ、ワークディレクトリも削除処理が実装されていない場合に不要な空ディレクトリが残ってしまう場合があります。

そんなときな空ディレクトリを再帰的に検索して一気に削除してしまいましょう。

シェルで実現するためのかんたんなワンライナーを紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ find --version | head -n 2
find (GNU findutils) 4.5.11
Copyright (C) 2012 Free Software Foundation, Inc.

動作確認のための準備

動作確認のために適当なディレクトリツリーを作成しておきます。

# 適当な作業ディレクトリを作成
$ mkdir work/ && cd work/

# ディレクトリとファイルを作成
$ mkdir -p a/d/
$ mkdir -p b/e/
$ mkdir -p b/f/
$ mkdir -p b/g/h/
$ mkdir -p b/g/i/j/
$ mkdir -p "c c/"

$ touch a/d/hoge.txt
$ touch b/f/hoge.txt

tree コマンドで、作成されたディレクトリツリーを確認してみます。

Bashシェルスクリプトで非インタラクティブにパスワードを設定する

Fri, 25 Jun 2021 20:53:53 +0900

はじめに

Unix 上で ユーザを作成する場合は useradd コマンド 、 ユーザを変更する場合は usermod コマンド を利用します。

( adduser の利用を推奨するような記載を多くの Web ページで拝見しますので、そちらのほうが良いのかもしれません。 moduser コマンドは有りません。)

アプリケーションのデーモンプロセスで利用されるようなユーザはパスワードは不要ですが、オペレーションユーザの場合には パスワードが必要 となります。

パスワードは chpasswd コマンドを使って変更できますが、このコマンドを利用するとインタラクティブな操作を要求されるためスクリプトが組みにくいという問題があります。

どうやってパスワードを設定したら良いでしょう？

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`useradd` / `usermod` コマンドの `--password` オプションを利用する

useradd コマンド、 usermod コマンドのヘルプを引くと使えそうなオプションがすぐに見つかります。

$ useradd --help
Usage: useradd [options] LOGIN
 useradd -D
 useradd -D [options]

Options:
 ...
 -p, --password PASSWORD encrypted password of the new account
 ...

$ usermod --help
Usage: usermod [options] LOGIN

Options:
 ...
 -p, --password PASSWORD use encrypted password for the new password
 ...

いずれのコマンドにもズバリのオプションが見つかりました。 --password オプションを利用してインタラクティブにパスワードを設定できます。

trコマンドで改行をカンマに変換すると","とだけ表示されてびっくりした話

Thu, 24 Jun 2021 19:02:27 +0900

はじめに

わかってしまえばなんてことないですし、 tr コマンドに明るい方にとっては「よくあることだね」という程度の話だと思います。

先日 MENTA でシェルスクリプトについて支援をさせていただきました。支援内容の一部に、テキストファイルの各行をカンマで連結して一行にして出力したい、という要望があったので「それならかんたん！」とやり方を提示させていただきました。ところが、うまくいかずにかっこ悪いところを見られてしまいました。

その時のお話をしたいと思います。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

テキストファイルの改行コードを任意の文字に置換するには `tr` コマンドを使う

改行コードを置換する方法はいくつかあります。 sed を使う、 awk を使う、などありますが、一番かんたんなのは tr コマンドを利用する方法です。

早速試してみたいと思います。

テスト用にかんたんなテキストファイルを作成します。各行に 1〜5 の数値が書かれています。

$ # ファイルを用意
$ seq 1 5 > data.txt

# ファイルの中身を確認
$ cat data.txt
1
2
3
4
5

それではこのファイルの改行をカンマ,に置換して見たいと思います。

$ tr "\n" "," < data.txt
1,2,3,4,5,

各行の改行コードがカンマに変換されました。 5 の行の末尾にも改行コードが含まれているため、 1,2,3,4,5, のように一番うしろにも改行が入っています。

*これを除去したい場合には $ tr "\n" "," < data.txt | sed 's/,$//' のようにしてやればよいでしょう。

シェルスクリプトで引数でループする処理を書くときは "${@}" は不要だった

Mon, 21 Jun 2021 08:00:07 +0900

はじめに

個人的にはシェルスクリプトでループ処理を書くと速度が出ず、また記載が冗長となるためあまり使いません。

それでも分岐処理を含めて繰り返し処理したい場合にはループを書くことがあります。

シェルスクリプト実行時に渡される「コマンドライン引数」でループを回すこともありますが、先日今まで書いていた処理がもっとかんたんに書けることを知りました。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

今まで記述してた「コマンドライン引数」を使ったループ処理

今までコマンドライン引数を使ったループ処理を記述したい場合には、 for と "${@}" 変数を使って記述していました。

以下がそのコードになります。

#!/usr/bin/env bash
set -o errexit
set -o nounset
set -o noclobber

for I in "${@}"; do
 echo "$I"
done

test1.sh という名前で保存し、実行してみます。

# 実行権限を与えてあげましょう
$ chmod 700 test1.sh

# 実行
$ ./test1.sh a b "c d" " e "
a
b
c d
 e

第 3 引数、第 4 引数にはスペースを含んでいるため、ダブルクォート(")で囲んでやる必要があります。また、参照する際にも "${@}" という形式で for 構文に渡してやる必要があります。

Vimでファイル編集中にスペルミス(typo)を検出するためにvim-codespellを導入してみた

Sun, 20 Jun 2021 09:33:17 +0900

はじめに

Vim でブログのエントリを作成したり、技術ドキュメントを作成したりしています。

技術系の内容をまとめていると、アルファベットの単語の登場頻度が多いわけですが、ちょっとしたスペルミスをすることがちらほらあります。

エントリやドキュメントであれば、スペルミスを舌としてもまだマシなのですが、ソースコードにスペルミスがあると（例えばクラス名やメソッド名）それが使われてしまって後戻りできない、ということも時々あります。

これはイカンということで英語のスペルミスを検出するためのプラグインを探して導入してみました。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ nvim --version | head -n 2
NVIM v0.4.4
Build type: Release

shinglyu/vim-codespellを導入する

Google 検索して最初に見つかった Github 上の Vim プラグインが以下でした。

shinglyu/vim-codespell

したがってこれを導入し使ってみることにしました。

shinglyu/vim-codespellのインストール

Github の Install の説明を見るのが一番確実です。

2021-06-20 時点だと、以下の工程を踏むと書かれています。

[aspell][http://aspell.net/] というツールの導入

Mac なら brew install aspell を実行

Vim プラグインとして、 shinglyu/vim-codespell を導入

プラグインのインストール方法についてはここでは省略します。

Vim のプラグインは Vundle / vim-pathogen / vim-plug / NeoBundle / dein.vim など色々ありますので導入していない場合には検討ください。

shinglyu/vim-codespellを使ってみる

早速使ってみました。前回のブログエントリのもととなる Markdown を NeoVim で開きます。

YAMLの重複記述を減らしDRYを保つためにエイリアス機能を使う

Sat, 19 Jun 2021 08:26:26 +0900

はじめに

僕が YAML ファイルを触りだしたのは、Ansible を使い始めてからでした。

そこから Docker Composes 、 Kubernetes ともはや YAML を触ることがないシステムはない状況となりました。

AWS や GCP 、 Azure といったクラウド環境でも YAML ファイルで設定するリソースは非常に多いですし、Rest API のインターフェイス定義として OpenAPI を YAML で記述します。

YAML ファイルの重要性が高まるにつれて、ファイルの内容はどんどん肥大化する傾向にあります。同時に 1 つの YAML ファイルの中に記述する内容が重複することも多く（Kubernetes マニフェストのラベル名など）、なんとか DRY に記述できないかと悩むことがあります。

重複記述を回避するために “エイリアス” を使う

そこで有効なのが YAML の標準機能として提供されている エイリアス 機能です。

現在担当してるシステムのローカル開発環境は Docker Compose を使って構築していますが、エイリアス機能を使って docker-compose.yaml ファイルの簡素化を行っています。

それでは、エイリアス機能について見ていきましょう。

エイリアス(別名)機能とは？

YAML のエイリアス機能とは、 単一の値 か ブロック(YAML のツリー構造) のどちらかに名前をつけて、あとから参照するための仕組みになります。

エイリアス機能を利用した例

値にエイリアスを設定し、参照する

値に名前をつけるというのが最もシンプルな使い方です。

&エイリアス名 で名前をつけ、 *エイリアス名 で値を参照します。

hello: &hello "hello"
greeting:
 audience: "world"
 hello: *hello # 'hello' という文字列となります
new_greeting:
 audience: "room"
 hello: *hello # 'hello' という文字列となります

正しく値が参照できているかを確認するために、 yq というコマンドラインから YAML ファイルを操作するツールを使ってみます。

Docker Container Registryサーバーを自前で作成してみる

Mon, 14 Jun 2021 07:29:06 +0900

はじめに

“Docker Hub” や GCR 、 ECR といったサービスがあるなか、わざわざ自前で “Docker Registry” を構築して Docker イメージを管理する必要性は少ないとは思いますが、仕組みを理解する目的で、自作の Docker Registry 環境を構築してみたいと思います。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

作業の流れ（作業ログ）

Docker Registry サーバを立ち上げ
Docker Registry サーバに外部から接続するための設定を追加

準備

前提として、今回は最もかんたんな方法で Docker Registry サーバを立ち上げたいと思います。

その方法とは、「すでに公開されている Docker Registry サーバ用の Docker イメージを利用する」というものです。

Docker イメージを管理するためのサーバを Docker で立ち上げる、というのが面白いですね。

そんなわけで、Docker を事前にインストールしておきましょう。 Windows や Mac で動作させる最もかんたんな方法は以下のツールを導入することです。

Docker Desktop for Mac and Windows | Docker

1. Docker Registry サーバを立ち上げ

registry:2.7.1 というイメージを利用したいと思います。

"git diff"コマンドの実行結果をGithub風に表示できる"git-split-diffs"

Mon, 24 May 2021 10:49:32 +0900

はじめに

git diff コマンドの実行結果を Github の diff 表示のようなスタイルに変更できる 「git-split-diffs」 というツールを見つけたので紹介します。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ node --version
v15.12.0

$ yarn --version
1.22.10

git-split-diffs とはなに？

ターミナル上で git diff したときに、実行結果を Github 風に表示してくれるツールです。

はじめはターミナル上で実行するのに Github 風にとは一体？と思いましたが、実際に使ってみたいと思います。

前提環境

node 1.12 以上がインストールされている必要があります。

インストール

npm コマンドまたは yarn コマンドが使えれば、以下のコマンドでインストール可能です。どちらかお好きな方をどうぞ。

# NPMを使う場合
$ npm install -g git-split-diffs

# YARNを使う場合
$ yarn global add git-split-diffs

実行したあとは git config コマンドを使って、 diff の実行結果の表示に git-split-diffs が使われるようにしてやります。

Gitリポジトリ作成時のデフォルトブランチ名がmainとなるように設定する

Sun, 23 May 2021 08:27:07 +0900

はじめに

こちらもいずれやらないとなぁと思ったままお座なりになっていたローカル環境の設定です。

「シェルで Github リポジトリの master ブランチの名前を main ブランチに変更する」というエントリでもお話しましたが、 Github リポジトリを新規に作成した場合のデフォルトブランチ名が master から main に変更となっています。（もう随分前の話ですね。）

そんな時代の流れとは裏腹に、自分の PC で git init し Git リポジトリを新規作成した際のデフォルトブランチ名が未だに master となっています。

少しでもおっさん化の流れに抵抗する必要があるということで、 git init したときに作られるデフォルトブランチ名を main にするための設定をしようと思いました。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ git --version
git version 2.31.1

今回の作業の前提

当然のことながら git コマンドが使えるようになっている必要があります。

加えて、 Git のバージョンが 2.28 以降でなければいけません。

僕の環境は以下の通り、 2.28 以降でした。

$ git --version
git version 2.31.1

Git の新しい設定として `init.defaultBranch` が追加されています

Git 2.28 より前のバージョンでは、 git init コマンドでリポジトリを新規作成した場合、常に master というブランチがデフォルトで作成されていました。

シェルでGithubリポジトリのmasterブランチの名前をmainブランチに変更する

Sat, 22 May 2021 09:02:13 +0900

はじめに

随分前のことですが、新規に作成される Github リポジトリのデフォルトブランチ名が master から main に変更となりました。

ところが既存の Github リポジトリは当然 master というブランチ名のままです。

機会があれば昨今の風潮にのって一括修正しようかなぁ、と思っていましたが、ブログネタについでにシェルでブランチ名の変更を行ってみました。

大量に Github リポジトリを持っている組織などでも利用できるのではないでしょうか。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ git --version
git version 2.31.1

$ gh --version
gh version 1.10.2 (2021-05-19)
https://github.com/cli/cli/releases/tag/v1.10.2

今回利用するツール

今回は以下のツールを利用します。

git : Git
gh : GitHub CLI

作成したシェルスクリプト

コマンドを 1 つ 1 つ解説していこうかと思いましたが、作ってしまってそれをお見せしたほうが良いかと思いました。作成したシェルスクリプトを掲載します。

`master2main.sh`

#!/usr/bin/env bash

# おまじない
set -o errexit
set -o nounset

# スクリプトを実行しているディレクトリが.git管理されていることが前提
[[ -d ./.git ]] || {
 echo "[ERROR] Gitのワークディレクトリでスクリプトを実行してください。" >&2
 exit 100
}

echo "=== START ==="

REPO=$(git remote get-url origin | grep -o '[^/:]\+/[^/:]\+$' | sed 's/\.git$//')

# upstreamリポジトリかどうかは適宜変更してください
REMOTE=origin

# まずはGitのリモートリポジトリの最新master情報を取得
git fetch "${REMOTE}" master

# masterブランチからmainブランチを分岐させる
git checkout -b main "${REMOTE}/master" \
 --no-track
# mainブランチをリモートにプッシュ
git push -u "${REMOTE}" main
# リポジトリのHEADをmainブランチに切り替え
git remote set-head "${REMOTE}" main

# Github上のデフォルトブランチをmainブランチに切り替え
gh api -XPATCH "repos/${REPO}" -f default_branch=main >/dev/null

# Github上の全プルリクのbaseもmainブランチに切り替え
for NUM in $(
 gh pr list -B master -L999 \
 | cut -f 1
); do
 gh api -XPATCH "repos/${REPO}/pulls/${NUM}" -f base=main >/dev/null
done

# Githのリモートリポジトリからmasterブランチを削除
git push \
 --delete origin master

# ローカルのmasterブランチは必要があれば消してください
# git branch -D master

# 確認のためにGithubリポジトリのWebページを開くこともできます
# gh repo view --web

echo "=== FINISH ==="

使い方

使い方は簡単です。

"Prevent Public Repos"を導入してPublicなGithubリポジトリが作成されたら通知させる

Fri, 21 May 2021 16:41:52 +0900

はじめに

お恥ずかしながら、Github 上の Organization 内にメンバーが意図せず Public なリポジトリを作成してしまい、それに気づけなかったことがありました。

プロダクトコードをガシガシコミットされる前に気づけたのですが、「これは危ないな」と思い良い方法を探していたところ、 Github Apps に良さそうなアプリがあったので導入してみました。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ gh --version
gh version 1.10.2 (2021-05-19)
https://github.com/cli/cli/releases/tag/v1.10.2

“Prevent Public Repos” を利用する

以下の Github Apps が今回の用途にピッタリでした。

Prevent Public Repos | Probot

Public な Github リポジトリが作成されたタイミングで、Critical な Issue を作成してくれます。

Issue が作成されたことで気付けるのか？というのも含めて試してみます。

“Prevent Public Repos” 導入方法

1. Github Apps を追加

Prevent Public Repos のページ右上にある Add to Github ボタンをクリックします。

GKEのNEG(Network Endpoint Group)とIG(Instance Group)との違い、メリットを整理しました

Thu, 20 May 2021 16:02:45 +0900

はじめに

GCP の Cloud Armor について調べていたところ、ドキュメントに出てきた NEG という単語。

「VM インスタンスや NEG に対して WAF 機能を提供する」、とありましたが、NEG とはなんだろう？となってしまったため、 NEG について調べました。

NEG とは？

NEG についての記載があるページを参考にさせていただきました。

NEG とは何か. はじめに | by Yuki Furuyama | google-cloud-jp | Medium

Network Endpoint ( NE ) は Kubernetes の Pod に相当する

Network Endpoint を複数まとめたグループが Network Endpoint Group ( NEG ) であり、Kubernetes の Service に相当する

NEG を使うことで Kubernetes の Pod と Service を GCP 側で第一級市民として扱えるようになる

視覚化すると以下のようになります。

= GCP =====================================

 +-------------+ +-------+ +---+
 |Load Balancer| ----> |NEG | ----> |NE |+
 +-------------+ +-------+ +---+|+
 ^ ^ +---+|
 | | +---+
 | | ^
 | | |
= GKE =|===================|=============|=
 | | |
 +------------------+ +-------------------+
 |Ingress Controller| |NEG Controller |
 +------------------+ +-------------------+
 | | |
 +-------------+ +-------+ +---+
 |Ingress | ----> |Service| ----> |Pod|+
 +-------------+ +-------+ +---+|+
 +---+|
 +---+

GKE 上のリソースとして Ingress 、 Service 、 Pod がありますが、 GCP 上にも対になるリソースが生成されます。 NE は　 Pod に割り当てられている IP + Port のセットで一意となる GCP リソースです。

GCPの"Cloud Domains"を使ってドメインを取得、管理する

Tue, 18 May 2021 18:19:55 +0900

はじめに

ドメインを取得するためのサービス “Google Domains” とごっちゃになってしまいそうですが、 GCP 上の “Cloud Domains” というサービスでドメイン取得ができるようでしたので試してみました。

検証環境

GCP ( Google Cloud Platform )

概要

冒頭でも触れましたが、ドメインを登録し、管理するためのサービスとのことです。

以下のサービスと名前が似ていますので、違いを整理しながら作業を進めていきます。

Google Domains
Cloud DNS

前提条件

当然のことながら “GCP” のアカウント作成が完了している 必要があります。

事前に作成しておきましょう。

ドメインの登録方法

ドメインの登録までの作業を順次進めていきましょう。

0. まずは “Cloud Domains” の有効化

すでに “GCP” のコンソールページが開ける状態であるはずです。

コンソールページにて “Cloud Domains API” を有効にするためのページを開き、有効化します。

1. 登録したいドメインを検索

Cloud Doamins の管理ページを開きます。

その後、 「ドメインを登録」 ボタンを押します。

購入したいドメインを検索します。結果、いくつかのドメインが、登録価格と一緒に表示されます。

購入したいものを見つけたら、一覧右列の 「カートボタン」 を押します。 ( 同時に複数ドメインを購入することができます。その場合には購入したいカートボタンをすべてクリックします。 )

ページ右側に選択された全「ドメイン」を購入するための料金合計が計算され、表示されます。

選択に問題がなければ、「続行」ボタンを押します。

2. ドメインに対する DNS を設定

DNS プロバイダ ( DNS サーバの提供元 ) をどこにするかを選択します。 ( 冒頭で取り上げたサービスが絡んできましたね。 )

Bashシェルスクリプトで数値計算を行うとスクリプトが強制終了される問題でハマった話

Mon, 17 May 2021 20:31:42 +0900

はじめに

Web 上の競技プログラミングや 100 本ノックの問題をシェルで問いているときにハマってしまいました。

原因がわかれば「ああなるほど」と思いました。

ぱっと見、問題がないのですが、なぜだかスクリプトが強制終了してしまいます。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

問題の発生したスクリプト

実際のスクリプトとは異なりますが、同じ問題を孕んだスクリプトを掲載します。

以下のスクリプトを test.sh という名前で保存しておきます。

#!/usr/bin/env bash
set -o errexit

SUM=0

for ((I = 0; I < 5; I++)); do
 ((SUM += I))
done

echo "$SUM"

set -o errexit は set -e と同義です。スクリプトのいずれかの行でエラーが発生した場に処理を中断するオプションになります。

スクリプトは単純です。ループカウンタ I は 0〜4 までカウントしていきます。その値をすべて SUM という変数に加算していきます。

Google製のJavaScript Shellラッパー"zx"を触ってみたYO！

Fri, 14 May 2021 22:42:38 +0900

はじめに

Twitter で少し前に盛り上がっていた、 google/zx という NPM ライブラリに触れてました。

新しいツールを触る機会は家の手伝いや子守をしていてここ数年全く取れていなかったのですが、今日はたまたま時間が作れました。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ node --version
v15.12.0

$ yarn --version
1.22.10

ツールの紹介

Bash は偉大だけと、多くのケースでスクリプトを書こうとするともっと高級な言語が選択されます。文法や型に制約が強いほうがチーム開発には向いていますよね。

ちょっとした処理を Bash で書こうものなら、他のエンジニアから風当たりが強いです 。

JavaScript も良い選択肢ですが、JavaScript から Bash コマンドを呼び出す手間が面倒です。

そんな手間を違和感なく解決してくれるのが zx とのことです。

GitHub - google/zx: A tool for writing better scripts

インストール

npm と yarn のそれぞれの方法を紹介していますが、どちらにしてもグローバルインストールすることが推奨されているようです。

npm の場合

npm i -g zx

yarn の場合

僕はこちらでインストールしました。

GCP上の2つのK8Sクラスタの設定差異をdiffで確認する

Thu, 13 May 2021 19:49:39 +0900

はじめに

既存の GKE ( Google Kubernetes Engine )クラスタが 2 つありました。

両者とも前任者が手作業で作成していましたが、すでに設定に乖離があることが想定されていました。
乖離を埋めるために、両者にどれだけの違いがあるのか確認しておきたいと思いました。

差異を確認するために工夫した方法を掲載します。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

$ diff --version | head -n 2
diff (GNU diffutils) 2.8.1
Copyright (C) 2002 Free Software Foundation, Inc.

GCP 上の K8S クラスタの設定を抜き出す

GCP 上の Kubernetes クラスタの設定を抜き出すために、 gcloud コマンドが利用できます。

例えば以下のような環境に Kubernetes クラスタが作成されていたとします。

プロジェクト ID : GCP_MY_PROJECT_ID
ゾーン名 : asia_northeast1_b
Kubernetes クラスタ名 : GCP_MY_CLUSTER_NAME

この Kubernetes クラスタの設定を抜き出すには、以下のコマンドを実行します。

Goole Cloud Build上でシェルを実行した結果、エラーが発生しても正常終了してしまう問題に対処

Wed, 12 May 2021 12:05:54 +0900

はじめに

開発効率化、品質向上のために現在のシステム開発に CI/CD パイプラインの構築は必須だと思います。

Github Action / CircleCI / Cloud Build など、CI/CD を構築するためのサービスがありますが、Cloud Build を多用させていただいています。

その “Cloud Build” でシェルコマンドを実行したところ、エラーが発生したにもかかわらずなぜか正常終了してしまい原因特定までに多少時間がかかってしまいました。

わかってしまえば当然なのですが、ついつい「シェルを実行している」ことを忘れてしまったことが原因でした。

検証環境

Google Cloud Platform ( GCP ) の Cloud Build を利用しました。

再現方法

Cloud Build でビルドステップを構築する方法として、ちょっと複雑なものを構築しようとした場合は Git リポジトリに cloudbuild.yaml という YAML ファイルを配置してやります。

ここで、以下のような cloudbuild.yaml というファイルを用意としましょう。

steps:
 - name: "bash"
 entrypoint: "bash"
 args:
 - "-c"
 - |
 echo "begin"
 ls -la /tmp
 ls -la /nothing
 echo "end"

処理概要は以下のとおりです。

Docker Composeで初回起動時のみyarn installを実行させる方法

Wed, 28 Apr 2021 21:58:32 +0900

はじめに

Docker Compose の初回起動時のみ、ライブラリのインストールを実行したい場合があります。

NodeJS の場合 yarn install や npm install
PHP の場合 composer install
Ruby on Rails の場合 bundle install

いい方法が無いか考えた末、 docker-compose.yaml の command 属性に工夫して解決させてみました。

検証環境

$ docker-compose --version
docker-compose version 1.29.0, build 07737305

Docker Compose 初回起動時にライブラリをインストールしておかないとどうなる？

例えば、以下のような NodeJS の Web アプリケーションを起動させたいと思います。

yarn start というコマンドでサーバが起動します。

version: "3.4"

services:
 nodejs:
 image: node:15.13.0-alpine
 volumes:
 - .:/app:cached
 working_dir: /app
 entrypoint:
 - sh
 command:
 - -c
 - |
 yarn start
 ports:
 - 3000:3000

entrypoint 、 command の設定情報から、起動時に以下のコマンドが実行されます。

Bashシェルスクリプトで2つのディレクトリを比較し内容に差異があったファイル名を一覧表示する

Tue, 27 Apr 2021 21:13:54 +0900

はじめに

diff コマンドを使えば 2 つのファイルの内容の差分を確認することができます。

$ seq 1 3 > 1.txt

$ seq 2 4 > 2.txt

$ diff 1.txt 2.txt
--- 1.txt 2021-04-26 21:35:52.000000000 +0900
+++ 2.txt 2021-04-26 21:35:58.000000000 +0900
@
$ diff 1.txt 2.txt
1d0
< 1
3a3
> 4

diff コマンドには、2 つのファイルだけではなく、2 つのディレクトリの中にあるすべてのファイルに対して差分を確認する機能もあります。 ( ex: diff -r dir1/ dir2 )

diff -r ではファイルのコンテンツ差分がすべて表示されますが、 差分のあったファイルの名前だけが欲しい 場合はどうしたら良いでしょうか？

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`diff -r` を使ってディレクトリ間のファイルの差分を出力

diff -r コマンドについておさらいです。

シェルスクリプトでコマンドを制限時間(タイムアウト)付きで実行させる

Thu, 22 Apr 2021 19:09:09 +0900

はじめに

コマンドやシェルスクリプトを制限時間付きで実行させ、制限時間を超えたらタイムアウトさせたい場合があります。

例えば、特定のファイルが作成されるまで待ち続けますが、そのファイルを作成する別プロセスがエラー終了してしまい永遠に待ち続けてしまう、といったようなケースに利用できます。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.1.4(1)-release (x86_64-apple-darwin20.2.0)

$ timeout --version | head -n 2
timeout (GNU coreutils) 8.22
Copyright (C) 2013 Free Software Foundation, Inc.

`timeout` コマンドを利用する

timeout コマンドを利用することでコマンド実行にタイムアウトの設定をすることができます。

timeout コマンドを通して sleep コマンドを実行し、挙動を見ていきましょう。

制限時間(3 秒)内に終了する場合

timeout コマンドは、第 1 引数に制限時間（デフォルトの単位は秒）、第 2 引数に実行するコマンドを指定します。

3 秒の制限時間を指定する場合には、 timeout 3 <COMMAND> のように指定します。

ここでは、 sleep 2 コマンドを実行し、2 秒間だけ待った後終了するコマンドを実行させてみます。

$ timeout 3 sleep 2

$ echo $?
0

timeout コマンドの制限時間に引っかからずにコマンドが終了した場合には、実行後ステータスを示す変数 $? は 0 (正常終了) となります。

Bashシェルスクリプトでディレクトリを作成してから移動する処理を最も簡潔に記述する方法

Mon, 19 Apr 2021 20:11:51 +0900

はじめに

小ネタです。

いろんな言語やツールのチュートリアルを読み進めていると、必ずと言っていいほど書かれているコマンドのセットがあります。

それが mkdir と cd 。

例えば「チュートリアル用の作業ディレクトリを使って」といった処理の場合に以下のように 2 つのコマンドがセットで記述されます。

# ホームディレクトリ配下の "sample-app" ディレクトリを作成
$ mkdir /home/genzouw/sample-app

# ホームディレクトリ配下の "sample-app" ディレクトリに移動
$ cd /home/genzouw/sample-app

毎度のことながらこのような処理をスクリプトに起こした場合、気になってしまうこと。それは DRY ( 繰り返しを避ける ) ではないという点。

/home/genzouw/sample-app というディレクトリ名が 2 回登場しています。

これを回避するために変数を利用する事もできます。

# ホームディレクトリ配下の "sample-app" ディレクトリを変数にセット
$ SAMPLE_DIR=/home/genzouw/sample-app

# ディレクトリ作成
$ mkdir "$SAMPLE_DIR"

# ディレクトリ移動
$ cd "$SAMPLE_DIR"

より簡潔な記述方法を紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

「ディレクトリ作成 → 移動」を行う DRY なワンライナー

結論から言います。

yml-sorterを使ってYAMLファイルの属性情報をソートする

Sat, 10 Apr 2021 08:11:59 +0900

はじめに

最近 Kubernetes 、 Docker Compose 、 OpenAPI といったツールで YAML ファイルを触ることが多いです。

参加したプロジェクトでは、この設定ファイルが環境別に管理されていました。環境は以下のものがあり、それぞれに YAML ファイルが用意されています。

本番環境
ステージング環境
開発環境

設定ファイルが多重管理されているという問題に対処するために、まずはそれぞれの環境の設定ファイルの違いを diff で確認しようと思いました。

しかし、そもそもそれらの設定ファイルの属性がきれいに並べられておらず、 diff が大変です。

なんとかならないものでしょうか？

検証環境

$ node --version
v15.14.0

$ yarn --version
1.22.5

YAML ファイルの各フィールドをソートするために `yml-sorter` を使う

これに対処するために YAML の内容を属性名でソートさせてから diff すれば良さそうです。

探してみたところ、YAML ファイルの各フィールド名でソートするためのツールを見つけました。

yml-sorter

こちらのツールは、 js-yaml という別のツールのラッパーということです。

インストール

npm なら以下の通り。

npm i -g yml-sorter

yarn なら以下の通り。

yarn global add yml-sorter

使い方

YAML ファイルを引数に指定して実行するだけです。

適当な docker-compose.yaml サンプルがほしかったので、以下の Github リポジトリのものを拝借します。

シェルにも使える！nodemon を使ってコードに変更があった場合にホットリロード(自動再起動)させる

Fri, 09 Apr 2021 08:45:41 +0900

はじめに

Node.js でアプリケーション開発をしている際に、コード変更が行われたら自動的に再起動したいと思いました。ちょうど GraphQL を使ってアプリケーションを開発していたのですが、 GraphQL のスキーマ変更は（ Apollo Server の) 再起動を行わないと変更が反映されません。

nodemon というツールを使うことで簡単に実現できました。

作業環境

$ node --version
v15.12.0

「nodemon」ってなに？

2021-04-09 現在で 1500 万を超えるプロジェクトで利用されているツール
ソースコードの変更を監視している
変更があったら自動定期にサーバプロセスを再起動してくれる

「nodemon」の使い方は？

とても簡単です。 node コマンドの代わりに nodemon コマンドを使います。ただそれだけ。それだけで、コードの変更を検知したら自動的に再起動してくれます。

「nodemon」コマンドの特徴

ほぼこれを使えば困ることがないぐらい、機能豊富です。特徴を上げてみます。

アプリケーションを自動的に再起動してくれます
いくつかの拡張子に該当するファイルを自動的に探して監視してくれます
- .js
- .mjs
- .coffee
- .litcoffee
- .json
デフォルト挙動では node コマンド + 監視機能 として動作しますが、 python コマンド + 監視機能 や、 ruby コマンド、 make など、任意のコマンド実行に切替可能です
指定したファイルやディレクトリを監視対象から外すこともできます
指定したディレクトリだけを監視させることができます
自作のスクリプトから呼びだあすことも可能

インストール方法

npm コマンドが使えれば簡単にインストールできます。

$ npm install -g nodemon

「システムのグローバル領域にインストールしたくない！」、「バージョン依存の問題を回避するためプロジェクトディレクトリにインストールしたい」といった場合は以下のコマンドでも OK。

Bashシェルで「1000 以下の回文素数で最大のものを示せ」を問いてみる

Mon, 29 Mar 2021 21:28:45 +0900

はじめに

前回のエントリで 素数をワンライナーで求める というネタをやりました。

もともと、今日のエントリを解くための前置きだったのでした。課題はこちらのサイトから拝借しました。

今日問いてみようと思っている内容は、タイトル通りなのですが、ちょっとわかりにくいので解説しておきます。

回文数 ：逆さに読んでも内容が変わらない数。( 例 1、 11、 121 ）
回文素数 ：回文数であり、かつ素数。 ( 例 2、 11、 101 ）

1000 以下 の回文素数で最大のものを求めてみたいと思います。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

前回のおさらい : 素数を求めるワンライナー

1 から 1000 までの素数をワンライナーで列挙してみます。

$ factor {1..1000} | awk 'NF==2 { print $2 }'
2
3
5
7
11
(省略)
971
977
983
991
997

解説は前回のエントリを参照ください。シェルなら簡単ですね。

【衝撃】シェルスクリプトなら素数を列挙する問題が１行(ワンライナー)で書ける！

Thu, 25 Mar 2021 12:00:24 +0900

はじめに

シェルスクリプトだと FizzBuzz が１行(ワンライナー)で書けると同じようにワンライナーネタです。

最近は Go 言語 を少しずつ勉強しています。

Go 言語用ポストイット | Go 言語の学習メモをポストイットのように貼り付けていきます

その中で素数を求める問題を説いてみよう！と思ったのですが、すぐに脇道にそれて 「Bash 上でシェルを使って得ならどう書くか？」 に頭を使っているうちにエントリを書くことにしました。

ぜひ、「孤独な数値」を数えて落ち着きたい方にどうぞ。

検証環境

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 5.1.4(1)-release (x86_64-apple-darwin20.2.0)

動画解説

動画でも解説しています。

ただし、1 は素数と言ったり、素因数のことを約数と言ってみたり、数学をかじった人たちからマサカリが飛んできそうな内容になっています。。。。

素因数分解をしてくれるコマンド `factor` を活用

素数を求めるために、 factor コマンドを活用します。 ( もしインストールされていないなら yum install coreutil あるいは apt install coreutil をどうぞ )

factor コマンドは引数で指定した数値を 素因数分解 してくれるコマンドです。

ログを "tail -f" で監視している時にログローテートや "mv" されると何も表示されなくなってしまうことに対処

Wed, 24 Mar 2021 12:00:10 +0900

はじめに

サーバの運用作業を行っているとき、リリース作業を行っているときにログを監視するために tail -f コマンドを利用します。

tail -f でログを監視している時にログが急に止まってしまい、「ドキッ」としたことはないでしょうか。実際にはログローテートされていたり、ログファイルがリネームされただけだった、というケースがあります。

さて、この ログファイルがリネームされた時に tail -f で監視していたログ出力が止まってドキッとしてしまう問題 をなんとかできないものでしょうか。

今回はこの問題に対する対処法を紹介します。

動画解説

動画でも解説しています。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ tail --version | head -n 2
tail (GNU coreutils) 8.32
Copyright (C) 2020 Free Software Foundation, Inc.

問題の再現方法

説明文だけではわかりにくいので、実際に問題を発生させてみます。

今回はターミナルを 3 つ立ち上げる必要があります。

1 つ目のターミナル - ログファイルを監視

1 つ目のターミナルではログファイルを監視します。

# 監視対象のログファイルを作成しておきましょう。
$ touch one.log

# tail -fコマンドでログファイルを監視
$ tail -f one.log

何も表示されません。まだログファイルに何も書き込んでいないためです。

Linux、シェルに関するYoutubeチャンネルを開設しました！

Mon, 22 Mar 2021 09:31:00 +0900

はじめに

突然ですが、Linuxやシェルに関する情報をブログ以外でも発信してみたいと思い、 Youtubeチャンネルを解説しました！

もう少し大きなバーを貼りたいけど、 貼り方がわからず、こんな小さなバーになりました。

正直しゃべるのが苦手なのでとても恥ずかしいです

自分はしゃべるのが苦手なのでとても恥ずかしいです。

普段からあまり喋らない方ですし、滑舌も悪い。

皆さんには何を言っているのか聞き取りづらいとおもいます。

ではなぜ始めたのか？

このままではまずい、という焦り

このブログを始めた理由にも関係すると思います。僕は他の人より秀でたものがないというのがずっとコンプレックスとしてありました。そんな中、IT勉強会に参加するたびに聞く、「技術ブログ」というものを僕も始めてみようと思いました。自分のブログで情報を発信していないエンジニアが周りに1人もいなかったというのもあります。

始めた当初も現在も、このブログではお世辞にも技術的に高いものを公開しているとは言えません。

それでも何かを始め、続けないとただでさえ人に勝てるものがない自分がだめになっていくという焦りから行動し続けています。

Youtubeを初めて見ようと思ったきっかけも同じです。いい年齢になって、体も少しずつガタがきはじめています。頭の回転も昔ほど早くなくなってきました。 5人の子どもと妻を養うためにも、更に新しい武器をてにいれないといけない！という思いから重い腰が動いたというわけです。

当ブログの内容もどんどん変わってきている、僕自身も変わり続ける

それにいつの間にか Linux や シェルスクリプト の内容が多くなっていますが、もともとは Java 、 Groovy 、 JavaScript といったプログラミング言語の習得を目的に始めたものでした。数年間は全くアクセスが来ませんでした。ある日、Linuxの設定に関するエントリのアクセス数が他よりも若干多いことに気づきました。そのあたりから 「自分がやりたいこと、学びたいこと」 から 「人が求めていること」 に公開内容を少しずつシフトしていきました。 人に必要とされていることを楽しむようになっていきました。

ブログの開設場所も変わり続けています。はじめは Google Blogger でした。周りのエンジニアが Hatena Blog を使っているのを見て、僕も引っ越ししました。そこから「自分で運営するなにかを持ちたい。運営というのもブログを書くだけじゃなく、サーバーを構築し、インストールし、ドメイン契約やHTTPSの設定を行い、アクセス数の増加に対応するように運用したい。」という気持ちから、現在は自分でサーバを立ち上げ運営し、 WordPress を使った今のスタイルに落ち着いています。

というわけで

というわけで振り返ると焦りに突き動かされて、その中で少しずつ自分の立ち位置やキャラ作りをしていったわけです。

その延長線上としてまた新しいことを始めてみました。

↑少しでも当エントリで参考になった！面白かったよ！という方がいらっしゃれば、チャンネル登録よろしくおねがいします。 励みになります！

ひとこと

金曜日に「Youtube始められましたね」と声をかけてもらいました。

嬉しいですが同時にめっちゃはずかしい。。。

シェルスクリプトで名前にスペース(空白)を含むファイルがxargsでうまく処理できない場合の対処

Sun, 14 Mar 2021 08:00:59 +0900

はじめに

チームメンバから「名前にスペースを含むファイルをxargsでうまく取り扱えない」という相談を受けました。

調べたらすぐに解決するあれだと思ったのですが、 find ではなく grep の実行結果を xargs に渡していたので、なるほどあまり見ないケースだなと思ったついでにエントリをまとめました。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

$ grep --version
grep (BSD grep) 2.5.1-FreeBSD

$ find --version
find (GNU findutils) 4.7.0

“名前にスペース(空白)を含むファイルがxargsでうまく処理できない” とはどんな問題？

シェルあるあるではありますが 、実際にどんな問題なのか見ていきます。

まずは、ファイルを3つ作成します。それぞれ以下の名前とします。

hello1.txt
hello 2.txt
hello 3.txt

$ touch "hello1.txt"

$ touch "hello 2.txt"

$ touch "hello 3.txt"

ここで find コマンドを使ってファイルの一覧を xargs に渡して echo を実行させてみます。

-n 1 は標準入力の内容を1つずつ処理するオプションです。

TerraformでGCPのPub/Subを作成する②-Pub/Sub の作成

Sat, 13 Mar 2021 08:00:51 +0900

はじめに

Terraform で GCP の Pub/Sub を作成する ①-Terraform をインストールからの続きです。

前回のエントリでは、 Terraform を MacBookPro にインストールするところまでを行いました。僕の MacBookPro では、インストール時にエラーが多数発生して解決までにいくつもの工程を踏む必要がありました。

今回のエントリでは、 GCP 上に Pub/Sub の　Topic(トピック) と Subscription(サブスクリプション) を構築していきます。

用語が不明な方は以下を参照ください。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

$ terraform -version
Terraform v0.14.8

事前準備、前提条件

gcloud auth login 済みであること
gcloud コマンドを実行して GCP プロジェクト内に Pub/Sub リソースを作成する権限を持っていること

今回は権限ではまりたくないため、GCP プロジェクト内に登録されている自分の権限を利用します。

TerraformでGCPのPub/Subを作成する①-Terraformをインストール

Fri, 12 Mar 2021 08:00:16 +0900

はじめに

今まで GCP のリソースをシェルスクリプトで作成していましたが、いい加減クラウド環境構築のデファクトスタンダードである Terraform に移行しようと思っていました。

時間ができたので、ようやく重い腰をあげました。

とはいえ、想定外に時間がかかってしまったので、今日は Terraform を自分の MacBookPro にインストールするところまでにしておきます。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

$ brew --version
Homebrew 3.0.5-12-g94431ce
Homebrew/homebrew-core (git revision e6ce0b2835; last commit 2021-03-10)
Homebrew/homebrew-cask (git revision cdab18c620; last commit 2021-03-10)

Terraform ってなに？

Terraform by HashiCorp から抜粋します（ 2021-03-10 現在）。

Terraform is an open-source infrastructure as code software tool that provides a consistent CLI workflow to manage hundreds of cloud services. Terraform codifies cloud APIs into declarative configuration files.

Dockerイメージのうちlatestタグがついているものをすべて最新に更新する

Thu, 11 Mar 2021 08:00:04 +0900

はじめに

Docker イメージを取得する際にタグを指定しなかった場合には latest タグが自動的に利用されます。

例えば以下の二つのコマンドは両方とも同じ意味を示します。

# latestタグなし
$ docker pull bash

# latestタグ有り
$ docker pull bash:latest

latest タグ付きのイメージは Docker のイメージリポジトリ(DockerHub が利用されることが多いですね)が更新されてもローカルのキャッシュが利用されるため差異が発生する可能性があります。

これを避けるためにローカル PC 内にある Docker イメージを、Docker Repository の最新のイメージから一括で更新するためのコマンドを紹介します。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

前提条件

作業用 PC で docker コマンドが利用できること。

イメージ一括更新コマンド

以下のコマンドを作業用 PC で実行するだけです。

$ docker images --format "{{.Repository}}:{{.Tag}}" | grep ':latest' | xargs -L1 docker pull

ローカル PC にある Docker イメージの中から latest というタグが付与されているものを一覧取得してひとつずつ docker pull します。

mapfile(readarray)コマンドを使ってファイルや標準入力の内容を配列変数に読み込む

Wed, 10 Mar 2021 08:00:41 +0900

はじめに

Bash シェルスクリプトで標準入力からの情報を取り扱う read コマンドと declare コマンドを組み合わせると便利 | ゲンゾウ用ポストイットで取り上げましたが、 read -a 変数名 とすることで標準入力から文字列を読み込み 空白で分割し変数に配列として代入することができます 。

$ read -a VARS <<<"1 3 5"

$ echo ${VARS[0]}
1

$ echo ${VARS[1]}
3

$ echo ${VARS[2]}
5

read -a は “列で区切って変数に入れる” ためのコマンドです。

今回は “行で区切って変数に入れる” ためのコマンドである mapfiles ( エイリアスとして readarray が用意されている ) を紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`mapfile` コマンドの使い方

mapfile コマンドの使い方を見ていきますが、挙動を確認するため適当なデータファイル data.txt を作成しておきます。

$ seq 1 20 | xargs -n 5 echo > data.txt

$ cat data.txt
1 2 3 4 5
6 7 8 9 10
11 12 13 14 15
16 17 18 19 20

配列変数に代入

まずはオプション無しで使う場合について。

シェルスクリプトで配列変数を参照する際は "${変数名}" と記述する癖をつけたほうが良い

Tue, 09 Mar 2021 19:26:44 +0900

はじめに

チームメンバがシェルスクリプトを書いていました。変数を参照する際のちょっとした不備ではまりました。

変数をダブルクォートで囲んでいなかったことが原因だったのですが、どんなケースだったかを紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

配列変数を利用してループ処理を行うケースで問題が発生

問題が発生していたのは配列変数を受け取り、ループ処理するロジックでした。

ここでは test.sh というファイル名で保存されていたとしましょう。

#!/usr/bin/env bash

LIST=(
 "111"
 "22 22 22"
 "333"
)

for TXT in ${LIST[@]}; do
 # ***実際にはこの部分にロジックが記述されていました***
 echo "${TXT}"
done

想定では、このループ処理は 3 行の文字列を出力する想定でした。

111
22 22 22
333

ところが実行結果は以下のようになりました。

$ ./test.sh
111
22
22
22
333

これは LIST という配列変数の参照の仕方に問題があったためです。

正しく `"${LIST[@]}"` で参照する

先の test.sh スクリプトは以下のように修正すれば想定通りの挙動をします。

#!/usr/bin/env bash

LIST=(
 "111"
 "22 22 22"
 "333"
)

# **先ほどとの違いはここ！ダブルクォートで囲んでいます。**
for TXT in "${LIST[@]}"; do
 echo "${TXT}"
done

実行結果は以下のようになります。

jqコマンドを使って改行エスケープ文字列を含むワンライナーを改行させて出力する

Tue, 09 Mar 2021 15:44:58 +0900

最近はデータファイルやロギングデータとして JSON フォーマットが一般化しました。僕のまだ若い頃にはタブ区切りカンマ区切りといたほうが後が一般的だったのが懐かしいです。（こんな発言していると老害なんて言われてしまいますね。）

さてそんな JSON フォーマット。スキーマレスでさっとアプリケーションを作る際のデータフォーマットとして非常に便利。しかし、複数行にまたがる文字列を格納する際は改行を “¥n” (Macだと "\n" ) のような改行エスケープシーケンス使って変換し清掃内に格納します。当然のことながら人間には非常に読みにくいです。

チームメンバから jq コマンドを使って JSON のデータをパースして確認する際に、見やすくする方法がないか質問されました。

お答えしたいと思います。

特にオプションを指定せずに `jq` コマンドを使った場合

まずはサンプルの JSON データを用意します

$ cat <<EOF > test.json
{
 "subject": "sample json data",
 "body": "# Greetings\n\n## English\n\nhello world!\n\n## Japanese\n\nこんにちわ世界！"
}
EOF


$ cat test.json
{
 "subject": "sample json data",
 "body": "# Greetings\n\n## English\n\nhello world!\n\n## Japanese\n\nこんにちわ世界！"
}

次に、jqコマンドを使って作成した test.json ファイルの subject、body 属性を出力してみます。

$ cat test.json | jq .subject
"sample json data"

$ cat test.json | jq .body
"# Greetings\n\n## English\n\nhello world!\n\n## Japanese\n\nこんにちわ世界！"

subject 属性はもともと改行が含まれていないため見やすいです。打って変わって body 属性は改行が複数含まれているため元々どんなテキストだったのかはぱっとみ分かりません。

gitやsshコマンドを使うと "dyld: Library not loaded: /usr/local/opt/ldns/lib/libldns.3.dylib" というエラーが発生したので対処しました。

Mon, 08 Mar 2021 07:51:37 +0900

はじめに

おはようございます。

僕の毎日の業務はすべてのリポジトリをシェルスクリプトで git fetch して回ることから始まります。

今朝もルーチンを実行したところ、 dyld: Library not loaded: /usr/local/opt/ldns/lib/libldns.3.dylib というエラーメッセージが表示され git fetch ができませんでした。ssh コマンドも利用できないようです。

対処できたので共有します。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

$ git --version
git version 2.29.2

$ ssh -V
OpenSSH_8.5p1, OpenSSL 1.1.1j 16 Feb 2021

$ brew --version
Homebrew 3.0.4-50-ga930e2b
Homebrew/homebrew-core (git revision f7c3c5df5a; last commit 2021-03-06)
Homebrew/homebrew-cask (git revision 580e78f8f1; last commit 2021-03-06)

発生していた現象

git fetch や ssh コマンドを実行すると、エラーが発生。

シェルでshufコマンドを使って入力情報をいろんな方法でシャッフルしてみる(組み合わせにも使える)

Sun, 07 Mar 2021 08:24:56 +0900

はじめに

過去のブログエントリで何度か取り上げていた shuf コマンドですが、オプションを組み合わせることでいろいろなシャッフル方法を実現できるので紹介します。

ちなみに shuf コマンドを取り上げていた過去のエントリは以下になります。参考にどうぞ。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

shufコマンドとは

標準入力 あるいは 引数に指定したファイル の各行を 入れ替え（シャッフル) して、出力するコマンドです。

「標準入力」、「引数でファイル指定」のそれぞれの方法で shuf コマンドを使った後、便利なオプションについて触れてみたいと思います。

標準入力から読み込ませる

標準入力 から情報を読み込ませる場合、パイプを使って shuf コマンドに引き渡すのがほとんどです。

1から5までの数値を shuf コマンドに食わせて、各行を入れかせてみます。

$ # seqコマンドを使うことで指定した数値を列挙することができます
$ seq 1 5
1
2
3
4
5

$ # seqコマンドの出力内容をshufコマンドに渡します。
$ seq 1 5 | shuf
5
1
3
4
2

$ # ２回目の実行。1回目と異なる出力となっていることがわかります。
$ seq 1 5 | shuf
3
1
2
5
4

ファイルを指定して読み込ませる

すでにシャッフルしたいデータファイルが存在する場合には、そちらを利用することも可能です。

Slackを起動したら"Slack Connect"という新しい機能のメニューが追加されていたので調べてみた

Fri, 05 Mar 2021 07:57:57 +0900

はじめに

明日も朝から仕事を開始しようと机に座って Slack を開いたところ、 Slack Connect という新しいメニューが表示されていました。

新しいサービスですが、どんな機能かわからなかったので調べてみました。

自分のチームのワークスペースと相手のチームのワークスペースをつなげる機能

チームで仕事をしている場合、Slack の ワークスペース はそのチーム内のメンバーしか入れないことが多いと思います。ビジネス上、オープンにできない会話内容が多いためです。

このプライベートなワークスペースという特性には問題があって、業務提供している他会社の方々と密に連携したい場合には面倒です。もっと密に連携しあって開発力、製品力、スピードUPすることが求められています。

対処法としてプライベートなチャンネルを作成して、そのチャンネルにだけパートナーチームの方々を招待する、という方法を取っていました。

チャンネルがひとつだけになれば問題ないのですが、このようなチャンネル増えてくると毎回この作業が面倒。また、このチャンネルはどちらか一方のチームのワークスペース上にしか存在しないので、他方のチームは自分のワークスペース、他のワークスペースをいったりきたりしなければなりません。

これを解決するための仕組みとして、複数のワークスペースをコネクトするための機能が Slack Connect だと僕は解釈しました。

「Slack Connect」におけるダイレクトメッセージの扱いは？

チャンネルを作成しなくてもダイレクトメッセージを送信することはできるような内容が書かれています。 試していないのでなんともです。

「Slack Connect」を始める方法

Slack Connect を始めるための手続きですか、Slack Connect メニューをクリックしたら表示されたダイアログにかかれていました。

“チャネルを作成する” ケースについてのようです。

1. チャンネルを作成する

まずはサイドバーのチャンネルの横にある+ボタンをクリックし、特定の人と会話するためのチャンネルを作成します。

2. 招待を送る

Slackから相手チームに招待を送ります。招待はメールアドレスを指定します。

3. 招待者を待つ

相手チームがメールに記載されているリンクをクリックすると Slack に移動して招待を承認できます。

4. チャンネルの管理は双方のチームで設定可能

チャンネルの拒否、許可は双方のチームで実施可能なようです。メンバ管理も双方のチームのワークスペース管理者が実施できるのでしょう。

「Slack Connect」はTwitter 上では不評？

Slack Connect は Twitter 上では不評のようです。

早くも「Slack Connect 消す」「Slack Connect 下に移動」といったキーワードで検索されていたりすつぶやかれたりしています。

Linux シェル上でgrepコマンドを使ってOR条件検索する

Thu, 04 Mar 2021 08:00:12 +0900

はじめに

Linux のシェル操作用シェルスクリプト上で grep コマンドを使って検索することはよくあります。多くの場合は grep コマンドでキーワードをひとつだけ指定して検索しますが、検索キーワードを複数指定し OR 条件検索をしたい場合はどのようにするのでしょうか？

OR 条件検索する方法はいくつかあるためご紹介いたします。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

動作確認を行うため簡単なテキストファイルを用意

動作を確認するため、grep コマンドで絞り込みを行う対象となるテキストファイルを用意します。どんなデータでも良いのですが動物の名前でも列挙しておくことにします。

テキストファイルはこの先の説明で利用します。

$ cat <<EOF >animals.txt
dog
rabbit
cow
horse
wolf
kangaroo
fox
giraffe
EOF

$ ls -l animals.txt
-rw-r--r-- 1 root root 47 Mar 3 11:18 animals.txt

方法 1. `-e` オプションを指定する

-e <キーワード> オプションを使い、キーワードを複数指定して OR 条件検索 を行うことが可能です。 -e オプションは複数指定可能です。

ここでは、 rabbit 、 horse 、 wolf の 3 つを検索してみます。

Bashシェルスクリプトでcsvの行と列を入れ替えるために csvtool を使う

Wed, 03 Mar 2021 08:00:57 +0900

シェルスクリプトで csv の行と列を入れ替える必要がありました。

Web を探してみると awk を使って変換する例がいくつか見つかりましたが、もっと簡単に実現する方法はないか調べてみたところ、 csvtool という面白そうなツールがありました。

今日はこのツールを紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 5.0.17(1)-release (x86_64-pc-linux-gnu)

インストール

まずは csvtool をインストールします。

$ apt update -y

$ apt install csvtool -y

$ csvtool --help
csvtool - Copyright (C) 2005-2006 Richard W.M. Jones, Merjis Ltd.
 - Copyright (C) 2007- Richard W.M. Jones & Christophe Troestler
...

簡単にインストールできました。

csvtool の使い方

使い方を説明するために、簡単な csv ファイルを作成します。

Bashシェルスクリプトで終了前に後始末をさせたい時はtrapコマンドを活用しよう

Tue, 02 Mar 2021 08:00:00 +0900

はじめに

Bash シェルスクリプトの終了時に、 必ず後処理をさせたい 場合があります。例えばスクリプト内で作成した 一時ファイルを削除する といった場合です。

そんな時に使えるコマンドとして、Bash ビルトインコマンドである trap コマンドがあります。

trap コマンドを使ってスクリプト終了前に後処理をさせる方法について紹介してみたいと思います。

関連記事 : Linux サーバからログアウトしたタイミングで処理を実行させる方法 ( 例えばメールを飛ばす ) | ゲンゾウ用ポストイット

`trap` コマンドの使い方

trap コマンドの主な引数は以下の 2 つになります。

実行させたいシェルスクリプトコマンド
トラップを仕掛けたい シグナル

突然出てきましたが シグナル とは何でしょう？

シグナルとは？

シグナルとは、 プロセスとプロセスの間で通信を行う際に使用される信号 のことです。

ターミナル上で実行中のコマンドを {ctrl} + {C} で停止させた、といった場合を例に上げましょう。この場合も「一方のプロセス」に対して「他方のプロセス」がシグナルを送った結果、実行中のコマンドが停止されます。

一方は実行中のコマンドプロセス
他方はユーザーにより実行されるショートカットキー操作 ( {ctrl} + {C})

このように、シグナルを受け取ったプロセスの状態は、通常の処理実行から変化します。

文面だけではわかりにくいため、 trap コマンドを使った具体的な例をみながらシグナルについても理解していきましょう。

`trap` コマンドでシグナルをトラップする

まずは以下のような簡単なスクリプトを作成します。

`test.sh`

#!/usr/bin/env bash

trap 'echo "trap SIGINT"' SIGINT

cat

trap コマンドは 2 つの引数を受け取っています。第 2 引数で指定した SIGINT ( 後述 ) というシグナルをトラップします。トラップに成功すると、第 1 引数のコマンドを実行します。

Bashシェルスクリプトで2つの日付の間の日数を求める方法

Mon, 01 Mar 2021 11:16:16 +0900

はじめに

つい先日、今年の 1 月 1 日から今日まででどのぐらいの日数が経過した日を算出したいと思いました。

例えば 1 月 1 日から 1 月 10 日までの間の日数は 9 日 になります。

シェルスクリプトで 2 つの日付の間の日数を算出する方法を紹介したいと思います。

ちなみに間の全日付を一覧表示したい場合の方法については、過去のエントリをご参考ください。

シェルスクリプトで開始日から終了日までの日付を YYYYMMDD 形式で一覧出力する | ゲンゾウ用ポストイット

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

シェルスクリプトで日付から UnixTime(Unix 時間)を取得する

2 つの日付の間の時間を算出するには UnixTime を利用します。

UNIX 時間 - Wikipedia

すなわち協定世界時 (UTC) での 1970 年 1 月 1 日午前 0 時 0 分 0 秒から形式的な経過秒数（すなわち、実質的な経過秒数から、その間に挿入された閏秒を引き、削除された閏秒を加えたもの）として表される。

"less +F" は "tail -f" の上位互換機能として利用できる

Wed, 24 Feb 2021 22:28:52 +0900

はじめに

例えば、ログファイルから最新の情報を閲覧するための方法として tail コマンドが利用できます。

tail -f のようにオプションを指定することでログファイルを監視し、コンテンツが追加されたときに自動的にターミナル上に出力させることができます。

tail コマンドを使わず、 less コマンドでも同じような機能が提供されており、若干高機能です。

less コマンドの意外と知られていない機能を紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ less --version | head -n 2
less 458 (POSIX regular expressions)
Copyright (C) 1984-2012 Mark Nudelman

テキストファイルを `less` コマンドで監視してみる

早速、適当なファイルを作成し、 less コマンドで開いてみます。

開く際に -F というオプションを付与しておきます。

# まずはファイルを作成
$ seq 1 10 > test.txt

# ファイルを監視します。
$ less +F test.txt
1
2
3
4
5
6
7
8
9
10

ここで別のターミナルを開き、ファイル末尾にコンテンツを追記します。

BashシェルやZshシェルでスターウォーズが見られる

Mon, 22 Feb 2021 21:33:31 +0900

はじめに

今日はネタ記事ということで。

昨年の年末から、長男を囲んで家族でスターウォーズ9作をみました。( 長男がハマりました。 ) 毎週土曜か日曜のいずれかをスターウォーズにあてて、少しずつ見ていました。

そんなわけで我が家では「オビワンがかっこいい！」「ダースベーダーがかっこいい！」「ベン・ソロはちょっとなぁ」など各自の意見が飛び交い楽しく会話していました。「ヨーダ」はかわいいそうです。

さて、そんなスターウォーズ熱の中で見つけたとあるコマンドについて紹介します。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

Bashでスターウォーズが見れます。

なんと、暗黒面の力（Bashの黒いコンソール画面）を使えば、スター・ウォーズを見ることができます。暗黒面に落ちるのはいとも簡単です。

`telnet towel.blinkenlights.nl`

ただ、以下のコマンドを実行するだけです。

$ telnet towel.blinkenlights.nl

早速実行してみましょう。

スクリーンショット

実行すると以下のようなAAの動画を見ることができます。

本当に長い時間動画（？）が進んでいくので、僕は途中で見るのをやめました。 ( だって、やることあるんだもの。 )

一度「暗黒面」に落ちると抜け出せない

一度「暗黒面」に落ちると、なかなか抜け出せません。

なんとしても強い心で抜け出すためには方法は唯一つ。以下の手順を踏みます。

ctrl + ] を押す。
quit コマンドを実行。

ひとこと

意外にもエピソード4、エピソード５，エピソード6が面白かったです。

僕は「オビワン・ケノービ」派です。

参考

Watch Star Wars via telnet Using telnet

AndroidカメラでOCIで読み取った文字列をパソコンのクリップボードに送る機能が便利

Fri, 19 Feb 2021 20:33:16 +0900

はじめに

うちの子供たちはフリック入力がとても早いです。本当かどうか分かりませんが大学生でもスマートフォンで論文を書く方もいらっしゃるそうです。

うってかわって初老な僕はスマートフォンのフリック入力が非常に遅いです。スマートフォンへの文字を見る雲音声入力が圧倒的に楽で便利だと思っています。 Androidスマートフォンを使っていますが、カメラの文字読み取り精度も高く気に入っています。

さて今日はプログラミングの話ではありません。 Androidスマートフォンの文字列読み込み後にクリップボードに送信する機能が非常に便利だった という話です。

Androidスマートフォン、PC

僕の利用しているAndroidスマートフォン、PCはそれぞれ以下の通りです。

Androidスマートフォン

Google Pixel5 128GB

PC

MacBook Pro

Androidカメラで文字列を読み取り、パソコンのクリップボードに送る方法

この方法は間違いなく公式に公開されているし、知っている方もたくさんいらっしゃるでしょうが、僕はたまたま見つけました。

1. Androidスマートフォンでカメラを起動する

まずはAndroidスマートフォンでカメラを起動します。

2. 起動したカメラで文字列を読み取る

今回は手書きの文字列を読み込んでみたいと思います。

手書きで ABdcefG と書いています。

文字列がカメラに映るようにしてスマートフォンのディスプレイを長押しタップます。

3. 文字列の読み取られたことを確認する

文字列が読み取られたことを確認します。

正しく読み取られていれば文字列の部分がハイライトされます。

4. 文字列を選択する

ハイライトされた文字列を選択します。

正しく選択されれば、スクリーン下部に読み取られた文字列が表示されます。

同時にいくつかのメニューが表示され、 「パソコンにコピー」 という選択肢が見つかるはずです。

5. どのPCのクリップボードに送信するかを選択する

どのPCのクリップボードに選択された文字列を送信するか選択します。

6. PCでクリップボードの内容を貼り付けてみる

正しく送信されたかどうか確認してみましょう。

先ほどスマートフォンで選択したPCでクリップボードの内容を貼り付けてみます。

クリップボードの内容が正しく連携されたことがわかると思います。

ひとこと

郵送物に書かれていた文字列をPCに送りたかったんですが、何とか良い方法ないか悩んでいた時に見つけました。非常に気に入りました。

Windowsでも同様の機能は利用できるのでしょうか？

Chromeはもはやブラウザの枠を超えていますね。

Githubリポジトリにコミットしたら、自動的に"Docker Hub"でDockerイメージを作成させる

Wed, 17 Feb 2021 21:04:58 +0900

はじめに

僕は Docker Hub 上で Docker イメージをいくつも公開しています。

genzouw/mkr : mkr - Command Line Tool For Mackerel written in Go.
genzouw/gpg : Docker image that give gpg command.
genzouw/td : This is a Docker image wrapping the command line client tool td of" Treasure Data “. Ruby installation, Gem installation, authentication information, etc. can all be managed by Docker container.
genzouw/jq : This is Dockerfile repository that wrap jq command.
genzouw/trim-text : This Docker image is intended to provide a UI that integrates command line text cut operations.
genzouw/ansize : Convert image to text ( ascii art ) .

いずれも自分の公開 Github リポジトリコミットしたタイミングで、 “Docker Hub"でイメージを自動的に作成するようにしています。

JPEGファイルからfavicon.icoを作成するためのコマンド

Tue, 16 Feb 2021 21:54:26 +0900

はじめに

SNS でいつも使っている僕のプロフィール用 JPEG 画像( Gravatar でも使っています。 )から favicon.ico ファイルを作成し、作成途中のサイトのブックマークアイコンとして利用したいと思いました。

自動化も見据えて、コマンドで作成できないか調べてみました。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

image-to-icon を使う

Github を漁ってみたところ、ちょうど良さそうなコマンドが見つかりました。ワン・コマンドで変換でき、オプションもない、というシンプルさ。 UNIX という思想 を体現していて大好きです。

koenpunt/image-to-icon

インストール

今回動作を確認した環境は CentOS の Docker コンテナなのですが、いくつか必要となるコマンドがあったため、 yum でインストールしてから利用します。

# このあたりはDockerを使う必要は全くありません。Mac環境を汚したくなかっただけです。
$ docker run -it \
 --rm -v "$PWD:/workdir" \
 --workdir /workdir genzouw/centos-sandbox

依存ライブラリとして、 ImageMagick をインストールする必要がありました。

$ sudo yum install ImageMagick which -y

あとはコマンドを Github から clone するだけ。

Google Search ConsoleのAMP解析結果が根こそぎ無効となっていたため対処しました

Mon, 15 Feb 2021 10:29:33 +0900

はじめに

ブログのアクセス数がついに 月間30,000万PV となりました！

10年以上続けていたブログです。全くアクセス数伸びませんでしたが、ここ数年で急にアクセス数が増えました。 ITエンジニアの需要が増えたことが関係しているのかな？

さて、昨日久しぶりに Google Search Console を覗いたところ、AMPページについてエラーが発声していました。

今日はどのような問題が発生していたのかと、対処法を取り上げたいと思います。

WordPress環境（バージョン、テーマ）

WordPress 5.6.1 (Luxeritas Child Theme テーマ)

“Google Search Console” のAMPページクローリングでエラーが発生していた

冒頭でも触れましたが、久しぶりに Google Search Console を覗いてみました。

左メニューからいくつかの内容を流し見していたところ、 「AMP」 ページを開いてびっくり。

「せっかくAMP対応していたページが根こそぎエラーになっている！」

なぜAMPページのクローリングでエラーが発生していたのか？

エラーとなっているページを1つ選んで詳細を確認してみました。

タグ内に、 loading="lazy" というHTML属性が設定されていることが原因でした。

ただ、僕はこのような設定を行った記憶がありません。

WordPress5.5から導入された「画像の遅延ローディング機能」が原因

Web上で調べてみると、 Wordpress5.5 から 「画像の遅延ローディング機能」 が導入されたようです。

デフォルトの動作として、エントリの中に埋め込まれている画像には loading="lazy" が自動的に設定されるようです。

対処法1 ： `wp-includes/functions.php` に「遅延ローディング」の無効ロジックを追記

「遅延ローディング」を無効化するためには以下のようにWordPressのコードを書き換えます。

~~（注意：次にアップグレードした際に、また変更内容が消えてしまう可能性はあるので、様子を見たいと思います。）~~

2021-02-25追記：やはりWordPressのアップグレードで変更内容が戻ってしまいました。後述する対処法2を参考ください。

WordPressのソースコードを開きます。 ( wp-includes/functions.php )
一番下に以下の1行を追記します。

add_filter( 'wp_lazy_loading_enabled', '__return_false' );

実際に変更されたコードは以下のようになります。

対処法2 ： `wp-content/themes` ディレクトリ配下の `functions.php` に「遅延ローディング」の無効ロジックを追記

WordPressのアップグレードを考慮するとこちらの方法が勧めです。

GCPにSpinnakerをインストールするための手順を整理しました

Fri, 12 Feb 2021 21:49:15 +0900

はじめに

前回でようやくSpinnakerが生まれてきた背景やできることを大まかにつかめました。

ここからは実際にインストールしてみたいと思います。

検証環境

項目	選定
クラウド	GCP ( Google Cloud Platform )
デプロイ環境	GKE ( Google Kubernetes Engine )
Spinnakerインストール環境	GCE ( Google Compute Engine )

前提条件

作業用PCで gcloud コマンド ( Google Cloud SDK ) が実行できること
GCP 上に GKEクラスタ が構築済みであること

作業用PC での作業

まずは自分の作業用PCで作業を行います。

1. コマンドラインから各種作業を実行するための準備

コマンドラインで作業を進めていくに当たり、いくつかのAPIを 有効化 します。

以下の2つの Google APIを有効にします。 Google Cloud Console Webページから有効にしても良いですが、ここでは gcloud コマンドで有効化します。

$ gcloud services enable \
 iam.googleapis.com \
 cloudresourcemanager.googleapis.com

2. Halyardをインストールする Compute Engine インスタンスを作成

Halyard をインストールする Compute Engineインスタンス を作成します。

本番環境で環境依存の問題が散見されたのでSpinnakerの導入を検討してみました

Thu, 11 Feb 2021 08:00:37 +0900

はじめに

会社で、 検証環境 では障害が発生しないが 本番環境 では障害が発生する、といったことが何度か続きました。

原因は 検証環境 と 本番環境 のクラウドサービスの設定の差異でした。再現性のある方法でクラウド上の環境を構築してこなかったことが原因ではありますが、できてしまっているものはしょうがないです。

「カナリアデプロイ」 と呼ばれる、 本番環境 に部分的にデプロイして動作確認し、問題なければ全展開するデプロイ方法があります。これはぜひ導入したい！そこで見つけた名前が Spinnaker でした。

Spinnakerを使って「カナリアデプロイ」が実現できる、という話を耳にしたので調べてみました。

graph LR;
 load_balancer-->|95% Traffics| web_server(Web Server);
 load_balancer-->|5% Traffics| new_web_server(Web Server); subgraph Old
 web_server-->applicacion_server(Application Server)
 applicacion_server(Application Server)-->database(Database);
 end 
 subgraph New
 new_web_server-->new_applicacion_server(Application Server)
 new_applicacion_server(Application Server)-->new_database(Database);
 end

継続的インテグレーション( CI )

素早いソフトウェアの改善・改良や新機能追加が求められる時代がありました。（当時は僕もJavaばっかり触っていました。）

当時、開発された分割モジュールを統合してビルドすると、、、

ビルドに失敗する！
正常に動作しない！

なんてことはよくありました。

そこで偉い人？が「開発の早い段階から継続的に以下のステップを実施すればいいんじゃね？」と考えました。

コードチェック
ビルド
ユニットテスト

こうして、継続的インテグレーション(CI)が誕生しました。

継続的デリバリ( CD )

更に時が過ぎ、「継続的インテグレーション」を更に推し進める思想が生まれました。

偉い人？が「ソフトウェアのデプロイも継続的に、自動的に行ったらいいんじゃね？」と考えました。

こうして、継続的デリバリ(CD)が誕生しました。

ちなみに、 「継続的デリバリ」 を行うためには、以下の2つが必要となります。

ビルドされたパッケージ
パッケージを運用環境にデプロイする手段

それを踏まえて、昨今の状況の話に移ります。

Google Cloud Pub/Subの登場人物と役割を整理してみました

Wed, 10 Feb 2021 08:00:20 +0900

はじめに

前回のエントリに引き続き、 Google Cloud Pub/Sub の学習を進めてわかった登場人物とその役割について整理してみました。

参考ページ

[公式ページ)[https://cloud.google.com/pubsub/docs/overview]

登場人物

Publisher（パブリッシャー）
Topic（トピック）
Subscription（サブスクリプション）
Subscriber（サブスクライバー）

そして、上記4つの登場人物たちの間を流れていくものとして Message（メッセージ） があります。

Publisher(パブリッシャー)

メッセージの送信元

Topic（トピック）

“Cloud Pub/Sub” サービスの内部要素です。
メッセージの送信元である Publisher に対する コネクター として理解しました。
TopicとPublisherは必ず 1:1 となります。

Subscription（サブスクリプション）

- “Cloud Pub/Sub” サービスの内部要素です。
メッセージの受信先である Subscriber に対する コネクター として理解しました。

Subscriber(サブスクライバー)

メッセージの受信先

メッセージ伝達のイベントキューはどの単位？

公式サイトの上記の図だけでは、メッセージイベントは Tppic 単位にキューイングされるのか？

と思いましたが、よくよく文章を読んでみると Subscription 単位にキューイングされているようです。当然ですよね。そうしないとそれぞれのSubscriberにイベントが伝達されませんもんね。

SubscriptionからSubscriberへのメッセージ伝達の方法は2つ

Push 方式と Pull 方式が利用できます。

Push 方式 : Subscription からみて Push を行う

Publisher ->Topic: Message
Topic->Subscription: Message
Subscription->Subscriber: POST(Message)

Pull 方式 : Subscriber からみて Pull を行う

Publisher ->Topic: Message
Topic->Subscription: Message
Subscriber->Subscription: GET(Message)

効率が良いのは Push 方式でしょうが、 Subscriber がオンプレ環境にいる、外部からのInboundな通信が許可されていない、Webサービスとして公開する実装になれていないといった場合は、 Pull 方式を選択するしかないかと思います。

Google Cloud Pub/Subについて学習中（非同期メッセージングを図示してみました）

Tue, 09 Feb 2021 18:40:18 +0900

はじめに

Google Cloud Pub/Sub を使っていましたが、あまり理論や背景を理解せず使っていたため復習しています。

公式ページより

「GCP（Google Cloud Platform)上で提供されている、 非同期メッセージングサービス です。」

と書かれていましたが、「非同期メッセージングサービス」とはそもそもなんだろう？ということでアウトプットしながら整理しました。

同期メッセージングとは

メッセージ（何かの要求) の送信側 publisher と受信側 subscriber は両方とも同時に活動状態（ Active )でなければ、やりとりできない仕組みです。

Webページ閲覧の例だと、ブラウザが publisher 、 Webサーバが subscriber となります。

publisher->subscriber: message
subscriber->publisher: result

電話のイメージですね。

非同期メッセージングとは

メッセージの送信側 publisher と受信側 subscriber の間に仲介者 broker が挟まります。

publisher は subscriber の存在や状態を意識することなく、メッセージの送信を終了することができます。

非同期メッセージングその1

publisher->broker: message
broker->publisher: result

broker->subscriber: message
subscriber->broker: result

こちらはeメールのイメージですね。

当然、 broker には安定性が求めらますね。

また、以下のように仲介者を挟んだとしても subscriber のレスポンスに依存している場合は非同期メッセージング方式とはなりません。

publisher->broker: message

broker->subscriber: message
subscriber->broker: result

broker->publisher: result

非同期メッセージングその2

さらに、 subscriber は1つである必要はありません。 publisher は broker １人に対してメッセージを送信することだけに注力します。

"hub-tool"を使って"Docker Hub"上のイメージタグを一覧表示する

Tue, 02 Feb 2021 19:32:42 +0900

はじめに

シェルでDockerHubリポジトリからイメージとタグを取得する方法 | ゲンゾウ用ポストイットで、 Docker Hub 上のイメージで利用できるタグを一覧表示するための方法を紹介しましたが、

hub-tool という便利なツールを導入することでタグの一覧表示が容易に実現できるようになりましたので紹介します。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

$ docker --version
Docker version 20.10.2, build 2291f61

`hub-tool` コマンド : Docker Hub Tool

Docker Hub Tool とは、コマンドラインから “Docker Hub” で自分が作成したリポジトリを操作するためのコマンドラインツールになります。

「自分が作成したリポジトリ」のみですが、例外として他のエンジニアが提供しているDockerイメージのタグを一覧表示するための機能が提供されています。

インストール

`go get` コマンドを使ってインストール

Go言語の実行環境が用意されている場合は go get コマンドが利用できます。

$ GO111MODULE=on go get github.com/docker/hub-tool

Go言語の実行環境が用意されていない場合には後述の方法をお試しください。

tar パッケージを使ってインストール

パッケージが提供されていたためそちらをダウンロードすればすぐに利用できます。

# 作業ディレクトリへ移動（どこでもよい）
$ cd /tmp

# ダウンロード
$ curl -L -O https://github.com/docker/hub-tool/releases/download/v0.3.0/hub-tool-darwin-amd64.tar.gz

# 展開
$ tar xf hub-tool-darwin-amd64.tar.gz

# パスの通っているディレクトリへ移動
$ mv hub-tool/hub-tool /usr/local/bin

正しくインストールされているか確認してみます。

gcloudとfzfを組み合わせてGCPプロジェクトを簡単に切り替える

Mon, 01 Feb 2021 20:09:23 +0900

はじめに

現職ではAWSよりもGCPにインフラリソースを多く配置しています。

gcloud コマンドを使って作業をする事が多いですが、更に最近ではGCPプロジェクトも複数またがって作業する事が増えてきました。

かんたんにGCPプロジェクトを切り替えられるかが作業の効率化のために重要です。

かんたんにGCPプロジェクトをスイッチし、Compute Engineインスタンスにssh接続するためのaliasを作成したので紹介します。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

$ gcloud --version | head -n 1
Google Cloud SDK 307.0.0
Updates are available for some Cloud SDK components. To install them,
please run:

$ fzf --version
0.25.0 (brew)

準備

fzfコマンドのインストール

今回紹介するaliasを利用するためには、 fzfのインストールが必要です。インストールしましょう。

MacOS + Homebrew をインストール済みの場合には導入が容易です。インストール手順をGithubリポジトリページから抜粋します。

$ brew install fzf

# To install useful key bindings and fuzzy completion:
$ $(brew --prefix)/opt/fzf/install

*その他の環境でも、以下のコマンドでインストールできると書かれています。

GitHub CLIでIssue(イシュー)やPull-Request(プルリクエスト)にコメントがつけられるようになりました。

Fri, 29 Jan 2021 19:26:36 +0900

はじめに

GitHubに対する操作をコマンドラインから実行するためのコマンドとして、 GitHub CLI を愛用しています。

昔は hub コマンドを使っていましたが、 GitHub CLI がリリースされてからはこちらを使っています。

つい先日、GitHub CLIでIssue(イシュー)やプルリクエストにコメントがつけられるようになりました。

早速使ってみたいと思います。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

$ brew --version
Homebrew 2.7.7-32-gebcd56c
Homebrew/homebrew-core (git revision ce8c6c; last commit 2021-01-29)

Github CLIのインストール or アップグレード

まだインストールされていない場合

インストールされていない場合には、以下のコマンドを実行します。

$ brew install gh

すでにインストールされている場合

インストール済みでバージョンが古い場合はアップグレードしましょう。

バージョンを確認してみます。

$ gh --version
gh version 1.3.1 (2020-12-03)
https://github.com/cli/cli/releases/latest

最新版は 1.5 であり、このバージョンでないとIssueやPull Requestにコメントを付けられない。そこでアップグレードを行います。

$ brew upgrade gh

正常に終了したら、再度バージョンを確認してみます。

sudoでシェルスクリプトを実行した際にPATHが正しく引き継がれない場合の対処

Wed, 27 Jan 2021 21:37:00 +0900

はじめに

sudo コマンドを使ってシェルスクリプトを実行した際に、実行ユーザの PATH 環境変数の設定が引き継がれずに困ってしまうことがあります。

セキュリティを考慮しての仕組みですが、引き繋がれない原因と対処について解説します。

最近の sudo はデフォルトでは PATH は引き継がれません。 sudo の -E オプションが必要です。この解決方法として Web 上でよく見かけます。ただし、これだけで解消しない場合もあるため、今回のエントリを書こうと思いました。

検証環境

$ cat /etc/os-release | head -n 2
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

$ sudo --version | head -n 1
Sudo version 1.8.23

問題の事象を確認

まずは今回取り上げる事象がどんなものか具体的にコマンドを実行しながら見ていきたいと思います。いくつか準備をした後、再現させて見たいと思います。

準備その 1: `adm` ユーザの設定

事前に作成しておいた adm ユーザ( wheel グループに所属 )を使います。

$ id
uid=3(adm) gid=4(adm) groups=4(adm),10(wheel)

準備その 2: “sudo” の設定

次に、 sudo の設定ファイルである /etc/sudoers は以下のような設定になっています。

BashシェルスクリプトでCloud Loggingへのログ出力をシンプルに実装する方法

Mon, 25 Jan 2021 21:30:05 +0900

はじめに

既存のシェルスクリプトから GCP の Cloud Logging にログ出力させる必要がありました。時間をかけずに実装できないか考え、 Bashシェルスクリプトでログ出力をシンプルに実現する方法に多少手を加えて実現できたので紹介します。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

事前準備（GCP上の設定）

今回は Cloud Run 上でシェルスクリプトを実行させましたが、 Compute Engine や GKE 上でも同じ方法で容易に実現できました。

事前に1つだけ必要な設定があります。 サービスアカウント に Logging に書き込みを行う権限を設定する必要があります。

Cloud Runのサービスアカウント

Compute Engineのサービスアカウント

上記に記載されている サービスアカウント （ @ で区切られていて、メールアドレスのようになっています。）をメモし、IAM設定ページから見つけましょう。見つけたら、そちらのサービスアカウントに Logging 書き込みの権限を付与しておきます。

スクリプトでログを出力

Bashシェルスクリプトでログ出力をシンプルに実現する方法を事前に一読しておくと良いです。

シェルスクリプト全体の標準出力、標準エラー出力をすべてGCPの Logging に流し込むためには、以下のような記述を行います。

#!/usr/bin/env bash
set -o errexit
set -o nounset

# 標準出力、標準エラー出力をログ送信

# ***こちらはご自分が書き出しを行いたいロギング名に書き換えてください！***
GCP_LOGGING_NAME=YOUR-LOGGING-NAME

exec 1> >(
 while read -r LOG; do
 gcloud logging write "${GCP_LOGGING_NAME}" --payload-type=text --severity=INFO "$LOG"
 done
)
# 標準エラー出力をログ送信
exec 2> >(
 while read -r LOG; do
 gcloud logging write "${GCP_LOGGING_NAME}" --payload-type=text --severity=ERROR "$LOG"
 done
)

# ...(以下省略)...

exec 1> >(...) の中の処理には、スクリプト全体の標準出力が流れて来ます。

xargsにパイプで渡した標準入力が空だった場合におかしな動きをしないようにする

Sat, 23 Jan 2021 10:00:53 +0900

はじめに

xargs コマンドは非常に便利です。

パイプでつなぎ、前のコマンドを1つずつ(あるいはいくつかの束ずつ)処理していくときに簡潔に記述できかつ高速です。

ただ、パイプの前のコマンドの実行結果が空になると想定しない挙動をする場合があります。問題と対処について紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ xargs --version | head -n 1
xargs (GNU findutils) 4.5.11

何も考慮せず “xargs” を使ってみる。

なにか具体的な例を考えたいので、 seq コマンドで生成した数列を xargs に渡し、 Markdown記法で - を先頭に付与してみたいと思います。

# `seq 1 5` の実行結果（1 2 3 4 5）を1つずつ取り出し、 `echo '-' 1` のように実行していく
$ seq 1 5 | xargs -n 1 echo '-'
- 1
- 2
- 3
- 4
- 5

正しく動作しました。

ここでちょっと意地悪をしてみます。 seq 6 5 と言うコマンドを実行し、 xargs に実行結果を渡すようにしてみます。

シェル上で実行したコマンドをヒストリに残したくない場合（悪用厳禁）

Fri, 22 Jan 2021 13:00:33 +0900

はじめに

ユーザ名とパスワードを引数で受け取りLinuxユーザを作成するスクリプト | ゲンゾウ用ポストイットでも書きましたが、シェルのヒストリ（コマンド実行履歴）についつい残してはいけない情報を残してしまうことがあります。（ ex: mysql -pxxxx mysql みたいなパスワード情報をついつい貼り付けてしまったり）

一時的に残らないようにして作業することもできますので、その方法を紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

コマンドをヒストリに残さないようにする

すべてのコマンドをヒストリに残さないようにするには、 HISTIGNORE 環境変数にワイルドカードを設定してやります。

その後、 HISTIGNORE 環境変数を触った履歴を history -d で削除します。

# これ以降、すべてのコマンドをヒストリに残さないようにする
$ HISTIGNORE="*"
# 直前に実行した `HISTIGNORE="*"` だけは残ってしまうため、ヒストリの最終履歴を１つ削除
$ history -d $(history | sed -n 's/^\s\+//; s/\s\+.*$//; $p')

コマンドをヒストリに残すようにする

HISTIGNORE を解除してやればもとに戻ります。（ HISTIGNORE にもともと値が設定されている場合には注意が必要です。）

$ unset HISTIGNORE

ひとこと

自分がどんな操作をしたのかを追えますし、シェルのヒストリは非常に便利です。しかし、 どうしてもリスクを犯してでも進まないといけない場合 にお使いください。

ユーザ名とパスワードを引数で受け取りLinuxユーザを作成するスクリプト

Thu, 21 Jan 2021 21:38:58 +0900

はじめに

コマンドライン引数で ユーザ名 と パスワード を受け取り、Linuxユーザを作成する非インタラクティブなスクリプトをかけないかを思い試してみました。

※複数人がログインするようなサーバ環境で実行した場合、実行されたコマンドがhistoryに残ってしまうためご注意ください。パスワードがバレてしまいます。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

スクリプト

スクリプト名は create_ops_user.sh とでもしておきましょう。

#!/usr/bin/env bash

NAME="${1}"
PASSWORD="${2}"

# Create a passwordless user
useradd "${NAME}"
# Set password
echo "${PASSWORD}" | passwd --stdin "${NAME}"

passwd コマンドは、ログインユーザあるいは指定したユーザのパスワードを変更するコマンドです。

--stdin オプションを指定してやることで、パイプ経由で標準入力に渡された文字列をパスワードとして設定することができます。

実行方法

$ sudo create_ops_user.sh genzouw five_children

# 指定したパスワードでログインできる
$ su genzouw
Password:

ひとこと

取り急ぎ環境構築手順をスクリプト化する必要がありましたが、 AnsibleやTerraform、Dockerfile、Kubernetesマニフェストなどにする時間すらないほど急いでいたのでシェルでやってしまいました。

負の遺産になってしまったらごめんなさい。

Dockerコンテナ環境でmanコマンドを使えない問題を解決する方法

Wed, 20 Jan 2021 20:09:39 +0900

はじめに

飽きずに毎日Bashやシェルスクリプト関連の記事を書いているわけですが、記事の内容が本当に正しいのかを確認するためにDockerコンテナ環境内で動作を確認しています。

僕のMac環境は随分汚れてしまっているので、正しい動作を確認するためにはクリーンな環境が必要なわけです。

執筆の合間にBashの正しい挙動はどう定義されているのかを書くにするために man コマンドを実行したくなることもあるのですが、Dockerコンテナ内で man bash を実行してもマニュアルが確認できません。

コンテナイメージのサイズが大きくなってしまいますが、事前にインストールしておこうと思いました。

検証環境

いつも執筆の際に利用しているディストリビューションは CentOS です。 ( 未だにCentOS なので、いい加減Ubuntuあたりに移行したい。 ) 大体 docker run --rm -it centos:centos7 bash を実行して、検証環境を立ち上げています。

$ cat /etc/os-release | head -n 1
NAME="CentOS Linux"

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`man` コマンドをインストールしてはみるが…

CentOSのパッケージ管理ツールといえば YUM です。 yum コマンドで man をインストールします。

$ yum install man -y

$ type man
man is /usr/bin/man

正しくインストールされたのを確認し、次のステップへ。

Kubernetes Podの"command"や"args"で環境変数を参照する方法いろいろ

Tue, 19 Jan 2021 21:30:38 +0900

はじめに

KubernetesでPod（もしくはReplicaSet、Deployment）のマニフェストにて、 command や args 属性を使って実行コマンドを指定する事ができます。

command や args に指定する実行コマンドで環境変数を利用する場合の注意点と対処法について紹介します。

検証環境

$ kubectl version
Client Version: version.Info{Major:"1", Minor:"19", GitVersion:"v1.19.4", GitCommit:"d360454c9bcd1634cf4cc52d1867af5491dc9c5f", GitTreeState:"clean", BuildDate:"2020-11-12T01:09:16Z", GoVersion:"go1.15.4", Compiler:"gc", Platform:"darwin/amd64"}
Server Version: version.Info{Major:"1", Minor:"16+", GitVersion:"v1.16.15-gke.4300", GitCommit:"7ed5ddc0e67cb68296994f0b754cec45450d6a64", GitTreeState:"clean", BuildDate:"2020-10-28T09:23:22Z", GoVersion:"go1.13.15b4", Compiler:"gc", Platform:"linux/amd64"}

command や args に環境変数をベタ書きした場合、うまく参照できない

環境変数を出力するだけのPodを作成してみます。まずはPodのマニフェストファイルを作成します。

env 属性で NAME という環境変数を設定し、それを出力させてみます。

# test-pod.yaml というマニフェストファイルを作成
$ cat <<'EOF' >test-pod.yaml
apiVersion: v1
kind: Pod
metadata:
 name: test-pod
spec:
 containers:
 - name: test-pod
 image: bash
 command: ["echo"]
 args:
 - "${NAME}"
 env:
 - name: NAME
 value: "genzouw"
EOF

マニフェストファイルを元にPodを作成します。

envsubstを使ってテキストファイルをテンプレートエンジンとして使う

Thu, 14 Jan 2021 22:01:34 +0900

はじめに

Kubernetes のマニフェストファイル内に環境変数を埋め込み、出力内容を動的に変更したい場合がありました。

kustomize や helm といったツールを利用することで Kubernetes のマニフェストファイルに変数を埋め込むことはできます。しかし、そこまで大層な仕組みを導入するような手間を掛けたくありません。

sed を使う方法もありますが、可読性は低くなります。

そんな場合、 enｖsubst コマンドを利用することで実現できました。

テキストファイルをテンプレートエンジンのとして利用できるシンプルで便利なコマンドです。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`envsubst` コマンドとは

envsubst コマンドを使うと，変数展開など「テンプレートエンジン」のような仕組みを実現できます。

準備

僕の環境 ( CentOS ) には最初にインストールされていなかったため、まずはインストールから行いました。

$ yum install -y gettext

$ which envsubst
/usr/bin/envsubst

Mac 環境の場合は Homebrew でインストールできます ( 僕の Mac には気がついたらインストールされていました ) 。 apt でもきっと用意にインストールできるでしょう。

バージョンを確認します。

$ envsubst --version
envsubst (GNU gettext-runtime) 0.19.8.1
Copyright (C) 2003-2007 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Written by Bruno Haible.

`envsubst` コマンドでテキストファイルに変数を埋め込んで見る

早速使ってみましょう。

"bash -c"コマンド実行で子プロセスが作られる時、作られない時

Fri, 08 Jan 2021 20:28:00 +0900

はじめに

KubernetesのマニフェストファイルやDockerのビルドファイル、Docker Composeの設定ファイルを閲覧、編集することが増えてきました。

それらのファイルの中で bash -c というコマンドが実行されていることがあります。 bash の新しいプロセスを立ち上げ、 -c オプションで渡されたコマンドを実行する命令になります。

ps コマンドを使い、実行中の bash -c プロセスを見ていたところ、プロセスツリーの表示が時々で異なっていたため不思議に思い調べてみました。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

改めて、 `bash -c` って何？

bash -c "echo hello" といったように、 -c コマンドに文字列を渡すことで、文字列をコマンドとして実行させることができます。多くの言語系で実装されている eval 関数のようなものですね。

# 10秒待ってからhelloが表示される
$ bash -c "echo hogehoge"
hogehoge

コマンドは ; で区切って複数実行させることもできます。

# 10秒待ってからhelloが表示される
$ bash -c "sleep 10; echo hello;"
hello

`bash -c "sleep 10; echo hello;"` を実行したときのプロセスツリー

ここで、 bash -c "sleep 10; echo hello;" というコマンドを実行します。

Gitでmasterブランチにマージ済みのローカルブランチを一括削除する

Thu, 19 Nov 2020 08:30:07 +0900

はじめに

Gitでは容易にブランチを作成し、切り替えることができます。ただ、容易にブランチを作成できるがゆえに、不要なブランチがわかりにくく、残ってしまうことがあります。

すでにmasterブランチにマージされているが、ローカルに残ってしまったブランチ を掃除するためのコマンドを紹介します。

※実行前には、実行結果を確認してください！自己責任でお願いします！

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ git --version
git version 1.8.3.1

masterブランチマージ済みのローカルブランチを削除

まずはローカルブランチを対象とした掃除の方法について。

git branch --merged master コマンドでmasterブランチにマージ済みのローカルブランチを出力できます。ここから カレントブランチ 、 masterブランチ 、 developブランチ を除外します。

最後に該当のブランチ名を git branch -d で1つずつ削除していきます。

git branch --merged master \
 | sed -n 's@^\s*@@p' \
 | grep -v -e '^\*' -e '^\(master\|develop\)$' \
 | xargs -n 1 git branch -d

masterブランチマージ済みのoriginリモートブランチを削除

すでにpush済みのリモートブランチを対象とした掃除の方法について。

今度は git branch --remotes --merged master でマージ済みのリモートブランチを出力しますが、 origin ブランチ飲みに絞り込みます。最後に git push --delete origin <branch_name> コマンドで削除を行います。

Bashでコマンドライン上にタブ文字をはりつけると消える問題に対応

Wed, 18 Nov 2020 08:13:35 +0900

はじめに

MacのデフォルトシェルもZshになったこともあり、最近インタラクティブな操作目的でBashを起動する機会は徐々に減っています。とはいえ、やはりサーバのログインシェルに利用されているのは未だBashが多く、今後もこの状況が続くでしょう。

Bashのコマンドライン上にタブ文字を含む文字列を貼り付けた場合、タブ文字が消えてしまうことがないでしょうか？このタブ文字が消える問題への対処法について紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

タブ文字が消える問題について

ここで、Bashのヒアドキュメント機能を利用して文字列を出力させたい、というケースを考えてみます。出力させない内容は、タブ区切り文字列である TSV 形式となっています。

以下のような3行からなるTSVです。

aa	bb	cc
aa	bb	cc
aa	bb	cc

cat コマンドと ヒアドキュメント を使って出力してみます。以下の内容をコピーして、Bashシェル上に貼り付けてみます。

cat <<EOF
aa	bb	cc
aa	bb	cc
aa	bb	cc
EOF

うまくいく環境もあるでしょうが、僕の環境ではタブが消えてしまいます。

これはなぜでしょう？

原因はBashの補完機能

原因はBashの補完機能によるものです。実は、タブが貼り付けられたタイミングで補完が実行されていますが、 aa 、 bb 、 cc といった文字列で前方一致するファイルがないため、補完対象が見つかっていないだけなのです。

貼り付ける文字列を以下のようなものに変更するとより挙動がはっきりします。

# ホームディレクトリに移動
$ cd

# カレントディレクトリのファイルを確認
$ ls .bashrc
.bashrc

# .bashrcが補完される
$ cat <<EOF
.bashr	bb	ccc
EOF

おそらく、以下のような文字列が表示されることでしょう。

Bashシェルスクリプトで任意の文字を繰り返し出力する方法

Thu, 29 Oct 2020 21:11:43 +0900

はじめに

検証のために特定の文字列を繰り返し出力したかったのですが、どうするのがよいか悩んだため思いついた方法をいくつか共有します。

ここでは、任意の文字列として = を使用し、10 文字出力してみます 。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

方法 1. `printf` コマンドを使う方法

printf を使ってこれを実現できます。

$ printf "=%0.s" {0..9}
==========

いきなり見ただけでは少々わかりにくいです。以下のように置き直すとわかりやすいです。

$ printf "=%0.s" 0 1 2 3 4 5 6 7 8 9
==========

printf のオプションを変えたコマンドの実行結果と比較するとよりわかりやすいでしょう。

$ printf "=%s" {0..9}
=0=1=2=3=4=5=6=7=8=9

printf の引数が "=%s" コマンドを実行した結果は、= と第 2 引数以降の値が繰り返し出力されています。 printf の引数が "=%.0s" コマンドを実行した結果は、= だけが繰り返し出力され、第 2 引数そのものは出力されません。この仕組を利用した文字列の繰り返し出力方法となっています。

応用して、 Hello という文字列を 5 回出力してみます。

$ printf "Hello%.0s" {0..4}
HelloHelloHelloHelloHello

方法 2. `yes` コマンドを使う方法

printf コマンドを使う方法よりもコマンドが面倒になりますが、僕はこの方法のほうが直感的でわかりやすいので好きです。

yes コマンドを使った方法です。

$ yes = | head -n 10 | tr -d '\n'
==========

yes コマンドは、引数で渡された文字列を浸すら出力し続けるコマンドです。挙動を知りたければ、 yes = だけを実行してみると良いでしょう。( 止めたいときは CTRL+C を押してください。 )

Bashシェルスクリプトで簡易なプログレスバーを実装する

Tue, 27 Oct 2020 20:00:26 +0900

はじめに

printf コマンドとエスケープシーケンスを組み合わせてかんたんなプログレスバーを実装する方法について紹介します。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.18(1)-release (x86_64-apple-darwin19.5.0)

プログレスバーを実装したい

シェルスクリプトを組む場合、多くは作業の自動化を目的としていて、なるべくインタラクティブな手続きが介入しないようにすると思います。

対して、時間のかかる処理を実行しておき、その間にのんびりお茶を飲む、といった場合にシェルスクリプトが活躍する場合もあります。

時間がかかる処理をシェルスクリプトで実装した場合、どこまで処理が進行したのかわかるようにかんたんなプログレスバーを実装してみましょう。

必要なもの

準備するようなものは特に入りません。 BashとLinuxのいくつかのコマンドが利用できれば実現可能です。

早速実装してみる

1秒ごとにスリープし、これを10回繰り返すようなかんたんな繰り返し処理を実装し、プログレスバーを表示させてみます。

実際のコードを見ながら解説していきます。

ソースコード ( `show_progress_bar.sh` )

#!/usr/bin/env bash

for I in {1..10}; do
 sleep 1
 # 進捗10%あたりドットを２つ ".." を出力
 BAR="$(yes . | head -n ${I} | tr -d '\n')"
 printf "\r[%3d/100] %s" $((I * 10)) ${BAR}
done
printf "\n"

実行結果

解説

ループ処理は 3行目から8行目 となります。

3行目 はループ開始です。ここではループカウンタ I を1から10まで1ずつインクリメントして10回ループします。

4行目 は1秒ずつスリープさせるためのコマンドです。

5行目 はちょっと分かりにくいですね。これはプログレスバーをドット( . )を使って視覚化させるために . を I 個連結した文字列を生成します。

Bashシェルスクリプトで2つの配列を連結する

Sat, 17 Oct 2020 00:41:34 +0900

はじめに

シェルスクリプトで変数を頻繁に使用することは多くはないが、それでも利用することはあります。配列同士を連結する方法と注意事項についてまとめてみました。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.17(1)-release (x86_64-apple-darwin19.4.0)

配列変数の定義方法

昔、以下のエントリで取り上げたことがありますが、 declare -a というビルトインコマンドを使って、配列変数を定義することができます。（ declare -a は省略可能）

Bashのビルトインコマンド “declare” の使い方紹介（その１） | ゲンゾウ用ポストイット

# 配列を定義
$ declare -a ARRAY

# 要素を代入
$ ARRAY[0]=11
$ ARRAY[1]=22

# 追加する場合
$ ARRAY+=(33)

配列の末尾に要素を追加する方法は ARRAY+=(33) のように記述することで追加可能です。

複数の配列変数を連結する

今回のエントリの本題にはいります。サンプルコードを掲載します。

SUBLIST1 、 SUBLIST2 という２つの配列変数を用意し、それらを連結し MAINLIST という変数に代入してみます。

test.sh

#!/usr/bin/env bash

# 配列の要素は4つ。2つ目の要素にはスペースを含んだ文字列が格納されている。
declare -a SUBLIST1=(
 1
 "a b"
 "c"
 4
)

# 配列の要素は3つ。3つ目の要素にはスペースを含んだ文字列が格納されている。
declare -a SUBLIST2=(
 5
 6
 "d e f"
)

MAINLIST=("${SUBLIST1[@]}" "${SUBLIST2[@]}")

# 一行ずつ出力してみる
for I in "${MAINLIST[@]}"; do
 echo "${I}"
done

実行権限を付与し実行してみます。

Bash組み込みの正規表現機能を利用してファイルパスを要素に分割してみる

Wed, 14 Oct 2020 23:37:09 +0900

はじめに

Bash には正規表現を使ったマッチ判定機能やマッチグループ文字列を取得する機能が組み込まれています。

grep や sed を利用すれば同様の機能は実現できるため、あまりお目にかかる機会は少ないですが、触ってみます。

検証環境

$ uname -moi
aarch64 aarch64 GNU/Linux

$ head -n 3 /etc/os-release
PRETTY_NAME="Ubuntu Kinetic Kudu (development branch)"
NAME="Ubuntu"
VERSION_ID="22.10"

$ bash -version | head -n 1
GNU bash, バージョン 5.2.0(1)-release (aarch64-unknown-linux-gnu)

拡張子付きのファイルフルパスを受け取り分割してみる

早速 Bash 組み込みの正規表現機能を利用してみます。サンプルプログラムを作り動作を見ていきます。

ここでは「拡張子付きのファイル」のフルパスを引数で受け取ると、以下の情報に分割して出力する処理を記述します。

フルパス
親ディレクトリパス
ファイル名
拡張子なしファイル名
拡張子

出来上がったコードは以下になります。

正規表現を使った Bash サンプルコード regexp_sample.sh

#!/usr/bin/env bash
set -o nounset
set -o noclobber

# 正規表現を利用した関数
function analyze_filepath() {
 [[ ${1} =~ ^(.*/)(([^.]+)\.(.*))$ ]] || {
 echo "[ERROR] The file path does not contain an extension."
 return 1
 }

 echo "${BASH_REMATCH[@]}"
}

# いくつかのパラメータで動作確認
analyze_filepath "/a/b/c/xxx.txt"
analyze_filepath "/yyy.sh"
analyze_filepath "/a/b/c/zzz.1.2.js"
analyze_filepath "/a/b/c/Dockerfile"

regexp_sample.sh というファイルを作成し、上記の内容を記述し保存します(chmod +x regexp_sample.sh を実行し、権限を付与しておくことを忘れないこと)。

DockerfileでENTRYPOINT、CMDを指定した時のベースイメージの挙動はどう変わるか

Tue, 06 Oct 2020 22:30:58 +0900

はじめに

先日投稿した以下のエントリは、今回のエントリを投稿するための前提知識になっています。

DockerfileでENTRYPOINT、CMDの挙動を動かしながら理解する | ゲンゾウ用ポストイット

前提知識を整理しておきたかったためにまとめたものになっています。

僕らが Dockerfile を記述するときには、一行目に FROM というコマンドを記述します。これは、Dockerイメージを作成する際に利用する ベースイメージ を指定するための命令となります。

ベースイメージも Dockerfile からビルドされたDockerイメージであり、 ENTRYPOINT や CMD コマンドが Dcokerfile 内に記述されている場合があるわけです。

自分で作成するDockerfileに ENTRYPOINT や CMD コマンドを記述した場合、それらはベースイメージの ENTRYOPTION や CMD とどう連携して動作するのでしょうか？

実験してみたいと思います。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ docker --version
Docker version 19.03.13, build 4484c46d9d

実験の流れ

ENTRYPOINT ／ CMD コマンドをそれぞれ設定した Dockerfile を作成・ビルドし、作成されたDockerイメージを実行してみる
(1)で作成したDockerイメージを「ベースイメージ」とした Dockerfile を作成・ビルドし、作成されたDockerイメージを実行してみる。作成するDockerfileは以下の4つのパターンとする

ENTRYPOINT、CMD の両方を設定しない
ENTRYPOINT、CMD の両方を設定する
ENTRYPOINT だけ設定する
CMD だけ設定する

親となるDockerfileの作成・ビルド・実行

まずは親となるDockerfileを作成します。

DockerfileでENTRYPOINT、CMDの挙動を動かしながら理解する

Fri, 02 Oct 2020 00:08:10 +0900

はじめに

Dockerfile内で指定可能なコマンドはいくつかありますが、 ENTRYPOINT コマンドと CMD コマンドは初見ではわかりくいコマンドとなっています。

この2つのコマンドが、Dockerコンテナの実行にどのように影響するか、実行させながら理解していきたいと思います。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ docker --version
Docker version 19.03.13-beta2, build ff3fbc9d55

Dockerイメージ実行時の実行コマンドの組み立てロジック

今回は結論から入ります。

Dockerイメージ内で実行されるコマンド は、以下の3つの要素を使って組み立てられます。

Dockerfile内の ENTRYPOINTの設定値
docker run IMAGE_NAME コマンド実行時の コマンドライン引数
Dockerfile内の CMDの設定値

2と3の両方が設定されている場合は、 2が優先され、3は無視 されます。

結果、 Dockerイメージ内で実行されるコマンド は以下のようになります。

<ENTRYPOINTの設定値> <コマンドライン引数|CMDの設定値>

具体的な例を見ていきたいと思います。

Dockerfileに ENTRYPOINT と CMD の両方が指定されている場合

ENTRYPOINT と CMD の両方が指定されたDockerfileから、Dockerイメージを作成してみます。

# Dockerfileを作成
$ cat <<'EOF' >Dockerfile
FROM alpine:3.11.3

ENTRYPOINT ["seq"]

CMD ["1", "5"]
EOF

# my_docker_image_01 という名前のDockerイメージを作成
$ docker build -t my_docker_image_01 .

Dockerイメージを実行 (コマンドライン引数なし)

まずは作成されたDockerイメージを、イメージ名の後方に引数をつけずに実行してみます。

.bashrcや.zshrcに定義した関数を他のシェルスクリプトから呼び出す

Wed, 30 Sep 2020 23:34:33 +0900

はじめに

Unix系OSで日頃よく使うコマンドは、 .bashrc や .zshrc に alias や function を定義しておき、コマンドラインから呼び出すことだと思います。

僕も .bashrc や .bashrc に自分のお気に入りのエイリアスや関数を定義していますが、この関数を別のシェルスクリプトから呼び出したいというシーンが有りました。

ちょっと工夫をしないと呼び出せなかったこともあり、やり方を掲載したいと思います。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

まずは `.bashrc` に関数を定義してみる

まずは自分の .bashrc に関数を定義してみます。ただ渡された引数を出力するだけの print_params という、関数です。

$ cat <<'EOF' >>~/.bashrc
print_params() {
 echo "parms are ${@}."
}
EOF

.bashrc に追加した関数は以下のいずれかの方法で反映できます。

ログインし直す
bash コマンドを実行し、シェルを新しいプロセスで立ち上げる
. ~/.bashrc コマンドを実行し、現在事項中プロセスのシェルに関数を反映させる

今回は3つめの方法で反映させます。

$ . ~/.bashrc

関数が作成されたかどうか確認してみます。

# 指定された名前が関数かどうかを確認
$ type print_params
print_params is a function
print_params ()
{
 echo "parms are ${@}."
}

# 関数を実行してみる
$ print_params 1 2 3
parms are 1 2 3.

正しく関数が作成されました。ここからは、作成された関数を他のシェルから呼び出してみます。

シェルスクリプトのシバン(Shebang)にシェル以外のコマンドを記述したらどうなるのか？

Sun, 27 Sep 2020 23:16:31 +0900

はじめに

UNIX 上で動作するスクリプトは、1 行目に #! から始まる 1 行を記述します。これによりスクリプトの実行系を認識させることができます。

シェルスクリプトの場合は #!/bin/sh 、 #!/usr/bin/bash 、 #!/usr/bin/env bash と記述します。

Ruby スクリプトの場合は #!/usr/bin/ruby 、 #!/usr/bin/env ruby と記述することが多いでしょう。

この 1 行目の記述のことを「 シバン 」とか「 Shebang 」と呼びますが、今ひとつこのあたりの仕組が理解できてなかったため、シバンでいろいろ遊んでみることにしました。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.17(1)-release (x86_64-apple-darwin19.4.0)

(実験 1) `#!/bin/rm` と記述し実行してみる

突然ですが、 シバン の挙動を理解するために実験をしてみます。

一行目に #!/bin/rm とだけ記述されたシェルスクリプトを作成してみます。

# 作成
$ cat <<EOF > test.sh
#!/bin/rm
EOF

# 内容が正しいかを確認してみる
$ cat test.sh
#!/bin/rm

# 実行権限を付与
$ chmod +x test.sh

# カレントディレクトリを確認
$ ls -la
total 8
drwxr-xr-x 3 root root 96 Sep 27 13:46 .
drwxr-xr-x 1 root root 4096 Sep 27 13:34 ..
-rwx--x--x 1 root root 10 Sep 27 13:47 test.sh

作成したスクリプトを以下のように実行してみます。

Bashシェルスクリプトで連想配列をJSONに変換し出力する方法

Fri, 25 Sep 2020 08:00:10 +0900

はじめに

Bashでは、 declare コマンドを利用して連想配列変数を宣言することが可能です。

参考 : Bashのビルトインコマンド “declare” の使い方紹介（その１） | ゲンゾウ用ポストイット

シェル内で定義した連想配列をJSONに変換し出力したいと思いましたが、どのように記述したらよいか悩んだためまとめました。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

事前準備

今回は、 jq コマンドを利用してJSON変換を実現してみたいと思います。

GitHub - stedolan/jq: Command-line JSON processor

事前にインストールしておきましょう。

コードサンプル

事前に declare -A コマンドで宣言した連想配列に値を詰め込んでおき、 jq を使ってJSONオブジェクトに変換してみます。

# 返送配列変数を定義
$ declare -A MAP

# 連想配列に値をセット
$ MAP["key1"]=1
$ MAP["key2"]=2
$ MAP["key3"]="hoge"
$ MAP["key4"]=

# JSON変換
$ for i in "${!MAP[@]}"; do
 # 奇数行にキーを、偶数行に値を出力し、jqコマンドに食わせる
 echo "$i"
 echo "${MAP[$i]}"
done | jq -c -n -R 'reduce inputs as $i ({}; . + { ($i): (input|(tonumber? // .)) })'

実行結果は以下のようになります。

Bashシェルスクリプトで連番付きファイル名の次の連番を算出する

Thu, 24 Sep 2020 22:17:56 +0900

はじめに

特定のフォルダにファイルが配置されており、これら全てに通し連番が付与されているとします。

例えば、以下のようにゼロフィルされた3桁の通し連番が付与されているようなファイルが可能されている場合などが考えられます。（ファイル名でソートできるため、このようなケースはよくあるケースかと思います。）

001_xxx.txt
002_xxx.txt
003_xxx.txt
004_xxx.txt
005_xxx.txt
006_xxx.txt
007_xxx.txt
008_xxx.txt
009_xxx.txt
010_xxx.txt
011_xxx.txt
012_xxx.txt
013_xxx.txt
014_xxx.txt
015_xxx.txt

さて、ここで新しいファイルを作成する場合は 016_xxx.txt というファイル名を算出しなければなりませんが、シェルで次の通し連番を算出する方法について考えてみます。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

準備

まずはテスト環境を用意してみます。

003_xxx.txt から 013_xxx.txt までの11ファイルを作成し、次の通し連番プレフィックスを持つファイルを作成してみます。

$ touch {003..013}_xxx.txt

$ ls -la
total 4
drwxr-xr-x 13 root root 416 Sep 24 12:59 .
drwxr-xr-x 1 root root 4096 Sep 24 12:59 ..
-rw-r--r-- 1 root root 0 Sep 24 12:59 003_xxx.txt
-rw-r--r-- 1 root root 0 Sep 24 12:59 004_xxx.txt
-rw-r--r-- 1 root root 0 Sep 24 12:59 005_xxx.txt
-rw-r--r-- 1 root root 0 Sep 24 12:59 006_xxx.txt
-rw-r--r-- 1 root root 0 Sep 24 12:59 007_xxx.txt
-rw-r--r-- 1 root root 0 Sep 24 12:59 008_xxx.txt
-rw-r--r-- 1 root root 0 Sep 24 12:59 009_xxx.txt
-rw-r--r-- 1 root root 0 Sep 24 12:59 010_xxx.txt
-rw-r--r-- 1 root root 0 Sep 24 12:59 011_xxx.txt
-rw-r--r-- 1 root root 0 Sep 24 12:59 012_xxx.txt
-rw-r--r-- 1 root root 0 Sep 24 12:59 013_xxx.txt

次に作成したいファイル名は 014_xxx.txt となります。

GCPのGoogle Container Registryのイメージを一括削除する方法

Thu, 13 Aug 2020 12:35:26 +0900

はじめに

GCP上の Google Container Registry 内に不要なDockerイメージがあるため、削除したいと思いました。

Dockerイメージを削除するためには、すべてのタグ（というかハッシュ。ビルド履歴）を削除する必要がありmさう。

対象のDockerイメージに4000以上のタグが付与されているため、できる限り一括かつ並列で削除擦る方法を探してみました。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.17(1)-release (x86_64-apple-darwin19.4.0)

$ xargs --version | head -n 1
xargs (GNU findutils) 4.7.0

準備

GCP上のリソースをコマンドラインから操作するためのツールとして gcloud コマンドがあります。事前にこちらのコマンドをインストールし、 gcloud auth login などで認証を完了しておきましょう。

正しく準備ができていれば、以下のコマンドが動作するはずです。

# Google Container Registryからイメージの一覧を取得
$ gcloud container images list

結果

準備ができれば、後は以下のコマンドを実行するだけです。以下の2つの環境変数はご自分のGCP設定に合わせて書き換えてください。

GCP_PROJECT_ID
GCP_DOCKER_IMAGE_NAME

$ GCP_PROJECT_ID=YOUR_GCP_PROJECT_ID

$ GCP_DOCKER_IMAGE_NAME=gcr.io/${GCP_PROJECT_ID}/YOUR_DOCKER_IMAGE_NAME

$ gcloud \
 container images list-tags ${GCP_DOCKER_IMAGE_NAME} \
 | sed 1d \
 | awk '{ print $1 }' \
 | xargs -P4 -n 1 -I{} gcloud container images delete ${GCP_DOCKER_IMAGE_NAME}@sha256:{} --quiet --force-delete-tags

ここでは、 xargs の -P パラメータで 4並列実行しています 。マシンリソースに自身があるなら -P0 として、CPUを目一杯使うことができます。

Bashシェルスクリプト上での"[..]"と"[[..]]"の違い

Tue, 09 Jun 2020 08:38:36 +0900

はじめに

Bash上で作業を行ったり、Bashのシェルスクリプトを書いたりする場合に条件分岐を使うケースがあります。

if [ -f $FILE ]; then と記述する場合もあれば、 if [[ -f $FILE ]]; then のように [ を2つ続けて記述する場合もあります。両者の違いについて、知っている範囲でまとめました。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

かんたんな文字列比較処理を書いてみる

変数 X の値が想定通りの場合に ok と出力するだけのかんたんな条件分岐を記述してみます。

# 変数を作成
$ X=1223

# [...] を使用するケース
$ [ $X = "1223" ] && echo ok
ok

# [[...]] を使用するケース
$ [[ $X = "1223" ]] && echo ok
ok

ちなみに、上記の処理は以下と同義です。

$ if [[ $X = "1223" ]]; then
 echo ok
fi

[...] を使用した場合も [[...]] を使用した場合もこの場合には結果は変わりません。

限られた条件における挙動の違い( 後述 )はありますが、基本的に同じように利用できます。

Crontabにシステム起動時に1度だけコマンドが実行されるように設定する方法

Fri, 05 Jun 2020 08:45:36 +0900

はじめに

man 5 crontab を読んでいてたまたま見つけたので紹介。

crontab の実装の違いにより使える、使えないがあるが、システム起動時に 1 度だけコマンドが実行されるような設定をかんたんに追加できます。

検証環境

$ uname -moi
x86_64 unknown GNU/Linux

man ページに書かれている

man 5 crontab をしたところ以下のように記述されています。

 string meaning
 ------ -------
 @reboot Run once, at startup.
 @yearly Run once a year, "0 0 1 1 *".
 @annually (same as @yearly)
 @monthly Run once a month, "0 0 1 * *".
 @weekly Run once a week, "0 0 * * 0".
 @daily Run once a day, "0 0 * * *".
 @midnight (same as @daily)
 @hourly Run once an hour, "0 * * * *".

 Please note that startup, as far as @reboot is concerned, is the time when the cron(8) daemon startup. In particular, it may be before some system
 daemons, or other facilities, were startup. This is due to the boot order sequence of the machine.

crontab の各行の左 5 列は時間指定のために使われますが（ ex: 0 12 * * * echo hoge で「毎日 12:00 に echo hoge を実行」）、この部分に @reboot と記述することでサーバ再起動時に 1 回だけ実行されるような設定ができます。

`rbenv install` / `nodenv install` だけで適切なバージョンがインストールされる

Tue, 02 Jun 2020 16:15:39 +0900

はじめに

プロジェクトディレクトリ直下に .ruby-version / .node-version を配置することで、自動的に rbenv や nodeenv コマンドが適切なバージョンの ruby / node を利用するように切り替えてくれます。

ただし、環境セットアップドキュメントに rbenv install 2.7.1 / nodenv install 12.13.11 のようにバージョンが記載されていた場合、ドットファイルとの乖離が生まれてしまいます。

さてどうしたものか、 rbenv install $(cat .ruby-version) とでも書いておこうと思いましたがもっとかんたんな方法がありました。（おそらくRuby使いには初歩的なことなのでしょうね）

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.17(1)-release (x86_64-apple-darwin19.4.0)

前提

rbenv がインストールされていること
nodenv がインストールされていること

`rbenv install` / `nodenv install` だけでよい

rbenv install $(cat .ruby-version)

というややこしい構文を書こうとしていましたが、試してみると以下のコマンドでもドットファイルを読み込んで適当なバージョンをインストールしてくれるようでした。

rbenv install # バージョン指定はどうやら不要

rbenv 同様、 nodenv も以下のコマンドで正しいバージョンがインストールされました。

Chromeの開発者ツールのコンソールタブで`$`が使える（jQueryがインストールされていないのに）

Tue, 26 May 2020 13:04:29 +0900

はじめに

ChromeでjQueryを使用していないページを開デバッグしている時の話です。開発者ツールの「コンソール」パネルを開きながら $ を入力すると、何やらオートコンプリート機能により候補がでてきます。

$("body") と入力するとオブジェクトが取得できています。

ずっと不思議に思ってはいたのですが、調べてみました。

検証環境

Version 81.0.4044.138 (Official Build) (64-bit)

Chromeの開発者ツール独自の機能だった

Chromeの開発者ツール、特にコンソールページに関するドキュメントサイトにかかれていました。

上記のサイトを参考に $ に関わる機能を見ていきます。

$_

$_ は最後に評価された式の値を返却する変数です。

「コンソール」パネルに 2+2 と入力し、Enterキーを押しましょう。式が 4 と評価されていることがわかります。

この直後に $_ と入力し、Enterキーを押しましょう。 $_ 入力直前の式の実行結果である 4 が表示されます。

2*3 と入力し、Enterキーを押しましょう。 6 と評価されます。 $_ の評価結果は先程の 4 から 6 に変わっていることがわかります。

ただの数値に対して利用した場合には便利さがわかりませんが、例えば事前に配列を取得した結果、その長さを確認するといった場合に便利です。

$0 - $4

「要素」パネル上でDOM要素が選択できますが、このDOM要素の選択履歴を5つまでさかのぼって参照することができる変数です。

例えば、事前に「要素」パネルを開き、任意の要素を選択（クリック）します。

その後「コンソール」パネルを開き、 $0 変数を参照すると、先程クリックしたDOM要素のHTMLが格納されていることがわかります。

ちなみに、 $1 を参照すると <body> 要素が格納されています。僕が事前に <body> 要素をクリックしていたためにこのような結果となっています。

$0 - $4 に対して、プロパティの参照( ex $0.id 、 $0.style )を行うこともできます。

シェルを使って、Gitワークスペース内でリモートリポジトリのURLのみを抽出する

Mon, 25 May 2020 14:16:47 +0900

はじめに

github.com上のソースコードに対して何らかの作業を実施する際には、まず git clone を行います。 git clone したGitワークスペース上でソースを閲覧したりコードを改変します。この時点で、 origin リモートリポジトリにプッシュ先のURL情報などが格納されます。

今回、このGitワークスペースと紐付けられている origin リモートリポジトリのURL部分を抽出したいと思いました。

抽出する方法について紹介します。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.17(1)-release (x86_64-apple-darwin18.7.0)

リモートリポジトリの情報をURL部分も含め出力

リモートリポジトリの情報を一式表示するには以下のコマンドを利用します。

$ git remote -v
origin git@github.com:genzouw/ec-cube.git (fetch)
origin git@github.com:genzouw/ec-cube.git (push)
upstream git@github.com:EC-CUBE/ec-cube.git (fetch)
upstream git@github.com:EC-CUBE/ec-cube.git (push)

ここでは、 origin リモートリポジトリに加えて、 upstream リモートリポジトリも紐付けられていることがわかります。

また、URL部分以外も出力されているため、 **URLだけが欲しい場合は余分を除去する必要があります。

また、便利なコマンドではありますがリモートリポジトリへの通信が発生します。

リモートリポジトリのURL部分のみを出力

URL部分だけが欲しい場合には以下のコマンドが利用できます。

# originリモートリポジトリのURLを出力
$ git remote get-url origin
git@github.com:genzouw/ec-cube.git

以下のコマンドでも同様の結果が取得できます。

# originリモートリポジトリのURLを出力
$ git config --get remote.origin.url
git@github.com:genzouw/ec-cube.git

これを変数に格納し、後の処理で利用したい場合は以下のようにします。

sedを使って条件に一致した行をテンプレートファイルの内容で置き直す

Tue, 12 May 2020 08:00:45 +0900

はじめに

あまり使うことがない機能ですが、 sed で特定条件に合致した場合に、テキストファイルの内容を差し込むことができます。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

準備

10から30までの数値を行ごとに出力します。以下のコマンドを利用します。

$ seq 10 30
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

この出力内容のうち、 3 が含まれている行の後ろに任意のテキストファイルの内容を差し込んでみます。

$ cat template.txt
「さん」がふくまれています！

`sed` コマンドの `r` 内部コマンドを利用する

sed コマンドには r という内部コマンドがあります。 r の後ろに指定したファイルから内容を読み込んで差し込みます。

$ seq 10 30 | sed '/3/r template.txt'
10
11
12
13
「さん」がふくまれています！
14
15
16
17
18
19
20
21
22
23
「さん」がふくまれています！
24
25
26
27
28
29
30
「さん」がふくまれています！

3 が含まれている行の後ろに 「さん」がふくまれています！ というテキストが表示されていることがわかります。

Bashシェルスクリプトで文字列を右(左)からN文字取り出す

Mon, 11 May 2020 08:53:23 +0900

はじめに

シェルスクリプトで右からN文字、あるいは左からN文字切り取る方法。

多くの言語でStringクラスの right() メソッド、 left() メソッドとして提供されている機能になります。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ cut --version | head -n 1
cut (GNU coreutils) 8.32

$ sed --version | head -n 1
sed (GNU sed) 4.8

`cut` を使う方法

## 左から3文字取り出す
$ echo 0123456789 | cut -c -3
012

## 右から3文字取り出す
$ echo 0123456789 | rev | cut -c -3 | rev
789

左から切り取る場合は rev コマンドで一度左右を反転させるのがポイントです。

`head` / `tail` コマンドを利用する

文字列が改行を含んだ場合、 cut コマンドでは想定外の挙動をするときがあります。

Bashシェルスクリプトで数値配列の合計値を算出する

Thu, 07 May 2020 10:22:50 +0900

はじめに

Bash シェルスクリプトでは type または declare コマンドを利用することで配列変数を宣言できます。

この「配列変数」の合計値を算出する簡単な方法は無いか考えたことを公開します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

方法 1 - ループする方法

$ declare -a NUMS=(
 1 2 3 4 5
)

$ SUM=0
$ for N in ${NUMS[@]}; do
 ((SUM+=N))
done

$ echo $SUM
15

実行結果は 15 となります。

方法 2 - `awk` を使う

合計、件数、平均といった計算に汎用的に利用できます。

declare -a NUMS=(
 1 2 3 4 5
)

$ echo "${NUMS[@]}" | awk '{ for (i=1; i<=NF; i++) { sum+=$i } } END { print sum }'
15

列単位のループが嫌な場合には、 awk のデフォルトの行区切り文字 RS = "\n" をスペースに変更します。

Dockerを使ってRailsアプリケーションの作成・起動を行う

Tue, 05 May 2020 22:37:22 +0900

はじめに

いままで Ruby on Rails については触れたことはなかったのですが、習得の必要性が生まれたためチュートリアルをはじめました。

rails コマンドを実行するための環境セットアップに随分時間がかかってしまったため、整備して次回からはまらないようにしたいと思いエントリを投稿しました。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ docker --version
Docker version 19.03.8, build afacb8b

準備

タイトル通り、今回は Docker を利用してアプリケーションの新規作成や起動を行うため、 Docker をインストールしておきましょう。（ここではDockerのインストール方法は取り上げません。）

`rails` コマンド実行用のDockerイメージ

rails コマンドを簡単に実行するためのDockerイメージを自作し公開しています。こちらを利用したいと思います。

Docker Hub - genzouw/rails

以下のコマンドを実行し、バージョンが表示されればDockerイメージを利用する準備は完了です。

# Railsバージョンは5.2.3としています。
# 別のバージョンを利用したい場合はDockerイメージタグの値を変更してください。
$ docker run --rm genzouw/rails:5.2.3 rails --version
Rails 5.2.3

アプリケーションの作成

アプリケーションを作成するには rails new コマンドを実行します。先程のDockerイメージを使って、 rails new コマンドを実行します。

rails-tutorial というアプリケーション名で作成します。

docker run コマンドのオプションについて補足しておきます。

--rm オプションは実行後にDockerコンテナ内のファイル変更内容を残さないオプションです。
- あってもなくても良いのですが、PCの不要なディスク消費を抑えるために付与。
-v $PWD:/app:cached オプションで、カレントディレクトリをコンテナの /app ディレクトリにマウントします。
--workdir /app オプションで、コンテナ内のカレントディレクトリを /app ディレクトリとします。

$ docker run --rm -v $PWD:/app:cached --workdir /app \
 genzouw/rails:5.2.3 \
 rails new rails-tutorial

問題なくアプリケーションを作成できたら、カレントディレクトリを変更しておきます。

シェルスクリプトで`while read`ループすると最終行が読み込まれない場合への対処

Wed, 15 Apr 2020 14:04:08 +0900

はじめに

シェルスクリプトでファイルの各行に対して複雑なロジックを書かざるを得ない場合、 while read を使って一行ずつ読み込む処理を騎獣します。

echo や cat を使ってファイルを作成した場合はファイルの末尾に必ず改行コード（LF）が付与されますが、少々変わったファイルの作り方をすると改行コードが付与されないことがあります。（どきどきチームで開発しているソースコードにもこういうファイルが紛れ込むケースもありますね。）

そんなファイルを while read する場合に最終行がループ処理の対象にならない、とハマりがちなので対処法をまとめます。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.16(1)-release (x86_64-apple-darwin18.7.0)

普通に作成したファイルを `while read` して一行ずつ読み込んでみる

普通に作成したファイルを while read して一行ずつ読み込む場合、以下のようなコードになるかと思います。

( IFS= を付与しないと、 read 時に行頭・行末のスペースが除去されてしまいます。 -r オプションがないと各行末に \ があった場合におかしな挙動をしてしまいます。 )

# 後述するケースにつながるため、あえてちょっと変わった書き方で echo しています。
$ echo "\
aaa
 bbb
ccc" >test1.txt

# ファイルの中身は3行となっています。
$ cat test1.txt
aaa
 bbb
ccc

# 一行ずつ読み込んでみます
$ cat test1.txt | while IFS= read -r LINE; do
 echo "${LINE}"
 done
aaa
 bbb
ccc

問題なく3行とも読み込めました。

DockerでPostgreSQL公式イメージを起動する際にスロークエリ出力を有効にする

Thu, 09 Apr 2020 08:00:39 +0900

はじめに

特にDocker ComposeでPostgreSQL公式イメージを利用しようと思った場合に、postgresql.conf を編集せずにスロークエリログの出力を有効にする方法について紹介します。

検証環境

$ docker --version
Docker version 19.03.8, build afacb8b

$ docker-compose --version
docker-compose version 1.25.4, build 8d51620a

普通にPostgreSQLを起動した場合

起動

まずは普通にPostgreSQLを起動してみます。

PostgreSQLを起動する場合、通常は docker run -d というように -d オプションを付与してデーモン起動させます。

ただし、今回はログを意図的に表示させたいこともあり -d オプションを付けずに起動します。 PostgreSQLイメージでは以下の環境変数3つは起動に必須です。

POSTGRES_PASSWORD
POSTGRES_USER
POSTGRES_DB

$ docker run --rm --name=postgres_test \
 -e POSTGRES_PASSWORD=testpass \
 -e POSTGRES_USER=testuser \
 -e POSTGRES_DB=testdb \
 postgres:9.6.17

アクセスして設定を確認

起動したコンテナ上のPostgreSQLデータベースに psql コマンドを使ってログインしてみます。 docker run したターミナルとは別に、ターミナルを立ち上げます。（WindowsならコマンドプロンプトあるいはPowerShellになるのかな？）

$ docker \
 exec -i -t postgres_test \
 psql -h localhost -U testuser testdb

psql (9.6.17)
Type "help" for help.

testdb=# show all;
 name | setting | description
...(一部抜粋)...
 log_min_duration_statement | -1 | Sets the minimum execution time above which statements will be logged.
...(一部抜粋)...

psql 上で show all; コマンドを実行するとデータベースの設定情報が出力されます。 log_min_duration_statement という設定パラメータの値が、スロークエリログ出力対象の設定値となります。 SQLの実行に log_min_duration_statement の設定値以上の時間がかかった場合、ログ出力されます。ただし -1 の場合にはスロークエリログは出力されません。

「too many levels of symbolic links」というエラーメッセージについて

Wed, 08 Apr 2020 08:00:21 +0900

はじめに

僕は出会ったことはないのですが、 「too many levels of symbolic links」 というエラーメッセージに遭遇したという話を聞いて再現方法を調べてみました。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.16(1)-release (x86_64-apple-darwin18.7.0)

エラーを再現させてみる

早速再現させてみます。通常はこんなことは起きないとは思いますが、 自分自身を参照するシンボリックリンク hoge を作成します。

$ ln -s hoge hoge

$ ls -l
total 0
lrwxrwxrwx 1 root root 4 Apr 7 14:33 hoge -> hoge

このシンボリックリンク hoge をフォルダとみなして、 hoge/x というファイルを作成してみます。

$ touch hoge/x
touch: cannot touch 'hoge/x': Too many levels of symbolic links

エラーが再現しました。

touch コマンドでなくても同じエラーメッセージが発生します。

treeコマンドでフォルダ構成をツリー表示しつつ所有者・パーミッションを表示

Tue, 07 Apr 2020 23:27:37 +0900

はじめに

Linuxにおける tree コマンドは、フォルダ構成を視覚的に確認するために便利なコマンドです。僕は特にドキュメントの作成時に tree コマンドを利用しフォルダ構成を図示します。

特定のアプリケーションのセットアップドキュメントを作成する際に、ツリー構造を表示しつつ想定するパーミッションを表示したい場合がありました。

tree コマンドのオプションを付与することでかんたんに実現できました。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ tree --version
tree v1.6.0 (c) 1996 - 2011 by Steve Baker, Thomas Moore, Francesc Rocher, Kyosuke Tokoro

かんたんなフォルダ構成を作成

tree コマンドの動作を見るためにかんたんなフォルダ構成を用意します。

# 適当にディレクトリを作成
$ mkdir -p aaa bbb ccc/ddd

# 適当にファイルも配置
$ touch aaa/1.txt bbb/2.txt ccc/ddd/3.txt

結果、以下のようなファイルツリーが作成されました。

$ tree
.
|-- aaa
| `-- 1.txt
|-- bbb
| `-- 2.txt
`-- ccc
 `-- ddd
 `-- 3.txt

4 directories, 3 files

# `ls` コマンドで所有者、パーミッションを確認してみる
$ find . | xargs ls -ld
drwxrwxr-x 5 root root 160 Apr 7 13:39 .
drwxr-xr-x 3 root root 96 Apr 7 13:40 ./aaa
-rw-r--r-- 1 root root 0 Apr 7 13:40 ./aaa/1.txt
drwxr-xr-x 3 root root 96 Apr 7 13:40 ./bbb
-rw-r--r-- 1 root root 0 Apr 7 13:40 ./bbb/2.txt
drwxr-xr-x 3 root root 96 Apr 7 13:39 ./ccc
drwxr-xr-x 3 root root 96 Apr 7 13:40 ./ccc/ddd
-rw-r--r-- 1 root root 0 Apr 7 13:40 ./ccc/ddd/3.txt

`tree` コマンドの `-u` オプション

tree -u コマンドを利用することで、構造とともに 所有者 を表示させることができます。

sedで置換処理が行われなかった場合に終了ステータスを0以外にする方法

Sun, 05 Apr 2020 21:54:09 +0900

はじめに

sed コマンドで s 内部コマンドを使って置換処理を行った場合、条件に該当する文字列が見つからず置換が行われなかったとしても、終了ステータス $? は 0 になります。

実際に置換されたのか？置換されなかったのか？を終了ステータス $? で判定する方法について紹介します。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ sed --version | head -n 1
sed (GNU sed) 4.8

準備

サンプルテキストデータ

動作確認のために置換処理に利用するテキストファイル ( test.txt ) を作成します。

cat <<EOF >test.txt
この文章はダミーです。文字の大きさ、量、字間、行間等を確認するために入れています。
EOF

sedで置換が行われた場合、行われなかった場合の終了コードを確認

sedで 置換が行われた場合 の終了ステータスを確認してみます。

$ sed 's/ダミー//' test.txt
この文章はです。文字の大きさ、量、字間、行間等を確認するために入れています。

$ echo $?
0

sedで 置換が行われなかった場合 の終了ステータスを確認してみます。

$ sed 's/ジミー//' test.txt
この文章はダミーです。文字の大きさ、量、字間、行間等を確認するために入れています。

$ echo $?
0

いずれの場合も、終了コード $? は 0 となっています。

sedで置換が行われたなかった場合の終了コードを 0 以外にする

先程の sed コマンドを多少変更することで、終了コードを 0 以外に変更できます。
ポイントは先程の sed コマンドの後方に t; q100; というコマンドが追加されている点です。これにより、置換処理が行われなかった場合は終了ステータス $? が 100 となります。

GitHub CLIを使ってコマンドラインからイシュー、プルリクを検索、表示してみる

Fri, 03 Apr 2020 22:54:19 +0900

はじめに

今年の 2 月に公開されたばかりの GitHub CLI というコマンドラインツールについて使ってみたので紹介してみます。

今までは hubコマンドを使っていましたが、話題になっているぐらいなので比較して有用性が高いはず、と思って使ってみました。

EC-CUBE の GitHub リポジトリのイシューを覗き見することが最近何度かあったため、イシューを検索、表示してみます。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ zsh --version
zsh 5.8 (x86_64-apple-darwin18.7.0)

インストール

Mac はかんたんですね。

今日現在、公式ページには以下のコマンドでインストールできるとありました。

$ brew install github/gh/gh

セットアップ

$ gh issue list

初めてコマンドを実行する場合は、 GitHub CLI が GitHubAPI を呼び出すための権限を付与する必要があるようです。以下のメッセージが表示されます。

Notice: authentication required
Press Enter to open github.com in your browser...

Enter キーを押すとブラウザが起動し、以下のようなページが表示されます。

GitHub CLI のアクセスを許可します。

実行結果はというと、自分用のプライベートリポジトリに対して実行したため、そもそも issude が存在せず何も表示されませんでした。

There are no open issues in genzouw/bin

改めて別のリポジトリで実行してみることにします。

ダウンロードしたファイルのハッシュ値を確認するスクリプト

Tue, 31 Mar 2020 09:02:39 +0900

はじめに

他の方のエントリで、ダウンロードしたファイルのハッシュ値のチェック処理をシェルスクリプトで書かれていたので勉強がてら読んでみました。自分だったらこう書くかな？という違いが合ったので、良い勉強になりました。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.16(1)-release (x86_64-apple-darwin18.7.0)

参考にしたスクリプト

config/check-hash at bc6679f9f3c273ba756d1da6b45640c9f08967f5 · tyru/config · GitHub

自分だったらこう書くかな？という部分を書き換えてました。

ファイル名は check-hash 。

#!/usr/bin/env bash
set -o errexit
set -o nounset
set -o noclobber

usage() {
 progname=$(basename "$0")
 cat <<EOM
Usage:
 ${progname} hash file
EOM
 exit 0
}

normalize_hash() {
 sed 's/ //g' | tr '[:lower:]' '[:upper:]'
}

detect_algo() {
 declare hash="${1}"
 if [[ ${hash} =~ [^0-9A-F] ]]; then
 echo "error: hash contains invalid character: ${hash}" >&2
 return 1
 fi
 case "${#hash}" in
 32) echo "MD5 md5sum" ;;
 40) echo "SHA1 sha1sum" ;;
 56) echo "SHA224 sha224sum" ;;
 64) echo "SHA256 sha256sum" ;;
 96) echo "SHA384 sha384sum" ;;
 128) echo "SHA512 sha512sum" ;;
 *)
 echo "error: could not detect hash algorithm: ${hash}" >&2
 return 1
 ;;
 esac
}

main() {
 [[ $# -ne 2 ]] && usage

 declare hash=$(echo ${1} | normalize_hash)
 declare file=$([[ ${2} != - ]] && echo "${2}" || echo /dev/stdin)

 read algo cmd < <(detect_algo "${hash}" || exit $?)
 declare hash_from_file=$("${cmd}" <"${file}" | awk '{ print $1 }' | normalize_hash)

 if [[ ${hash} != "${hash_from_file}" ]]; then
 echo "[Error] The hashes are different! (hash: ${hash}, file: ${hash_from_file}, algo: ${algo})" >&2
 return 1
 else
 echo "[Success] The hashes are same (algo: ${algo})"
 return 0
 fi
}

main "$@"

ひとこと

人のソースコードは、新しい書き方がたくさん見つかって面白い。

Bashシェルスクリプト内でaliasコマンドを使う方法

Mon, 16 Mar 2020 09:09:18 +0900

はじめに

Bashシェルスクリプト内で alias コマンドを使ってエイリアス設定しようとしてもデフォルトのままでは設定できません。

設定する方法について紹介します。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.16(1)-release (x86_64-apple-darwin18.7.0)

シェルスクリプト内で`alias`コマンドを使ってみる

ls -l コマンドをかんたんに扱うための ll というエイリアスを作成し、実行するスクリプトを用意してみます。

# ファイルを作成
$ echo <<EOF > test.sh
#!/usr/bin/env bash

alias ll='ls -l'

ll /tmp/
EOF

# 実行権限を付与
$ chmod 700 test.sh

これを実行してみます。

$ ./test.sh
./test.sh: 行 5: ll: コマンドが見つかりません

alias コマンドで用意した ll というエイリアスコマンドが認識されていない事がわかります。

Bashのドキュメントを確認してみる

Bashのドキュメントを引くと理由がわかります。

$ man bash

Aliases are not expanded when the shell is not interactive, unless the expand_aliases shell option is set using shopt (see the description of shopt under SHELL BUILTIN COMMANDS below).

シェルスクリプトでマルチバイト文字の文字数を確認する際の注意事項（おまけでJSTなど）

Wed, 04 Mar 2020 08:58:51 +0900

はじめに

Bashシェルスクリプトで日本語の全角文字（ex: あいう）の文字数を取得したかったのですが環境の設定に注意しないといけないことがありました。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

マルチバイト文字のを含む文字列の「バイト数」「文字数」を取得

マルチバイト文字のを含む文字列の「バイト数」「文字数」をそれぞれ取得してみたいと思いました。

クリーンな環境が欲しかったので、 docker run で CentOS7 環境を利用してみました。

# 以下のコマンドでCentOS7上のログインシェルが起動
$ docker run --rm -it centos:7

[root@fbdeab6f7982 /]#

ここで、 あいう という全角3文字のバイト数、文字数を取得してみます。それぞれ wc -c 、 wc -m というコマンドに対してパイプ経由で文字列を渡してやります。

# -nオプション無しでechoすると改行文字が含まれてしまうことに注意！
$ echo あいう | wc -c
10

# これで改行が除外される（プロンプトがおかしな場所に出力されていることからわかる）
$ echo -n あいう
あいう$

# wc -c でバイト数を取得
$ echo -n あいう | wc -c
9

# wc -c で文字数を取得
$ echo -n あいう | wc -m
9

# 変数に代入して、変数の文字列長を取得する命令を利用してみる
$ X=あいう
$ echo ${#X}
9

「バイト数」は想定通りでしたが、「文字数」が正しく取得できません。（バイト数と同じ値になってしまいました。）

シェルスクリプトでクリップボードの監視をしてみる

Fri, 14 Feb 2020 08:30:53 +0900

はじめに

技術調査のためにひたすら参考になるキーワードをコピペしていましたが、自動的にテキストファイルに吐き出したかったのでスクリプトを書いてみました。

デフォルト状態ではMacで用意されているpbcopy/pbpasteコマンドで動作しますが、同等のコマンド名を引数で渡してやればLinuxやCygwinでも動作します。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

スクリプト

watch_cb.sh という名前で作成しました。

クリップボードの内容が変わったタイミングで出力が行われます。

#!/usr/bin/env bash
set -o errexit
set -o nounset
set -o noclobber

COMMAND_TO_COPY="${1:-pbcopy}"
COMMAND_TO_PASTE="${2:-pbpaste}"

echo '' \
 | "${COMMAND_TO_COPY}"

PRE_CLIP=
while :; do
 CLIP="$(${COMMAND_TO_PASTE})"
 if [[ ${PRE_CLIP} != "${CLIP}" ]]; then
 # ---- Event occurs ----
 PRE_CLIP="${CLIP}"
 echo "${PRE_CLIP}"
 fi
 sleep 1
done

実行方法

# コンソール上に表示するだけ
$ ./watch_cb.sh

# ファイルにも保存したい
$ ./watch_cb.sh | tee memo.txt

# 追記
$ ./watch_cb.sh | tee -a memo.txt

# 特定の条件に合致したものだけに絞り込む
$ ./watch_cb.sh | grep https | tee memo.txt

ひとこと

イベント発生部分を汎用化させれば、もっと色々できそう。

シェルスクリプトでデータを文字列の長い行順にソートする方法

Thu, 13 Feb 2020 08:32:20 +0900

はじめに

データを文字列の長い行順（あるいは短い行順）に並び替えする方法について説明します。

もともとのきっかけは、findコマンドで検出したディレクトリを階層の深い順に削除しないとエラーメッセージが表示される問題を解消したいということでした。「階層が深いディレクトリ＝パスの文字列が長いディレクトリ」をどうやってソートしようかなと考えて当エントリをまとめることにしました。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

準備

適当にディレクトリを作成して試してみます。

スペースを含んでも正しく動作するかを確認したかったので、ここではあえてスペースを含むディレクトリも作ってみました。

# 適当なディレクトリを作成する
$ mkdir -p aaa/bbb/ccc 'aaa/d ddd/ee'

# treeコマンドでディレクトリ構成を確認してみる
$ tree
.
└── aaa
 ├── bbb
 │   └── ccc
 └── d ddd
 └── ee

5 directories, 0 files

単純に`find`で出力してみる

まずは単純にfindでディレクトリのみを出力してみます。

$ find . -type d
.
./aaa
./aaa/bbb
./aaa/bbb/ccc
./aaa/d ddd
./aaa/d ddd/ee

ディレクトリ構造を単純に探索していった結果に見えます。

ターミナルからTreasureDataにcsvファイルをアップロードする方法

Tue, 11 Feb 2020 08:00:53 +0900

はじめに

今までビックデータを扱う仕事をしてきたのにTreasure Dataを触ったことがありませんでした。 csvファイルをアップロードするだけでも悩んでしまいました。

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

アップロードの手順について

以下のサイトが参考になりました。 Embulkを使ってデータをインポートする方法です。

Bulk Import from CSV files – Arm Treasure Data

データのインポートのためにいくつか準備しないといけないようですので、順番に設定していきます。

1.Embulkのインストール

パット見た感じ、JRE 1.8が必要であり、セットアップが面相くさそうでした。

せっかくなのでDockerイメージを作成して公開してみました。

したがって、以下のDockerイメージを利用していただければインストールを省略できます。次へ進みましょう。

`genzouw/embulk-output-td`

2.seed構成ファイルを作成

Treasure Dataへデータをインポートするための設定ファイルは、“seed configuration file"と呼ばれるファイルから自動生成させることができます。

まずは"seed configuration file"を作成します。

in:
 type: file
 path_prefix: /workdir/your_data.csv
out:
 type: td
 apikey: **************your_td_apk_key****************
 endpoint: api.treasuredata.com
 database: your_db_name
 table: your_table_name
 mode: replace
 default_timestamp_format: '%Y-%m-%d %H:%M:%S'

seed.ymlの細かい設定についてはここでは取り上げません。

シェルスクリプトでファイルに特定の文字が含まれているかどうかを高速に判定する方法

Mon, 10 Feb 2020 09:00:05 +0900

はじめに

ファイルに特定の文字が含まれていたら処理を行う、という分岐を書くときにgrepの実行結果を>/dev/nullに捨てる、という方法をとっていましたが、>/dev/nullを使わなくても良いということを知りました。

>/dev/nullを使う場合と比べてのメリットについても取り上げます。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ grep --version | head -n 1
grep (GNU grep) 2.20

`>/dev/null`を使ったやり方

今までは標準出力を無効化するために>/dev/nullを使っていました。

1から100まで書かれている100行のテキストファイルtest.txtについて、grepを行い分岐処理を行ってみます。まずはテストに使用するテキストファイルを作成します。

# `seq` コマンドでファイルを作成
$ seq 1 100 >test.txt

# 確認。最初の3行を出力してみる
$ head -n 3 test.txt
1
2
3

# 確認。最後の3行を出力してみる
$ tail -n 3 test.txt
98
99
100

このファイルを使ってファイル内の文字列存在チェックを行ってみます。

# ----- 99を検索 -----
# &&を使う方法
$ grep 99 test.txt >/dev/null && echo EXIST.
EXIST.

# if文を使う方法
$ if grep 99 test.txt >/dev/null; then
 echo EXIST.
fi
EXIST.

# ----- 199を検索 -----
# &&を使う方法 （何も出力されない）
$ grep 199 test.txt >/dev/null && echo EXIST.

# if文を使う方法（何も出力されない）
$ if grep 199 test.txt >/dev/null; then
 echo EXIST.
fi

実現できました。

DockerfileのVOLUME命令とはなにか？どのように利用すると便利か？

Sat, 08 Feb 2020 22:58:25 +0900

はじめに

Docker を使うに当たり Dockerfile の各種命令の理解は必須です。 FROM や RUN などは確実に登場します。

ただ、 VOLUME という命令を使う機会が多くなかったため、改めて理解を整理してみます。また、どういうときに便利に利用できるのかについても取り上げてみたいと思います。

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ docker --version
Docker version 19.03.5, build 633a0ea

VOLUME 命令の記述方法

まずは動作確認のために、VOLUME 命令を使用したかんたんな Dockerfile を作成してみます。

$ cat <<EOF >Dockerfile
FROM alpine:3.11.3

RUN mkdir -p /hoge /fuga

VOLUME ["/hoge"]
EOF

記述している内容は 3 命令しかありません。

FROM : ベースとして利用するコンテナイメージ。何でも良いがここでは Alpine Linux を利用しています。
RUN : ルートディレクトリ直下に２つのディレクトリを作成しています。( /hoge, /fuga)
VOLUME : 配列で複数指定可能。ボリュームとしたいパスを指定。

ここでは、 /hoge というディレクトリを ボリューム として定義しています。

インデントされたファイルを "while read" コマンドでループさせるとインデントが消えてしまう問題に対処

Fri, 07 Feb 2020 20:18:14 +0900

はじめに

シェルスクリプトで、インデントされたテキストファイルを while read 構文で読み込み処理したいが、インデントされている行の行頭のスペースが消えてしまうのでなんとかしたいという質問がありました。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

問題

以下のようなファイルがあります。2行目がスペースでインデントされています。

$ cat a.txt
111
 222
333 444

これを while read 構文で読み込みループさせたいが、2行目の行頭のスペースが消えてしまうということでした。

$ while read -r line; do
 echo "$line"
 done <a.txt

111
222
333 444

解決方法は `IFS` 環境変数のクリア

解決方法は非常に単純で、 IFS 環境変数をクリア（空）にしてやることで対処できます。

$ while IFS= read -r line; do
 echo "$line"
 done <a.txt

111
 222
333 444

IFS 環境変数はinternal fieled separatorの省略で、 情報を分離するために利用される文字 が格納されています。 read コマンドはシェルのビルドインコマンドです。

$ type read
read is a shell builtin

標準入力で受け取った情報を IFS 環境変数に設定されている文字列で自動的に分割した後、引数で与えられた変数名（ここではline）に格納します。

シェルで全角/半角/大文字/小文字/ひらがな/カタカナ/英字の変換を行うためにuconvを使う

Wed, 05 Feb 2020 19:45:37 +0900

はじめに

コマンドラインから全角/半角/大文字/小文字/ひらがな/カタカナ/英字の変換を行うために便利そうな uconv というツールを見つけたので紹介します。サイトには以下のように書かれていました。

iconv(1) に加えて、Unicode 用の国際化コンポーネント (ICU) ツールセットの一部である uconv(1) コマンドも、1 つのエンコーディングから別のエンコーディングへの変換に使用できます。uconv は、229 のエンコーディングと、1000 を超える別名をサポートしています。

簡単にいうと iconv の上位互換ですね。もうこれがあったら文字列変換の多くが実現できるんじゃないかと思いました。

検証環境

$ uconv --version
uconv v2.1 ICU 64.2

インストール

uconv コマンドは icu というパッケージに含まれています。 RedHat系ディストリビューションとDebian系ディストリビューションでインストール方法に違いがあるので注意。

RedHat系

$ sudo yum install icu

$ uconv --version

Debian系(Ubuntu)

$ sudo apt-get install icu-devtools

$ uconv --version

※手前味噌ですが、Dockerイメージも公開しました。インストールは不要です。

$ docker run -i --rm genzouw/uconv --version
uconv v2.1 ICU 64.2

# ~/.bashrcや~/.zshrcにエイリアス設定しておくと便利
$ alias uconv='docker run -i --rm genzouw/uconv'

色々変換してみる

早速いろいろ変換してみます。

シェルスクリプトで数値を3桁ごとにカンマ区切りで表示する（Number Format）

Tue, 04 Feb 2020 14:00:39 +0900

はじめに

桁数の多い数値を見やすくするために、3 桁ごとにカンマ区切りで表示することがあります。昔の現場では「カンマ編集」と言われていました。また、多くのプログラミング言語に組み込み関数として用意されています。

金額をページ内に表示するとき利用されますね。

ex) 1,234,567

シェルスクリプトで実現する方法について取り上げます。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

`printf`コマンドを使う ( シェルが`Bash 5系`である場合 )

printf コマンドを利用すれば OK。

シェルがBash 5系以上である場合は、組み込みコマンドであるprintfが利用できます。数値を出力するためのフォーマットは%dですが、%とdの間に'（シングルクォート）を挿入するとカンマ区切りで表示されます。

# 普通にprintfで数値を出力する場合
$ printf "%d\n" 1234567890
1234567890

# カンマ区切りのフォーマッタを使って出力する場合
$ printf "%'d\n" 1234567890
1,234,567,890

`sed`コマンドを使う ( シェルが`Bash 5系`でない場合 )

Bash が利用できなかったり、バージョンが古い場合にはsedで頑張ってみます。

$ echo 1234567890 | sed -E ':l; s/^([0-9]+)([0-9]{3})/\1,\2/; t l;';
1,234,567,890

簡単に解説すると、以下のような処理をsedで行っています。

:コマンドでlという文字列でラベル付けする（goto 文のような機能）
sコマンドで置換する
tコマンドでlラベルまで移動する。
- ※ただしtコマンドは直前のsコマンドで置換が行われなかった場合は移動しない

ひとこと

Bash5 系でしかつかえない便利機能、ちょいちょいありますね。地味に便利な機能が多い。

docker-compose.ymlのcommandプロパティに複数コマンドを設定する方法

Tue, 28 Jan 2020 12:00:14 +0900

はじめに

Docker Compose は非常に便利ですね。

3 層構造 ( クライアント、Web、DB ) のアプリケーションを作る際には、最低限 Web のコンテナ、DB のコンテナの 2 つを同時に立ち上げる必要があります。

Docker Compose なら簡単に環境を構築できます。

これらのコンテナを立ち上げる前の準備処理を行ってきたい場合があります。 ( init コンテナとでも呼びましょうか。例えば設定ファイルを作ったり。 )

docker-compose.yml の command プロパティにこれらの初期処理を設定したかったのですが、シェルを複数コマンド記述したり、リダイレクトさせたりで少々ハマったので共有します。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ docker-compose --version
docker-compose version 1.25.2, build 698e2846

どんなことがしたかったか？

初期処理として、以下のような 2 行のコマンドを実行してファイルを作成したいとします。

echo "Konnichiwa!" > /shared_dir/hello.txt
chmod 600 /shared_dir/hello.txt

シェルで記述すると非常に簡単です。ワンライナーだと以下のように記述できますね。

echo "Konnichiwa!" > /shared_dir/hello.txt; chmod 600 /shared_dir/hello.txt

改行で区切る代わりに ; を指定しています。

さて、このような処理をさせる docker-compose.yml を記述してみます。

Konnichiwa! という文字列を hello.txt に出力
ついでにパーミッションも変更する
hello.txt は共有フォルダに配置しているので、ローカルから見える

version: "3"
services:
 init:
 image: bash
 volumes:
 - $PWD:/shared_dir
 command:
 echo "Konnichiwa!" > /shared_dir/hello.txt; chmod 600 /shared_dir/hello.txt

この定義ファイルを使って docker-compose up してみます。

スタンドアロンKubernetesクラスタにIngressを設定しWebサーバを公開する

Sun, 26 Jan 2020 23:47:02 +0900

はじめに

余ったPC1台を使ってKubernetesクラスタを構築してみるでKubernetesの検証環境を構築できました。

せっかくできたこの環境を使って外部からアクセス可能なWebサーバを構築し、公開してみたいと思います。

Ingressとは

Ingressとは、Kubernetesで利用できるL7(HTTP/HTTPS)ロードバランサです。クラスタ内のコンテナ(正確にはPod)を外部に公開できます。

似たようなものとしてLoad Balancer Serviceというものがあります。こちらはL4(TCP/UDP)ロードバランサです。後々やってみたいと思っているTLSターミネーションやURLマップができません。

したがって、Ingressを使ってみたいと思います。

セットアップ

検証環境

前回のエントリの続きのため、Ubuntu環境を利用しました。

$ uname -v
40~18.04.1-Ubuntu SMP Thu Nov 14 12:06:39 UTC 2019

Ingress Nginx Controller

Ingressとは先程触れたとおり、Kubernetesで利用できるL7(HTTP/HTTPS)ロードバランサです。

Ingressの内部実装はIngress Controllerと呼ばれており、GCPで動作するもの、AWSで動作するものなど色々あります。

ここではオンプレミス環境でも利用できるIngress Nginx Controllerをインストールします。

Ingress Nginx ControllerをHelmというツールを使ってセットアップを行います。 *Helm**を利用する理由は、クラスタ外からアクセスするためのIPアドレス（external_ip）の設定が容易なためです。

Helmのインストール

公式ページに記載されている方法でインストールします。

# Install
$ curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3
$ chmod 700 get_helm.sh
$ ./get_helm.sh

# Initialize
$ helm repo add stable https://kubernetes-charts.storage.googleapis.com/

次に外部からアクセスする際のクラスタのIPについて確認します。スタンドアローンのクラスタなので、 マスタサーバ で ip addr を実行した結果のIPアドレスを利用します。

$ ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
 inet 127.0.0.1/8 scope host lo
 valid_lft forever preferred_lft forever
 inet6 ::1/128 scope host
 valid_lft forever preferred_lft forever
2: enp4s0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc fq_codel state DOWN group default qlen 1000
 link/ether 50:e5:49:c3:03:57 brd ff:ff:ff:ff:ff:ff
3: wlx0024a54f427c: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
 link/ether 00:24:a5:4f:42:7c brd ff:ff:ff:ff:ff:ff
 inet 192.168.0.201/24 brd 192.168.0.255 scope global noprefixroute wlx0024a54f427c
...(省略)...

今回構築したサーバは wifi 環境に接続させているため（サーバなのにwifi）、上記の一番下に表示されている 192.168.0.201 のIPアドレスを利用することになります。

余ったPC1台を使ってオンプレKubernetesクラスタを構築してみる

Sat, 25 Jan 2020 00:11:10 +0900

はじめに

仕事ではGoogle Kubernetes Engine (GKE)を使ってのKubernetesクラスタ構築をしています。

仕事以外の時間でもKubernetesクラスタをゴリゴリ触ってみたいと思いました。そこで、家の使っていない古いPCを使ってKubernetesクラスタをいちから作成してみることにしました。

(2020-01-26 追記)

当エントリでまとめたセットアップ手順をシンプルなシェルスクリプトにまとめ、公開しました。

GitHub - genzouw/standalone_kubernetes_cluster: This simple shell script helps build a "standalone" Kubernetes cluster on an extra (eg, old) PC.

クラスタを構成する「マスタサーバ」と「ノード」の２つの役割はどうするの？

Kubernetesクラスタには、マスターサーバとノードと言われるサーバが必要になります。

ざっくりいうと、 マスターサーバは管理者からの要求に答えてノード(後述)にコンテナを立ち上げたり、ノードに存在するコンテナの状況を監視します。 ノードはコンテナそのものを動かすサーバです。

「Hadoop HDFS」におけるマスタノードとスレーブノードに似ていますね。

したがって、できる限りマスターサーバは余裕のある状況が望ましいです。

ただし今回は検証環境である、またお金をかけたくないなどの理由から、「マスタサーバ」x1台と「ノード」x1台を物理サーバx1台に共存させたいと思います。

セットアップ

Kubernetesクラスタを構築していきます。

OSのディストリビューション・バージョンを確認

さて、今回余っていた古いPCには Ubuntu18.04 がインストールされていたため、その環境をそのまま利用します。

$ uname -v
40~18.04.1-Ubuntu SMP Thu Nov 14 12:06:39 UTC 2019

Docker のインストール

セットアップ後は以下のコマンドを実行し、OSリブート時にもサービスが自動起動するようにしておきます。

$ sudo apt-get update -y
$ sudo apt-get install -y docker.io
$ sudo systemctl enable docker.service

# 現在ログインしているユーザが `docker` コマンドを実行できるようにしておく
$ sudo gpasswd -a "${USER}" docker

# 上記で設定したdockerグループへの所属は、一度ログインしないと反映されない
$ exit

正常にセットアップされたか配下のコマンドを実行すれば確認できます。

JavaScriptで数値をカンマ区切り（カンマ編集）の文字列とする方法

Wed, 22 Jan 2020 07:30:40 +0900

はじめに

簡単にできる、できないなどの意見が昔からあるが、 2020年現在は各種ブラウザやNode.jsも進化し、いずれも統一した方法で実現できるようです。

検証環境

$ "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" --version
Google Chrome 79.0.3945.130

$ node --version
v13.6.0

カンマ区切り（カンマ編集）する方法

Number#toLocaleString() メソッドを使えば実現できます。

$ node
Welcome to Node.js v13.6.0.

Type ".help" for more information.
> let n = 1234567
undefined
> console.log(n.toLocaleString())
1,234,567
undefined

JavaScriptの部分の処理を取り出すと以下のようになっています。

let n = 1234567

console.log(n.toLocaleString())

ChromeやSafari、Firefoxの開発者ツールに上記スクリプトを貼り付けても、やはり正常に動作することを確認できました。

ひとこと

数年前は Node.js や Safari では未実装だったメソッドでした。時代は進化しました。

セットアップスクリプトなどでmkdir,cp,chown,chgrp,chmodが頻発するときにシンプルに記述する方法

Tue, 21 Jan 2020 12:00:17 +0900

はじめに

アプリケーションのセットアップスクリプト や Dockerfile 、 Vagrantfile を記述しているときに、以下のようなコマンドが乱立することがあります。

mkdir
cp
chown
chgrp
chmod

mkdir でコピー先のディレクトリを作成し、 cp でファイルをコピー、 chown / chgrp で所有者を変更し、 chmod でパーミッションを変更、といった記述をしだすと、4コマンドは実行することになります。

これを1コマンドでやってしまおうというのが今回のエントリです。

検証環境

今回は非常に軽量なDcokerイメージである alpine でも使えることを確認したいため、以下の環境を利用しました。

$ uname -moi
x86_64 unknown Linux

$ sh --help 2>&1 | head -n 1
BusyBox v1.30.1 (2019-06-12 17:51:55 UTC) multi-call binary.

ちなみに「Alpine Linux」は docker コマンドが利用できれば簡単に起動できます。

$ docker run -i -t --rm alpine

4つのコマンドを1コマンドで実現するためのコマンド `install`

答えとしては非常に簡単で、 install コマンドを利用します。

利用できるディストリビューション

いくつかのディストリビューションを確認しましたが、いずれもインストールされているようでした。

# CentOS
$ docker run -i -t --rm centos
[root@6742f69c602b /]# install --version | head -n 1
install (GNU coreutils) 8.22

# Ubuntu
$ docker run -i -t --rm ubuntu
root@854017b7cc5f:/# install --version | head -n 1
install (GNU coreutils) 8.28

# Debian
$ docker run -i -t --rm debian
root@4c81dcfa3f3f:/# install --version | head -n 1
install (GNU coreutils) 8.30

# Alpine
$ docker run -i -t --rm alpine
/# install 2>&1 | head -n 1
BusyBox v1.30.1 (2019-06-12 17:51:55 UTC) multi-call binary.

Macの場合は brew install gnutls あたりでインストールできると思います。（僕の環境はすでにインストールされていた。）

シェルである文章内からある単語の登場回数を調べる

Sun, 19 Jan 2020 07:30:52 +0900

はじめに

文章内から特定の単語の登場回数を調べる方法について紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

サンプル文章の用意

サンプル文章を用意します。

Wikipedia の「ONE_PIECE」のページをサンプルとして利用したいと思います。

$ curl -s https://ja.wikipedia.org/wiki/ONE_PIECE > one_piece.html

HTMLのタグが混ざり込んでいますが、特定の検索キーワードを探す分には問題ないでしょう。

`grep` を使って「特定の単語」の登場回数を調べる方法

はじめに断っておくと、 grep -c を使う方法はおすすめしません。

grep -c で検索対象の単語の登場回数を調べることができます。

$ grep -c ワンピース one_piece.html
138

ただし、注意が必要です。 grep -c の検索結果数は、 「単語の登場回数」 ではなく 「単語が1文字以上見つかった行数」 になっています。

# 3行の中に "ワンピース" の文字が6回登場している
$ grep ワンピース one_piece.html | head -n 3
<td>この項目では、尾田栄一郎の漫画について説明しています。アニメ版については「<a href="/wiki/ONE_PIECE_(%E3%82%A2%E3%83%8B%E3%83%A1)" title="ONE PIECE (アニメ)">ONE PIECE (アニメ)</a>」を、その他の「ワンピース」については「<a href="/wiki/%E3%83%AF%E3%83%B3%E3%83%94%E3%83%BC%E3%82%B9_(%E6%9B%96%E6%98%A7%E3%81%95%E5%9B%9E%E9%81%BF)" class="mw-disambig" title="ワンピース (曖昧さ回避)">ワンピース (曖昧さ回避)</a>」をご覧ください。
<p>『<b>ONE PIECE</b>』（ワンピース）は、<a href="/wiki/%E5%B0%BE%E7%94%B0%E6%A0%84%E4%B8%80%E9%83%8E" title="尾田栄一郎">尾田栄一郎</a>による<a href="/wiki/%E6%97%A5%E6%9C%AC" title="日本">日本</a>の<a href="/wiki/%E5%B0%91%E5%B9%B4%E6%BC%AB%E7%94%BB" title="少年漫画">少年漫画</a>作品。『<a href="/wiki/%E9%80%B1%E5%88%8A%E5%B0%91%E5%B9%B4%E3%82%B8%E3%83%A3%E3%83%B3%E3%83%97" title="週刊少年ジャンプ"> 週刊少年ジャンプ</a>』（<a href="/wiki/%E9%9B%86%E8%8B%B1%E7%A4%BE" title="集英社">集英社</a>）にて<a href="/wiki/1997%E5%B9%B4" title="1997年">1997年</a>34号より連載中。略称は「<b>ワンピ</b>」。
<li class="toclevel-2 tocsection-60"><a href="#ワンピース・プレミア・サマー"><span class="tocnumber">12.2</span> <span class="toctext">ワンピース・プレミア・サマー</span></a></li>

# この結果を `grep -c` で検索すると、 6ではなく3という結果が帰ってくる
$ grep ワンピース one_piece.html | head -n 3 | grep -c ワンピース
3

`grep -o ... | wc -l` を使う方法

行数ではなく単語の登場回数を知りたい場合には、 grep -o の結果を wc -l にパイプで繋いでやるほうが良いでしょう。

Bashシェルスクリプトで文字列変数を部分的に切り出す（substring）

Sat, 18 Jan 2020 11:30:34 +0900

はじめに

Bash シェルスクリプトで変数に格納されている文字列を部分的に切り出す方法について。

サンプルコードを掲載しますが、 GNU Bash でのみ動作する機能もありますので、ご注意ください。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

先頭（左）から数文字切り出す

文字列が格納された変数に対して、 先頭（左）から数文字切り出す には、以下のようなコマンドを利用します。

※先頭から 4 文字を切り出してみます 。

$ STR="Hello World"

$ echo ${STR:0:4}
Hell

Bash の変数は、 ${STR:offset:length} の形式で参照すれば文字列の一部を切り出すことができます。

offset : 切り出し開始位置(先頭から切り取りたい場合は 0 を指定)
length : 切り出し文字数

また、 0 は省略可能です。

# echo ${STR:0:4} と同じ結果となります
$ echo ${STR::4}
Hell

末尾（右）から数文字切り出す

先程と同じ変数参照の機能を利用します。

※末尾から 4 文字を切り出してみます 。

$ STR="Hello World"

$ echo ${STR: -4:4}
orld

offset にはマイナスが指定可能です。 -4 としているので、末尾から 4 文字目の切り取りの開始位置としてします。

Bashシェルスクリプトで数値の絶対値を算出する方法

Wed, 15 Jan 2020 12:30:53 +0900

はじめに

以前もエントリを書きましたが、簡単な計算であればBash上で計算できます。

整数のみの計算であれば、以下のように実現できます。

$ echo $((10/2))
5

今回は絶対値を計算する方法について考えてみます。

検証環境

x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

1.計算結果が正か負かの判定を行う方法

判定処理を行い大きい方から小さい方を引き算する方法です。

$ A=10
$ B=15

# 普通に計算するとマイナスになる
$ echo $((A-B))
-5

# 三項演算子を使って演算を反転してやる
$ echo $((A > B ? A - B : B - A))

2.マイナスを削り取る方法

単純に計算結果の先頭１文字が - だった場合には削り取ります。

# 普通に計算するとマイナスになる
$ echo $((A-B))
-5

# 先頭１文字が `-` であれば削り取る
$ echo $((A-B)) | sed 's/^-//'
5

変数に代入されていれば変数参照の構文として削り取ることもできます。

$ X=$((A-B))
$ echo ${X#-}
5

ひとこと

変数に代入されていれば、「マイナスを削り取る方法」がコード量は少なく楽ちんです。

WordPressのLuxeritasテーマでpreタグSyntaxHighlightを無効にしてもCopyボタンが有効になってしまう問題に対処

Sun, 12 Jan 2020 07:00:03 +0900

はじめに

WordPressのLuxeritasテーマでpreタグ内の空行が消えてしまう問題に対処でも触れましたが、当ブログは WordPress で構築されており、 Luxeritas という非常にSEO効果の高い無料のテーマを利用しています。

pre タグの Syntax Highlight は WP Githuber MD プラグインで実現したいため、Luxeritasテーマで提供されている Syntax Highlight 機能を無効にしてみました。

ところが、Copyボタンが残ってしまいました。

この問題を解決させてみたいと思います。

※こちらの対処法はLuxeritasテーマのAMP機能を利用している場合は推奨しません。AMP機能利用時は、Luxeritasテーマのシンタックスハイライトを利用したほうがうまくいくようです。

検証環境

WordPress : バージョン 5.3.2
Luxeritas : バージョン 3.7.5.1

Luxeritasテーマのファイルを編集する

前回、変更を行っているので多少ソースコードのあたりはつけやすくなりました。以下のファイルを1行だけ変更します。

wp-content/themes/luxeritas/inc/load-inline.php

以下のスクリーンショットのようにコードを変更します。

これで無事、不要な文字とCopyボタンが表示されなくなりました。

ひとこと

Luxeritasテーマで最近困っていたことは一通り解決でき、すっきりしました。

「WP Githuber MD」を使ってWordPressのエントリを開き直すとMarkdownがHTMLになってしまう問題に対応

Sat, 11 Jan 2020 14:32:34 +0900

はじめに

僕は仕事でもプライベート（！？）でも、 Markdown を使ってドキュメントを残すことが多いです。

もはや Markdown はなくてはならないツールとなりました。

当ブログのエントリも、 WP Githuber MD という WordPress のプラグインを使い、 Markdown で記述したものを HTML に変換してページ表示させるという方法で執筆しています。

ところがWordPressの設定変更を繰り返したあたりから投稿内容をWordPressの編集画面で開き直すと Markdown ではなく HTML になってしまうようになってしまいました。

こちらの原因と対処についてまとめてみます。

導入しているWordPressのプラグイン（一部抜粋）

僕が導入しているWordPressのプラグインはいくつかあります。一部抜粋(2つだけですが…)すると以下のようなものがインストールされています。

今回の問題に関わっているのは上記の２つのプラグインでした。

原因はJetPack（の設定）

原因は Jetpack （の設定）でした。 WP Githuber MD プラグインを有効にした状態で、 Jetpack の設定ページの「執筆」タブを開くと、Markdownに関する設定が以下のようになっています。

これは、エントリの編集ページでMarkdown構文を利用できるようにするための設定です。設定上は無効になっています。

ただし、 WP Githuber MD プラグインを一時的に無効にした状態で、再度こちらの設定ページを開いてみます。

Jetpack のMarkdown構文の利用が有効となっています。

一度「WP Githuber MD」を無効にしてJetpackの設定を確認してみることをおすすめします

もし同様の問題に悩んでいる方がいれば、一度 WP Githuber MD プラグインを無効にした状態で Jetpack の設定を確認してみてください。

Chrome79以降からは、ステータスコード401を返すページにBasic認証を設定するとアクセスできなくなる

Thu, 09 Jan 2020 12:00:48 +0900

はじめに

今までBasic認証をかけていて閲覧はできていたページが、Chrome79から急に閲覧できなくなるという問題が発生しました。

StackOverflowやTwitterなどを調べてみてもそのような問題で悩んでいる方はいません。

ちなみに対象のページはやや特殊で、Basic認証をかける以前から、サービスにログインせずにアクセスした場合は ステータスコード = 401 を返却しつつ、ページコンテンツを返却します。

Chromium のソースコードを読んでみましたが、なかなかリーディングができず。（これは僕のスキルの問題です）

そこで実際に問題を再現させた後、「原因」の調査と「対策」を検討してみました。

検証環境

サーバサイド

$ apachectl -v
Server version: Apache/2.4.38 (Debian)
Server built: 2019-08-18T13:34:20

$ php -v
PHP 7.2.23 (cli) (built: Oct 5 2019 00:23:19) ( NTS )
Copyright (c) 1997-2018 The PHP Group
Zend Engine v3.2.0, Copyright (c) 1998-2018 Zend Technologies

クライアントサイド

プラットフォーム

ブラウザ

2020-01-08現在、確認した環境は以下の２つです。 version 81 は Chrome Canary を利用しました。

Version 79.0.3945.88 (Official Build) (64-bit) ( Chrome )
Version 81.0.4020.0 (Official Build) canary (64-bit) ( Chrome Canary )

*※いずれの環境でも問題が発生することを確認済みです。

WordPressのLuxeritasテーマでpreタグ内の空行が消えてしまう問題に対処

Thu, 09 Jan 2020 00:02:50 +0900

はじめに

当ブログは WordPress で構築しています。 WordPressのテーマは Luxeritas という「無料」で「SEO最適化」された「高機能」のテーマを利用しており、大変重宝しています。

時々バージョンアップを行っていたのですが、ある時からエントリの pre タグ内のコンテンツから空白行が消えてしまうという現象が発生してしまいました。以下のイメージは 問題解消後 のものになります。空行が2行ありますが、この行が消えてしまうという問題でした。

WordPressのコードは愚か、テーマなど触ったこともなかったのですが、最終的には自分で修正してみました。

検証環境

WordPress : バージョン 5.3.2
Luxeritas : バージョン 3.7.5.1

1.Googleで調べてみる

まずはGoogleで同様の現象に悩んでいる方がいないか調べてみました。同じような問題で悩んでいる方はいないようでした。

2.公式サイトで調べてみる

Luxeritas の公式ページから調べてみました。

Q&A よくある質問 | Luxeritas Theme のページも見てみましたが、特に記載はありません。

3.最新版にバージョンアップしてみる

もしかしたら最新バージョンでは修正されている問題かもしれません。試しにバージョンアップしてみましたが、やはり問題は解消されませんでした。

4.Twitterで聞いてみる

製作者の方に恐縮ですが、Twitterのアカウントを見つけたので相談してみました。

ご丁寧に「公式ページ」で質問などを受け付けてくれているという回答をいただきました。

5.「公式ページ」で問い合わせしてみる

問い合わせページを探して問い合わせしようと思いましたが、こちらでは Luxeritas に関する問い合わせは受け付けていらっしゃらないようでした。

自分で頑張ってみることにする

自分で頑張って修正してみることにしました。
ここでは最終的にどこを修正したかだけまとめておくことにします。

修正したファイル

wp-content/themes/luxeritas/inc/filters.php

修正箇所

以下のスクリーンショットの行をコメントアウトします。

結果

これで無事、 pre タグ内の空行が正しく表示されるようになりました。

ひとこと

コード量も結構あり、これで正しい修正なのかという思いはありますが、今のところ正常に動作しているようですので様子を見たいと思います。

問題が見つかった場合、当エントリに追記したいと思います。

Bashシェルスクリプトでログ出力をシンプルに実現する方法

Mon, 06 Jan 2020 12:00:27 +0900

はじめに

シェルスクリプトはお世辞にも読みやすいコードとは言えません。なのでできる限りシンプルに、短く記述したいのですが、工夫をしないと ログ出力 処理がごちゃごちゃしてしまいます。

例えば、すべての出力、エラー出力をログとして保存しようとすると以下のような記述ができます。

#!/usr/bin/env bash

LOG_OUT=/tmp/stdout.log
LOG_ERR=/tmp/stderr.log

# 標準出力
echo foo1 >>$LOG_OUT 2>>$LOG_ERR
echo foo2 >>$LOG_OUT 2>>$LOG_ERR
echo foo3 >>$LOG_OUT 2>>$LOG_ERR
# 標準エラー出力
ls /foo >>$LOG_OUT 2>>$LOG_ERR
rm /foo >>$LOG_OUT 2>>$LOG_ERR

実行結果は以下のようになります。

$ ./test.sh

$ cat /tmp/stdout.log
foo1
foo2
foo3

$ cat /tmp/stderr.log
ls: cannot access '/foo': No such file or directory
rm: cannot remove '/foo': No such file or directory

スクリプトが小さな間は良いのですが、大きくなってきた場合、このような記述が乱立していると非常に見にくいです。

もっと見やすくするための記述方法があります。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

1. `exec` コマンドを利用する

exec コマンドを利用することで、上記のようなログ出力処理をシンプルに記述できます。

Bashシェルスクリプトでiniファイルを読み、環境変数を定義する

Mon, 23 Dec 2019 15:00:05 +0900

はじめに

$HOME/.bitbucket という INI ファイル形式のファイルを読み込み、 ... = ... 形式で書かれている行から環境変数を定義したくなりました。簡単なコードで実現してみました。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

`sed` を使う

sed を使って、 ... = ... というフォーマットの行だけを抽出して source コマンドに食わせます。

# iniファイルのファイルパスを定義
$ declare -r INI_FILE="$HOME/.bitbucket"

# ... = ... 形式の行のみを抽出して、 source コマンドに食わせる
$ source <(sed -n -E 's/^\s*(\S+)\s*=\s*(.+)$/\1=\2/p' <"${INI_FILE}")

ちなみに、特定のセクション ( [ ... ] )以降に書かれている設定のみを読み込むには以下のように記述します。

$ cat test.ini
[section0]
x=1
y=2
z=333
[section1]
a=3
b=4
c=5
[section2]
xxx=100

# iniファイルのファイルパスを定義
$ declare -r INI_FILE="test.ini"

# sectionを指定
$ declare -r SECTION="section1"

# ... = ... 形式の行のみを抽出して、 source コマンドに食わせる
$ source <(sed -n -E '/^\['${SECTION}'\]/,/^\[\S+\]/s/^\s*(\S+)\s*=\s*(.+)$/\1=\2/p' <"${INI_FILE}")

# 確認
$ set | grep '^[abc]='
a=3
b=4
c=5

ひとこと

もう少し簡潔に書きたい。ちょっとごちゃごちゃしたワンライナーになってますね。

fzfを使ってghqで取得したリポジトリ一覧を検索しcdするためのコマンドを作成

Fri, 20 Dec 2019 15:51:22 +0900

はじめに

既存のすべてのBitbucketリポジトリをGithubに移行するためのシェルコマンドで、 Github や Bitbucket のリポジトリの取得方法、取得したソースコードの配置場所を統合できましたが、これらのリポジトリの検索や移動がもっと楽にするために検索・移動コマンドを作成してみたいと思います。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

必要なもの

作成したコマンド（関数）

以下の関数を定義します。

$ fgh() {
 declare -r REPO_NAME="$(ghq list >/dev/null | fzf-tmux --reverse +m)"
 [[ -n "${REPO_NAME}" ]] && cd "$(ghq root)/${REPO_NAME}"
}

ghq で取得したリポジトリを検索したい場合はこの関数を実行します。

$ fgh

以下に今回作成した関数を実行した動画を共有します。

~/.bashrc や ~/.zshrc に追記しておくと良いですね。

ひとこと

各ネタが付きたので軽めのエントリでした。

Bashシェルスクリプトで文字列を分割(split)する方法いろいろ

Tue, 17 Dec 2019 12:00:57 +0900

はじめに

最近、Bash で特定の文字 ( あるいは文字列 ) で連結されている文字列を分割して配列に代入したい場合の方法について聞かれることがあったのでまとめました。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

大きく 2 つのケースを考えてみる

文字列の分割 ( split ) について、大きく 2 つのケースを考えてみます。

単一の文字で分割
複数の文字 ( 文字列 ) で分割

単一の文字で分割する方法

1.変数参照時に置換する

Bash では、スペースを区切り文字として取り扱います。したがって、区切り文字をスペースに置換し、 (..) で囲んで配列にします。最も簡潔に実現できます ( 問題点については後述 ) 。

$ STR="I,am,a,pen"

# split
$ ARR=(${STR//,/ })

# 配列の1番目の要素
$ echo ${ARR[0]}
I

# 配列の2番目の要素
$ echo ${ARR[1]}
am

# ループで1要素ずつ出力
$ for S in "${ARR[@]}"; do echo "$S"; done
I
am
a
pen

※ただし、この方法には問題があります。本来区切り文字でないスペースが含まれている場合、スペースで区切られてしまいます。

Bashシェルスクリプトでは、関数の中に関数がかける

Mon, 16 Dec 2019 12:00:58 +0900

はじめに

GitHub 上のシェルスクリプトを見ていたときに面白そうな機能を見つけたので投稿しておきます。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

関数の中に関数がかける

スクリプトを見ながら確認してみましょう。

まずは関数を定義します。

$ func1 () {
 echo "Hello world"
}

定義した関数を呼び出してみます。

$ func1
Hello world

ここから、 func1 の定義を変更します。 func1 の中で func2 という関数を定義し、さら呼び出してみます。

# 関数を定義する
$ func1 () {
 # 関数func2を定義する
 func2 () {
 echo "I am sub function."
 }

 echo "Hello world"

 # func2を呼び出す
 func2
}

関数 func1 を実行した結果は以下のようになります。

$ func1
Hello world
I am sub function.

関数の中で関数が定義でき、かつそれを呼び出せることがわかります。

lessコマンドで文字列検索したときに大文字小文字を無視させる設定方法

Sat, 14 Dec 2019 15:56:31 +0900

はじめに

古いサーバー環境では less の検索機能で大文字小文字を区別していなかったのに、新しく構築したサーバで大文字小文字を区別するようになって使いづらかったため、設定方法について書こうと思います。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ less --version | head -n 2
less 458 (POSIX regular expressions)
Copyright (C) 1984-2012 Mark Nudelman

大文字小文字を無視するオプション `-i`

less コマンド実行時に、 -i オプションを指定することで、 less コマンド起動後の検索で大文字小文字を無視させることができます。

/etc/passwd ファイルを less で開いて検索する例を取り上げます。

$ cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

以下のように less コマンドをパイプで繋いで起動してみます。

Bashシェルスクリプトで変数の値を変数名として別の変数を参照する方法

Fri, 13 Dec 2019 12:00:03 +0900

はじめに

Bash で変数の値を使って、別の変数を参照するにはどう書けばよいでしょう？

少々説明がくどいですが、PHP や他の言語では普通にできるコードを書けるか？というお話です。

実際に PHP で書く場合と Bash で書く場合を見ていきます。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin


$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

PHP のコードサンプル

以下のように $var1 , $var2 , $var3 の 3 つの変数を、ループを使って参照する場合には以下のようなコードで実現できます。

<?php

$var1 = '111';
$var2 = '222';
$var3 = '333';

for ($i = 1; $i <= 3; ++$i) {
 $varName = "var${i}";
 echo "$i = ${$varName}" . PHP_EOL;
}

$ php test.php
1 = 111
2 = 222
3 = 333

Bash のコードサンプル

方法は 2 つあります。

1. 変数名の前に `!` を記述する

先の PHP のサンプルコードと同じように、 var1 , var2 , var3 の 3 つの変数を、ループを使って参照する場合には以下のようなコードで実現できます。

既存のすべてのBitbucketリポジトリをGithubに移行するためのシェルコマンド

Sun, 08 Dec 2019 22:57:19 +0900

はじめに

GitHub で無制限にプライベートリポジトリを作成できるようになったため、今まで Bitbucket で管理していた自分のリポジトリを Github に移行しました。

大したコマンドではないのですが、移行のために実行したコマンドを共有します。

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

$ hub --version
git version 2.24.0
hub version 2.13.0

前提条件

コマンドラインから Github を操作するためのコマンドである github/hub がインストールされていることが前提となります。

hub コマンドについては以前、別のエントリで紹介しています。よかったらご参考ください。
- コマンドラインから”Docker Hub”からDockerイメージを検索し詳細ページを開く | ゲンゾウ用ポストイット

実行コマンド

以下のコマンドを、 git clone した作業ディレクトリが配置されているディレクトリ配下で実行します。 .git ディレクトリを探し出し、自動的に Github 上にリポジトリを作成していきます。

$ find . -type d -name .git \
 | while read GIT_DIR; do

 # .gitディレクトリが置かれているディレクトリに移動
 cd "$(dirname "${GIT_DIR}")"

 # 設定済みのリモートブランチを一度削除
 git remote rm origin

 # github上にプライベートリポジトリを作成
 hub create -p

 # 早すぎると作成したばかりのgithubリポジトリにpushできないことがあるので気持ち待つ
 sleep 3

 # push
 git push -u
 done

ひとこと

このあと、 ghq コマンドを使ってすべてのリポジトリを取得してきましたがまた機会を見てそのコマンドも掲載します。

Bashシェルスクリプトで「.」や「source」コマンド経由で呼び出されていないかをチェックする方法

Thu, 05 Dec 2019 08:00:06 +0900

はじめに

Bashシェルスクリプトで関数のコールスタックを取得・出力するの続きです。続きというよりも、当エントリを書きたかったための前振りが上記のエントリです。

実行するシェルスクリプトが、 . や source コマンド経由で呼び出された場合には、内部で定義されている変数や関数がカレントプロセス上に展開されることになります。スクリプトのファイル内に書かれている変数や関数が漏れてしまうのを避けるための方法を共有します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`$FUNCNAME` 変数をハックする

Bashシェルスクリプトで関数のコールスタックを取得・出力するで見たとおり、 . または source コマンドを使って呼び出されたスクリプトは、 $FUNCNAME 変数のスタックトレース上に source という関数スタックが積まれます。

この仕組みを利用し、 is_sourced という関数を作成し、判定を行います。

#!/usr/bin/env bash

function is_sourced() {
 [[ "${FUNCNAME[1]}" == "source" ]] && return 0 || return 1
}

# 真の場合は0となり、 `&&` の後ろのコマンドが実行される。
# 偽の場合は1となり、 `&&` の後ろのコマンドは実行されない。
is_sourced \
 && echo '. や source コマンドを使って呼び出してはだめだよ！！'

ひとこと

. または source コマンドを使って呼び出されることを期待する場合には以下のように記述すればOKですね。

Bashシェルスクリプトで関数のコールスタックを取得・出力する

Wed, 04 Dec 2019 21:25:15 +0900

はじめに

Bashシェルスクリプトでログを出力する際などに以下のような情報が欲しい場合がありました。

「現在実行中の関数」の名前
「現在実行中の関数」の呼び出し元

これらの情報を取得する方法を説明します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`$FUNCNAME` 変数を使って「コールスタック」を参照する

$FUNCNAME という配列の変数を参照することで、関数の「コールスタック」情報が取得できます。

サンプルスクリプトを通して、使い方を見ていきましょう。

サンプルスクリプトで確認してみる

以下のような2つのスクリプトを作成して動作を確認してみます。

$ ls
script_main.sh script_sub.sh

$ cat script_main.sh
#!/usr/bin/env bash

./script_sub.sh

echo

. ./script_sub.sh

$ cat script_sub.sh
#!/usr/bin/env bash

f1 () {
 declare -p FUNCNAME
 echo "${FUNCNAME[@]}"
 echo "0 = ${FUNCNAME[0]}"
 echo "1 = ${FUNCNAME[1]}"
 echo "2 = ${FUNCNAME[2]}"
 echo "3 = ${FUNCNAME[3]}"
}

f2 () {
 f1
}

f2

f1 関数を呼び出すまでの流れは大きく以下のようになっています。

Alpine Linuxのapkコマンドでインストール可能なパッケージを検索する方法

Thu, 28 Nov 2019 17:34:00 +0900

はじめに

dig コマンドや nmap をつかって、サーバの外部からの見え方を調査する必要がありました。軽量でクリーンなLinux環境がほしかったので、 Alpine Linux を使ってみたのですが、パッケージの探し方について yum や apt との違いが理解できていませんでした。

特に導入したいコマンドを含むパッケージをどうやって探すかについて知らなかったので調べてみました。

検証環境

$ uname -moi
x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 5.1.8(1)-release (x86_64-apple-darwin20.3.0)

まずは “Alpine Linux” の起動

docker コマンドを使って、 “Alpine Linux” を起動します。以下のコマンドを実行すれば初回実行時のみ、 “Docker Hub” からイメージファイルがダウンロードされます。ダウンロードが完了していれば、直ちに “Alpine Linux” コンテナが起動し、ログイン済み状態となります。

$ docker run -i -t --rm alpine
/ #

1. 「インストール可能なパッケージ」をWebから検索する方法

“Alpine Linux” で使えるパッケージは Alpine Linux packages というサイトから検索できる。

“File” という入力エリアに dig を入力して “Search” ボタン を押します。

シェルスクリプトでラーメンを食べたい思いをワンライナー

Wed, 09 Oct 2019 18:25:32 +0900

はじめに

今日はラーメン食べにいくぞ！という思いをワンライナーで。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

準備

$ for i in {1..30}; do for j in {$i..30}; do echo -n "\U1F35C"; done; echo; done | tac

折り返すと以下のようになります。

$ for i in {1..30}; do
 for j in {$i..30}; do
 echo -n "\U1F35C"
 done
 echo
done \
 | tac

ひとこと

今からラーメン食べにいきます。

シェルスクリプトで上下左右から何文字か切り取る方法(行列の操作)

Tue, 08 Oct 2019 09:32:53 +0900

はじめに

シェルスクリプトで上下左右から文字列を切り取る方法について。共通したコマンドがないため、いくつかのコマンドを組み合わせて実現することになります。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

準備

以下のコマンドを実行し、操作対象のテキストファイルを作成します。

# 2重ループさせる
$ (
 for i in {0..9}; do
 echo -n $i
 for j in {1..9}; do echo -n $j; done
 echo
 done
 ) >sample.txt

# 一番左の列に0から始まる行番号が出力されている
$ cat sample.txt
0123456789
1123456789
2123456789
3123456789
4123456789
5123456789
6123456789
7123456789
8123456789
9123456789

いろいろな切り取り方法

上から2行切り取り

sed コマンドを利用する方法があります。

$ cat sample.txt | sed '1,2d'
2123456789
3123456789
4123456789
5123456789
6123456789
7123456789
8123456789
9123456789

tail コマンドを利用する方法もあります。 ( プラス + 記号をつけるのがポイントです。 )

イメージファイルをターミナル用の色付アスキーアートに変換するWebAPIを公開しました。

Fri, 27 Sep 2019 13:12:22 +0900

はじめに

ANSI エスケープシーケンス といって、Unix系のターミナル上に色付きの文字列を出力することができます。

例えば、 echo コマンドでは出力したい文字列の前に \e[35m （数値部分は任意。）といった制御文字を出力させることでターミナルに出力される文字列に色を付けることができます。

$ echo '\e[35mHello\e[0m! \e[31mWorld\e[0m!'
Hello! World!

イメージファイルを指定して、色付アスキーアート文字列を出力できたらと思いWebAPIを作成してみました。

img2txt

img2txt

機能

イメージファイルのURLを指定すると、Unixターミナル用の色付アスキーアートを取得できます。

WebAPIのエンドポイントURL

https://img2txt.genzouw.com

使い方

基本

curl コマンドを利用するのが簡単です。 curl コマンドでWebAPIを呼び出します。

urlパラメータ ：イメージファイルのURLを指定します。

# 右記のイメージファイルURLをWebAPIに渡します → https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_272x92dp.png 
$ curl -sS 'https://img2txt.genzouw.com?url=https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_272x92dp.png'

ターミナルに以下のようなアスキーアートが表示されるはずです。

応用

出力内容をトリミングすることもできます。

tlパラメータ ： 数値を指定します。 左からN列を除去します。
trパラメータ ： 数値を指定します。 右からN列を除去します。
ttパラメータ ： 数値を指定します。 上からN行を除去します。
tbパラメータ ： 数値を指定します。 下からN行を除去します。

# 左から10列を削除
$ curl -sS 'https://img2txt.genzouw.com?url=https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_272x92dp.png&tl=10'

# 上下左右10行、10列を削除
$ curl -sS 'https://img2txt.genzouw.com?url=https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_272x92dp.png&tl=10&tr=10&tt=10&tb=10'

ひとこと

感想をお待ちしております。

sedで複数行にまたがった文字列を置換する方法

Mon, 09 Sep 2019 08:57:46 +0900

はじめに

sed コマンドで置換する場合、複数行にまたがった文字列も置換対象としたい場合があります。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

$ sed --version | head -n 1
sed (GNU sed) 4.2.2

置換対象の文字列が複数行にまたがる場合とは？

sed はラインエディタの思想を受け継いでいるため、 基本的に入力情報を１行ずつ受け取って処理を行 います。

例えば、 % で囲まれた部分を空文字に置換するといった場合、合致パターンが 1 行で収まるため容易に置換できます。

$ echo 'xx%aaa%yyy'
xx%aaa%yyy

$ echo 'xx%aaa%yyy' | sed 's/%.*%//'
xxyyy

ところが、 合致パターンが複数行にまたがったときにはうまく置換してくれません 。

# 2つの%の間に改行が含まれている
$ echo 'xxx%aaa
bbb%yyy'
xxx%aaa
bbb%yyy

# 置換されない
$ echo 'xxx%aaa
bbb%yyy' | sed 's/%.*%//'
xxx%aaa
bbb%yyy

2 つの対処法を取り上げます。

1.GNU 版 sed が利用できる場合

GNU 版の sed が利用できる場合、 -z オプションを利用することで、簡単に対処できます。これは sed のデフォルトの挙動である「行単位の処理」から「ヌル文字単位の処理」に挙動を切り替える、というオプションになります。

Dockerのイメージビルド中でapt-getを高速化するたった1つの方法

Wed, 04 Sep 2019 08:51:35 +0900

はじめに

(追記)煽りタイトルが思っていたより反響があるのだなと思いました。

Dockerのイメージビルド処理は少しでも速い方が、試行錯誤にかかる時間を減らすことができます。

apt-get にかかる時間が全体のそこそこの時間を占めているのでなんとかできないかと思いました。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

何も対処しない場合の処理時間

curl と postgresql-client が必要だったので、この２つをインストールしただけのイメージを作成してみます。

以下のような Dockerfile を作成します。

FROM ubuntu:19.10

RUN apt-get update \
 && apt-get install --no-install-recommends -y \
 curl \
 postgresql-client \
 && apt-get clean \
 && rm -r /var/lib/apt/lists/*

この Dockerfile を使ってイメージをビルドしてみます。

3回実行します。
ログが大量に出力されるため、 before.log というファイルにリダイレクトし捨てておきます。
time コマンドでどのぐらいの処理時間がかかるのかを確認してみます。

$ for ((i = 0; i < 3; i++)); do
 time docker build --no-cache -t genzouw/test . 2>&1 >>before.log
done

docker build --no-cache -t genzouw/test . 2>&1 >> before.log 1.86s user 1.22s system 3% cpu 1:24.17 total
docker build --no-cache -t genzouw/test . 2>&1 >> before.log 1.81s user 1.28s system 4% cpu 1:14.72 total
docker build --no-cache -t genzouw/test . 2>&1 >> before.log 1.92s user 1.38s system 2% cpu 1:51.64 total

ブレは大きいですが、平均すると 90.18s ほどの処理時間がかかっています。

curl+pup+Dockerを使ってシェルスクリプトでスクレイピング

Mon, 02 Sep 2019 08:54:01 +0900

はじめに

コマンドラインあるいはシェルスクリプトでスクレイピングするときに pup というツールを使っていましたが、１から環境構築する場合を考え Docker を利用する方法を整理してみました。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.11(1)-release (x86_64-apple-darwin18.6.0)

前提

以下のツールがインストールされていること

curl
Docker

早速試してみる

ちょうど良さそうなサイトを探したところ、以下のサイトを見つけました。表示されているイメージを収集してみます。

GO ON A JOURNEY

まずはページのHTMLを取得してみます。

$ curl -s https://itstudio.co/sample/flex-gallery/index.html

これを pup ツールに食わせてパースしたいのですが、今回はローカルPCに pup をインストールせず、 pup インストール済みの Docker イメージを利用してみます。 ( ※初回はDockerイメージを取得するため遅いです。 )

$ curl -s https://itstudio.co/sample/flex-gallery/index.html \
 | docker run -i --rm sheogorath/pup-docker ".gallery-img img attr{src}"
images/gallery_1.jpg
images/gallery_2.jpg
images/gallery_3.jpg
images/gallery_4.jpg
images/gallery_5.jpg
images/gallery_6.jpg
images/gallery_7.jpg
images/gallery_8.jpg
images/gallery_9.jpg
images/gallery_10.jpg

もし pup がインストールされている場合は、以下のコマンドと同義です。

"mkdir"コマンドでディレクトリを作成する際には存在チェックはしなくても良い

Fri, 23 Aug 2019 08:00:36 +0900

はじめに

シェルスクリプトでディレクトリを作成し、 cd コマンドで移動します、というようなロジックを書くことがあります。

mkdir コマンドを単純に実行してしまうと、すでにディレクトリが存在しているときにエラーを吐いてしまうため、ディレクトリ存在チェックを行う必要がありますが面倒です。

これは簡単に解決できます。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

ディレクトリの存在チェックロジックを実装する方法

よく記述していたのは次のようなコードでした。事前にディレクトリの存在チェックを行い、見つからなかった場合のみディレクトリを作成します。

[ ! -d "/tmp/of/work" ] && mkdir -p "/tmp/of/work"
cd "/tmp/of/work"

`mkdir -p` コマンドを使ってディレクトリを作成する場合は存在チェックは不要

実はディレクトリの存在チェックを行わなくても先のスクリプトは問題なく動作します。 mkdir -p コマンドは次のような挙動をします。

作成対象ディレクトリの親ディレクトリが存在しない場合 はすべての親ディレクトリを作成する
作成対象ディレクトリがすでに存在している場合 は何も行わず、エラーもはかない

試してみます。

# 一旦ディレクトリを作成
$ mkdir -p /tmp/of/work

$ ls -l -d /tmp/of/work/
drwxr-xr-x 2 root root 64 Aug 22 08:26 /tmp/of/work/

# オプション無しですでに存在しているディレクトリを作成
$ mkdir /tmp/of/work
mkdir: cannot create directory '/tmp/of/work': File exists

$ echo $?
1

# -pオプション有りだとエラーを吐かない
$ mkdir -p /tmp/of/work

$ echo $?
0

したがって、先のスクリプトは次のようにかけます。

"ls"コマンドで隠しファイルは出力したいが "." と ".." は出力させない

Thu, 22 Aug 2019 08:19:26 +0900

はじめに

man や --help を調べればすぐわかりますが、使えると思いましたので投稿します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`ls` コマンド

オプション無しで実行

隠しファイルは見つかりません。

$ pwd
/root

$ ls | wc -l
1

$ ls
anaconda-ks.cfg

`-a` オプション付きで実行

-a オプション付きで実行すると、隠しファイル(ディレクトリを含む)を含めてファイルが一覧表示されます。ただし、カレントディレクトリを表す “.” と親ディレクトリを表す “..” が出力されてしまいます。

$ pwd
/root

$ ls -a | wc -l
10

$ ls -a
. .. .bash_logout .bash_profile .bashrc .cshrc .lesshst .pki .tcshrc anaconda-ks.cfg

`-A` オプション付きで実行

-a オプションの代わりに -A オプションを使うと、隠しファイル(ディレクトリを含む)が表示されますが、 . や .. が対象から除外されます。対象は -a オプション付きのときより2ファイル少ない、8ファイルとなっています。

コマンドラインから"Docker Hub"のDockerイメージを検索し詳細ページを開くスクリプト

Tue, 20 Aug 2019 08:48:57 +0900

はじめに

Docker Hub からDockerイメージを検索するためのコマンドとして、 docker search コマンドが利用できます。ただ、実際に便利なイメージが見つかったとしても利用する際には詳細ページを閲覧し、カスタマイズするための環境変数を確認したり、エントリポイントとなるコマンドのオプションを確認したりすることが多いです。

そこで、 docker search を実行しつつ、検索上位リポジトリの詳細ページをブラウザで開くようにしてみました。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.9(1)-release (x86_64-apple-darwin18.6.0)

必要なもの

Docker（ docker search コマンドを使いたいため）
Chromeブラウザ

作成したスクリプト

“dockerhub” というスクリプトファイル名で保存します。

#!/usr/bin/env bash
set -o errexit
set -o nounset

declare -r KEYWORD="${1}"
declare -r SELECTED_ROW_COUNT="${2:-1}"

TMP=$(mktemp)

# 標準出力と同時に一時ファイルにヘッダ行を除去して書き出しておく
docker search "${KEYWORD}" \
 | tee >(sed '1d' >"${TMP}")

# 指定された数分、検索上位のリポジトリをブラウザで開く
[[ $(cat "${TMP}" | wc -l) -ge ${SELECTED_ROW_COUNT} ]] && {
 cat "${TMP}" \
 | sed -n "1,${SELECTED_ROW_COUNT}p" \
 | awk '{ print $1 }' \
 | sed 's@^[^/]\+$@library/\0@' \
 | xargs -n 1 -I{} open "https://hub.docker.com/r/{}"
}

以下はGistのコード（AMPページに対応できないので、GistのScriptは使っていません）

インタラクティブなシェルでバックグランドジョブの完了メッセージを表示させない方法

Fri, 09 Aug 2019 11:54:17 +0900

はじめに

インタラクティブなシェルでバックグランドジョブを実行させると、ジョブ完了のメッセージが表示されますが、 .bashrc あるいは .zshrc でバックグラウンドジョブ実行した場合にこれが煩わしいのでなんとかしたいと思いました。

解決方法を共有します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

問題の確認

バックグランドジョブ実行を使うと、時間のかかる処理を実行中に別の操作を行うことができます。便利なのですが、ジョブ完了のメッセージが煩わしい場合があります。 ( ex: 調査をしていて、コンソール出力内容をログとして残している )

ここでいう「ジョブ完了メッセージ」とは以下のようなコマンドを実行した際に出力される内容です。

<実行コマンド>

> /dev/null & # バックグラウンドジョブ実行（何でも良い）
sleep 1 # バックグラウンドジョブの完了を待つ

実行結果は以下のようになります。

$ > /dev/null & # バックグラウンドジョブ実行（何でも良い）
[1] 118
$ sleep 1 # バックグラウンドジョブの完了を待つ
[1]+ Done > /dev/null

Done の行を出力したくない場合にどうしたらよいでしょう？

対処法

バックグラウンド実行させるジョブを (...) のようにカッコで囲んであげるだけで解決できます。

<実行コマンド>

( > /dev/null & ) # バックグラウンドジョブ実行（何でも良い）
sleep 1 # バックグラウンドジョブの完了を待つ

実行結果は以下の通り。ジョブ完了メッセージが表示されなくなりました。

$ ( > /dev/null & ) # バックグラウンドジョブ実行（何でも良い）
$ sleep 1 # バックグラウンドジョブの完了を待つ

ひとこと

.bashrc や .zshrc で source コマンド経由でなにか処理を呼び出さないといけない場合などにこの方法が使えます。

Docker Hubのイメージを利用してSMTP認証＋メール送信のテストを実施

Wed, 07 Aug 2019 08:30:17 +0900

久々のエントリです

9日間も夏休みをいただき、実家の青森に帰省していました。 奥入瀬、十和田湖、八甲田山、酸ヶ湯・浅虫温泉、海と自然に目いっぱい触れていると永住したくなってきました。

はじめに

新たに利用するSMTPサーバに対して、認証した後メール送信ができるかを検証したかったので、コマンドラインから認証＋メール送信してみました。

アプリをインストールしたくなかったので Docker イメージを利用することにしました。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ docker --version
Docker version 19.03.1, build 74b1e89

準備

docker コマンドが利用できればOKです。

$ which docker
/usr/local/bin/docker

やり方

以下のように「SMTP」認証に関わる情報の作成とメール情報を設定し、 docker コマンドを実行するだけです。

「Docker Hub」上の harobed/docker-heirloom-mailx というイメージを利用させていただき、 mailx コマンドを実行しているだけです。したがって mailx コマンドをインストールしていればDockerは不要です。

# 情報を設定（適宜変更してください）
SMTP_HOST=smtp.example.com
SMTP_USER=your_user
SMTP_PASS=your_password

MAIL_SUBJECT="This is SUBJECT"
MAIL_BODY="This is BODY"
MAIL_FROM="${SMTP_USER}"
MAIL_TO=anyone@example.com

# 認証＋メール送信
echo "${MAIL_BODY}" \
 | docker run -i --rm harobed/docker-heirloom-mailx \
 mailx \
 -v \
 -S smtp-use-starttls \
 -S smtp-auth=login \
 -S ssl-verify=ignore \
 -S smtp="${SMTP_HOST}" \
 -S smtp-auth-user="${SMTP_USER}" \
 -S smtp-auth-password="${SMTP_PASS}" \
 -S from="${MAIL_FROM}" \
 -r "${MAIL_FROM}" \
 -s "${MAIL_SUBJECT}" \
 "${MAIL_TO}"

問題点

自分で解決できなかった問題があります。

パイプではまらないためにdockerコマンド実行時の「-it」オプションの挙動を確認してみた

Wed, 24 Jul 2019 14:37:49 +0900

はじめに

docker run コマンドや docker exec コマンドを実行する際に -i オプションと -t オプションを付与することが多いですが、理解をしていないとパイプとつなぐ際に思わぬ挙動をするので整理しました。

検証環境

$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

$ docker --version
Docker version 18.09.2, build 6247962

各種オプションの有無での挙動の違い

`-i` オプション有り、 `-t` オプション有り

まずは -it オプションつきでDockerコンテナを起動し bash を起動してみます。接続したコンテナ内でLinuxコマンドを実行でき、結果をターミナルで確認できます。

$ docker run -it ubuntu:19.10 bash

root@5ba28223ab82:/# ls
bin dev home lib32 libx32 mnt proc run srv tmp var
boot etc lib lib64 media opt root sbin sys usr
root@5ba28223ab82:/# echo test
test

`-i` オプション無し、 `-t` オプション無し

両方のオプションを外した場合はどうでしょう？

シェルでDockerHubリポジトリからイメージとタグを取得する方法

Tue, 23 Jul 2019 08:40:33 +0900

【2021-02-02追記】

もしコマンドをインストール可能な環境である場合は、後日リリースされた hub-tool の利用をおすすめします。

“hub-tool"を使って"Docker Hub"上のイメージタグを一覧表示する

はじめに

DockerHubのようなイメージリポジトリからイメージを検索する際には docker search コマンドが利用できます。このコマンドで「イメージ名」は検索できるのですが「タグ」が検索できず、例えば「MySQLイメージの5.6バージョンのタグを知りたいんだけど、どうしよう？」となることがよくあります。

コマンドラインでなんとかしてみます。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

$ docker --version
Docker version 18.09.2, build 6247962

$ jq --version
jq-1.6

`docker search` コマンドとは

Docker Hubでコンテナイメージをを検索するためのコマンドです。

例えば、 “mysql” 用のコンテナイメージを検索する場合には以下のようなコマンドを実行します。

$ docker search mysql
NAME DESCRIPTION STARS FFICIAL AUTOMATED
mysql MySQL is a widely used, open-source relation… 8417 [OK]
mariadb MariaDB is a community-developed fork of MyS… 2895 [OK]
mysql/mysql-server Optimized MySQL Server Docker images. Create… 624 [OK]
percona Percona Server is a fork of the MySQL relati… 440 [OK]
centurylink/mysql Image containing mysql. Optimized to be link… 60 [OK]
...

ラベルを見ると分かる通り、1列目にイメージ名が出力されています。

DockerのMySQLイメージで接続元ホスト名によるアクセス制御ができない（ `skip-name-resolve`）

Sun, 21 Jul 2019 17:33:09 +0900

はじめに

MySQL では、接続元ホスト名ごとに「接続できる」「接続できない」の制御が可能ですが、設定方法を正しく把握していなかったので Docker 環境を使って検証したところハマってしまいました。

検証環境

$ docker --version
Docker version 18.09.2, build 6247962

$ docker-compose --version
docker-compose version 1.23.2, build 1110ad01

環境

「Docker」と「Docker Compose」を使って以下のような環境を構築し検証したいと思いました。

サーバは 2 台。
- 「MySQL サーバ」である db-server
- 「Apache+PHP サーバ」である web-server
「MySQL サーバ」には「Apache+PHP サーバ」からアクセス可能なユーザー app_user を用意する。
「MySQL サーバ」には「Apache+PHP サーバ」からのみアクセス可能な追加のユーザー app_user_additional を用意する。

検証環境の用意

「Web サーバ」用の Docker コンテナ、「MySQL サーバ」用の Docker コンテナを立ち上げるために、「Docker Compose」を利用しました。

docker-compose.ymlの設定は以下のようになりました。

docker-compose.yml

version: "2"
services:
 db-server:
 image: mysql:latest
 command: --default-authentication-plugin=mysql_native_password
 restart: always
 environment:
 - MYSQL_ROOT_PASSWORD=testpass
 - MYSQL_DATABASE=testdb
 - MYSQL_USER=app_user
 - MYSQL_PASSWORD=app_p@ssw0rd
 volumes:
 - "$PWD:/docker-entrypoint-initdb.d"
 web-server:
 image: php:7.3-apache
 volumes:
 - "$PWD:/var/www/html"

上記の YAML ファイルから Docker Compose を起動すれば、以下のユーザーで接続できます。

シェルスクリプトで任意のプロセスの終了を待って、別のコマンドを実行させる方法(ループ無し)

Wed, 17 Jul 2019 12:51:08 +0900

はじめに

プロセスIDが特定できているが、このプロセスが終了したことを確認して次の処理を実行させたい場合にどうするのがよいでしょう？

プロセス終了を持って、Macの通知バーにメッセージを表示させたかったのですが、 while ループと sleep コマンドでプロセス終了を監視する以外にうまい方法がないかを調べてみました。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

$ tail --version | head -n 1
tail (GNU coreutils) 8.31

tailコマンドに便利なオプションがあった！

tail コマンドのマニュアルにぴったりなオプションがありました。

 --pid=PID
 with -f, terminate after process ID, PID dies

該当のプロセスIDの処理が終了するまで tail -f を続けてくれるオプションになります。

ただし、今回は tail したいファイルはありませんので、ちょっとしたコツが必要です。

試してみる

まずはターミナルを開き、以下のようなファイルを作成します。

$ cat <<'EOF' >test.sh
#!/usr/bin/env bash
set -o errexit
set -o nounset
set -o noclobber

while true; do
 echo .
 sleep 1
done
EOF

$ chmod 700 test.sh

実行します。1秒おきに . が出力されるはずです。

Auth0（クラウド統合認証プラットフォーム）について調査

Tue, 09 Jul 2019 23:47:03 +0900

はじめに

「AWS Cognito」、「Firebase」と調査をしていたが、かゆいところに手がとどかない感じだったがようやく至れり尽くせりのサービスを発見。（とはいえ、価格帯を考慮に入れた場合は「Firebase」が良さそう。「AWS Cognito」はUIがわかりにくいわ、ドキュメントはわかりにくいわでイマイチな印象。）

Auth0 (クラウド統合認証プラットフォーム) とは

以下のような形態のアプリケーションに対して、認証・認可のサービスをクラウドで提供している
- Webアプリ
- モバイル
- API
いわゆるIDaaS (Identity as a Service)ベンダー
ユーザー認証/認可/セキュリティを用意に実現することが可能

Auth0が提供するログインページの種類

大きく2つの形態が選択できる

Classicログインページ

“Lock.js” と呼ばれる JavaScriptライブラリベースのログインページ
自分のサービス提供ドメイン 内からログインページを提供
以下の方法で利用可能
- Githubからダウンロード
- NPMやYARNでインストール

Newログインページ

JavaScriptを使用してはいない
Auth0の管理ドメイン 内からログインページを提供
- ただし、手を加えれば 自分のサービス提供ドメイン 内から提供するようにカスタマイズすることは可能
HTMLで提供されており、軽量で速い

ログインページのカスタマイズについて

軽微なログインページのカスタマイズ

簡単なデザイン変更はダッシュボードページから即座に可能。

ログ
文字色
背景色

大幅なログインページのカスタマイズ

デフォルトで提供されているログインページのHTMLを直接書き換えることも可能

一応重要度を理解して触ってもらうためか、「トグルボタン」をスイッチさせないとHTML編集ができないUIとなっている

ログインページの表示言語のカスタマイズ

Newログインページ に関しては、適切な言語設定表示に切替可能。切替可能な言語の一覧は、こちらのページで公開されている。 ( https://auth0.com/docs/universal-login/i18n )

ログインページの言語切替の仕組みは以下のルールに基づいて行われる。

「設定ページ」からサポートする言語設定を複数選択可能。
- 複数選択したサポート言語のうち、いずれか1つがデフォルトサポート言語となる
- デフォルトでは英語のみサポートする設定となっている
- 「日本語」だけを提供したい場合は「日本語」のみをサポートする言語として選択すればよい

ブラウザがアクセスしてきた際に上記のサポート言語のいずれかから適切な言語を選択する。

ログインページURLへのリダイレクト時に付与された ui_locales クエリ文字列を条件に検索。（ ex : ui_locales=ja）
ブラウザが送信する Accept-Language リクエストヘッダ情報を条件に検索。
上記いずれを使ってもサポート言語が見つからない場合はデフォルトサポート言語を利用。

認証フロー（既存のレガシーWebアプリケーションが認証状態に至るまでの流れ）

`sed` で検索文字列を含む行の行番号だけを出力する方法

Mon, 08 Jul 2019 08:45:32 +0900

はじめに

検索文字列を含む行の 「行番号」 だけを出力させたいときの方法について。 sed を使って実現できます。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

`sed` の `=内部コマンド` を利用する

sed の = というコマンドを利用します。

このコマンドは非常にシンプルなものであまり使いみちがないと思っていたのですが、検索した結果の「行番号」を取得したいケースがあり、その時だけ活用できました。

早速試してみます。百人一首のなかから特定も文字列を含む行の行番号だけをピックアップしてみます。

以下のコマンドでひらがなだけの百人一首データをダウンロードします。

# データファイルをダウンロード
$ curl -s -O /wp-content/uploads/2023/01/hyakuninissyu.txt

# 確認
## 先頭の数件を確認
$ head hyakuninissyu.txt
あきのたのかりほのいほのとまをあらみわがころもではつゆにぬれつつ
はるすぎてなつきにけらししろたへのころもほすてふあまのかぐやま
あしびきのやまどりのをのしだりをのながながしよをひとりかもねむ
たごのうらにうちいでてみればしろたへのふじのたかねにゆきはふりつつ
おくやまにもみぢふみわけなくしかのこゑきくときぞあきはかなしき
かささぎのわたせるはしにおくしものしろきをみればよぞふけにける
あまのはらふりさけみればかすがなるみかさのやまにいでしつきかも
わがいほはみやこのたつみしかぞすむよをうぢやまとひとはいふなり
はなのいろはうつりにけりないたづらにわがみよにふるながめせしまに
これやこのゆくもかへるもわかれてはしるもしらぬもあふさかのせき

$ wc -l hyakuninissyu.txt
100 hyakuninissyu.txt

昔からこどもたちと一緒に遊んでいました。なんとなく「なには」の文字の登場比率が多いと思っていました。これを含む行を調べてみます。

シェルスクリプトだとFizzBuzzが１行(ワンライナー)で書ける

Fri, 05 Jul 2019 08:20:14 +0900

はじめに

小ネタ。シェルスクリプトでFizzBuzzを書いたらどんなふうにかけるかを試してみました。

検証環境

$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

$ sed --version | head -n 1
sed (GNU sed) 4.7

結果

$ seq 30 | sed '0~3s/[0-9]*$/Fizz/' | sed '0~5s/[0-9]*$/Buzz/'

実行結果は以下の通り。

1
2
Fizz
4
Buzz
Fizz
7
8
Fizz
Buzz
11
Fizz
13
14
FizzBuzz
16
17
Fizz
19
Buzz
Fizz
22
23
Fizz
Buzz
26
Fizz
28
29
FizzBuzz

解説

はじめの seq は数字を列挙するために利用しています。

# 1から5までを出力
$ seq 5
1
2
3
4
5

30までの出力内容を後続する sed コマンドに引き渡しています。

JavaScriptで連想配列を利用する際にObjectではなくMapを使うメリット

Thu, 04 Jul 2019 12:00:33 +0900

はじめに

JavaScriptで値のユニークな配列を利用する方法(Set) のエントリに関連して。

「ES2015」で新たに用意された便利なコレクションオブジェクトとして Map があります。他言語だと、例えばJavaのMapのように組み込みの連想配列機能が用意されています。 Map を利用すると、それまでは Object で代用してきた連想配列機能を実現することができます。

とはいえ今まで Object で実現できていたのならそれで良いのではないか？という疑問が浮かびました。そこで Object ではなく Map を使う際の違いやメリットを調べてみました。

検証環境

$ node --version
v12.5.0

従来のObjectを使った場合の連想配列の作り方

従来のObjectを使っての連想配列の作り方は以下のようなコードになります。

(example1.js)

const obj = {}
obj.string = "hello"
obj.array = []
obj.number = 2
obj.object = {}

console.log(obj)

node コマンドを使ってコマンドラインから実行した結果は以下のようになります。

$ node example.js
{ string: 'hello', array: [], number: 2, object: {} }

Objectを使った場合のキーは暗黙に変換される

Objectを利用した場合には、キーの取扱に注意しなければいけません。実際にソースコードを見ていきましょう。

以下の例ではObjectに対して、Numberの 2 と Stringの "2" をキーとして値をセットしています。

(example2.js)

const obj = {}
obj["2"] = "二"
obj[2] = "に"

// { '2': 'に' }
console.log(obj)

実行すると以下のようになります。

$ node example2.js
{ '2': 'に' }

2つの値を別のキーでセットしたにもかかわらず、キーは1つしか保存されていません。 Objectのキーは、自動的に文字列に変換されることがわかります。

JavaScriptで値のユニークな配列を利用する方法(Set)

Wed, 03 Jul 2019 09:40:11 +0900

はじめに

「Vue.js」や「Nuxt.js」を使って開発をする機会が増えてきました。しばらくコマンドラインと戯れる年月が長かったで、浦島太郎状態です。 ES2015～2018 で提供された新しい言語使用が便利で改めて学習し直しているところです。

JavaScriptの `Array` は重複を許してしまう

本題に貼ります。 JavaScriptの Array は値の重複を許してしまいます。

let numbers = [
 1,
 2,
 3,
]

console.log("=== first ===")
console.log(numbers)

// 要素を追加
numbers.push(4)
numbers.push(5)
console.log("=== first ===")
console.log(numbers)

// すでに格納されている同値を追加
numbers.push(3)
numbers.push(3)
console.log("=== third ===")
console.log(numbers)

実行結果は以下の通り。 3 の値が重複していることがわかります。

=== first ===
[ 1, 2, 3 ]
=== first ===
[ 1, 2, 3, 4, 5 ]
=== third ===
[
 1, 2, 3, 4,
 5, 3, 3
]

JavaScriptの `Set` は重複を許さない

「ES2015」で提供された新しいオブジェクト「Set」を利用すれば、値の重複が発生しません。

let numbers = new Set([
 1,
 2,
 3,
])

console.log("=== first ===")
console.log(numbers)

// 要素を追加
numbers.add(4)
numbers.add(5)
console.log("=== first ===")
console.log(numbers)

// すでに格納されている同値を追加
numbers.add(3)
numbers.add(3)
console.log("=== third ===")
console.log(numbers)

実行結果は以下のようになります。あとから追加された 3 が重複せずに1つだけとなっていることがわかります。

シェルスクリプトで開始日から終了日までの日付をYYYYMMDD形式で一覧出力する

Mon, 01 Jul 2019 08:30:03 +0900

今日は小ネタ。何度か記述することがあったので、整理しました。

検証環境

$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

コマンド

START_DATE には「YYYYMMDD」形式で開始日を、 END_DATE には「YYYYMMDD」形式で終了日を指定します。

START_DATE=20190125
END_DATE=20190201

for ((D = START_DATE; D <= END_DATE; D = $(date -d "${D} + 1days" +%Y%m%d))); do
 echo "${D}"
done

上記の環境変数設定で実行した結果は以下の通り。

ひとこと

ホント小ネタ。

xargsを使う際には`echo`は書かなくてもよいことをmanページから知った

Fri, 28 Jun 2019 14:00:10 +0900

はじめに

小さなことですが、 xargs の man ページを見ていて気づいたことが 2つありました。

検証環境

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ xargs --version | head -n 1
xargs (GNU findutils) 4.5.11

`man` ページの一部抜粋

一部抜粋します。以下のようなことが書いてありました。

xargs reads items from the standard input, delimited by blanks (which can be protected with double or single quotes or a backslash) or newlines,
and executes the command (default is /bin/echo) one or more times with any initial-arguments followed by items read from standard input.

今回学んだことは2点。

Bashシェルスクリプトのヒアドキュメントとは一体何か？

Thu, 27 Jun 2019 12:00:48 +0900

はじめに

シェルスクリプトを書いていてよく利用する記法として「ヒアドキュメント」があります。

Wikipediaには「文字列リテラルをソースコード中に埋め込む方法のひとつ」という記載がありますが、「文字列リテラル」という認識でいると echo しようとして何も表示されないというミスをすることもあります。

検証環境

$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

ヒアドキュメントを使って文字列を出力する

文字列を出力したい場合、ヒアドキュメントを使って出力させる方法があります。複数行にまたがるような長い文字列を出力したい場合に利用されることが多いです。

以下は cat コマンドを利用してヒアドキュメントを出力させる例です。

$ cat <<EOF
Hello World!

My name is ${USER}.
EOF

実行結果は以下のようになります。

Hello World!

My name is genzouw.

ヒアドキュメントに埋め込まれた「変数」は展開されます。

`echo` では出力できない

文字列を出力するというイメージからついつい echo を使ってしまうことがありますが、これはNGです。

$ echo <<EOF
Hello World!

My name is ${USER}.
EOF

上記のコマンドを実行しても何も出力されません。

ヒアドキュメントとは一体何か？

本題にはいります。 cat で表示できたことから「ファイル」または「標準入力」のいずれかの扱いになるかと思いますが、以下のようなPHPスクリプトを作成してヒアドキュメントを食わせてみます。

test.php

<?php

# test.php というファイル名で作成
echo '== ARGS', PHP_EOL;
var_dump($argv);

echo '== STDIN', PHP_EOL;
while (($line = fgets(STDIN)) !== false) {
 echo $line;
}

大きく以下の２つの情報を出力しています。

grepで単語単位で検索("is"は対象とするが"this"は対象にしたくない)

Tue, 25 Jun 2019 08:30:16 +0900

はじめに

英単語一覧データが CSV ファイルとして提供されている場合に “is” を検索したいが、 “this” や “English” は対象から外したい、といったことを grep コマンドで実現する方法です。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

検索対象の英文サンプルを用意

今回処理させたい英文のサンプルを用意します。

cat <<'EOF' > sartre.txt
Man is condemned to be free.
Because once thrown into the world,
he is responsible for everything he does.
EOF

実存主義思想で有名なサルトルの言葉です。 余談ですが『存在と無』という書籍では「人間は自由という刑に処せられている」という思想を主張しているように、自由（自分で決められること）は責任を伴います。

上記の英文に対して、 to とう文字で検索してみることにします。

普通に `grep` コマンドを利用した場合

普通に grep to してみます。

$ grep 'to' sartre.txt
Man is condemned to be free.
Because once thrown into the world,

本来調べたかった “to” という文字以外に、 “into” という文字も見つかってしまいます。

シェルでファイルにリダイレクトしたときに"Permission denied"と怒られたときの対処

Sun, 23 Jun 2019 10:29:44 +0900

はじめに

定期的に質問される問題について。

「パイプで繋いで処理した情報を別ファイルにリダイレクトしたいが、実行ユーザの書き込み権限がないために Permission denied が発生してしまい良い方法がないか？」

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

具体例

前提

処理実行ユーザは root のような /etc ディレクトリ配下を編集する権限はない
ただし、 sudo を使えば変更が可能 + /etc 配下にファイルを書き込みたい

実行したい内容

/etc/passwd ファイルをフィルタリングして、 /etc/passwd.bk を作りたいとします。

# "genzouw" さんのユーザだけをバックアップしておきたい
$ grep genzouw /etc/passwd
genzouw:x:1000:1000::/home/genzouw:/bin/zsh

# > で書き出ししたいが権限がないと怒られる
$ grep genzouw /etc/passwd > /etc/passwd.bk
bash: /etc/passwd.bk: Permission denied

余談ですが、上記メッセージは以下の言語設定のときのメッセージです。

$ expr $LC_ALL
en_US.UTF-8

言語設定を日本語に変更されている場合は以下のようなメッセージが表示されます。

$ LC_ALL=ja_JP.UTF-8
$ grep genzouw /etc/passwd > /etc/passwd.bk
bash: /etc/passwd.bk: 許可がありません

`sudo grep` では解決しない

すぐに思いつくのは sudo を使う方法です。

シェルスクリプトで実行中のプロセスの終了を待機する方法(waitコマンド以外)

Wed, 19 Jun 2019 08:30:53 +0900

はじめに

シェルスクリプトで実行中のプロセスが終了を待機する方法について取り上げます。

簡単な方法として、 wait コマンドを利用する方法がありますが wait コマンドでは対応できないケースへの対処法についても取り上げます。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`wait` コマンドを利用する方法

まずは実行中のプロセスを作成

実行中のプロセスを以下のコマンドで作成します。

$ bash -c '
for i in {0..19}; do
 echo "execute($i)."
 sleep 1
done
' > log.txt &

急いで標準出力をリダイレクトした log.txt の内容を確認します。

$ tail -f log.txt
execute(0).
execute(1).
execute(2).
execute(3).
execute(4).
execute(5).
execute(6).
execute(7).
execute(8).
execute(9).
execute(10).
execute(11).
execute(12).
execute(13).
execute(14).
execute(15).
execute(16).
execute(17).
execute(18).
execute(19).

20回出力されて処理が終了します。

「grep」を使って稼働中のプロセスを確認する際に「grep」自身が引っかからないようにする方法いろいろ

Thu, 13 Jun 2019 09:00:34 +0900

はじめに

現在稼働中のプロセスを確認するときに、 ps aux コマンドを利用すると思います。 Linux上では多数のプロセスが常時動作しているため、流石にコマンドの表示内容から該当のプロセスを目視で探すのは至難の業です。したがって grep を使って絞り込むわけですが、よく遭遇する問題とこれを解決する方法について紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

`ps aux` を `grep` で絞り込んで見る

絞り込み対象のプロセスを作成します。 yes コマンドは y という文字列をエンドレスで標準出力に出力するコマンドですが、これをバックグラウンド実行します。単純に実行するとターミナルが y でいっぱいになってしまうので、 /dev/null （ 余談ですが、これをビットバケットと呼びます。 ）に流します。

$ yes > /dev/null &
[1] 20

ps aux コマンドの実行結果を grep で絞り込んでみます。

$ ps aux | grep yes
root 20 99.9 0.0 4372 728 pts/0 R 22:59 4:57 yes
root 25 0.0 0.0 9096 836 pts/0 S+ 23:04 0:00 grep yes

悲しいことに2行出力されてしまいます。 grep を実行した結果、自分自身も対象として見つかってしまいました。

Linuxシェルのパイプはメモリに優しい仕組みだった(バッファリングを学ぶ)

Wed, 12 Jun 2019 17:00:55 +0900

はじめに

先日、メンバからLinuxシェルにおけるパイプ機能について質問がありました。

パイプで繋いだ前後のプロセスは同時に起動する？
パイプで繋いだ前後のプロセスで、データのやり取りのためにどのぐらいのメモリを消費するのか？( 大量のデータを流した場合を懸念 )

回答したあとに、自分で言っていたことに少し自信がなかったので調べてみました。

特にメモリがどの程度使われるのか？について触れることがなかったので、実際にコマンドを実行しながら学習しました。

検証環境

$ uname -smoi
Darwin x86_64 MacBookPro16,1 Darwin

$ bash -version | head -n 1
GNU bash, version 4.1.2(1)-release (x86_64-redhat-linux-gnu)

$ seq --version | head -n 2
seq (GNU coreutils) 8.32
Copyright (C) 2020 Free Software Foundation, Inc.

Linux のパイプ処理の特徴についておさらい

command1 | command2 のようなパイプでつないだ処理の特徴をあげてみます。

command1 と command2 の両プロセスは同時に立ち上がる
command1 はメモリバッファに随時出力を書きだす
command2 はメモリバッファから随時入力を読み取る
カーネルで設定されているパイプのバッファサイズ分しかメモリを消費しない
command2 がバッファからデータを読み取り、バッファに空きができるまで command1 は書き出しを待機する

パイプのバッファサイズは、Linux 2.6.11以降デフォルトで 65536 bytes ( 4096 bytes/page * 16 pages ) となっています。

シェルスクリプトでファイルの最後からN行目に行を追加する

Mon, 10 Jun 2019 08:30:49 +0900

はじめに

シェルスクリプトで「ファイルの先頭行からN行目に行を追加する」のは簡単ですが、「ファイルの最終行からN行目に行を追加する」方法についてうまいやり方がないかについて質問されたのでワンライナーで実現できる方法について紹介します。

検証環境

$ bash -version
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

ファイルの先頭行からN行目に行を追加する

sed を利用します。 i という内部コマンドを利用します。

# 検証用のテストファイルを作成
$ seq 1 10 > seq.txt

# 確認
$ cat seq.txt
1
2
3
4
5
6
7
8
9
10

# 先頭行から5行目に行を追加
$ cat seq.txt| sed '5i test' > seq2.txt

# 確認
$ cat seq2.txt
1
2
3
4
test
5
6
7
8
9
10

ファイルの最終行からN行目に行を追加する

sed に加えて tac コマンドを利用します。仕組みは単純で、一度ファイルを逆順にしてから、先頭行からN行目に差し込んだ後、再度逆順にします。

「Amazon Cognito」で提供するログインページを自作してみる（`aws-cli`で構築）

Thu, 06 Jun 2019 23:41:17 +0900

はじめに

「Amazon Cognito」を使って既存のWebサービスのログイン認証機能を一部置き直す方法について、何パターンか検討してみました。

今まで検討してみた方法ですが、いずれも「Amazon Cognito」が提供するログインページをそのまま利用する、というものでした。

どうしてもログインページを既存のWebシステムのデザインに合わせたい、という場合にはログインページも既存のWebページのものを使う方法もあります。既存のWebページのものを流用する方法についてまとめてみました。

準備

今回はなるべくAWSの「マネージメントコンソール」からの操作を行わずに「Cognito」を使ったログイン機能を実装してみます。

そのため、以下のコマンドを利用することを前提としています。

aws コマンド
jq コマンド
npm コマンド

検証環境

$ aws --version
aws-cli/1.16.170 Python/3.7.3 Darwin/18.6.0 botocore/1.12.160

$ jq --version
jq-1.6

$ npm --version
6.9.0

作業開始

今回作成したプログラムは以下のGithubリポジトリにコミット済みです。試行錯誤した結果作成されたプログラムを負いながら手順を説明します。

GitHub - genzouw/aws-cognito-example-custom-page

圧縮されたソースファイルをダウンロードするか、 git コマンドで clone しておいてください。（Githubリポジトリページのソースコードを見ても良いです。）

$ git clone git@github.com:genzouw/aws-cognito-example-custom-page.git

※(2019-06-06) 便宜上、当エントリにGithubリポジトリ上のコードと同じ内容を貼り付けておきますが、メンテナンスはGithubリポジトリの方だけとする予定です。乖離する可能性があることをご了承ください。

ユーザープール・IDプールの作成

「Cognito」のユーザープール・IDプールを作成していきましょう。以下のシェルスクリプトを実行すれば、ユーザープール・IDプールの設定はほぼ完了します。

ただし、ソースコード内の以下の3つの環境変数はご自分で構築したい「ユーザープール」「アプリクライアント」「IDプール」の名前に変更しておきましょう。（何でも構いません）「リージョン」はご自分で環境を構築したい対象リージョンを設定ください。

※注意点として、いくつかの名前はハイフン - を利用するとエラーとなるため、アンダースコア _ を利用することをおすすめします。

シェルスクリプトでsedを使いカッコやダブルクォートで囲まれた部分のみ一括置換したい

Wed, 05 Jun 2019 09:00:18 +0900

はじめに

タイトルで説明しにくいのが辛い(-_-;)

僕も常々 sed でシングルクォートやダブルクォートで囲まれた部分のみ置換したいが、なんとかできないものか？と思っていましたので、紹介したいと思います。

検証環境

$ sed --version | head -n 1
sed (GNU sed) 4.7

やりたいこと

以下のような文字列があるとします。

私は、いろいろな国（日本、中国、韓国）に行ったことがあります。

これを以下のように置換したいと思います。

私は、いろいろな国（日本|中国|韓国）に行ったことがあります。

括弧の中の 、 だけを | に置換したいわけです。

`sed` の `s` 内部コマンドだけでは実現は難しい…

ぱっと思いつくのが sed 's/、/|/g' ですね。

$ echo '私は、いろいろな国（日本、中国、韓国）に行ったことがあります。' \
 | sed 's/、/|/g'
私は|いろいろな国（日本|中国|韓国）に行ったことがあります。

これだと 括弧の内側以外も置換されて しまいます。

$ echo '私は、いろいろな国（日本、中国、韓国）に行ったことがあります。' \
 | sed 's/（\([^、）]*\)、\([^）]*\)）/（\1|\2\）/g'
私は、いろいろな国（日本|中国、韓国）に行ったことがあります。

これだと、カッコ内の1つ目の 、 しか置換できません。

`sed` の `s` 内部コマンドとほかの内部コマンドを組み合わせる

: 内部コマンドと t 内部コマンドを組み合わせると、標準出力から受け取った文字列に s 内部コマンドの置換処理が適用できなくなるまで処理を繰り返すことができます。

: 内部コマンド → ラベルを作成
t 内部コマンド → s 内部コマンドが成功していたら、 : で付与したラベルまで遡る

$ echo '私は、いろいろな国（日本、中国、韓国）に行ったことがあります。' \
 | sed ':q; s/（\([^、）]*\)、\([^）]*\)）/（\1|\2）/g; t q'
私は、いろいろな国（日本|中国|韓国）に行ったことがあります。

ひとこと

括弧だけでなく、 ダブルクォートで囲まれた部分のみ一括置換したい 、 シングルクォーテーションで囲まれた部分のみ一括置換したい といったケースはよくあります。

Vue.jsを使ってこどもたちのために百人一首学習アプリを作ってみた

Tue, 04 Jun 2019 07:59:25 +0900

「Vue.jsでなにか作りたい」という思いと、子どもたちの「なにかゲーム作って欲しい」という思いから簡単なWebアプリを作ってみました。

ひゃくにんいっしゅをおぼえよう

数ヶ月前に作成したものですが、 index.html に 「Vue.js」 をCDNサーバ経由で読み込むだけの単純な作りでした。勉強のために以下の点を改良しました。

プロジェクトは vue init で生成
開発時は npm run dev でライブリローディング
外部のライブラリはすべて npm で管理
- axios
- bootstrap
- moment
- underscore
- vue
- vue-analytics
- vue-meta
- vuex
- firebase ( まだ使っていないが使いたい )

気になっているのは「SEO」の対策についてです。今回、HTMLの head タグ無いのメタ情報についても、「Vue.js」から埋め込むという荒業を行ってみました。 GoogleのクローラがJavaScriptをどの程度解釈してくれるのか？というのを一ヶ月ぐらいかけてみていこうと思います。

ちなみに、「Twitter」や「Facebook」にリンクを張った場合にはJavaScriptの動作はしてくれないようでアイキャッチ画像などは表示されません。 SNSでのシェアを考えた場合にはSSRを検討したほうが良さそうですね。

RAMに収まらない大容量ファイルを`sort`コマンドでソートする

Thu, 30 May 2019 08:54:40 +0900

はじめに

仕事で非常に大きなファイル(10GB)をソートする必要がありました。

ただし、データ容量が大きいためRAMに乗らず、 /tmp に大量の一時ファイルが配置されてしまい、ディスク不足で何度もハングしてしまいました。ハングしなかったとしても処理時間が大量にかかってしまっていました。

うまい方法がないかを試した結果を共有します。

※大量データを sort コマンドでソートするという方針がそもそも、という意見もありますがリソース不足（金、モノ、時間）でこの方法を取ることになりました。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ sort --version | head -n 1
sort (GNU coreutils) 8.22

準備

ソート対象となるデータファイルを作成します。業務で問題になったファイルサイズ（10GB）と比べると可愛いサイズとなっています。

$ for i in $(seq 1 50000000); do
 echo $RANDOM
done >target.txt

$ du -hs target.txt
512M target.txt

$ wc -l target.txt
50000000 target.txt

単純にソートしてみる

単純にソートしてみます。

3回試行してみることにします。

データ容量が大きすぎる場合には処理が終わらない、Swap領域不足になる、メモリ不足で落ちるなどが起こりえますが、今回はソート可能な容量ですね。

$ time bash -c "cat target.txt | sort > 1-1.txt"
real 1m58.322s
user 1m57.123s
sys 0m1.321s

$ time bash -c "cat target.txt | sort > 1-2.txt"
real 1m57.561s
user 1m56.348s
sys 0m1.333s

$ time bash -c "cat target.txt | sort > 1-3.txt"
real 1m57.741s
user 1m56.614s
sys 0m1.248s

# 念の為出力されたファイルに差分がないことを確認
$ diff 1-1.txt 1-2.txt
$ diff 1-2.txt 1-3.txt

分割してソートしてみる

こちらが大量データをソートするときに利用した方法です。

オープンできるファイル数上限を管理する「ファイルディスクリプタ」について（ `Too many open files` エラーを理解する）

Tue, 28 May 2019 09:00:21 +0900

はじめに

プロジェクトで大量のファイルを扱う必要があり、ファイルディスクリプタの話が出てきたので整理してみました。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ cat /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:centos:centos:7"
HOME_URL="https://www.centos.org/"
BUG_REPORT_URL="https://bugs.centos.org/"

CENTOS_MANTISBT_PROJECT="CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION="7"
REDHAT_SUPPORT_PRODUCT="centos"
REDHAT_SUPPORT_PRODUCT_VERSION="7"

ファイルディスクリプタとは

OSが以下のようなものにアクセスする場合に用いる識別子（ニックネームのようなもの）を 「ファイルディスクリプタ」 といいます。
- ファイル
- 標準入出力など

0から順番に整数の値が割り当てられますが、通常、以下の3つはOS（シェル）が最初に用意します。

0：標準入力（stdin）
1：標準出力（stdout）
2：標準エラー出力（stderr）

そのため、プログラムがファイルをオープンすると「3」から順番にファイルディスクリプタが割り当てられます。

作成できるファイルディスクリプタの上限数

ファイルディスクリプタは無限に使えるわけではありません。 プロセスごと に使える上限が設定されています。

作成できるファイルディスクリプタの上限数エラーを発生させてみる

作成できるファイルディスクリプタの上限数を確認してみます。 PHP を使った例を挙げます。

$ php -r '
$fd = array();
# 1022ファイルをオープンします
for ($i = 0; $i < 1022; ++$i) {
 $fd[] = fopen("${i}.txt", "w");
 fwrite($fd[$i], "hoge");
}
'

上記スクリプトは以下のような特徴があります。

「macOS Mojave」のダークモードをコマンドラインから切り替える方法

Sat, 25 May 2019 10:51:04 +0900

はじめに

コマンドラインでなんでもやりたいgenzouwです。会社のMacと自宅のMacの環境構築はすべてスクリプト化して、いずれも同じ設定になるようにしています。

さて、「macOS Mojave」で利用可能なDarkMode（ダークモード）ですが、こちらを有効にすると「省電力稼働となる」、「目が疲れにくい」といった効果があるということで有効にしていました。

久々に自宅のMacを開いたところこちらの環境だけDarkModeが有効になっていませんでした。

これは良くない、原因はGUIから設定したことにあるな、ということでコマンドラインから有効にする方法を模索してみました。

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin

`osascript` コマンドを使う

Macに搭載されている AppleScript というOS操作用のスクリプトを利用します。スクリプトを実行するためのコマンドは osascript です。

ダークモードを有効にする

以下のワンライナーコマンドをセットアップスクリプトにでも追記してやればOKです。

$ osascript -e 'tell application "System Events" to tell appearance preferences to set dark mode to true'

ダークモードを無効にする

「真偽値」部分を反転させるだけです。

$ osascript -e 'tell application "System Events" to tell appearance preferences to set dark mode to false'

ひとこと

AppleScriptってあんまり知らなかったのですが、以下のGithubリポジトリのソースコード覗いていたら上記の方法が書かれていました。勉強になりました。

GitHub - sindresorhus/dark-mode: Control the macOS dark mode from the command-line

既存のWebアプリで「Amazon Cognito」認証を利用する（その２:PHPのサンプルプログラムの実装）

Fri, 24 May 2019 01:29:26 +0900

はじめに

既存の Web アプリで「Amazon Cognito」認証を利用する（その１:処理フローの整理） | ゲンゾウ用ポストイットで「Cognito」の認証の流れを整理しました。

ここからは、PHP のサンプルプログラムを実装してより具体的に理解を深めていきたいと思います。

早速進めて行こうと思います。

ちなみに、 PHPのサンプルプログラムはGithubで公開しているので、参考にしていただければと思います。

( 実行するだけであれば、 「Docker Compose」 がインストールされていれば動きます。 )

GitHub - genzouw/aws-cognito-example

AWS Cognito の作成、設定

まずは AWS 側の設定を行っていきたいと思います。

1. 「Cognito」のユーザープールの作成

初めて Cognito にアクセスした場合、以下のようなページが表示されるはずです。

ユーザープールの管理 を選択して先に進みます。

ユーザープールを作成する をクリックします。

作成するユーザープール名を入力し、次に進みます。

ここでは g-user-pool というユーザープール名にしました。

後は次へ次へと進むだけです。

2.「Cognito」に新しい「アプリクライアント」の登録

「Cognito」のユーザープール設定ページから アプリクライアントの追加 をクリックします。

以下のように設定します。

アプリクライアント名 : aws-cognito-example ( ※こちらは好きな名前をつけましょう )
トークンの有効期限を更新 (日) : 1 ( 特にこだわりは有りませんでした。デフォルトの30日のままでも構いません。 )
クライアントシークレットを生成 : チェックを外す

3.「アプリクライアントの設定」

今度は左のタブから「アプリクライアントの設定」を開きます。以下のように設定します。

既存のWebアプリで「Amazon Cognito」認証を利用する（その１:処理フローの整理）

Wed, 22 May 2019 16:32:32 +0900

はじめに

以前、「Amazon Cognito」を使ってログイン機能を作成する（SNS 認証あり） | ゲンゾウ用ポストイットで「Amazon Cognito」のユーザ認証機能を利用してログインページを構築しました。

しかし、やりたかったことは既存の Web アプリケーションのログイン機能を「Cognito」を利用した仕組みに置き直すということだったため、完全ではありませんでした。

「Cognito」のユーザ認証が完了した後、既存のアプリケーションでそれを引き継ぐための仕組みを構築すべく、追加で調査をしました。（今回は整理にとどめて次回のエントリでサンプルコードの実装・公開をしたいと思います。）

改めて OAuth2 または OpenID Connect の処理フローについて

「Congito」を使ったユーザ認証は「OpenID Connect」という方式になります。「OAuth2」方式をベースとした後発の認証方式です。したがって「OAuth2」の理解を深めることが「OpenID Connect」の理解を深めることにつながると思いました。

僕が説明するより以下の記事を読むほうが圧倒的にわかりやすいです。

とはいえ、自分の頭の中を整理するため、自分なりにまとめてみます。

めっちゃ汚いですが、手書きの処理フローになります。（一部字が潰れたり上塗りされていたりしていますが（汗））

処理フローを箇条書きで文字起こし

登場人物は 3 つ、 “Browser” / “AppServer” / “Cognito” です。（“Browser"は人の形で表現しています。）

“Browser” は “AppServer” にアクセス
“AppServer” はログイン済みかを判定します。未ログイン状態の場合には “Cognito” に “redirect”（“redirect"の URL に対して事前に「Cognito」から払い出された「アプリケーション ID」などを付与）
“Cognito” は “login page” を返却
“Browser” は “login” を行う
“Cognito” は受け取った認証情報が正しければ “redirect” 。 “redirect” の URL の後方にはクエリ文字列形式で Authentication code と呼ばれるものを付与（ex: https://hoge.com/callback.html&code=xxxx ）
“AppServer” は受け取った Authentication code を使って Cognito にリクエスト
ID Token を取得
JavaScript では、ページの URL からフラグメントを切り出し、(5)で受け取った ID Token を抜き出すロジックが書かれている。
“AppServer” は HTML/JavaScript/ ID Token を返却。

取得できた 「ID Token」 ですが、「SPA」の場合は “Broser” の 「LocalStorage」 機能を使って保存しておき、以降の通信時に「HTTP Header」に付与して “AppServer” と通信を行うことで認証済みであることを証明します。

Bashシェルスクリプトでcolumnコマンドを使って出力内容を表として整形する

Mon, 20 May 2019 15:00:54 +0900

はじめに

先日 Gibo のソースコードを見ていたときに出力内容を表形式で表示させる方法が参考になったので整理しました。

column というコマンドを利用します。

column コマンドはよく使っていたのですが、知らなかったオプションを知ることができたので紹介しておきます。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ column --version
column from util-linux 2.23.2

標準入力の列の位置を揃える

column -t のように、 -t オプションを追加することで列の位置を揃えた表として出力できます。

「4行x3列」 の簡単なデータファイルを作成し、これを操作してみます。

cat <<EOF >input.txt
$RANDOM $RANDOM $RANDOM
$RANDOM $RANDOM $RANDOM
$RANDOM $RANDOM $RANDOM
$RANDOM $RANDOM $RANDOM
EOF

$ cat input.txt
30378 11629 2969
210 23946 10935
27622 25085 14115
31836 1141 14077

ランダムな大小の数値が不規則に並んでいます。

このファイルに対して column -t コマンドを実行します。

$ cat input.txt | column -t
30378 11629 2969
210 23946 10935
27622 25085 14115
31836 1141 14077

きれいに整形されました。

シェルスクリプトでunixtimeへ変換・unixtimeから変換をしてみる

Thu, 16 May 2019 08:20:57 +0900

はじめに

プロジェクトのテストフェーズでunixtimeの値が妥当かどうかを確認したかったのでコマンドライン上で確認した際に使ったコマンドを共有します。せっかくなのでunixtimeへ変換・unixtimeから変換の両方についてまとめてみました。

両方とも date コマンドを使って実現できます。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)


$ date --version | head -n 1
date (GNU coreutils) 8.31

unixtimeから変換

unixtimeから日時表記の文字列に変換するには、 -d オプションの引数として @ + unixtime の形式で文字列を指定します。

$ date -d @1557961216
木 5 16 08:00:16 JST 2019

$ date -d @1557961216 +"%Y-%m-%d %H:%M:%S"
2019-05-15 23:00:16

unixtimeへ変換

-d オプションに渡す文字列として、数字の前に @ を付けると、 UNIX時間での指定になる。

現在日時から算出

$ date +%s
1557961791

指定した日時から算出

$ date -d "1979-09-30 12:34:56" +%s
307542896

余談：unixtimeの始まりの値と戯れる

余談ですが、 unixtimeは「1970-01-01 00:00:00」から始まります。

「markdownlint」を使ってMarkdown記法の構文チェックを行う（Vimのaleプラグインと組み合わせるともっと便利に）

Tue, 14 May 2019 08:54:56 +0900

はじめに

手に馴染むエディタを使いコードを書きながら、同じぐらいドキュメントを書いてます。

アプリケーションの概要、報告書、ブログからメールに至るまで、最近はMarkdown形式で記載してそれぞれのビューアあるいはコンバータで変換して文字を起こすことが多くなっています。

Markdown記法を利用することのメリット

執筆効率がよい
- HTMLのようにタグを書かなくて良いためタイピング量が減る
- 簡単なメモでも早く綺麗に書ける
統一したドキュメント形式を保てる
汎用性が高い
- 関連ツールや利用できるサービスが多い
段落など見た目が統一される
- h1 / h2 / h3 / pre / li / bold …

Markdown記法は自由が多い

Markdown記法の習得は非常に容易です。実際僕も一日ほど使ったぐらいで移行することができました。理由の一つとして規約の少なさがあげられます。

Markdown記法は自由度を構文チェックで補う

自由度が高いがゆえに、統一感のないドキュメントが出来上がりがちです。例えばHTMLの文書構造として、 h1 タグの次には h2 タグが登場するべきであり、 h3 タグが登場してはおかしいですね。同様に # でタイトルを記載したあとに ### タイトルが来るとおかしいわけです。 # タイトルがないというのもやはり同様におかしいですね。

自由度の高いMarkdown記法ですが、構文チェックを行うことで、弱点を補うことができます。

Markdown記法の構文チェックツール「markdownlint」を使う

僕は 「markdownlint」 というLintツールを利用しています。

GitHub - DavidAnson/markdownlint: A Node.js style checker and lint tool for Markdown/CommonMark files.

導入手順

事前準備

Node.js製のツールとして提供されているため、Node.jsのインストールが必要です。以下のエントリを参照すればすぐにインストールが可能です。

Node.jsのインストール方法

markdownlintのインストール

npm コマンドでインストールします。

sedのe内部コマンドで指定された文字列をシェルコマンドとして実行させる

Mon, 13 May 2019 08:36:34 +0900

はじめに

sed コマンドの e 内部コマンドで指定された「文字列」をシェルコマンドと見直して実行させることができます。文章だけではわかりにくいので例を上げて説明したいと思います。

僕はこちらの機能をほとんど利用したことはありませんが、こういう機能もあるということで取り上げてみます。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

$ sed --version
sed (GNU sed) 4.2.2

準備

テストデータを用意します。各行に1から20の値を出力したファイルになります。

$ seq 1 20 > test.txt

# 最後の10行を表示
$ tail test.txt
11
12
13
14
15
16
17
18
19
20

0がつく文字列のときだけ時刻を表示させる

0がつく文字列のときだけ、 date コマンドで時刻を表示させてみます。

$ cat test.txt | sed '/0/e date;'
1
2
3
4
5
6
7
8
9
Sun May 12 23:28:00 UTC 2019
10
11
12
13
14
15
16
17
18
19
Sun May 12 23:28:00 UTC 2019
20

もともとの数値（ 10 / 20）も表示させてしまっているため、削除ロジックも追加してみます。

DockerでクリーンなVue.js開発環境を構築してみる

Fri, 10 May 2019 12:59:07 +0900

はじめに

Vue.jsの開発のためのクリーンな環境を構築するためにDockerを使った場合の流れをまとめてみました。

開発用ディレクトリの作成とGit初期化

今回作成するVueのプロジェクト名は my-app としたいと思います。

$ mkdir -p my-app

# カレントディレクトリを変更しておきます
$ cd my-app

Docker環境起動

Dockerイメージを作成

Vue開発に必要なライブラリをGlobalインストールしたDockerイメージを作成します。

まずは、以下のような Dockerfile を作成します。

$ cat <<'EOF' >Dockerfile
FROM node:13.7.0-alpine3.10

RUN npm install -g vue-cli \
 && npm install -g @vue/cli-service-global
EOF

Buildします。作成するDockerイメージ名はdocker-vueとしています。

$ docker build -t docker-vue .

問題なくイメージが作成できれば、次に進みましょう。

Vueアプリケーションの初期化

以下のコマンドを実行してプロジェクトを作成します。何度か選択肢を聞かれますが、はデフォルトのままで問題ありませんのでEnterキーを連打します。

# 以降のコマンドで利用している ${PWD##*/} は、カレントディレクトリ名となっている
$ echo ${PWD##*/}
my-app

$ docker run --rm -v $PWD:/${PWD##*/} --workdir /${PWD##*/} -it docker-vue \
 vue init webpack .

うまく行けば以下のようなメッセージが表示されます。（数分かかりますのでのんびり待ちましょう。）

Github上のOSSにプルリクエストをあげるための手順をまとめました

Wed, 08 May 2019 23:38:20 +0900

はじめに

以下のOSSに対して、プルリクエストを上げたいと思ったのですが、「この作業以前もやっていたよな？」と思いました。いい機会なのでプルリクエストの上げ方を整理してみました。

GitHub - simonwhitaker/gibo: Easy access to gitignore boilerplates

手順

1. リポジトリをForkします

ターゲットとなるリポジトリのトップページを開き、ページ右上の 「Fork」 のボタンを押します。

以下のようなダイアログが表示された場合はフォーク後のリポジトリの所有者となる「ユーザ」 or 「チーム」を選択してください。

Forkが始まったらしばし待ちましょう。

Forkが完了すれば、以下のようなページが表示されるはずです。（リポジトリ名のスラッシュの前、所有者名が genzouw という僕のアカウント名に変わっていますね。）

2. リポジトリをクローンします

ここからはブラウザ上の操作から変わって、コンソールの作業となります。

git コマンドを使ってプロジェクトをクローンします。

リポジトリのURLは、先程の「Fork済みリポジトリページ」の右上にある「Clone or download」というボタンからクリップボードにコピーできます。

今回のリポジトリは以下のようなURLになりました。

git@github.com:genzouw/gibo.git

git コマンドでクローンし、フォルダに移動します。

$ git clone git@github.com:genzouw/gibo.git \
 && cd gibo

3. 「変更内容をコミットするためのブランチ」を作成します

「変更内容をコミットするためのブランチ」を作成します。

今回は「GitFlow」を参考に feature/find_files_in_subdirectories というブランチ名にしています。 find_files_in_subdirectories の部分には改修内容がわかるようにスネークケースで名前をつけています。

$ git checkout -b feature/find_files_in_subdirectories

4. ファイルの編集・追加を行う

適宜変更しましょう。省略します。

5. ファイルの編集・追加をローカルリポジトリに反映させる

git add コマンドを使って変更対象のファイルをローカルリポジトリに反映させます。

AWS-CLIを実行したら `CERTIFICATE_VERIFY_FAILED` というエラーメッセージが表示されてハマってしまった

Tue, 07 May 2019 08:53:27 +0900

背景

GWの10連休に入る直前に実行したところ、突然エラーメッセージが表示され正常に動作しなくなってしまいました。

どのようなエラーメッセージが表示された？

SSL validation failed for https://ec2.ap-southeast-1.amazonaws.com/ [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed

実行環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

$ aws --version
aws-cli/1.16.140 Python/3.7.3 Darwin/18.5.0 botocore/1.12.130

どのように `aws-cl` を利用していたか？

EC2 環境を構築するための簡易なシェルスクリプトを作成し、その中で何度か aws コマンドを実行していました。
シェルスクリプトは Bash で動作するようにシバンを設定していました。
- #!/usr/bin/env bash

試してみたこと

`aws` コマンドのバージョンアップ

はじめは aws-cli のバージョンアップが原因かと思い、バージョンアップしてみたが、問題は解決しませんでした。

`aws` コマンドのオプション追加

以下のエントリを見つけました。

aws-cliでCERTIFICATE_VERIFY_FAILEDが出た時の対処 - hatunina’s blog

aws コマンドに --no-verify というオプションを付与すればエラーを無視できるということですが、、以下の理由により他の方法で対処することにしました。

aws コマンドを実行するたびにこのオプションを付与しないといけないのが煩わしい
原因の根治となっていない

根治できないので他の作業をしていたところやはりハマる

根治できないので他の作業して時間のある時に調査しよう、と思ったのですがGithubからgit cloneしようとしたタイミングで関係ありそうなエラーでハマりました。

$ git clone https://github.com/kward/shunit2.git
Cloning into 'shunit2'...
fatal: unable to access 'https://github.com/kward/shunit2.git': LibreSSL SSL_connect: SSL_ERROR_SYSCALL in connection to github.com:443

HTTPSによる通信全般がエラーとなっているのでは？と思ったので以下のコマンドを試してみましたが、案の定同じ問題が発生しました。

シェルスクリプトで標準入力から1文字ずつ取り出して処理したい

Wed, 01 May 2019 06:29:56 +0900

はじめに

標準入力から1文字ずつ取り出して処理したい場合にどのように書いたらよいかについて。今まで使っていた fold では問題があったのでもう一度勉強し直した。

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

`fold`を使う

fold コマンドは、テキストファイルなどを読み込み、指定した幅で改行して出力するコマンドです。改行文字を「挟み込む」とイメージするとよいでしょう。

これと -w 1 オプションを使って標準入力の内容を1文字ずつに分割できます。

$ echo "abcdefg"
abcdefg

$ echo "abcdefg" | fold -w 1 | while read c; do
 echo "[${c}]"
done
[a]
[b]
[c]
[d]
[e]
[f]
[g]

`fold`では全角文字に対応できない

今までfoldを使っていたのですが、こちら全角文字に対応できないようです。（幸い全角文字を取り扱うケースがあまりなかったようです。）

$ echo "abcあいeう fg" | fold -w 1 | while read c; do echo "[${c}]"; done
[a]
[b]
[c]
[]
[]
[]
[]
[]
[]
[e]
[]
[]
[]
[f]
[g]

`grep`を使う

grep に -o オプションというものがあります。 grep は通常条件にマッチした行を出力しますが、 -o オプションを付けると条件にマッチした部分だけを出力することができます。

Amazon DynamoDBのプライマリーキーの２つのタイプについて理解できたことをまとめました

Sun, 28 Apr 2019 10:35:24 +0900

はじめに

Amazon DynamoDBの構成要素について理解できたことをまとめました | ゲンゾウ用ポストイットで「テーブル」、「項目」、「属性」、「プライマリーキー」について整理しましたが、今回は「プライマリーキー」についてもう少しわかったことをまとめてみました。

プライマリーキーのタイプとデータの保存方法

プライマリーキーを構成する「属性」の数が1つか複数かで用途や考えないといけないことが異なるようです。

単一「属性」で構成されるプライマリーキー : 「パーティションキー」タイプ
複数「属性」で構成されるプライマリーキー : 「パーティションキー+ソートキー」タイプ

データの保存方法にも違いがあります。両者はどう違うのでしょう？

「パーティションキー」タイプ

1つの属性で構成されたシンプルなプライマリーキーとなっています。

キーの値を「ハッシュ関数」という特殊な関数を使って変換します。変換後の値で、「項目」を配置するデータ格納場所がきまります。つまり「ハッシュ関数」とは、データ置き場を決めるための関数なのです。

「ハッシュ関数」を使ったデータ配置のメリットは、データの検索が高速であることです。データが一箇所に集まってしまうと検索が遅くなってしまいます。データが整理されないまま入れ物にごった煮にされている状態を想像してください。「ハッシュ関数」を使ってデータの配置場所を決められれば、データの検索が高速にできるわけです。

「ハッシュ関数」の結果はできる限りバラバラになるように考えられています。（このあたりはハッシュ関数の実装次第なのでおそらくそうなっているはずです。）もしバラバラにならなかったとすると、特定のデータ配置場所にだけデータが集まってしまい、やはり検索が遅くなってしまうからです。

「パーティションキー+ソートキー」タイプ

2つの属性で構成されたプライマリーキーは、属性のうち一つがパーティションキーとなり他方がソートキーとなります。 ( 複合プライマリーキーと呼ばれたりもします。 )

パーティションキーのメリットはデータ配置場所が分散することでスキャンが高速になることでした。プライマリーキーが2つの属性で構成された場合、当然のことながら1つの属性でしか構成できないパーティションキーの値は重複する可能性があります。

これではハッシュ関数を利用したデータ分散のメリットが薄れてしまいます。ハッシュ関数で計算したデータ配置場所にデータが集まる傾向が高くなるためフルスキャンの問題と同様のことが発生します。

そこでソートキーです。データがバラバラに並んでいる場合にはフルスキャンを行わなければデータを見つけることができません。しかし、データがソートされていれば高速な探索アルゴリズムを使うことができます。 ( 僕は高速な探索アルゴリズムを知っているわけじゃないのですが二分探索の速さぐらいはイメージできます。 )

図鑑で探しものをする場合を例に上げましょう。分からない単語は一番後ろの索引を使って掲載ページを特定します。掲載ページが特定できたら、ページをペラペラ送りながら該当ページを探していきます。該当ページを用意に探す事が出来るのもページ番号が小さい値から大きな値に正しく並んでくれてるからこそです。

パーティションキーは1つしか設定できず、他方はソートキーになることにはメリットもあります。ソートキーを構成する「属性」は範囲を指定して検索することができます。

※ユーザのアクセス履歴情報(未ソート)に対して12:00〜14:00のデータを検索する場合

※ユーザのアクセス履歴情報(ソート済)に対して12:00〜14:00のデータを検索する場合

「パーティションキー+ソートキー」タイプの注意点

「パーティション+ソートキー」タイプを利用場合には、注意しないといけないケースがあります。 ホットパーティション問題 と呼ばれる事象です。

パーティションキーの偏りにより発生する問題です。

以下の手書きのメモを例に取り上げます。

プライマリーキーは2つの属性から構成されているものとします。

パーティションキー	ソートキー	ハッシュ関数で算出されたデータ配置場所
001	x	A
001	y	A
001	z	A
001	a	A
001	b	A
——————–	————	—————————————-
002	x	B
——————–	————	—————————————-
003	y	C

このとき、パーティションキー属性の値が 001 であるデータが非常に多いため、A のパーティションのみデータ量が増加することとなります。当然アクセス数もこのパーティションだけ多くなることでしょう。

Amazon DynamoDBの構成要素について理解できたことをまとめました

Sat, 27 Apr 2019 23:10:11 +0900

はじめに

AWS-CLIを使ってDynamoDBを操作してみるで「AWS CLI」から「DynamoDB」を操作してみました。

ただし、しっかり「DynamoDB」の仕組みについて理解できていなかったので、改めてドキュメントを読み進めて理解できたことを整理したいと思います。

※誤りが多分にあるかと思いますので指摘を喜んでお待ちしております。

ちなみに、プライマリーキーについて更に整理した内容は以下のエントリにまとめています。

Amazon DynamoDBのプライマリーキーの２つのタイプについて理解できたことをまとめました | ゲンゾウ用ポストイット

参考資料

DynamoDB コアコンポーネント - Amazon DynamoDB

DynamoDBの構成要素

DynamoDBの構成要素は多くの点でリレーショナルデータベース（以下RDB）によく似ています。 RDBを理解していれば理解しやすいと思います。

概念	説明
テーブル	RDBでいうテーブル。「項目」の集合。
項目	RDBでいうレコード（行）。「属性」の集合。
属性	RDSでいうカラム（列）。
プライマリーキー	RDSでいうプライマリーキー。1つあるいは2つの属性の組み合わせでテーブルの全「項目」で一意でなければならない。

AWSのマニュアルでは、具体例として People というテーブルとそのデータ構造について触れています。

先に触れた構成要素と上記のサンプルデータの対応は以下のようになります。

概念	説明
テーブル	People
項目	3項目。
属性	PersonId, LastName, FirstName, Phone(1項目目のみ), Address(2項目目のみ), FavoriteColor(3項目目のみ)
プライマリーキー	PersonId だけで構成される単一プライマリーキー

プライマリーキーの「属性」の特徴・制約

プライマリーキーは1つ以上の「属性」で構成しなければならない

先に触れたとおり、プライマリーキーは単一の属性だけで構築しても良いですし、複数の属性で構成することもできます。

具体的な例を上げると、以下のようになります。

単一「属性」で構成されるプライマリーキー : 銀行テーブルに対する銀行コード
複数「属性」で構成されるプライマリーキー : 銀行支店テーブルに対する銀行コード+支店コード

「テーブル」にはプライマリーキーは必須となりますので、当然「テーブル」内の「項目」は最低でも1つの「属性」を持つことになります。

プライマリーキーは一意な値でなければならない

DynamoDBのプライマリーキー属性値は重複を許しません。

銀行テーブルには銀行コードの重複はありえません
銀行支店テーブルには銀行コード+支店コードの重複はありえません

プライマリーキーはスカラー値でなければならない

プライマリーキーはスカラー値でなければいけません。以下のいずれかでなければなりません。

AWS-CLIを使ってDynamoDBを操作してみる

Sat, 27 Apr 2019 00:18:37 +0900

LambdaからDynamoDBを操作する必要があったのだけれども、 DynamoDBにあまり触れる機会もなく今まで来ました。

コマンドラインからテーブルの作成やデータ投入を行ってみることにしました。

操作するためのツールとして AWS CLI を使ってみます。

ちなみに、DynamoDBの構成要素や概念を整理した内容は以下のエントリにまとめました。

Amazon DynamoDBの構成要素について理解できたことをまとめました | ゲンゾウ用ポストイット

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ aws --version
aws-cli/1.16.140 Python/3.7.3 Darwin/18.5.0 botocore/1.12.130

DynamoDBの概念・コンセプトを整理してみる

Amazon DynamoDBの構成要素・コンセプト

「Amazon DynamoDB」を構成する要素については、別のエントリで整理しておきました。

Amazon DynamoDBの構成要素について理解できたことをまとめました | ゲンゾウ用ポストイット

上記エントリでまとめましたが、抑えておく用語は以下の４つです。

テーブル
項目
属性
プライマリーキー

コンセプト

DynamoDBではデータを抽出する方法は大きく２つとなります。

プライマリーキー で検索し項目を受け取る
全項目を受け取りプログラムで絞り込む

データ量が増えた場合は (2) の方法は現実的ではなくなるため、 (1) でデータを取得できるように設計する必要があります。

検証用のテーブル定義

上記の概念やコンセプトを理解した上で、今回検証用に作成したいテーブルの定義を整理しておきます。

検証用のtable名

ユーザ情報を管理する users というtableを作成します。

検証用の属性名

users テーブルは以下のような属性（RDSでいうところの列情報）を保持します。

Name	Type	プライマリーキー?
email	String	Y
first_name	String
last_name	String
age	Number

「属性」には型を設定する必要があります。連想配列や配列などを指定できますが、最もよく利用するのは「文字列」と「数値」となるでしょう。

sortコマンドでCSVファイルをソートする場合はソート列の指定方法に注意

Wed, 24 Apr 2019 08:37:09 +0900

はじめに

sortコマンドを使ってソートを行うとき、「CSVファイル」や「TSVファイル」を対象とすることがあります。

ただし、意外と知られていないのがソートの条件として任意の列を指定する方法について。

-kオプションを使えば可能なのですがひと癖あるオプションなので取り上げました。

sortコマンドの挙動でハマった方の手助けになれば幸いです。

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.7(1)-release (x86_64-apple-darwin18.5.0)

$ sort --version
sort (GNU coreutils) 8.31

準備

CSVをJSONに変換するためのNode.jsライブラリ「csv2json」 | ゲンゾウ用ポストイットでも使ったダミーデータ生成サービスを利用してCSVデータを取得します。

test.csv


# ヘッダー行は次のようになっています。（今回はさほど重要ではありません）
## 連番,氏名,氏名（カタカナ）,性別,年齢,取得ポイント
$ cat test.csv
1,小出里歩,オデリホ,女,27,85
2,吉野里紗,ヨシノリサ,女,38,894
3,本郷末治,ホンゴウスエジ,男,56,252
4,谷村千代乃,タニムラチヨノ,女,44,556
5,内野響子,ウチノキョウコ,女,44,170
6,塩谷貢,シオタニミツグ,男,34,494
7,児島愛子,コジマアイコ,女,39,675
8,白木俊史,シラキトシフミ,男,57,245
9,飯塚遥佳,イイヅカハルカ,女,20,974
10,阿久津清蔵,アクツセイゾウ,男,9,120

整形すると以下のようなデータとなります。

$ cat test.csv | column -t -s,
1 小出里歩 オデリホ 女 27 85
2 吉野里紗 ヨシノリサ 女 38 894
3 本郷末治 ホンゴウスエジ 男 56 252
4 谷村千代乃 タニムラチヨノ 女 44 556
5 内野響子 ウチノキョウコ 女 44 170
6 塩谷貢 シオタニミツグ 男 34 494
7 児島愛子 コジマアイコ 女 39 675
8 白木俊史 シラキトシフミ 男 57 245
9 飯塚遥佳 イイヅカハルカ 女 20 974
10 阿久津清蔵 アクツセイゾウ 男 9 120

CSVやTSVのソートに使われるオプションは２つ

sortコマンドでCSVデータを取り扱う際には、「列の区切り文字」と「ソートに利用する列」を指定する必要があります。

sortコマンドで複数のソート済みファイルを連結して１つのソート済みファイルを高速に作成する

Mon, 22 Apr 2019 17:52:08 +0900

はじめに

巨大なソート済みファイルを連結して１つのソート済みファイルにしたかったが、巨大すぎて処理に時間がかかって困ってしまいました。

連結元のファイルはソート済みなので、うまいことマージすれば高速に処理できそうな気もします。

うまい方法が無いか調べてみました。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.3(1)-release (x86_64-apple-darwin18.2.0)

$ sort --version
sort (GNU coreutils) 8.31

検証準備

1〜1000000 までの数値が格納されている2つのファイル a.txt 、 b.txt を用意します。

これを連結し、全体としてソートされているファイルを作成したいと思います。

$ seq 1 1000000 > a.txt
$ seq 1 1000000 > b.txt

$ wc -l a.txt
1000000 a.txt
$ wc -l b.txt
1000000 b.txt

`sort`コマンドで普通にソート

sortコマンドに複数のファイル名を渡すことで、連結し全体としてソートすることができます。 timeコマンドと一緒に実行し実行速度や負荷を計測してみます。

3回計測します。

$ time sort -n a.txt b.txt > c
sort -n a.txt b.txt > c 1.31s user 0.25s system 269% cpu 0.579 total
$ time sort -n a.txt b.txt > c
sort -n a.txt b.txt > c 1.27s user 0.23s system 278% cpu 0.540 total
$ time sort -n a.txt b.txt > c
sort -n a.txt b.txt > c 1.26s user 0.22s system 287% cpu 0.512 total

ユーザーCPU時間	システムCPU時間	CPU使用率	処理時間(経過時間)
1.31s user	0.25s system	269% cpu	0.579 total
1.27s user	0.23s system	278% cpu	0.540 total
1.26s user	0.22s system	287% cpu	0.512 total

CPUが複数格納されているPCですので、並列処理してくれたみたいですね。頑張ってくれました。

「Amazon Cognito」を使ってログイン機能を作成する（SNS認証あり）

Sun, 21 Apr 2019 08:56:27 +0900

はじめに

ログイン認証機能を実装するための方法をいくつか調査中。

候補として上がっているのは大きく２つ。

“Amazon Cognito”
“Firebase”

まずは Cognito の調査からすることにしました。

マニュアルを読みながら設定を進めて見ましたが、文章が多く初見殺しのイメージがあったので、設定時のスクリーンショットを残しておきました。そちらを共有したいと思います。

Cognito の設定で躓いた方の参考になれば幸いです。

準備

僕はさっと AWS のマニュアルを読みました。実際に行った作業も以下のマニュアルを元に進めました。

( 書かれている内容通りに進められる方は当エントリを参考にする必要はないかと思います。 )

Amazon Cognito の使用開始 - Amazon Cognito

Cognito アーキテクチャ

概念として認証・認可情報を管理する “ユーザープール” と “ID プール” というものを理解する必要があります。

いずれの概念もまだ掴みきれていないのですが、マニュアルを読みつつ、触りつつ理解していこうと思います。今回触るのは “ユーザープール” のみになります。

設定方法

早速設定を進めていきましょう。

先にも述べたとおり、 AWS が提供してくれているマニュアル通りに進めていきます。

ステップ 1.ユーザープールを使用してユーザーディレクトリを作成する

ステップ 1.ユーザープールを使用してユーザーディレクトリを作成する - Amazon Cognito を参考に作業を進めます。

Amazon Cognito コンソールを開きます。

[ユーザープールの管理] を選択します。

ページの右上にある [ユーザープールを作成する] を選択します。

ユーザープールの名前を入力し、[デフォルトを確認する] を選択して、名前を保存します。

[属性] ページで、[E メールアドレスおよび電話番号] および [E メールアドレスを許可] を選択します。

設定ができたら、ページの下部にある [次のステップ] を選択して属性を保存します。

Dockerfileで複数行を改行付きでechoする際にハマったので共有しておきます

Wed, 17 Apr 2019 08:05:00 +0900

はじめに

最近Dockerfileを作成したときに、 RUN コマンド内で改行付き情報を echo したかったのですが、多少ハマってしまったので共有します。

「2019-07-17 追記」コメント欄より

コメントを下さった Nig さん、ありがとうございます。勉強になりました。

以下のような構文を利用する際に、シングルクォーテーション( ' )で記述しないといけない部分がダブルクォーテーション( " )になっていたことが原因とのことでした。

*※debian系のLinuxOSを利用している場合、シングルクォーテーションの前の $ を削除しないといけないようです。不要な $ が出力されてしまいました。

FROM centos:centos7

RUN echo $'\n\
alias ll="ls -l"\n\
alias la="ls -a"\n\
alias lla="ls -l -a"\n\
' >> /root/.bashrc

※上記のスタイル以外で記述したい方は、当エントリを読み進めいただく意義はあるかと思います。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ docker --version
Docker version 18.09.2, build 6247962

経緯（失敗例）

Dockerイメージ作成のために「Dockerfile」を作成しました。

その際に、.bashrcファイルにaliasを追加したかったので、 ネット上に転がっている情報を参考に 以下のように記述しました。

FROM centos:centos7

RUN echo $"\n\
alias ll='ls -l'\n\
alias la='ls -a'\n\
alias lla='ls -l -a'\n\
" >> /root/.bashrc

echo コマンドの引数として渡す情報の各行末に \n\ と記述することで、以下の命令と同等の出力が行われるとのことでした。

PostgreSQLサーバの全データベース名を取得し配列に格納するシェルスクリプト

Mon, 15 Apr 2019 08:13:51 +0900

はじめに

QiitaでPostgreSQLのデータベースの名称をシェルスクリプトのリスト変数にセットする方法という記事を見つけたので、僕もやってみました。

データベースの名前を配列として取得するシェルスクリプト

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.3(1)-release (x86_64-apple-darwin18.2.0)

準備

`db_list.sh`

#!/usr/bin/env bash

declare -r DB_HOST="${1}"
declare -r DB_USER="${2}"
declare -r DB_PASS="${3}"

declare -a DB_NAME_LIST=$(
 PGPASSWORD="${DB_PASS}" psql \
 --tuples-only \
 --no-align \
 --username "$DB_USER" -h "$DB_HOST" \
 -c 'SELECT datname FROM pg_database'
)

# 動作確認
for DB_NAME in "${DB_NAME_LIST[@]}"; do
 echo "$DB_NAME"
done

解説

psql -l を使えば、DBの一覧は取得できるんですが、一部扱いにくい出力箇所があります。（ template0 / template1 / postgres の３つの組み込みDB）

例

...
xxxxxxx | postgres | UTF8 | ja_JP.UTF-8 | ja_JP.UTF-8 |
template0 | postgres | UTF8 | ja_JP.UTF-8 | ja_JP.UTF-8 | =c/postgres +
 | | | | | postgres=CTc/postgres
template1 | postgres | UTF8 | ja_JP.UTF-8 | ja_JP.UTF-8 | =c/postgres +
 | | | | | postgres=CTc/postgres
yyyyyyy | postgres | UTF8 | ja_JP.UTF-8 | ja_JP.UTF-8 |
zzzzzzz | postgres | UTF8 | ja_JP.UTF-8 | ja_JP.UTF-8 |
...

これに対応するためにカテゴリテーブルを直接見に行っています。

シェルスクリプトでスクレイピングするために`pup`を使う

Sun, 14 Apr 2019 12:32:01 +0900

はじめに

以前、シェルスクリプトからhtmlのスクレイピングをしたときの方法を共有します。

Go言語で作られたpupというツールを使いました。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

pup とは

コマンドラインの HTML 解析ツールです。

標準入力から情報を読み込み、標準出力に結果を出力します。

それだけだと cat と同じなのですが、 HTML の要素をフィルタリングすることができます。フィルタリングのための HTML 要素指定方法として、一般的に利用されている CSS Selectors が利用できます。

pup ツール開発の背景

jq コマンドにインスパイアされたようです。

jq といえばコマンドライン上で JSON データを操作するためのツールですが、HTML データをターゲットとしたものとして開発されたようです。

pup インストール

別のエントリで、環境を汚さずにDockerを使ってpubを使うための方法を投稿しています。 Dockerが使い慣れている方はこちらもどうぞ。

以下のツールを利用します。

GitHub - ericchiang/pup: Parsing HTML at the command line

go get コマンドを使ってインストールするため、事前に go のインストールが必要です。

Goのインストール

# 何はともあれパッケージをアップデート
$ sudo yum update -y

# epelリポジトリを追加して、Goをインストールできるようにする
$ sudo yum install epel-release -y

$ sudo yum install golang -y

以下のコマンドが正しく実行できていればGoのインストールは完了です。

Bashシェルスクリプトでファイルや標準入力の先頭N行、末尾N行を除去する方法

Thu, 11 Apr 2019 07:55:23 +0900

はじめに

シェルスクリプトで標準入力で受け取った情報の先頭N行、末尾N行を削る方法について紹介します。

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.3(1)-release (x86_64-apple-darwin18.2.0)

$ head --version | head -n 1
head (GNU coreutils) 8.22

$ tail --version | head -n 1
tail (GNU coreutils) 8.22

標準入力として渡すデータ

seq コマンドを使って、 1〜10 の数値を渡して、先頭の 2行と末尾の 2行を削ってみます。

$ seq 1 10
1 << ※ここを削除
2 << ※ここを削除
3
4
5
6
7
8
9 << ※ここを削除
10 << ※ここを削除

`head` , `tail` を使う

head はファイルや標準入力の先頭から何行を出力（デフォルトでは10行）というように使うケースが多いですが、 「ファイル末尾から数えて何行目より前をすべて出力」 という場合にも利用できます。-n - という変わったオプションを利用します。

sedを使ってキャメルケース、スネークケースの相互変換を行う

Wed, 10 Apr 2019 08:00:16 +0900

はじめに

プロジェクトのソースコードの中のスネークケース文字列をキャメルケース文字列に変換する必要があったので sed で変換できるか試してみました。

検証環境

$ sed --version
sed (GNU sed) 4.2.2

スネークケースからキャメルケースへの変換

ロジック解説

全て小文字に変換
_? （アンダースコアと何かの文字）の組合せを探し置換
- _ （アンダースコア）は除去
- _ に続く文字を大文字に変換

# 4つのテストケースを実行
$ cat <<EOF | sed -r 's/.*/\L\0/g; s/_([a-z0-9])/\U\1/g;'
xxx_yyy_zzz
XXX_YYY_ZZZ
xYz
XYz
EOF

xxxYyyZzz
xxxYyyZzz
xyz
xyz

キャメルケースからスネークケースへの変換

ロジック解説

先頭1文字を小文字に変換
大文字を探し置換
- _ （アンダースコア）を前に付与
全て小文字(あるいは大文字)に変換

変換（小文字のみ）

小文字のスネークケースに変換

# 3つのテストケースを実行
cat <<EOF | sed -r 's/^./\L\0/; s/([A-Z])/_\1/g; s/.*/\L\0/g;'
xxxYyyZzz
XxxYyyZzz
XyZ
EOF

xxx_yyy_zzz
xxx_yyy_zzz
xy_z

変換（大文字のみ）

大文字のスネークケースに変換

"pstree"を使ってあるプロセスの子プロセス・孫プロセスを確認する

Tue, 09 Apr 2019 09:14:27 +0900

はじめに

子プロセスをバックグラウンド起動して並列処理行うシェルスクリプトを作成したが以下の点を確認したいと思いました。

子プロセスが正しく立ち上がっているのか？
子プロセスが過剰に立ち上がっていないか？
子プロセスはどのぐらいの期間生存しているのか？

確認する方法を以下にまとめます。

検証環境

今回も検証環境として Docker を使いました。 もちろんDockerを使う必要はないのですが、クリーンな環境が欲しかったので利用しました。

$ docker run --rm -v $PWD:/mnt -it genzouw/centos-sandbox bash

$ uname -a
Linux 0869a1789807 4.9.125-linuxkit #1 SMP Fri Sep 7 08:20:28 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

$ bash -version
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

pstreeコマンド

pstreeは、現在動作しているプロセスをツリー形式で表示するコマンドです。

コマンド名のとおり、「どのプロセスからどのプロセスが起動しているのか」という ツリー構造 が分かりやすく表示されるので、プロセスの実行状況を確認するのに便利です。

`pstree`コマンドのインストール

早速実行してみます。

$ pstree
bash: pstree: command not found

いきなりですが、「コマンドが見つからない」というエラーが発生しました。普通にCD/DVDからインストールしたLinuxディストリビューションにはインストール済みかと思いますが、 Docker 環境は軽量化のために必要最低限のコマンドしかインストールされていないことが多いです。

インストールする場合は以下のコマンドを実行します。

$ yum install -y psmisc

出力される内容を見てみる

早速実行してみます。いくつかの環境で試してみます。

Let's Encrypt でワイルドカード証明書を発行してすべてのサブドメインにhttpsを適用

Sat, 06 Apr 2019 16:51:10 +0900

はじめに

僕のブログやその他検証プログラムを配置しているラボページなどはいずれも「Let’s Encrypt」を使ってSSLを実現しています。

「Let’s Encrypt」のワイルドカード証明書の更新を行っていて、再度新たに設定し直したのですがやり方を忘れないように「ポストイット」にして貼り付けておきます。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ apachectl -v
Server version: Apache/2.4.6 (CentOS)

事前作業

ドメイン が必須なので、事前に取得しておきましょう。
- ※今回のブログ用に spinosaurus.work というドメインを取得し手順を整理しました。
DNSレコードとして、ワイルドカードのAレコードを作成しておくとこのあとの確認がしやすいです。
- 例えば *.spinosaurus.work のようなレコード

作業手順

「Let’s Encryt」用のワイルドカード証明書を作成し、認証局・Webサーバに設定するために Certbot というツールを利用します。

インストールしたあとは Certbot を使えばあっという間にSSLによる通信ができ当たります。

「Certbot」のインストール

yum でインストールができるのですが、最新バージョンでない場合に正常に動作しないことがあってハマりした。はまらないように最新バージョンを使うことをおすすめします。 ( yum でインストールしたものでも問題が起きないときのほうが多いのですが、ときどきできなかったりするので。。。)

# まずはルートになります
$ sudo -i

# 古いものがあると正常に動作しない場合があるため、念の為削除コマンドを実行
$ yum remove -y certbot python2-certbot-apache

# 以下のディレクトリに"Certbot"を配置しておきます
$ cd /usr/local/src

$ git clone https://github.com/certbot/certbot.git

# 多くの場合は "/usr/local/bin" にパスが通っているので、シンボリックリンクを作成
$ ln -s /usr/local/src/certbot/certbot-auto /usr/local/bin

# バージョンを確認
$ /usr/local/bin/certbot-auto --version
certbot 0.33.1

正しくインストールされました。

iタウンページの企業情報を収集（スクレイピング）するPHPスクリプト

Wed, 03 Apr 2019 22:02:54 +0900

はじめに

随分前に頼まれて作成した iダウンページの一覧情報をかき集めてくるスクリプトです。 Guzzle の使い方の勉強も兼ねて作ったものです。

せっかく作って眠らせておいたので公開します。

※ソースコードは決してきれいではないです。一枚物のPHPです。

「email_picker_from_townpage」

説明文が長いですね。

アプリ名に “email” とありますが、メールアドレス以外も収集します。

機能

収集してくれる情報は以下のとおりです。

会社名
メールアドレス
電話番号
住所
都道府県ID

インストール方法

$ git clone git@github.com:genzouw/email_picker_from_townpage.git

$ cd email_picker_from_townpage

$ composer install

使い方

のいずれか好きなものをどうぞ。

$ php ./index.php | tee addresses.txt

$ php ./index.php > addresses.txt

$ ./index.php | tee addresses.txt

$ ./index.php > addresses.txt

一応、2秒おきにアクセス するようにして負荷がかかりにくくはしていますが、以前図書館サイトに負荷をかけて捕まった方の事例もありますのでご注意を。

ひとこと

最近Bashでもスクレイピングしました。 DOM要素をパースするツールがあったので、ソッチのほうが便利でした。また紹介します。

Vimの<C-a>で各行の数値に行番号を加算する方法（Markdownの数字付きリスト作成にぴったり）

Tue, 02 Apr 2019 08:14:48 +0900

はじめに

Vim には、数字の上で CTRL-a ( <C-a> ) や CTRL-x ( <C-x> ) を押すとインクリメント/デクリメントする機能があります。

前回、シェルスクリプトでファイルや標準出力の行頭に連番を付与する「nl」コマンドで取り上げたようなMarkdownの「数字付きリスト」をVimの <C-a> 機能を使って生成する方法を紹介します。

検証環境

$ vim --version
VIM - Vi IMproved 8.1 (2018 May 18, compiled Mar 26 2019 01:54:18)

やり方

以下のような内容がVimエディタ上に記述されているとします。

# リスト

0. aaa
0. bbb
0. ccc
0. ddd
0. eee

ここで、Visualモードになり、エディタの内容を選択します。（リスト部分でも全体でもどちらでも構いません。）

選択後、 g<C-a> と入力すると、以下のように表示されるはずです。

# リスト

1. aaa
2. bbb
3. ccc
4. ddd
5. eee

ひとこと

地味ですが、「数字付きリスト」形式はMarkdownでよく使う記法なので覚えておくと便利です。

シェルスクリプトでファイルや標準出力の行頭に連番を付与する「nl」コマンド

Mon, 01 Apr 2019 22:11:19 +0900

はじめに

Markdownでドキュメントを記述していると「箇条書きリスト」や「数字付きリスト」記法や度々使用します。

例）「箇条書きリスト」記法

* あ
* い
* う
* え
* お

例）「数字付きリスト」記法

1. あ
2. い
3. う
4. え
5. お

さて、この「数字付きリスト」記法と同様のものをシェルで簡単に生成できないか？というのが今回のお話です。

nl コマンドを利用します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ nl --version
nl (GNU coreutils) 8.22

`nl` コマンドの使い方

テストデータを出力させます。 yes コマンドを使って xxx という文字を5行出力させます。

$ yes xxx | head -n 5
xxx
xxx
xxx
xxx
xxx

これにMarkdownの「数字付きリスト」のような連番を付与するには以下のようなコマンドを実行します。

$ yes xxx | head -n 5 | nl -w 1 -s '. '
1. xxx
2. xxx
3. xxx
4. xxx
5. xxx

できましたね。 nl コマンドについて少々解説していきます。

シェルスクリプトでファイルや標準出力を最終行から逆順に出力する「tac」コマンド

Sun, 31 Mar 2019 22:32:40 +0900

はじめに

Coding Games で遊んでいたときに標準入力で受け取った内容を逆に処理しないといけないことがありました。めったに使うことはないのですが「tac」コマンドを使ったので、取り上げてみたいと思います。

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.3(1)-release (x86_64-apple-darwin18.2.0)

$ tac --version
tac (GNU coreutils) 8.31

準備

Linux環境であれば、おそらくすでにインストール済みです。

Mac環境の場合、デフォルトではインストールされていないそうです。僕の環境にはインストールされていましたが、おそらく以下のコマンドでインストールされたと思われます。

以下のコマンドで、 GNU のコアコマンドを一式インストールしてくれます。

$ brew install coreutils \
 --with-default-names

使い方

はじめに触れましたが、ファイルや標準出力を最終行から逆順に出力できます。

例を上げてみます。

# 実行すると1〜5までの数値が出力される
$ seq 1 5
1
2
3
4
5

# `tac` コマンドを使ってみる
$ seq 1 5 | tac
5
4
3
2
1

# でも、これだけであれば `sort` コマンドで十分では？
$ seq 1 5 | sort -nr
5
4
3
2
1

seq の実行結果が逆に出力されました。めでたしめでたし。。。とはならないですね。この例だと sort -nr でも十分ではないか？と思われてしまいます。

「direnv」を使ってプロジェクトディレクトリごとに環境変数が自動的に設定されるようにする

Fri, 29 Mar 2019 08:37:54 +0900

はじめに

AWSの環境構築系のツール（ aws-cli とか Terraform ）を使って複数のAWSアカウントを使い分けていると、「環境変数はどっちのアカウントのものを利用していたっけ？」となることが多くなってきました。

アプリケーション毎に利用するアカウントが決まっている場合、アプリケーションディレクトリに cd コマンドで移動したタイミングで環境変数が自動的にセットされるととても便利です。

ぴったりなツールとして direnv というものがありましたので紹介します。

direnvとは？

ディレクトリ毎に環境変数を定義して、そのディレクトリがカレントになった時だけ環境変数を有効/無効にしてくれるツール。開発中のアプリ毎に環境変数を変えたい時に重宝します。

リポジトリは以下になります。

https://github.com/direnv/direnv

direnvはシェル用の環境切り替えツールです。

これにより、 ~/.bashrc や ~/.profile ファイルのようなグローバルな設定ファイルにアプリケーション個別の環境設定情報を記載する必要がなくなります。

プロジェクトディレクトリ配下の設定ファイルから環境変数をロードされる。
プロジェクトディレクトリ内のどのディレクトリにいても、これが適用される。
プロジェクトディレクトリ内から抜けた場合は環境変数をアンロードされる。
「bash」、「zsh」、「tcsh」、「fish」、および「elvish」に対応。

direnvは最近あちこちで導入され始めている Go言語 で作成されています。

検証環境

すでに僕のmacOS上にインストールされていたため、Dockerで検証用のクリーンな環境を用意して検証を行いました。（Dockerがなくても利用には全く問題がありません。）

# CentOS7環境をDockerで立ち上げる
$ docker run --rm -it centos:centos7 bash

利用したCentOS7環境は以下の通り。

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

前提条件

Gitが利用できる環境であること
- インストール時に必要

インストール方法

Unix系OSの場合

まずは事前に「Go言語」を使えるようにしておきましょう。 ( もちろんすでにインストール済みの場合は不要です。 )

$ sudo yum install epel-release

$ yum install -y golang

Go がインストールできたら、「direnv」のコードを取得してビルドします。

CentOS7の検証用環境をDockerイメージとして作成し「Docker Hub」へプッシュする

Thu, 28 Mar 2019 15:00:56 +0900

はじめに

検証環境としてクリーンなCentOS7環境が必要なことが多いですが、とはいえほぼ必要になるツールが決まっていることが多いです。

アプリケーションのインストール方法として git が必須ということが多いですし、データ編集用や確認用に vim や view コマンドがあると便利です。

API呼び出し後のJSONデータ検証のために jq が必要だったりもしますね。

そのような頻繁に使われるツールがインストール済みの薄いCentOS7環境が予めあると助かります。 Dockerのイメージ作成の復習も兼ねてイメージ作成から「Docker Hub」での公開までの流れをまとめてみました。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ docker --version
Docker version 18.09.2, build 6247962

前提条件

Dockerがインストールされていること

作業開始

作業用ディレクトリのディレクトリ作成

作業用のディレクトリを作成しましょう。

$ mkdir centos-sandbox

$ cd centos-sandbox

Dockerfile（Dockerイメージを作成するためのレシピ）を作成する

Dockerイメージを作成するための「レシピ」となる Dockerfile を作成します。

ここでは、 git と vim コマンドを使えるようにしています。また yum を使ったあとはキャッシュ情報がローカルディスクに残ってしまいますが、ディスク使用領域が増えるとDockerイメージが大きくなり、立ち上げや「Docker Hub」のアップロードが遅くなりますので削除しておきます。

実施した内容をブログやWikiに転記することも多いので、プロンプトはシンプルなもの( $ のみ )にしておきます。

$ cat <<'EOF'
FROM centos:centos7

RUN yum install -y git vim \
 && rm -rf /var/cache/yum/* \
 && yum clean all \
;

ENV PS1 '$ '
EOF

内容を確認します。

プロジェクトに最適な .gitignore をコマンドラインから簡単に生成するためのツール「gibo」

Wed, 27 Mar 2019 14:00:05 +0900

はじめに

プロジェクトに最適な.gitignore をどうやって作ろうかなと思っていたところ、 gibo という便利ツールを発見したのでメモ。

gibo は、プロジェクトに最適な .gitignore ファイルを作成してくれるツールです。様々な言語、フレームワーク、ツールに対応していて、大抵のメジャーなものについては、簡単に .gitignore を生成できます。

ソースコードを読んでみましたが、簡潔で見やすく、シェルスクリプトの勉強に良いと感じました。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.3(1)-release (x86_64-apple-darwin18.2.0)

インストール

プラットフォームことに最適なインストール方法が異なりますが、実際 1 ファイルのシェルスクリプトなのでダウンロードしてきて $PATH 環境変数の通っているディレクトリに配置すれば動作します。

macOS

Homebrew で一発でインストールできます。

$ brew install gibo \
 && gibo update

Unix 系 OS

$ curl -L https://raw.github.com/simonwhitaker/gibo/master/gibo \
 -so ~/bin/gibo && chmod +x ~/bin/gibo && gibo update

動作確認

インストールができたか確認してみましょう。

$ gibo --version
gibo 2.1.2 by Simon Whitaker <sw@netcetera.org>
https://github.com/simonwhitaker/gibo

Fetches gitignore boilerplates from https://github.com/github/gitignore

Usage:
 gibo [command]

Example:
 gibo dump Swift Xcode >> .gitignore

Commands:
 dump BOILERPLATE... Write boilerplate(s) to STDOUT
 help Display this help text
 list List available boilerplates
 search STR Search for boilerplates with STR in the name
 update Update list of available boilerplates
 version Display current script version

使い方

それではツールにふれていきましょう。

VimをRESTクライアントとして使えるプラグイン「roast.vim」を試してみた

Mon, 25 Mar 2019 11:59:36 +0900

はじめに

Amazon API Gateway を触りだすと、RESTクライアントアプリが欲しくなってきました。

今までは curl で実行していましたが、コマンドだと何度も実行するときに面倒だし、だからといって Postman のようなツールを使って CUIの世界から飛び出す のもなぁと思っていたところ良さそうなプラグインを見つけました。

roast.vim プラグイン

GitHub - sharat87/roast.vim

RESTクライアントとしても使用できるVim用のHTTPクライアント です。

ViMエディタプラグインとしてのHTTPクライアントということです。

丁寧に動画のデモも用意されています。

必要なもの

利用するために必要なものは以下のものとのことです。

+python3環境
ViM 8.1で動作確認済み

検証環境

$ uname -moi x86_64 MacBookPro11,4 Darwin $ vim –version| head -n 1 VIM - Vi IMproved 8.1 (2018 May 18, compiled Mar 11 2019 08:36:40)

$ vim –version| grep python +comments +libcall -python +visualextra +conceal +linebreak +python3 +viminfo

試してみる

早速試してみます。
( ここではすでにプラグインのインストールが終わっているものとします。 )

RESTクライアント機能を有効にするには、以下のいずれかの拡張子を持つファイルを開きます。

S3にファイルが作成されたことを検知してLambda関数でファイルを読み込む( `aws-cli` で構築)

Sat, 23 Mar 2019 09:25:12 +0900

はじめに

「S3にファイルがSFTPアップロードされたことを検知してLambdaを起動する（ aws-cli で構築）」で、S3にファイルがアップロードされたことをフック条件にしてLambdaファンクションを実行させてみました。

ただ、上記のエントリではLambdaファンクションがCloudWatchLogにログを出力させるまでの実装にとどまっていました。フック条件となったS3のファイルを読み込むロジックは作成していません。

そこで、今回はフック条件となったS3内のファイル読み込みを試してみました。

ゴールとする構成

ファイルがアップロードされる
アップロードを検知してLambdaファンクションを呼び出し
S3のファイルを読み込む
CloudWatchLogにログ出力

必要なもの

aws コマンドが使えること
jq コマンドが使えること
npm コマンドが使えること

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.3(1)-release (x86_64-apple-darwin18.2.0)

$ aws --version
aws-cli/1.16.120 Python/3.7.2 Darwin/18.2.0 botocore/1.12.110

$ npm --version
6.7.0

作業開始

以下のエントリから今回必要な部分のみピックアップして検証していきます。

S3にファイルがSFTPアップロードされたことを検知してLambdaを起動する（ aws-cli で構築）

設定パラメータの整理

今回は以下の3つのパラメータ設定が必要です。以下のような名前で設定しておきます。コマンドラインに流し込み、変数を作成しておきます。

# S3のバケット名
$ export S3_BUCKET_NAME='g-trigger-and-read-bucket'
# Lambdaに設定するロール名
$ export IAM_ROLE_NAME_LAMBDA='g-trigger-and-read-lambda-role'
# Lambdaのファンクション名
$ export LAMBDA_FUNCTION_NAME='g-trigger-and-read-lambda-function'

「S3バケット」の作成

$ aws s3 mb s3://${S3_BUCKET_NAME}

「Lambdaファンクションに割り当てるIAMロール」の作成

# まずは初期ポリシーファイルを作成
$ cat <<'EOF' >"/tmp/${IAM_ROLE_NAME_LAMBDA}-policy.json"
{
 "Version": "2012-10-17",
 "Statement": [
 {
 "Effect": "Allow",
 "Principal": {
 "Service": "lambda.amazonaws.com"
 },
 "Action": "sts:AssumeRole"
 }
 ]
}
EOF

$ IAM_ROLE_ARN_LAMBDA=$(
 aws iam create-role \
 --role-name "${IAM_ROLE_NAME_LAMBDA}" \
 --assume-role-policy-document file:///tmp/${IAM_ROLE_NAME_LAMBDA}-policy.json | jq -r '.Role.Arn'
)

# 正常に作成できたか確認
$ echo "${IAM_ROLE_ARN_LAMBDA}"

作成されたLambdaファンクション用のロールにポリシー（権限）を追加で割り当てます。今回はLambdaファンクションから「CloudWatchLog」、「S3」にアクセスするため、2つのポリシーを追加しています。

シェルスクリプトで任意のオーナーが所有するGithubリポジトリを一覧表示する（ワンライナー）

Wed, 20 Mar 2019 07:59:15 +0900

はじめに

Githubで任意のオーナーが所有するリポジトリを全て確認したいのですが、Githubのリポジトリ一覧ページに到達するまで面倒ですよね。（僕がGithub不慣れなだけなのでしょうか？ )

そこで、シェルスクリプト化していつでも一覧を表示できるようにしてみました。

スクリプト

`hub-repos.sh`

#!/usr/bin/env bash
set -o nounset
set -o noclobber

curl "https://api.github.com/users/${1:-${SNS_USERNAME}}/repos?per_page=100" 2>/dev/null | jq -r '.[].name'

必要なもの

jq コマンドが使えること

使い方

以下のいずれかで所有者を設定できます。

環境変数 SNS_USERNAME を設定する。 ( ex : export SNS_USERNAME=genzouw )
スクリプトの第一引数を指定する ( ex : hub-repos.sh genzouw )

パスの通っている場所に配置してあげてください。

ひとこと

ずいぶん昔に作ったスクリプトの整理をしていて見つけました。当時のスクリプトは、 jq を使っている部分に ruby -rjson -e 'JSON.parse(STDIN.read).each{|r|puts r["name"]}' と記述されていました。 ruby触っていた記憶なんてほとんど無いんですけどね。

sedコマンドの内部コマンドの適用範囲を指定する際には終了条件に注意！(最終行まで適用されてしまう場合)

Tue, 19 Mar 2019 08:32:23 +0900

はじめに

前回( sedコマンドを全行に実行させたくない場合は内部コマンドの適用範囲を指定しよう（含む、含まない、特定の行のみ、数行毎に、など） ) みた sed コマンドの範囲指定方法について、振り返ります。

sed の内部コマンド適用範囲は 「アドレス」 というもので設定できる
「アドレス」 は 0個か1個か2個を指定できる。
「アドレス」 にはパターンを表す正規表現か行番号が使える
「アドレス」 の指定方法は 行アドレス と パターンアドレス がある

「アドレス」 については、以下の5つの大原則がありました。

*「アドレス」が指定されていなければ、コマンドは全ての行に適用される *「アドレス」が一個だけ指定されると、コマンドはその「アドレス」にマッチする全ての行に適用される

カンマで区切られた2個の「アドレス」が指定されると最初の「アドレス」にマッチしたから2番目の「アドレス」にマッチするまでその行も含むすべての行にコマンドが適用される *「アドレス」の後ろにエクスクラメーションマークをつけると「アドレス」にマッチしない全ての行にコマンドが適用される

「行アドレス」例

# 5行目を削除
$ cat any-file.txt | sed '5d'

# 5行目から10行目を削除
$ cat any-file.txt | sed '5,10d'

「パターンアドレス」例

# コメント行を削除
$ cat any-file.txt | sed '/^\s*\#/d'

# '---' から 次の '---' まで削除
$ cat any-file.txt | sed '/---/,/---/d'

カンマの後ろの条件指定に注意しないと予期しない挙動をする！

前回さらっと流してしまったが、sedコマンドのアドレス指定範囲で意外とハマってしまうケースがあります。「範囲指定がうまく動作しない！」という方の参考になれば幸いです。

範囲指定がうまく動かないケース

テストデータを元にカンマの後ろの条件に該当しない場合にどうなるかを見ていきましょう。

cat <<'EOF' > testdata.txt
2014
2015
2017
2018
2019
EOF

上記は2014年から2019年のデータとします。ここで注意したいのは、2018年だけが抜けている点です。

「名前付きパイプ」（FIFO/Named Pipe）を使ってプロセス間通信を試してみる

Mon, 18 Mar 2019 12:00:25 +0900

はじめに

Bash のストリーム/パイプ処理を視覚的に理解するのエントリで触れましたが、「名前付きパイプ」というものがあって今のプロジェクトで使う可能性が出てきたので取り上げてみました。

本稼働するシステムで使うことは初めてになりそうなので、楽しみです。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

通常のパイプ

「通常のパイプ」は「無名」です。使用しているプロセスが動作中の間だけ存在しますプロセスが終了するとともに消えてしまいます。

パイプを挟んで前後にプロセスが 1 つずつ存在します。一方は「パイプ」へ出力、他方は「パイプ」からの入力を待ちます。

(例)

# `seq` で 1から10 の数値を出力し、 `tail` で入力を受け付ける。
$ seq 1 10 | tail -f

“名前付きパイプ” とは？

「名前付きパイプ」 は「ファイル名」を持ちます。
プロセスが消滅しても存在し続けます。(そのため、使わなくなったら削除する必要があります。)
プロセス間通信 (IPC) を行うためにプロセスがオープンして使用します。

試してみる

簡単な例を上げます。

名前付きパイプの作成

mkfifo というコマンドを実行すると、 「名前付きパイプ」 ファイルが作成できます。ここでは Named Pipe の頭文字をとって np としています。

$ mkfifo np

ls -l コマンドでファイルができたか確認すると、ファイルタイプ（一番左の文字）を見ると、 p となっていますが、このファイルが名前付きパイプであることを示しています。

「Amazon API Gateway」から「Lambda」を通さずに「S3」へアクセスできるようにしてみる（ `aws-cli` で構築）

Fri, 15 Mar 2019 16:59:49 +0900

はじめに

AWSを利用したサーバレスな事例が増えてきました。例えば以下のような構成の事例がWeb上で掲載されています。

「API Gateway」 から 「Lambda」 を経由して 「DynamoDB」あるいは「S3」 にアクセスする例は、様々な方がWeb上に掲載しています。 「API Gateway」 から 「S3」 へ直接アクセスするための例はあまり見つからず、またあったとしても AWS-CLI を使って設定している例が見つからなかったため、整理してみました。

ちなみに設定した内容はAmazonが提供している以下のドキュメントを参考にしています。こちらのドキュメントは「AWS マネージメントコンソール」からポチポチ操作していく内容となっています。

API Gateway で Amazon S3 プロキシとして REST API を作成する - Amazon API Gateway

作成する「API」概要

S3にアクセスできる。（今回は読み取りのみ）
アクセス用URLは https://<host>/<S3-BUCKET-NAME>/<S3-OBJECT-KEY> の形式とする。

準備

aws-cli コマンドが利用できる
jq コマンドが利用できる

ja はなくてもよいのですが、今回各AWS構成要素を作成した際のJSONレスポンスをパースしてできる限りコマンドラインのみの操作としたかったので利用してみました。

検証環境

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

$ aws --version
aws-cli/1.16.120 Python/3.7.2 Darwin/18.2.0 botocore/1.12.110

$ jq --version
jq-1.6

手順

デプロイ直前までの流れは以下の通り。（デプロイは次回実施してみる。）

AWS-CLIでhelpを入力するのが煩わしい場合の対処としてスクリプトを作ってみた。

Thu, 14 Mar 2019 12:40:24 +0900

AWS-CLI を叩きながら AWS の各種サービスを構築する上で必要な情報を学習中です。

僕は画面を見ていくよりもコマンドのヘルプを見ながら試行錯誤していくほうが理解が進めやすいようです。

「AWS-CLI」のヘルプを引くのが面倒

ただ、ヘルプを引くのが面倒なのです。具体的に言うと help コマンドを入力するのが面倒。

例えば作業中に以下のような状況になることが多い。

# どんなコマンドがあったっけ？
aws --help

# コマンド間違えた
aws help

# 内容を確認したので実行
aws s3

# ヘルプを見るか
aws s3 --help

# くっ...
aws s3 help

# わかった！実行する！
aws s3 mb my-butket-name

# なんかエラー出るし！
aws s3 mb help

ちょっとした改善として、helpを打ち込まなくてもhelpが表示されるようにしてみた

help と入力する手間だけでも減らそうと思って短いスクリプトを作ってみた。 aws コマンドは多くのコマンドが aws <サブコマンド> <オプション> といった構成となるので、2つの引数が必要になります。引数が1つ以下の場合は、自動的に help というオプション付きで呼び出すようにしています。

スクリプト

aws という名前でスクリプトを作って、普段はこちらのファイルを見るようにしてやります。（pip install した aws コマンドのパスについては、ここでは /usr/local/bin/aws となっていますが、環境毎に異なるかと思いますので、適宜変更してください。）

sedコマンドを全行に実行させたくない場合は内部コマンドの適用範囲を指定しよう（含む、含まない、特定の行のみ、数行毎に、など）

Wed, 13 Mar 2019 08:32:21 +0900

はじめに

シェルスクリプトでデータを絞り込む方法いろいろ（grep、sed、awk）で sed コマンドを使った絞り込み方法について触れたので、 sed コマンドに関してのみもう少し深掘りしてみたいと思います。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version | head -n 1
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

$ sed --version | head -n 1
sed (GNU sed) 4.7

sedの内部コマンド

sed コマンドは標準入力あるいはファイルに対して、 内部コマンド を指定しその結果を出力する、というコマンドです。ややこしいですが、 sed の中だけで使えるコマンド、という意味です。 内部コマンド は全行に対して、行単位に実行されます。

内部コマンドの例をいくつか上げます。

i : 行の前に一行追加し、引数として指定した文字列を追加
a : 行の後に一行追加し、引数として指定した文字列を追加
d : 削除する
p : 出力する
s : 正規表現で置換処理する

sedの内部コマンドは全ての行に適用される

先述したとおり、適用範囲の指定がない sed のコマンドは、全ての行に対して適用されます。

# seq で 3行出力させる
$ seq 1 3
1
2
3

# seq 実行結果を sed に適用
$ seq 1 3| sed 'a test'
1
test
2
test
3
test

# 数値をxに置換
$ seq 1 3| sed 's/[0-9]/x/'
x
x
x

# 行を削除（何も出力されない）
$ seq 1 3| sed 'd'

「すべての行を置換する」といった操作の場合には想定通りですが、「行を削除する」といった操作の場合は範囲指定ができなければ意味がありません。

シェルスクリプトでデータを絞り込む方法いろいろ（grep、sed、awk）

Mon, 11 Mar 2019 08:02:55 +0900

はじめに

シェルスクリプトやコンソールでデータを絞り込むための方法をいくつか紹介します。基本どれか一つを使えればいいと思いますが、例えば特定の今度がない！（ grep コマンドを消してしまった！）なんてときに使えるかもしれません。（そんなケースあるのか？）

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

準備

検証用のデータ（csv）を作成。

CSVをJSONに変換するためのNode.jsライブラリ「csv2json」 | ゲンゾウ用ポストイット

$ cat <<'EOF' >> personal_infomation.csv
連番,氏名,氏名（カタカナ）,性別,電話番号,生年月日
1,浜崎陽治,ハマザキヨウジ,男,0238930217,1974/11/03
2,奥山隆雄,オクヤマタカオ,男,0888070241,1997/08/04
3,船越瑠奈,フナコシルナ,女,0986044637,1966/04/16
4,玉置忠治,タマキタダハル,男,0779869154,1995/07/19
5,出口美香,デクチミカ,女,0289679894,1991/10/18
6,西本良之,ニシモトヨシユキ,男,0855699116,1988/03/29
7,湯川麗奈,ユカワレナ,女,0997770517,1996/03/05
8,荻野莉沙,オギノリサ,女,073800935,1987/06/20
9,海野博明,ウミノヒロアキ,男,0888070499,1998/05/23
10,高崎淳一,タカサキジュンイチ,男,0559462109,1982/05/10
EOF

`grep` を使った絞り込み

最もよく使われる方法。この方法を知っていたら十分ではある。

絞り込み結果を必要に応じてバイプで次のコマンドに渡してやれば、更に可能できる。

$ grep 女 personal_infomation.csv
3,船越瑠奈,フナコシルナ,女,0986044637,1966/04/16
5,出口美香,デクチミカ,女,0289679894,1991/10/18
7,湯川麗奈,ユカワレナ,女,0997770517,1996/03/05
8,荻野莉沙,オギノリサ,女,073800935,1987/06/20

`sed` を使った絞り込み

sed でも絞り込みができる。 sed も grep も、後述する awk もいずれも ed という過去にあったライン志向のエディタから派生している。 grep は基本動作としてフィルタ結果を 出力しない が、 sed は基本動作としてフィルタ結果を 常に出力する 。

Python3環境で `pip install` したコマンドラインツールが動作しない場合の対処

Sat, 09 Mar 2019 15:12:14 +0900

はじめに

先日投稿した以下のエントリにて、 「自分のMacBookPro環境をPython2からPython3環境にバージョンアップしたら正常に動作しない」 という問題が発生していたが、解消方法がわかったのでまとめてみました。

コマンドラインからBitbucketのリポジトリを操作するためのツール「bitbucket-cli」でリポジトリを作成してみる

なんとか問題解決まで至りましたが、 Pythonに詳しいエンジニアならすぐにわかることなのでしょう 。Python素人がハマった内容を共有します。

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

調査開始

Pythonのバージョンを確認する

まず僕のMac環境のPythonのバージョンを確認します。

$ python --version
Python 3.7.2

エラーの内容を確認する

先日もお話したとおり、 bitbucket-cli が python2系 環境では正常に動作していましたが、 python3系 環境では正しく動いていません。

$ bb help
Traceback (most recent call last):
 File "/usr/local/bin/bb", line 6, in <module>
 from bitbucket.cli import run
 File "/usr/local/lib/python3.7/site-packages/bitbucket/__init__.py", line 1, in <module>
 from .repositories import *
 File "/usr/local/lib/python3.7/site-packages/bitbucket/repositories.py", line 25
 print r.content
 ^
SyntaxError: Missing parentheses in call to 'print'. Did you mean print(r.content)?

`bb` コマンドのスクリプトを確認する

ふと bb コマンドは一体どんなスクリプトなのだろうを思いコードを覗いてみました。

コマンドラインからBitbucketのリポジトリを操作するためのツール「bitbucket-cli」でリポジトリを作成してみる

Fri, 08 Mar 2019 08:44:02 +0900

はじめに

会社で利用しているGitのホスティングサービスは Bitbucket logo ですが、コマンドラインからリポジトリ作成やプルリクエストを投げられると便利です。

自分のPCに導入している bitbucket-cli を紹介します。

※ちなみにGithub用のコマンドラインツールは Githubの無料アカウントユーザにもPrivateリポジトリ作成が無制限になったのでコマンド一発でどんどん作成するための環境を作ってみるを参照ください。

検証環境

$ uname -a
Linux 8f10b748d929 4.9.125-linuxkit #1 SMP Fri Sep 7 08:20:28 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

$ bash -version
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

$ python --version
Python 2.7.5

必要なもの

Python（2.7.9以上のバージョン）

インストール

pip のインストール

Pythonで動作するツールということで、 pip のインストールが必要。

以下のコマンドを実行し、バージョンが表示されていればすでにインストール済みなので、 pip のセットアップは不要。

$ pip --version
pip 19.0.3 from /usr/lib/python2.7/site-packages/pip (python 2.7)

インストールは簡単。

pipのインストール方法ページにある通り、実行するだけ。

$ cd /tmp

$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py

$ python get-pip.py
DEPRECATION: Python 2.7 will reach the end of its life on January 1st, 2020. Please upgrade your Python as Python 2.7 won't be maintained after that date. A future version of pip will drop support for Python 2.7.
Collecting pip
 Downloading https://files.pythonhosted.org/packages/d8/f3/413bab4ff08e1fc4828dfc59996d721917df8e8583ea85385d51125dceff/pip-19.0.3-py2.py3-none-any.whl (1.4MB)
 100% |################################| 1.4MB 3.6MB/s
Collecting setuptools
 Downloading https://files.pythonhosted.org/packages/d1/6a/4b2fcefd2ea0868810e92d519dacac1ddc64a2e53ba9e3422c3b62b378a6/setuptools-40.8.0-py2.py3-none-any.whl (575kB)
 100% |################################| 583kB 7.5MB/s
Collecting wheel
 Downloading https://files.pythonhosted.org/packages/96/ba/a4702cbb6a3a485239fbe9525443446203f00771af9ac000fa3ef2788201/wheel-0.33.1-py2.py3-none-any.whl
Installing collected packages: pip, setuptools, wheel
Successfully installed pip-19.0.3 setuptools-40.8.0 wheel-0.33.1

bitbucket-cliのインストール

以下のコマンドを実行するだけです。

goofysを使ってEC2上のLinuxにS3をマウントする

Thu, 07 Mar 2019 08:05:00 +0900

はじめに

S3をファイルシステムとしてマウントするための方法を整理してみました。

AWSを利用していて、S3をサーバーマウントする技術として s3fs が有名
- s3fs は遅い
代替策として goofys がある
- goofys は速い

goofys の方が評判が良いようなのでgoofysを検証しました。

ちなみに goofys のGithubページにベンチマークが掲載されています。

(引用) Using –stat-cache-ttl 1s –type-cache-ttl 1s for goofys -ostat_cache_expire=1 for s3fs to simulate cold runs. Detail for the benchmark can be found in bench.sh. Raw data is available as well. The test was run on an EC2 m4.16xlarge in us-west-2a connected to a bucket in us-west-2. Units are seconds.

今回のゴール

起動時にS3バケットが所定のディレクトリに自動マウントされるようになるまで設定します。

※ちなみに、Dockerが利用できる場合にはgoofysを手軽に利用できるDockerイメージを公開していますのでお使いください。

Bashシェルスクリプトでゼロ埋め（ゼロパディング）文字列を生成する方法いろいろ

Wed, 06 Mar 2019 08:03:54 +0900

はじめに

シェルスクリプト（Bash）で 数字の頭を 0 で詰めて、桁数を調整 したいことがよくあります。

ゼロ埋め、ゼロパディング、ゼロフィル、ゼロ詰めなどいろいろな呼び方をされます。シェルスクリプトで実現する場合のいくつかの方法と使用例をまとめてみます。

検証環境

$ uname -moi
x86_64 MacBookPro11,4 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

`printf` コマンドを使う

セオリーというか、多くのプログラミング言語に搭載されている機能。
Bash組み込みコマンドの printf を使う方法があります。出力フォーマットを指定することで、何桁の数値文字列として出力するか制御できます。

$ N=8

# 普通に表示
$ echo "${N}"
8

# printfを使うとゼロ埋めされるが、改行が出力されないことに注意。プロンプトかお尻にくっついちゃう
$ printf "%03d" "${N}"
008$

# 改行がほしい場合はこうする
$ printf "%03d\n" "${N}"
008

# 変数に代入して後々利用したい場合は以下の通り
$ S=$(printf "%03d\n" "${N}")
$ echo "${S}"
008

Bashの変数参照機能を使う

Bashの変数参照時に、不要な箇所を切り取ることができます。

$ N=8

# わざと0を3つ付与
$ X="000${N}"

# 参照時に後ろから3文字だけを取り出す
$ echo "${X: -3}"
008

※一度変数に代入しないといけないのが残念です。

連続したゼロ埋め数値を生成したい場合

ゼロ埋めした数値文字列は多くの場合、連続した値を処理するときに利用されます。

ex)
1 2 3 4 5
↓
001 002 003 004 005

連続したゼロ埋め数値を生成する方法もいくつかあります。

`aws-cli` を使ってコマンドラインからAWS EC2とVPCを構築する

Mon, 04 Mar 2019 12:35:33 +0900

はじめに

AWS Transfer for SFTP の価格があまりにも高すぎたため、 EC2 上に SFTP サーバを構築することにしました。

今までは VPC や インターネットゲートウェイ を使わずに EC2 作成をしていたため、これらを導入した場合の手順を整理してみました。

準備

aws-cli コマンドが利用できること
jq コマンドが利用できること

ja はなくてもいいが、今回各AWS構成要素を作成した際のJSONレスポンスをパースしてできる限りコマンドラインのみの操作としたかったので利用しました。

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

$ aws --version
aws-cli/1.16.110 Python/3.7.2 Darwin/18.2.0 botocore/1.12.100

ネットワーク周りの設定

VPCの作成

# VPCの新規作成 => 作成されたVPCのIDを保存
$ EC2_VPC_ID=$(
 aws ec2 create-vpc \
 --cidr-block '172.20.0.0/16' \
 | jq -r '.Vpc.VpcId'
)

## 確認
$ echo "${EC2_VPC_ID}"

Subnetの作成

# Subnetの新規作成 => 作成されたSubnetのIDを保存
$ EC2_SUBNET_ID=$(
 aws ec2 create-subnet \
 --cidr-block '172.20.0.0/16' \
 --vpc-id "${EC2_VPC_ID}" \
 | jq -r '.Subnet.SubnetId'
)

## 確認
$ echo "${EC2_SUBNET_ID}"

インターネットゲートウェイの作成

# インターネットゲートウェイの新規作成 => 作成されたインターネットゲートウェイのIDを保存
$ EC2_INTERNET_GATEWAY_ID=$(
 aws ec2 create-internet-gateway \
 | jq -r '.InternetGateway.InternetGatewayId'
)

## 確認
$ echo "${EC2_INTERNET_GATEWAY_ID}"

VPCへインターネットゲートウェイを割り当てる

$ aws ec2 attach-internet-gateway \
 --internet-gateway-id "${EC2_INTERNET_GATEWAY_ID}" \
 --vpc-id "${EC2_VPC_ID}"

ルートテーブルの設定

インターネットゲートウェイ経由でVPCへアクセスできるようにします。

CSVをJSONに変換するためのNode.jsライブラリ「csv2json」

Fri, 01 Mar 2019 20:34:55 +0900

はじめに

JSON データをinputとして処理するテストコードを書きたかったが、参考にするテストデータが CSV フォーマットだったために簡単に変換できないかと探していたところ良いものを見つけました。

csv2json

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

必要なもの

npm でインストールするツール&ライブラリのため、 Node.js の実行環境が必要です。

実行環境がない場合は Node Version Manager で Node.js がインストールできます。 ( Redhut/Fedora/CentOSなら yum 、 Ubuntu/Debianなら apt-get 、 Macなら brew を使ってインストールすることもできるが、以下の方法ならどの環境でもセットアップ可能。 )

# **Node Version Manager** ( 複数のアクティブなnode.jsバージョンを管理するためのシンプルなbashスクリプト ) を利用
$ curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.34.0/install.sh | bash

$ cat <<'EOF' >>~/.bashrc
export NVM_DIR="$HOME/.nvm"
[ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh" # This loads nvm
[ -s "$NVM_DIR/bash_completion" ] && \. "$NVM_DIR/bash_completion" # This loads nvm bash_completion
EOF

$ . ~/.bashrc

$ nvm install --latest-npm

$ node --version
v11.10.1

`csv2json` のインストール

npm コマンドが使えるようになっていれば以下のコマンドでインストールが可能です。

S3にファイルがSFTPアップロードされたことを検知してLambdaを起動する（ `aws-cli` で構築）

Thu, 28 Feb 2019 08:29:40 +0900

以下のような仕組みを作る必要がありました。

ユーザにSFTPプロトコルを使って、S3にファイルをアップロードしてもらう。
S3にファイルがアップロードされたことを検知して、何らかの処理を行う。

AWSのサービスを組みわせて、かつできる限り aws-cli のみを使ってコマンドラインで仕組みを構築してみました。

今回は、 「何らかの処理」 として Lambdaファンクションを使ってCloudWatchLogにログを書き出させてみます 。

※注意：IAM周りの設定はかなり大雑把に設定しているので、参考する場合にはもっと考慮が必要！

簡易構成図

設定パラメータを整理

AWSの各種サービス設定時に必要となる情報を事前にまとめておきました。

設定項目	設定値
AWS Transfer 実行ユーザ名(SFTPログインユーザ)	g-trigger-bucket-transfer-user
AWS Transfer 実行ロール名	g-trigger-bucket-transfer-role
S3 バケット名	g-trigger-bucket
S3 バケットイベント名	g-trigger-bucket-event
Lambda ファンクション名	g-trigger-function
Lambda 実行ロール名	g-trigger-function-role

事前準備

`aws-cli` (AWSコマンドの利用可能な環境づくり)

aws-cli の利用可能環境は、以下のエントリを参考に構築済み。

AWSコマンドを使うための環境をDockerを使って構築(Mac/Linux/WindowsでもPythonなしで動くよ) | ゲンゾウ用ポストイット

AWSサービスの設定開始

AWS S3バケットの作成

S3バケットの作成やファイルのアップロードをコマンドラインから操作する方法は、以下のエントリで整理済み。

AWSのS3バケットの作成、削除、タグ付与、ポリシー設定をコマンドラインから実行する | ゲンゾウ用ポストイット

参考にしながら設定を進める。

# バケットを作成
$ aws s3 mb s3://g-trigger-bucket

# バケットができたかを確認
$ aws s3 ls
2019-02-25 07:32:57 g-trigger-bucket

AWS Lambdaファンクションの作成

AWS Lambda ファンクションの作成や呼び出しをコマンドラインから操作する方法は、以下のエントリで整理済み。

Redhat系Linux（CentOS7）にVim8をインストールする方法いろいろ

Wed, 27 Feb 2019 07:50:21 +0900

Vim8のインストール方法について。

未だにCentOS7系でデフォルトインストールされるVimが7系なので、8系のインストール方法についてまとめてみました。是非Vim8と、8系でしか使えないプラグインを使ってみてほしいです。

検証環境

クリーンな検証環境を構築するために、 Docker を使いました。

※もちろんクリーンなCentOS環境を再構築できるなら別の方法でもよいが、これが一番手軽かつ安価なんですよね。

$ docker run --rm -it centos:centos7 bash

YUMをそのまま使う（Vim7がインストールされてしまう）

$ yum install -y vim

$ vim --version
VIM - Vi IMproved 7.4 (2013 Aug 10, compiled Oct 30 2018 19:56:57)
Included patches: 1-160, 399, 402-403, 1099
Modified by <bugzilla@redhat.com>
Compiled by <bugzilla@redhat.com>
Huge version without GUI. Features included (+) or not (-):
...

ソースコードをビルド(Vim8)

$ yum install -y \
 curl \
 git \
 make \
 gcc \
 ncurses-devel

$ [ ! -d "/usr/local/src" ] \
 && mkdir -p "/usr/local/src"

$ cd "/usr/local/src"

$ git clone https://github.com/vim/vim.git

$ cd /usr/local/src/vim

$ ./configure \
 --disable-selinux \
 --enable-cscope \
 --enable-fontset \
 --enable-gpm \
 --enable-multibyte \
 --enable-rubyinterp \
 --enable-xim

$ make

$ make install

バージョン確認

AWSのLambdaファンクションの作成、実行、削除をコマンドラインから操作する

Tue, 26 Feb 2019 07:59:59 +0900

S3にファイルがアップロードされたことを検知して、処理を行うような仕組みを作り必要がありました。

処理の部分のロジックはまだ未決定事項が多いため、とりあえずは Lambdaファンクション呼び出しからCloudWatchLogへログを吐き出すところまでの仕組みを作成してみることにしました。

※作成したLambdaファンクションをS3へのファイルアップロードのつなぎこみは次回調査

`aws-cli` (AWSコマンドの利用可能な環境づくり)

AWSコマンドを使うための環境をDockerを使って構築(Mac/Linux/WindowsでもPythonなしで動くよ) | ゲンゾウ用ポストイットで環境構築済み。

AWS Lambdaファンクションの作成

AWS Lambda については以下の記事がわかりやすかった。

初めてのAWS Lambda　～AWS Lambdaで始めるイベントドリブンアプリケーション (1/5)：CodeZine（コードジン）

Lambda作成にあたってやらないといけないことは以下の2つ。

Lambdaファンクションの実行ロールを作成する
Lambdaファンクションを作成する

実行ロールの作成

まずは初期ポリシーファイルを作成します。 Lambdaファンクションの実行に関するフル権限を与えました。

# ファイル名は何でも良い
$ cat <<EOF >logging-function-role-policy.json
{
 "Version": "2012-10-17",
 "Statement": [
 {
 "Effect": "Allow",
 "Principal": {
 "Service": "lambda.amazonaws.com"
 },
 "Action": "sts:AssumeRole"
 }
 ]
}
EOF

作成したポリシーファイルを元に、ロールを作成。

--role-name オプションに今回作成するロール名を指定します。 --assume-role-policy-document オプションに先ほど作成したポリシーファイルを指定します。 file:// プロトコルの指定は必須。これなしだとエラーになってしまうので注意しましょう。

$ aws iam create-role \
 --role-name logging-function-role \
 --assume-role-policy-document file://logging-function-role-policy.json

{
 "Role": {
 "Path": "/",
 "RoleName": "logging-function-role",
 "RoleId": "AROAI5BO3KLUTIOT4H4A4",
 "Arn": "arn:aws:iam::642942901536:role/logging-function-role",
 "CreateDate": "2019-02-25T03:49:50Z",
 "AssumeRolePolicyDocument": {
 "Version": "2012-10-17",
 "Statement": [
 {
 "Effect": "Allow",
 "Principal": {
 "Service": "lambda.amazonaws.com"
 },
 "Action": "sts:AssumeRole"
 }
 ]
 }
 }
}

実行時に出力されたJSONメッセージのうち、 Arn の部分 ( arn:aws:iam::642942901536:role/logging-function-role ) は後々必要となるためメモしておきます 。

VimからWordPressのエントリを投稿する方法

Mon, 25 Feb 2019 20:24:45 +0900

僕がエントリを投稿するときはいつも Vim で下書きした内容をクリップボードに貼り付け、WordPress の新規投稿ページに貼り付ける、という流れで投稿していますが、これを Vim の世界だけで完結できないかと思い調べてみました。

WordPress.vim

便利そうな Vim のプラグインを発見

GitHub - vim-scripts/VimRepress: Plugin for managing wordpress blog from Vim.

機能概要

一部抜粋。

This is a mirror of http://www.vim.org/scripts/script.php?script_id=3510

VimRepress is a plugin for managing wordpress blog from Vim, a rewritten of vimscript #1953 , which is broken for years.

Now VimRepress lives with more powerful again.

REQUIREMENT

Vim 7.3+ with python 2.6/2.7 support

Python Environment matched wtih Vim’s support

python-markdown/python-markdown2 installed

wordpress 3.0.0 +

翻訳してみました。

AWSのS3バケットの作成、削除、タグ付与、ポリシー設定をコマンドラインから操作する

Sun, 24 Feb 2019 10:00:22 +0900

S3のバケット作成、削除、ポリシー設定をWeb上から操作することが多いです。 Web操作の解説も多いです。

でも、コマンドラインからの実行を解説しているケースはさほど多くないですね。。

S3はバックアップデータ置き場、ログ置き場として使うことが多いが、特に検証時に作っては消し、また作るを繰り返す… 繰り返しが疲れてきたのでコマンドラインでのやり方をまとめてみました。

ここではよく使用される aws s3 コマンドではなく aws s3api コマンドについてできるだけ触れてみます。

`aws-cli` (AWSコマンドの利用可能な環境づくり)

AWSコマンドを使うための環境をDockerを使って構築(Mac/Linux/WindowsでもPythonなしで動くよ) | ゲンゾウ用ポストイットを参照。

上記記事では Mac、Linux、Windowsの環境の差異を無視できるよう、またPythonなしでも動作するように Docker を利用しました。

S3バケットの作成 ( `aws s3api create-bucket` / `aws s3 mb` )

aws s3api create-bucket コマンドを使う。

create-bucket — AWS CLI 1.16.111 Command Reference

ここでは genzouw-test-bucket というバケット名で作成してみます。

$ aws s3api create-bucket \
 --bucket genzouw-test-bucket \
 --create-bucket-configuration "LocationConstraint=ap-northeast-1"

# 環境変数 AWS_DEFAULT_REGION が設定されていれば、以下のコマンドでも良い。
## aws s3api create-bucket \
## --bucket genzouw-test-bucket \
## --create-bucket-configuration "LocationConstraint=${AWS_DEFAULT_REGION}"

何度か --create-bucket-configuration オプション無しで実行してみたが、以下のようなエラーが発生しました。
AWS_DEFAULT_REGION の設定があったとしても指定が必要な模様。

AWSコマンドを使うための環境をDockerを使って構築(Mac/Linux/WindowsでもPythonなしで動くよ)

Sat, 23 Feb 2019 13:36:26 +0900

AWSコマンドを実行するための環境づくりをしたいが、自前のMac環境だけでなく、Windows環境のことも考慮して構築したいですよね。

Dcokerを作って実現するための手順をまとめてみました。

Dockerを使えれば、MacだろうがWindowsだろうがLinuxだろうが同じ手順で aws-cli 実行の環境が構築可能です。

事前にDockerのインストールが必要

こめんなさい。事前にDockerのインストールはされていることが前提です。
こちらはネット上に情報が転がっているので独力で頑張ってみてください。

“Docker Hub"から適当なコンテナを探す

Docker Hub から適当な既存のコンテナを探しました。

以下のコンテナがダンロード数も多く、比較的頻繁に更新されてそうでした。

mesosphere/aws-cli

Dockerを使った `aws-cli` を早速試してみる

実行のためには、以下の３つの情報が必要。

export AWS_ACCESS_KEY_ID="<id>"
export AWS_SECRET_ACCESS_KEY="<key>"
export AWS_DEFAULT_REGION="<region>"

環境変数として定義して export すれば利用可能ということで早速試してみます。

IAM管理コンソールページから、キー情報を取得

IAM Management Console のページを開く。
左サイドのメニューから「ユーザー」を選択すれば、現在登録されているIAMユーザの一覧が表示されます。
既存のものを使いたい 場合はそれをクリック。 新しいものを使いたい 場合は「ユーザーを追加」ボタンをクリック。

今回は既存のものを利用したいので、クリックしました。

「アクセスキー」 は最大2つまで登録できます。今回は既存のものがすでに登録してあったが 忘れてしまったため 新しく作成。

ボタンを押すと即座に新しいアクセスキーが作成されます。このタイミングでしっかりメモしておかないと2度と シークレットアクセスキー は確認できないので、メモしておきます。

環境変数を設定

Bash（ Windowsの方はコマンドプロンプトかPowerShell ）を開いて、以下の環境変数を設定します。

$ export AWS_ACCESS_KEY_ID="<先程のページのアクセスキーID>"
$ export AWS_SECRET_ACCESS_KEY="<先程のページのシークレットアクセスキー>"
$ export AWS_DEFAULT_REGION="ap-northeast-1"

AWS_DEFAULT_REGION は一番良く使うデフォルトのリージョンを指定する必要があります。（ 僕の場合は東京リージョン ） AWSの以下のページから自分がよく使うものを１つ選んで設定すればよいです。

https://docs.aws.amazon.com/ja_jp/general/latest/gr/rande.html

Bash起動時に自動的に環境変数が設定されるように、 ~/.bashrc ファイルに追記しておくとよいでしょう。

ようやく `aws-cli` の実行

早速 Docker を使った aws-cli の実行。

シェルを使ってMySQLの全`table create statement`を出力する方法

Fri, 22 Feb 2019 08:05:11 +0900

Qiita の記事に興味があったので。

MySQLに接続し、 show create table colors; というコマンドを実行すると colors テーブルの create table 文が出力されます。

# USER=testuser / password=test9ass / DB=testdb で接続
$ mysql -u testuser -ptest9ass testdb -e "show create table colors \G"
Warning: Using a password on the command line interface can be insecure.
*************************** 1. row ***************************
 Table: colors
Create Table: CREATE TABLE `colors` (
 `code` varchar(255) NOT NULL,
 `name` varchar(255) NOT NULL,
 `created_at` datetime DEFAULT NULL,
 `updated_at` datetime DEFAULT NULL,
 PRIMARY KEY (`code`),
 UNIQUE KEY `uq_colors_code` (`code`),
 UNIQUE KEY `uq_colors_name` (`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

僕だったらどうやるかなと思ってシェルスクリプトを書いてみました。

シェルスクリプトでディレクトリ配下を検索した結果を、フォルダ階層を保ったまま別ディレクトリにコピーする

Wed, 20 Feb 2019 23:18:09 +0900

はじめに

タイトルがわかりにくいので、早速、具体的な例を上げて説明します。

EC-CUBEのソースコードを拝借し、 Tag という文字を名前に含むファイルを、階層構造を保ったまま別のフォルダ ( /tmp/ec-cube ) にコピーしてみます。

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)
Copyright (C) 2019 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

準備

$ git clone https://github.com/EC-CUBE/ec-cube.git

$ ls -l
drwxrwx--- 40 genzouw staff 1280 2 20 22:43 ec-cube/

やりかた

Tag という文字を名前に含むファイルは以下のコマンドで見つけられます。

# 一部のファイルだけに絞り込まれて出力されている
## -type f => ファイルのみを対象。ディレクトリは非対称。
## -name => Tagという文字を含むもののみを対象
$ find ec-cube -type f -name '*Tag*'
ec-cube/tests/Eccube/Tests/Web/Admin/Product/TagContorllerTest.php
ec-cube/tests/Eccube/Tests/DependencyInjection/Compiler/AutoConfigurationTagPassTest.php
ec-cube/src/Eccube/Form/Type/Admin/ProductTag.php
ec-cube/src/Eccube/Form/Type/Admin/TagType.php
ec-cube/src/Eccube/Repository/ProductTagRepository.php
ec-cube/src/Eccube/Repository/TagRepository.php
ec-cube/src/Eccube/Entity/ProductTag.php
ec-cube/src/Eccube/Entity/Tag.php
ec-cube/src/Eccube/Controller/Admin/Product/TagController.php
ec-cube/src/Eccube/DependencyInjection/Compiler/AutoConfigurationTagPass.php

これを階層構造を保ったまま /tmp/ec-cube にコピーするには、 tar コマンドを使います。

気象庁の過去の時間帯別天気情報をスクレイピングするプログラム

Tue, 19 Feb 2019 20:53:38 +0900

ずいぶん昔に作ったものだけどどうぞ。 csvで出力されるんだったと思います。

*　https://github.com/genzouw/collect_weather_data

githubトップページの内容を抜粋。

collect_weather_data

気象庁の過去の時間帯別天気情報をスクレイピングするプログラムです。

Set up

$ git clone https://github.com/genzouw/collect_weather_data.git

$ cd collect_weather_data/

$ composer install

Execution


# from 1980-01-01 to yesterday
$ ./main.php

# from 1990-12-31 to yesterday
$ ./main.php '1990-12-31'

# from 1990-12-31 to 1991-01-02
$ ./main.php '1990-12-31' '1991-01-02'

Bashシェルスクリプトで浮動小数点計算（答えが小数となる除算）

Mon, 18 Feb 2019 12:21:58 +0900

はじめに

Bashの組み込みの数値演算機能では、少数が取り扱えません。

$ X=10
$ Y=2
$ Z=4

# こちらは問題ない
$ echo $((X/Y))
5

# これでも結果はおなじ
$ echo $(($X/$Y))
5

# こちらの結果がおかしい
$ echo $((X/Z))
2

echo $((X/Z)) の実行結果は 2.5 となってほしいが、小数点以下が切り捨てられてしまいます。

対処方法はいくつかあります。

`bc` コマンドを使う

# このままだと変わりなし
$ bc <<< "$X/$Z"
2

# 少数第何位まで計算するかを指定
$ bc <<< "scale=4; $X/$Z"
2.5000

$ # 無限循環小数
$ bc <<< "scale=4; $X/3"
3.3333

問題は scale の値をいくつにするかを予め知っておかないといけないこと。 卵が先か、鶏が先か。

bc -l でもっとよしなにしてくれるようです。

$ bc -l <<< "$X/$Z"
2.50000000000000000000

$ bc -l <<< "$X/3"
3.33333333333333333333

割り切れたのかよくわかりませんね。

`awk` コマンドを使う

awk 最強？

$ awk "BEGIN { print $X/$Z }"
2.5

# 循環小数が何故切れたのかは不明
$ awk "BEGIN { print 10/3 }"
3.33333

循環小数はなぜ切れた。

AWS Transfer for SFTP - Amazon S3と連携したマネージドなSFTPサービス

Sat, 16 Feb 2019 22:53:18 +0900

SFTPへのPOST機能しか持ち合わせていないようなサービスをどうしても使いたい場合に利用できそうなので、調べてみました。

概要

AWSのブログサイトより引用

新発表 – AWS Transfer for SFTP – Amazon S3と連携したマネージドなSFTPサービス | Amazon Web Services ブログ

SFTP（Secure File Transfer Protocol）は、長年に渡って使用されてきたデータ処理やパートナー連携の一部として、現在でも多くの組織で利用されています。このようなシステムを「レガシー」という言葉で片付けてしまうのは簡単ですが、現実には、今後も長期間に渡ってSFTPは利用され続けるでしょう。そこで私達は、このようなワークフローを持つお客様が、スムーズかつ、大きな変更を伴わずにクラウド環境に移行できるようなお手伝いをしたいと思います。

SFTP 経由で Amazon S3 と直接ファイル転送できます。

( SFTP = Secure Shell File Transfer Protocol の略称で、インターネット経由の安全なデータ転送に使用されるネットワークプロトコル。 )

こちらのサービスを利用しない場合、既存サービスとS3の間にSFTPサーバを立てて、転送する仕組みを構築しないといけない。

[既存サービス(SFTP POSTのみ可能)] ===> 【AWS Transfer for SFTP】 ===> [AWS S3]

利用するための大まかな手順

サーバーを作成
SFTP接続用のユーザアカウントをセットアップ
- ひとつまたは複数のAmazon Simple Storage Service（S3）バケットと関連付ける
- ssh接続用の公開鍵を作成し、アップロードする

作業開始

サービスページを開く

マネージメントコンソールの「サービスを検索する」の欄に transfer と入力すれば見つかる。

早速開いてみます。

IAMユーザで “AWS Transfer” コンソールページが開けない。

パーミッションの設定がまずいのか、新規に作成した IAMユーザ では “AWS Transfer” コンソールページが開けない。

シェルスクリプトのコードを整形してくれるツール `shfmt`

Fri, 15 Feb 2019 08:50:03 +0900

シェルスクリプトでコーディングする際に使っているツールを紹介。 ( とりあえず殴り書きして、コードフォーマットツールに食わせて整形します。 )

GitHub - mvdan/sh: A shell parser, formatter, and interpreter (POSIX/Bash/mksh)

必要なもの

Go
- Macなら brew install golang
- CentOSなら yum install golang

インストール方法

Gihtubのshfmtトップページにインストール方法が書かれています。

2019-02-15現在、 go コマンドが使えれば、以下のコマンドだけでインストールされます。

$ go get -u github.com/mvdan/sh/cmd/shfmt

正常にインストールされていれば、以下のフォルダにコマンドがインストールされています。

# 僕の環境
$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

# HOMEディレクトリ配下にコマンドがインストールされている
$ cd
$ ls .go/bin/shfmt
.go/bin/shfmt*

# 頻繁に使うので、 `$HOME/.go/bin` にパスを通しておく
echo 'export PATH="$PATH:$HOME/.go/bin"' >> ~/.bashrc

# コマンドが実行できるか確認
$ shfmt --help

※ちなみに、CentOS7系サーバでセットアップを行うと、 $HOME/.go ではなく $HOME/go ディレクトリにコマンドがインストールされます。なぜパスが違う？？

シェルスクリプトで変数の先頭・末尾のtrim処理いろいろ

Thu, 14 Feb 2019 08:18:19 +0900

ユーザの入力情報を取り扱うときには、誤ってスペースを入力されたことを考慮した対策が必要です。入力情報を変数に代入していた場合は先頭・末尾のtrim処理を行っておくと良いです。

Bashシェルスクリプトでtrimを実行する方法はいくつかあるので取り上げてみました。

前提

入力情報は INPUT という変数に格納しておきます。

$ INPUT=' genzouw postit '
 # スペースがあることがわかるようにカッコを付与しています
$ echo "[${INPUT}]"
[ genzouw postit ]

変数の前後から不要なスペースを除去し、以下のように出力されるようにしたいと思います。

[genzouw postit]

trimの方法1：sed

僕の中ではセオリー。

余談ですが、 sed が使えると head や tail や tr も代用できるし非常に便利です。万能ナイフ。

$ echo "${INPUT}" | sed 's/^ *\| *$//'
genzouw postit

変数に代入して使うこともできます。

$ X="$(echo "${INPUT}" | sed 's/^ *\| *$//')"

$ echo "${X}"
genzouw postit

trimの方法2：単純にechoする

ただechoに食わせるだけ。

$ echo ${INPUT}
genzouw postit

簡単でよいが、問題はあります。中央部分のスペースが1つにマージされてしまいます。

$ INPUT2=" xxx yyy "

$ echo ${INPUT2}
xxx yyy

trimの方法3：xargsに食わせる

実は、 方法2 と大きな違いはない。

$ echo "${INPUT}" | xargs echo
genzouw postit

trimの方法4：Bash組み込みの変数参照機能を使う

Bashの組み込み機能として、変数参照時に先頭あるいは末尾から特定の文字を除去する機能があります。ただし、1スペースずつしか除外できません。

CSVデータに対してSQLのwhere、order by、group by、joinができる "q" コマンド（活用編）

Wed, 13 Feb 2019 08:39:30 +0900

はじめに

以下のエントリの続き。

CSV データに対して SQL の where、order by、group by、join ができる “q” コマンド（導入編） | ゲンゾウ用ポストイット

前回は q コマンドの導入とテストデータ作成（ 年次別にみた出生数・率（人口千対）・出生性比及び合計特殊出生率 ）まで。

今回は実際に q コマンドでデータを操作してみます。

検証環境

$ bash -version | head -n 2
GNU bash, version 5.0.17(1)-release (x86_64-pc-linux-gnu)
Copyright (C) 2019 Free Software Foundation, Inc.

$ cat /etc/os-release | head -n 2
NAME="Ubuntu"
VERSION="20.04.3 LTS (Focal Fossa)"

$ q --version
q version 3.1.6
Python: 3.8.11 (default, Jul 24 2021, 23:08:48) // [Clang 12.0.1 ]
Copyright (C) 2012-2021 Harel Ben-Attia (harelba@gmail.com, @harelba on twitter)
http://harelba.github.io/q/

単純なデータの出力

CSV ファイルを DB のテーブルと見直したクエリを実行することができます。
- from 句に CSV ファイルを指定
- 今回は各列がカンマ ( , ) で区切られているので、デリミタとして , を指定します。

$ q -d , "select * from mb010000-utf8.csv"
1899,1386981,713442,673539,32.0,105.9,...
1900,1420534,727916,692618,32.4,105.1,...
1901,1501591,769494,732097,33.9,105.1,...
1902,1510835,773296,737539,33.6,104.8,...
1903,1489816,763806,726010,32.7,105.2,...
1904,1440371,738230,702141,31.2,105.1,...
1905,1452770,735948,716822,31.2,102.7,...
1906,1394295,726155,668140,29.6,108.7,...
1907,1614472,818114,796358,34.0,102.7,...
1908,1662815,850209,812606,34.7,104.6,...
1909,1693850,863855,829995,34.9,104.1,...
1910,1712857,872779,840078,34.8,103.9,...
...(省略)...

ダウンロードしてきたデータの最終列がよくわからない。なぜドット。。。もともとのデータの 1〜9 行目を見る限り、列情報の意味は左から以下のようになっているようです。

CSVデータに対してSQLのwhere、order by、group by、joinができる `q` コマンド（導入編）

Tue, 12 Feb 2019 08:30:34 +0900

はじめに

年度末が近づいてきて、仕事でも CSV データをこねくり回す機会が増えてきました。（ログデータ集計、デバッグだけでなく、確定申告の金額計算など）

CUI 好きの自分も grep / sed / sort / uniq / join / paste のコマンドを毎回毎回パイプラインでつないでいるのは多少面倒になる。

CSV データを SQL で操作できればいいのに、と思う人も少なくないはずです。僕も SQL でデータ操作するほうがなれている人間のひとりです。

そんな方におすすめなのが、 q コマンド。名前のせいでググラビリティが低いのが難点だがとっても便利。

今回は主に導入方法について紹介し、次回で使い方に触れたいと思います。

検証環境

$ bash -version | head -n 2
GNU bash, version 5.0.17(1)-release (x86_64-pc-linux-gnu)
Copyright (C) 2019 Free Software Foundation, Inc.

$ cat /etc/os-release | head -n 2
NAME="Ubuntu"
VERSION="20.04.3 LTS (Focal Fossa)"

インストール方法

Github の以下のページを参照。OS ごとにインストール方法が記載されています。

Download and Install

RedHat 系 OS、Debian 系 OS 向けにそれぞれのインストールパッケージも用意されています。

Bashシェルスクリプトで大文字<=>小文字の変換方法いろいろ

Fri, 08 Feb 2019 08:09:04 +0900

前回 大文字あるいは小文字専用の変数を作成する方法について 触れたので、 文字列の大文字<=>小文字の変換方法 について紹介します。

`tr` コマンドを使う方法

おそらく最も古典的かつベーシックな方法です。

全文を変換

# 大文字→小文字
$ echo 'Hello World!' | tr '[:upper:]' '[:lower:]'
hello world!

# 小文字→大文字
$ echo 'Hello World!' | tr '[:lower:]' '[:upper:]'
HELLO WORLD!

一部変換

おそらく tr を使う方法ではできないのでは？

`sed` コマンドを使う方法

こちらも比較的よく見る方法です。ポイントは \L と \U 。置換したい文字列を指定する箇所の先頭に付与すると、 L の場合には小文字に、 U の場合には大文字に変換されます。

全文を変換

# 大文字→小文字
$ echo 'Hello World!' | sed 's/.\+/\L\0/'
hello world!

# 小文字→大文字
$ echo 'Hello World!' | sed 's/.\+/\U\0/'
HELLO WORLD!

一部を変換

最初の単語のみに適用。

# 大文字→小文字
$ echo 'Hello World!' | sed 's/^\(\w\+\)\+/\L\1/'
hello world!

## 見にくい場合は拡張正規表現オプションを付けるとよい
$ echo 'Hello World!' | sed -E 's/^(\w+)+/\U\1/'
hello World!

# 小文字→大文字
$ echo 'Hello World!' | sed 's/^\(\w\+\)\+/\U\1/'
HELLO World!

## 見にくい場合は拡張正規表現オプションを付けるとよい
$ echo 'Hello World!' | sed -E 's/^(\w+)+/\U\1/'
HELLO World!

Bash の変数の展開機能を使う

Bash 4.0 以降では、構文として変数の値参照時に大文字<=>小文字の変換が可能です。デメリットは変数として使うため、一度代入しておかないといけないこと。 while read ループと組み合わせて使う場合に便利です。

Bashシェルスクリプト上での `read` コマンドの便利な使い方いろいろ

Thu, 07 Feb 2019 08:03:11 +0900

Bashシェルスクリプトで標準入力からの情報を取り扱う read コマンドと declare コマンドを組み合わせると便利で read コマンドについて触れたついでに、 read コマンドの便利な使い方にも触れておきます。

検証環境

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)
Copyright (C) 2019 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

変数をバラす

read コマンドは 区切り文字を元に標準入力からのデータをばらして変数に投入してくれる という機能があるので、それを上手に使うと変数をバラすのが楽になります。

例)年、月、日を別の変数に代入する

date コマンドを3回実行すれば取得できます。

# 年、月、日を取得
$ Y="$(date +%Y)"
$ M="$(date +%m)"
$ D="$(date +%d)"

# 確認してみる
$ echo "$Y と $M と $D"
2019 と 02 と 07

date コマンドの実行結果を read コマンドに食わせることで同じことができます。

# dateの実行結果を標準入力として渡す
$ read Y M D < <(date +'%Y %m %d')

# 確認してみる
$ echo "$Y と $M と $D"
2019 と 02 と 07

ちなみに以下のコマンドではうまくいきません。

Bashシェルスクリプトで標準入力から配列を生成する "read -a" コマンドが便利

Wed, 06 Feb 2019 08:15:05 +0900

はじめに

Bash のビルトインコマンド “declare” の使い方紹介 ( その１ ) で 配列型の変数 について触れました。

その後 Bash のビルトインコマンド “declare” の使い方紹介(その２) で 大文字専用の変数 あるいは 小文字専用の変数 について取り扱ったので、少しだけ関係する read ビルトインコマンドについても触れておきます。

read を使うと、標準入力から読み込んだデータの取り扱いが用意になる場合があります。

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

`read` ビルトインコマンドとは？

特徴を簡単に列挙してみます。

標準入力を読み、一行ずつ読み込む
終了コードは、行を読み込めたときは 0 、読み込めなかったとき ( EOF も含む ) は 1
- ループの終了判定に使うことができる
引数にシェル変数名が指定し、読み込んだ行を変数に格納する
- 行末の改行は削除される

ベーシックな使い方として、ファイルの内容を１行ずつ読み込む処理として使われます。 while コマンドと一緒にループ処理を記述する際に使われます。

事前準備 ( サンプルデータ作成 )

動作を見ていくために、適当なデータを作成しておきます。

$ cat <<EOF >> data.csv
a,b,c
d,E,F
G,h,i
1,2,3
4,5,X
EOF

# ファイルができたか確認
$ cat data.csv

1 行ずつ読み込み、変数に代入

cat でいいよね、というぐらいに簡単な処理。

Bashのビルトインコマンド"declare"の使い方紹介（変数の global スコープ/参照渡し）

Tue, 05 Feb 2019 07:58:31 +0900

またまた以下の内容の続きです。まだまだ書き足りないけど今回で小休止を入れたいと思います。

前回関数内で declare コマンドを使って定義した変数は、自動的に local スコープになるというところで終わりました。では、関数内の local スコープ変数をもっと広いスコープにするにはどうしたらよいでしょう？

`-g` オプション

declare コマンドのオプションに -g と言うものがあります。デフォルトの local スコープよりさらに広い global スコープを設定してやることができます。関数の内部で定義した変数を関数の外部でも利用できるようになります。

# 関数を定義
f () {
 # -gオプションを付与して、globalスコープとする
 declare -g -i N=4
 echo "f: N=$N"
}

# 関数呼び出し前なので空
$ echo "N=$N"
N=

# 関数呼び出し。関数内の変数は当然見れる
$ f
f: N=4

# 関数呼び出し後はglobal変数が関数の外からも見れる
$ echo "N=$N"
N=4

# 変数を表示するだけの関数を作成
$ show_var () {
 echo "show_var : N=$N"
}

# 表示させてみる
$ show_var
show_var : N=4

# 再度定義し直したらどうなるの？
$ f2 () {
 declare -g -i N=5
 echo "f2: N=$N"
}

# 上書きできちゃう
$ f2
f2: N=5

関数の外で参照できるだけでなく、他の関数からも参照できるようになります。けれども、あんまり広いスコープの変数を使うことはないと思います。

Bashのビルトインコマンド `declare` の使い方紹介（変数のlocalスコープ）

Mon, 04 Feb 2019 08:07:46 +0900

またまた、以下のエントリの続き。

※だんだんシリーズみたいになってきました（笑）

今回は前回の続きで、Bash における変数のスコープ（参照可能な範囲）について。

検証環境

$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

`declare` コマンドで定義した変数は関数の中だけのいのち

読み取り専用の変数を定義するためには、declare -p を使っても readonly を使っても違いはなさそうというところまで確認しました。

$ declare -r A=a1
$ readonly B=b1

# `-p` オプションで変数がどのように定義されたものかを確認できます。
# 変数名を複数指定して、いっぺんに出力することもできます。
$ declare -p A B
declare -r A="a1"
declare -r B="b1"

Bash のビルトインコマンド “declare” の使い方紹介（その３）の終わりでも話したとおり、これは 関数の外部で変数が定義された場合 のみの話。関数の内部で定義された変数の場合には事情が異なります。関数の内部で定義された場合の両者の違いを見ていきましょう。

# 関数を作成
$ function f() {
 declare -r C=c1
 readonly D=d1
 echo "f: C=$C D=$D"
}

# 関数の呼び出しを行っていないため、いずれの変数も値は空
$ echo "C=$C D=$D"
C= D=

# 関数を呼び出して、関数内の変数値を出力
$ f
f: C=c1 D=d1

# 関数の内部で代入したDの値は参照可能
$ echo "C=$C D=$D"
C= D=d1

# 変数は見つからない
$ declare -p C
bash: declare: C: 見つかりません

# 変数が見つかる
$ declare -p D
declare -r D="d1"

declare で定義した変数は、関数の内部でしか参照できません。

Bash のビルトインコマンド "declare" の使い方紹介（その３:読み取り専用）

Fri, 01 Feb 2019 08:17:07 +0900

以下のエントリの続き。

今回は 変数に型以外の情報を付与する機能 について。他の言語で言う public とか final の キーワード をイメージしてもらえばよいです。

別の表現をすると、以下の属性を付与する機能と言えますね。

変数のスコープ
変数の読み取り専用(書き込み禁止)

declare コマンド以外でも設定できる内容であり、以下のキーワードとも絡めて話をしたいと思います。

readonly
export
local

検証環境

$ bash --version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)
Copyright (C) 2019 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

declare オプション（変数の利用を制限・開放するもの）

`-r` オプション

読込専用な変数を定義。 値を代入 したりや unset をできなくなる。

Bash のビルトインコマンド "declare" の使い方紹介（その２:大文字小文字の自動変換）

Thu, 31 Jan 2019 08:00:16 +0900

以下のエントリの続き。

前回まで見てきたオプションは、変数の定義時に 型を指定 し、 想定通りの値が格納されていることを担保する ためのものです。他の言語で言う 連想配列 、配列、整数の３つの型について取り扱いました。

今回紹介するのは 文字列型 の機能について。

文字列型の変数に格納されている値が全て大文字であること、あるいは全て小文字であることを担保するためのオプションです。

検証環境

$ bash --version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)

declare オプション（変数の型を定義するもの）

`-l` オプション

大文字を自動的に小文字に変換する変数を定義。 LowerCase の頭文字からとっているのだろう。

変数への値には必ず小文字の英字しか格納されていないことが担保されます。

# 全て小文字は当然何も起こらない
$ declare -l LSTR=abcde
$ echo ${LSTR}
abcde

# 大文字の値を代入しても変換される
$ LSTR="Hello World"
$ echo ${LSTR}
hello world

# 大文字を含むと変換される
$ declare -l LSTR2=ABCDE
$ echo ${LSTR2}
abcde

# 他の文字が混ざっていても大文字は小文字に変換される
$ declare -l LSTR3=aB1C3DE
$ echo ${LSTR3}
ab1c3de

# 全角英大文字を混ぜてみたところ...なんということでしょう！
$ declare -l LSTR4=abCＡＢＣ
$ echo ${LSTR4}
abcａｂｃ

驚いたのは全角英大文字もしっかり小文字に変換されていたことです。 Bash のバージョンによるのでしょうか？

Bashのビルトインコマンド"declare"の使い方紹介（その１）

Wed, 30 Jan 2019 08:16:00 +0900

シェルスクリプトサンプルコードでよく見かけるtypesetやdeclareってなに？の続きです。 ( declare や typedef について知りたい方は前回のエントリのほうが参考になるかもしれません。 )

Bash のビルトインコマンドである declare を使って変数を定義できますが、 オプションを指定することで真価を発揮します 。 declareオプションを見ていきましょう。

オプションは３つに分類できます。（僕が勝手に分類した）

変数の型を定義するもの
変数の利用を制限・開放するもの
その他

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

declareオプション（変数の型を定義するもの）

`-A` オプション

連想配列として変数を定義できます。

# 連想配列を定義
$ declare -A MAP

# 要素を代入
$ MAP['a']=11
$ MAP['b']=22
$ MAP['c']=33

# 単純にechoしても何も出力されない
$ echo $MAP

# 添字を指定すればOK
$ echo ${MAP[a]}
11
$ echo ${MAP["a"]}
11

# カッコが足りないと正しく出力されない(T_T)
$ echo $MAP[a]
[a]
$ echo $MAP["a"]
[a]

# ちょっと特殊な書き方をしてやると出力できるが、値の一覧だけしか出力されない
$ echo "${MAP[@]}"
11 22 33

# "!" をつけてやると連想配列のキーも取得できます。（ここまで来るといよいよ意味不明。呪文じみてくる）
# ただ、この方法を使えばキーでループさせることが可能。
$ echo "${!MAP[@]}"
a b c

# -p オプションを使うとデバッグしやすい（後述）
$ declare -p MAP
declare -A MAP=([c]="33" [b]="22" [a]="11" )

ちなみに、変数の定義タイミングで値を代入するリテラル記述も存在します。

MacにOpenJDK11をインストールし、JITを試す

Wed, 30 Jan 2019 08:00:37 +0900

はじめに

プロジェクトで利用する OpenJDK のバージョンが 11 に決まったので、バージョンアップしようと思いました。

ちなみにローカルPCにインストールされている Java のバージョンは 1.8 でした。

$ java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)

検証環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin

インストール方法

Homebrew を使ってインストールするためには、以下のリポジトリを tap すればよいです。

GitHub - AdoptOpenJDK/homebrew-openjdk: AdoptOpenJDK HomeBrew Tap

上記ページに記載されている通り、以下のコマンドでインストール可能。

brew cask install adoptopenjdk

テスト

バージョンを確認。

$ java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)

一度ターミナルをexitしないと反映されませんでしました。古いバージョンが出力される方はご注意。

シェルスクリプトサンプルコードでよく見かける typeset や declare ってなに？

Tue, 29 Jan 2019 08:19:26 +0900

後日投稿したエントリで、サンプルコードとともに検証をしてみました。興味があればそちらも御覧ください。

古いシェルスクリプトコードでは、以下のような命令で変数を定義する方法が取られていることが多いです。

# 定義
$ VAR1=123

# 出力
$ echo "$VAR1"
123

一方、Github で公開されているシェルスクリプトを見ていると、 typeset や declare を使って変数を定義している例をよく見かけます。

それぞれの違いと使い方について調べてみました。

変数定義の方法は３つ

改めて Bash の変数定義方法を列挙してみます。

Bash では 定義なしに変数を生成 することができるが、 明示的に定義して変数を生成 することもできます。
変数の生成方法は以下の 3 つ。（だと思っている）

VAR1=123
declare VAR1=123
typeset VAR1=123

それぞれの違いは何？便利な機能もありそうなので調べてみました。

1. `declare` / `typeset` なしの変数定義

最もよく見る変数定義方法。記述もシンプルで流れるようにコーディングしているときにはよく記述します。

$ X=hello

$ echo "$X"
hello

2. `declare` を使った変数定義

$ declare X=hello

$ echo "$X"
hello

一緒に見えますね。

3. `typeset` を使った変数定義

$ typeset X=hello

$ echo "$X"
hello

これも一緒！？困ったので man ページを見る！

ブログのエントリにコメント投稿できない謎のエラー「画像認証が間違っています」

Mon, 28 Jan 2019 21:33:15 +0900

最近はてなブログからWordpressに移行してみました。きっかけは同僚が比較的簡単にはてなブログからWordpressに移行できたという話を聞いたことと、仕事で移行を担当したためです。

ブログのエントリにコメント投稿できない謎のエラー「画像認証が間違っています」

移行したあとのはじめてのコメントが楽しみなのですが、コメント入力はどんな感じなのだろうと思いました。試しに自分でコメントしてみる。すると、意味不明なエラーが発生。「 エラー:画像認証が間違っています。 」

原因は「SiteGuard」と「Jetpack」プラグインの併用

セキュリティ対策として「SiteGuard」というWordPressのプラグインをインストールしています。

SiteGuard には、Wordpressのデフォルトのコメント入力欄に対してボットによるスパムコメント投稿をさせないようにする仕組みが用意されています。コメント入力時に reCAPTCHA（リキャプチャ） に要求する仕組みでその名の通り「 画像認証 」です。

ボットからの攻撃を守ってくれるのはありがたいのですが、コメント投稿できないのではコメント欄を表示している意味もないので、これを解除しました。

最後に

ということでコメント投稿できるようになりましたよ！些細なことでも良いのでコメント待ってます。

Bashのストリーム/パイプ処理を視覚的に理解する

Sat, 26 Jan 2019 09:42:10 +0900

はじめに

今日、サーバOSとしてLinuxが占める割合は非常に多いです。 Linuxサーバへログインして作業をすすめるにあたり、 Bash に上手に仕事を依頼できるかで生産性に大きな違いが出てきます。なぜなら、多くのLinuxサーバに標準搭載されているUIは、Bashだからです。

現在携わっているサービスのサーバも例に漏れずLinuxが利用されています。

“ストリーム/パイプ"を理解すれば"Bash"が理解できる

“ストリーム/パイプ"を理解すれば"Bash"が、そして"Bash"の 便利さ が理解できます。

ですが、“Bash” のコマンドは処理の複雑さの割に短く、理解が進むまでは非常に敷居の高い仕組みになっています。そこで、 “ストリーム/パイプ芸” 達を視覚化してみることにしました。

以降、 “ストリーム/パイプ芸” たちをサンプルコードとともに掲載します。サンプルコードの意味は説明を最小限にしますが、替わりに視覚化していきます。

当エントリの最後に"ストリーム/パイプ芸"を大変わかりやすく紹介しているページのURLを紹介しておきます。

図の見方

登場人物 は以下のものたちです。

“ストリーム/パイプ” パターン紹介

1.単純に実行（非ストリーム/パイプ）

まずはじめに ストリーム/パイプを利用していない例 から。出力結果を次のコマンドに渡すためには、一時的にファイルに書き出す必要があります。

サンプルコード

$ C1 > S12.txt
$ C2 < S12.txt > S23.txt
$ C3 < S23.txt

具体例

$ seq 1 100 > S12.txt
$ sort -rn < S12.txt > S13.txt
$ cat -n < S13.txt

視覚化してみました

2.単純なパイプ

比較的よく実行するタイプです。データも左から右へと流れるため、直感的に理解し易いです。

サンプルコード

$ C1 | C2 | C3

具体例

$ seq 1 100| sort -rn| cat -n

視覚化してみました

Linuxサーバからログアウトしたタイミングで処理を実行させる方法（例えばメールを飛ばす）

Fri, 25 Jan 2019 08:45:59 +0900

職場の踏み台サーバを経由してオペレーションを実行すると、オペレーションログが１ファイル作成されます。このファイルのフルパスをログアウトごとに記録しておく必要があったのだが面倒なので自動化してみました。

追記 : 後日、Bash の trap 機能について追加のエントリを書きました。trap コマンドの詳細を知りたい方はどうぞ 。

Bash シェルスクリプトで終了前に後始末をさせたい時は trap コマンドを活用しよう | ゲンゾウ用ポストイット

前提

ログファイルは以下のフォルダに配置される。
- /var/log/script
ファイル名にはログインユーザ名が付与されている。
ファイル名にはタイムスタンプがが付与されている。

具体的には以下のようなファイル形式となります。

/var/log/script/genzouw_20190125_082914.log

検証環境

$ bash -version
GNU bash, バージョン 4.2.46(1)-release (x86_64-redhat-linux-gnu)
Copyright (C) 2011 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

ログアウトタイミングに処理を実行させるための方法

Bash の trap コマンド を使って実現しました。

Bitbucket上で個人、あるいは組織で所有するリポジトリを一覧表示するためのシェルスクリプト

Thu, 24 Jan 2019 08:18:19 +0900

Bitbucket上で個人、あるいは組織で所有するリポジトリを一覧表示するためのシェルスクリプト

背景

仕事で自分の組織が所有するBitbucketのリポジトリを全て取得し、grep検索したい場合がありましたが、BitbucketのWebページの一覧性はよくありません。（特にページングされているので、全てを一覧表示できない。）

また、Vimで編集しやすいように、 コマンドラインから一覧表示するためのシェルスクリプト を作成しました。

検証環境

$ uname -a
Darwin NP178 18.2.0 Darwin Kernel Version 18.2.0: Mon Nov 12 20:24:46 PST 2018; root:xnu-4903.231.4~2/RELEASE_X86_64 x86_64 i386 MacBookPro11,4 Darwin


$ bash -version
GNU bash, バージョン 5.0.2(1)-release (x86_64-apple-darwin18.2.0)
Copyright (C) 2019 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>

This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.


$ zsh --version
zsh 5.6.2 (x86_64-apple-darwin17.7.0)

前提条件

jqという、jsonデータを操作するためのツール

スクリプト

show-bitbucket-repositories.sh

#!/usr/bin/env bash
set -o errexit # エラーが発生した場合はシェルを終了
set -o nounset # 未定義の変数を利用禁止

opts='hu:p:o:'

usage() {
 echo -n "${0}"
 echo "${opts}" | sed 's/\([a-z]\)/ -\1/g' | sed 's/\-\([a-z]\):/-\1 \U\1\E/g'
 exit 1
}

type jq >/dev/null 2>&1 || {
 echo 'jqコマンドがありません。停止します。'
 exit 101
}

while getopts ":${opts}" opt; do
 case "${opt}" in
 u)
 BITBUCKET_USER=${OPTARG}
 ;;
 p)
 BITBUCKET_PASSWORD="${OPTARG}"
 ;;
 o)
 BITBUCKET_ORG="${OPTARG}"
 ;;
 h | : | \?)
 usage
 exit 0
 ;;
 esac
done

API_URL="https://api.bitbucket.org/2.0/repositories/${BITBUCKET_ORG:-${BITBUCKET_USER}}"

while [[ $API_URL != "null" ]]; do
 tmp=$(mktemp)

 curl \
 --silent \
 --user "$BITBUCKET_USER:$BITBUCKET_PASSWORD" "${API_URL}" >"${tmp}"

 # API実行結果がページングされて返却されるため、次ページ情報が存在するかを確認（ない場合にはnullという値が取得される）
 API_URL="$(cat "${tmp}" | jq -r .next)"
 cat "${tmp}" | jq -r -c ".values[].links.clone[].href" | grep 'https://'
done

設置方法

環境変数 $PATH が設定されているディレクトリにファイルを配置してください。
- ex) ~/bin

$ vi show-bitbucket-repositories.sh

$ chmod 700 show-bitbucket-repositories.sh

実行方法

-u : ユーザID ( 必須 )
-p : パスワード ( 必須 )
-o : 組織情報 ( 任意：後述 )

# 個人のリポジトリ
$ ./show-bitbucket-repositories.sh -u genzouw -p password-dayo

# `-o` オプション付きで、組織で所有するものの一覧表示が可能
$ ./show-bitbucket-repositories.sh -u genzouw -p password-dayo -o my_organize

ちなみに

こちらのpythonのツールでも同じようなことはできます。

【TMUX】新しいWindowを開いたときに、直前のカレントディレクトリを引き継ぐ設定

Wed, 23 Jan 2019 22:18:37 +0900

TMUXでWindowを開くたびに直前のカレントディレクトリに cd することが多く、面倒だったので調べてみました。

環境

自分のTMUX環境を確認

# tmux -V
tmux 2.8

設定

以下の設定を ~/.tmux.conf に追記すればOK。

vi ~/.tmux.conf

# 新しいPaneを開く場合
bind c new-window -c '#{pane_current_path}'
# 現在のPaneを水平分割してWindowを開く
bind '%' split-window -h -c '#{pane_current_path}'
# 現在のPaneを垂直分割してWindowを開く
bind '"' split-window -v -c '#{pane_current_path}'

TMUX のトリガとなるキーを入力後、 % キーで水平に分割、 " キーで垂直に分割されるようにショートカットを設定していますが、分割後の ペイン ではもとのカレントディレクトリが引き継がれています。

すでにTMUXプロセスが起動中の場合は、以下のコマンドを実行しないと正しく反映されないことに注意！

tmux source-file ~/.tmux.conf

Githubで無料アカウントでもPrivateリポジトリ作成が無制限になったのでコマンドで操作するための環境を整える

Tue, 22 Jan 2019 08:54:12 +0900

はじめに

Githubの無料アカウントユーザにもPrivateリポジトリ作成が無制限となりましたね。

GitHub now gives free users unlimited private repositories

今まで Bitbucket を利用し横目で Githubユーザいいなぁ と思っていたが、Githubどんどん使っていこうかなと思った次第です。
とはいえ、今まで使っていた bitbucket-cli の bb コマンドのように、CUIで リポジトリを作成し たり プルリクエストあげ たり 削除し たりはできるようにしたいです。

以下のツールを導入してみます。

GitHub - github/hub: hub helps you win at git.

特徴

一部抜粋

hub is a command line tool that wraps git in order to extend it with extra features and commands that make working with GitHub easier.

日本語訳すると以下のようになります。

hubはGitHubでの作業を容易にする追加機能やコマンドでgitを拡張するためにgitをラップするコマンドラインツールです。

ラッパーツールということで Git は必須。

環境

$ uname -moi
x86_64 MacBookPro10,1 Darwin

$ zsh --version
zsh 5.6.2 (x86_64-apple-darwin17.7.0)

インストール

以下を参照

Amazonの書籍詳細ページからタイトルを抜き出し大阪市立図書館の蔵書検索を行うJavaScript

Sat, 16 Apr 2016 21:58:19 +0900

はじめに

新人教育の一環として、部内でオススメの書籍を募ったところ、自分が読んでみたいと思った書籍がたくさんありました。で一つ一つ検索し ほしい物リスト に登録していったがすべて購入すると随分な費用となるため、大阪市立図書館の蔵書検索で検索し予約することにしました。その作業を少しでも容易にすべく、JavaScriptでブックマークレットを作成してみました。

スクリプト

javascript: var w = document.getElementById('productTitle').innerText.replace(/―/mgi, " ").trim(); location.href = "http://www.oml.city.osaka.lg.jp/index.php?action=pages_view_main&active_action=v3search_view_main_init&block_id=552&tab_num=0&op_param="+encodeURIComponent("words="+w);

使い方

前提

僕の利用しているブラウザはhrome です

ブックマークに次のスクリプトを登録します。（ブックマークレットとなります）
Amazonの商品ページ（ ex ）を開き、先のブックマークレットをクリックします。

ひとこと

マウスで選択されている文字列から検索、なども容易に実現できますね。 スクリプトとは関係ないですが、大阪市立図書館のページ重たいです。

Chocolateyを使ってEclipse + ERMasterをインストールしてみる

Thu, 07 Jan 2016 12:45:15 +0900

はじめに

プロジェクトのER図作成ツールとしてERMasterを利用するケースが多いが、セットアップ手順をまとめるのが面倒ですよね。

なるべくコマンドラインで完結できるような仕組みにすれば、テキストベースの 動くドキュメント にできます。

会社では Windows OSを使っているため、LinuxやMacのようにコマンドラインに強くないためなんとかならないものかと調べていたところ、Chocolateyというツールを発見しました。早速、Chocolateyを使って 動くドキュメント を作ってみました。

手順

1.Chocolateyのインストール

https://chocolatey.org/ にアクセスします。

ページ中央辺りに、 Windowsのコマンドプロンプトからのインストール方法が記載されています。実行してみます。( 2016-01-07 現在 )

※注意：コマンドプロンプト実行の際には「管理者として実行」を選択してください！

C: \> @powershell -NoProfile -ExecutionPolicy Bypass -Command "iex ((new-object net.webclient).DownloadString('https://chocolatey.org/install.ps1'))" && SET PATH=%PATH%;%ALLUSERSPROFILE%\chocolatey\bin

2.パッケージを探す

https://chocolatey.org/ のページ右上には、Chocolateyでインストール可能なアプリを検索するための検索エリアがあります。

eclipse と入力し検索してみましょう。

3.Eclipseのインストール

表示されたページには、パッケージのインストールを行うためのコマンドが表示されています。これを Windowsのコマンドプロンプトに貼り付けます。

ありがたいことに JDK まで勝手にインストールしてくれます。

※注意：コマンドプロンプト実行の際には「管理者として実行」を選択してください！

C: \> choco install eclipse

4.ERMasterのインストール

Eclipseに対して、 ERMasterプラグインをインストールします。

まずは以下のコマンドを実行し、feature名というものを確認します。

C: \> "C:\Program Files\Eclipse Foundation\4.5.1\eclipse\eclipsec.exe"
 -clean -purgeHistory
 -application org.eclipse.equinox.p2.director
 -noSplash
 -repository http://ermaster.sourceforge.net/update-site/
 -list
 org.insightech.er=1.0.0.v20150619-0219
 org.insightech.er.feature.feature.group=1.0.0.v20150619-0219
 org.insightech.er.feature.feature.jar=1.0.0.v20150619-0219

表示されたものから =以降を削除し、,で連結 します。

phpQueryを使って、commandlinefu.comからCommandLine Tipsを取得してみる

Thu, 17 Dec 2015 01:22:04 +0900

背景

コマンドラインからWebサイトのスクレイピングを行う必要がありました。

Goutte を使ってスクレイピングを行ったことがありました。けれどもあまり直感的に実装できずハマった思いがあるため、もう少し使いやすいライブラリはないものかと探してみました。代わりに良さそうなライブラリを見つけたのでこちら ( electrolinux/phpquery · GitHub ) を使ってみることにしました。

検証を兼ねて、 commandlinefu.com から CommandLine Tips を抜き出してみることにしました。

2019-02-07 追記

commandlinefu.com のHTMLの構成が変更されているみたいです。ご注意ください。

環境

$ bash -version
GNU bash, バージョン 4.3.42(1)-release (x86_64-apple-darwin14.5.0)
Copyright (C) 2013 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>
This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

$ php -v
PHP 5.5.28 (cli) (built: Aug 31 2015 12:17:07)
Copyright (c) 1997-2015 The PHP Group
Zend Engine v2.5.0, Copyright (c) 1998-2015 Zend Technologies

インストール

事前準備

Composer がインストールされていることが前提となります。インストールされていない場合はすぐにインストールしましょう！

Bashでリダイレクトにより誤って既存ファイルを上書きしてしまわないようにする

Wed, 16 Dec 2015 02:12:14 +0900

背景

bash クックブック を読み進めています。

標準で ON にしておくと良さそうな設定がありました。 Bash でリダイレクトにより誤って既存ファイルを上書きしてしまわないようにする設定です。

環境

$ uname -a
Darwin genzouw-MacBook-Pro.local 15.2.0 Darwin Kernel Version 15.2.0: Fri Nov 13 19:56:56 PST 2015; root:xnu-3248.20.55~2/RELEASE_X86_64 x86_64 i386 MacBookPro10,1 Darwin

$ bash -version
GNU bash, バージョン 4.3.42(1)-release (x86_64-apple-darwin14.5.0)
Copyright (C) 2013 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>
This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

set -o noclobber を実行すると、すでに存在しているファイルをリダイレクトにより上書きできなくなります。ファイルが存在しない場合は問題なく新規作成されます。追記も問題なくできます。

ssh-copy-idを使ってssh公開鍵を対象サーバーに配置する

Wed, 09 Dec 2015 21:29:03 +0900

背景

ssh-copy-id という、操作中のユーザーのSSH公開鍵を対象サーバーに簡単に配置するためのコマンドを知ったので使ってみた。

環境

$ uname -a
Darwin genzouw-MacBook-Pro.local 15.0.0 Darwin Kernel Version 15.0.0: Sat Sep 19 15:53:46 PDT 2015; root:xnu-3247.10.11~1/RELEASE_X86_64 x86_64 i386 MacBookPro10,1 Darwin
$ bash -version
GNU bash, バージョン 4.3.42(1)-release (x86_64-apple-darwin14.5.0)
$ zsh --version
zsh 5.1.1 (x86_64-apple-darwin15.0.0)

検証

Vagrantで新しいLinuxサーバーを立てる

$ vagrant init

# ここではすでにBoxを追加していたため、Vagrantfileを編集して利用するBoxを設定した
$ vi Vagrantfile
$ vagrant up

# ログイン
$ vagrant ssh

[vagrant@vagrant-centos65 ~]$ sudo useradd genzouw
[vagrant@vagrant-centos65 ~]$ sudo su - genzouw

# sshの鍵の設定はない状態
[genzouw@vagrant-centos65 ~]$ mkdir .ssh
[genzouw@vagrant-centos65 ~]$ chmod 700 .ssh/
[genzouw@vagrant-centos65 ~]$ exit
logout

# 初期パスワードを設定
[vagrant@vagrant-centos65 ~]$ sudo passwd genzouw
[vagrant@vagrant-centos65 ~]$ exit
logout
Connection to 127.0.0.1 closed.

Mac上に ssh-copy-id がインストールされていなかったのでインストール

$ brew install ssh-copy-id
==> Downloading https://homebrew.bintray.com/bottles/ssh-copy-id-6.8p1.el_capitan.bottle.tar.gz
####################################################################### 100.0%
==> Pouring ssh-copy-id-6.8p1.el_capitan.bottle.tar.gz
? /usr/local/Cellar/ssh-copy-id/6.8p1: 7 files, 344K

# 試しに実行
$ ssh-copy-id
Usage: /usr/local/bin/ssh-copy-id [-h|-?|-n] [-i [identity_file]] [-p port] [[-o <ssh -o options>] ...] [user@]hostname

早速鍵の設定

$ ssh-copy-id genzouw@127.0.0.1 -p2222

結果

おもむろにVagrant環境に接続してみる

calendar.vimで、VimからGoogleカレンダーを編集してみる

Thu, 19 Nov 2015 23:44:41 +0900

背景

Vimから Google Task を閲覧・編集するためのVimプラグインがないかな？と探していて面白いものが見つかったので紹介。

結果的に僕が求めている Google Task 編集機能は使いやすいとはいえないものだったが、 Google Calendar の閲覧・編集機能が非常に強力で面白かった。

環境

$ uname -a
Darwin genzouw-no-MacBook-Pro.local 15.0.0 Darwin Kernel Version 15.0.0: Sat Sep 19 15:53:46 PDT 2015; root:xnu-3247.10.11~1/RELEASE_X86_64 x86_64 i386 MacBookPro10,1 Darwin

$ vim --version
VIM - Vi IMproved 7.4 (2013 Aug 10, compiled Oct 11 2015 07:48:23)
MacOS X (unix) version
Included patches: 1-889
Compiled by Homebrew

使い方

必要なもの

Shougo/neobundle.vim · GitHub がインストールされていることを前提に話を進めます。 プラグイン管理ツール なら何でも良いと思います。

セットアップ

# vimを開く
$ vim ~/.vimrc

以下の行を追記

NeoBundle 'itchyny/calendar.vim'

追加後、vimで以下のコマンドを実行

Cygwinでkillがうまく動かない場合の対処

Sun, 15 Nov 2015 01:37:24 +0900

背景

家ではMacBookProを使っていますが、会社のPCがWindowsのためやむなく Cygwin を使っています。

ただ、Vimなどのプロセスが残ってしまった場合にうまくkillできないことがあります。

そんな場合に参考になるかと思います。

環境

Windows7 + Cygwin

対処

# シェルの組み込みコマンドであるkillであるというメッセージが表示されていれば、以下の対処をおこなう
$ which kill

# 組み込みコマンドが呼び出されないようにする
$ echo "alias kill='/usr/bin/kill'" >> ~/.bashrc

ひとこと

不要なプロセスがすぐ残ってしまうようなおかしな状態が発生しないようにできればよいのですが。あるいは MacBookPro で開発ができればよいのですけどね。

Slackでのハイライトされたソースコードの投稿方法

Thu, 12 Nov 2015 23:35:56 +0900

背景

Slack を遅ればせながらようやく使い始めました。

使ってみてわかったのですが、シンプルかつプロジェクトメンバ全員でやり取りした内容が横串検索できるのが非常に便利です。これは他のチャットツールでは有料だったりそもそも機能としてなかったりするので便利です。加えて、エンジニア向けのハイライトされたソースコードの投稿機能が搭載されています。 Slackではこれを スニペット とよんでいるようです。

投稿方法

スクリーンショットで手順をまとめて見ました。

Bashシェルスクリプトでランダムな文字列を生成する

Thu, 12 Nov 2015 07:30:00 +0900

Neosnippetでシェルコマンド呼び出し結果をスニペットに差し込む

Thu, 12 Nov 2015 00:56:26 +0900

背景

vimデコーディングするう上で、もはや無くてはならないプラグインの一つである Shougo/neosnippet.vim 。非常に便利です。

更に便利に使うために、以下の情報をスニペット展開時に自動的に差し込めるようにしてみよう。

今利用している環境の情報
ディスク容量
ユーザー名

環境

今利用している環境は以下のとおり。このブログを編集中に利用したスニペットが自動で出力してくれています。

$ uname -a
Darwin genzouw-MacBook-Pro.local 15.0.0 Darwin Kernel Version 15.0.0: Sat Sep 19 15:53:46 PDT 2015; root:xnu-3247.10.11~1/RELEASE_X86_64 x86_64 i386 MacBookPro10,1 Darwin
$ zsh --version
zsh 5.1.1 (x86_64-apple-darwin15.0.0)
$ echo $USER
genzouw

設定方法

1. Neosnippetのインストール

ここでは割愛します。以下のページを参照下さい。

Shougo/neosnippet.vim

2.snippetsを開く

snippetsファイルの配置場所や書き方についても割愛します。

僕はブログ等を各ときには filetype=markdown となるように設定していることもあり、 markdown.snip というファイルに設定を追記しました。

3.スニペットを追加

以下のスニペットを追加。

snippet blog
options head
prev_word '^'
	## 検証環境

	\`\`\`bash
	$ uname -a
	`system("uname -a")`

	$ bash -version
	`system("bash -version")`
	\`\`\`

ポイントは以下の部分。

CentOS6.5サーバーに日本語環境を構築する

Fri, 11 Jul 2014 22:23:01 +0900

背景

ロケールの設定に関する情報を探して、ブログに辿り着く方が多かったので整理してみました。

特に、以下の様に環境変数を適切に設定しているにもかかわらず、日本語表示されないとお困りの方が多いようです。 Vagrantにて、CentOS6.5のBoxをダウンロードしてきた直後はこのような状態になっています。

export LANG="ja_JP.UTF-8"

調査環境

[vagrant@vagrant-centos65 ~]$ uname -a
uname -a
Linux vagrant-centos65.vagrantup.com 2.6.32-431.3.1.el6.x86_64 #1 SMP Fri Jan 3 21:39:27 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
[vagrant@vagrant-centos65 ~]$ bash -version
GNU bash, version 4.1.2(1)-release (x86_64-redhat-linux-gnu)
Copyright (C) 2009 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>

対応方法

# rootへ切り替え
$ sudo -s

# これらをインストール（man-pages-jaは特に不要）
$ yum install -y man-pages-ja
$ yum -y groupinstall "Japanese Support"

# /etc/sysconfig/i18n を既存のものを一度全てコメントアウトする
$ cat /etc/sysconfig/i18n | sed 's/^#\? */# /g' | (mv /etc/sysconfig/i18n{,.bk}; tee /etc/sysconfig/i18n > /dev/null)

# /etc/sysconfig/i18n に設定追加
$ echo 'LANG="ja_JP.UTF-8"' | tee -a /etc/sysconfig/i18n > /dev/null
$ chmod 644 /etc/sysconfig/i18n
$ reboot now

再起動後は全てのパッケージをアップデートする。

Vimからはてなブログのエントリを登録・編集・削除してみる

Thu, 10 Jul 2014 01:52:57 +0900

背景

最近めっきりブログを書いていなかった。

Google アナリティクス からユニバーサルアナリティクスにアップグレードが出来るようになった。しかし、当ブログはノータッチだった。

久々にはてなブログを開き、設定しようとしたところ脇道にそれ、昔の記事を見ていたら自分にとっては有意義なメモが多いなぁと感じた。結果、再開しようと思い立った。

形から入る立ちなので、vimではてなブログのエントリを操作する環境を作って効率化してから！ということで、探してみた。

調査

早速良さそうなものが見つかった。

moznion/hateblo.vim · GitHub

導入方法は Getting started としてわかりやすくまとめてくれている。

ex) ~/.hateblo.vim のスケルトン

api_key の設定がどこかが少しわかりにくかった。

ブログの管理ページから設定を選んで…
AtomPub の項目の APIキー がそれ。（ルートエンドポイント も必要）

結果

結果、当エントリは vim + hateblo.vim プラグインで無事投稿できました！

ひとこと

三日坊主治るかな。

2014/07/10 追記

少し使ってみて分かったこと。

:HatebloCreate コマンド

こちらは編集中のvimバッファの内容を即座に投稿する場合に利用。

:HatebloCreateDraft コマンド

こちらを探していた！vimバッファの内容を 下書き として投稿する。一般ユーザーからは見えない。

後日はてなブログの管理ページより、下書きの内容を投稿することが可能。

Bashシェルスクリプトで1〜100までの数からランダムに10個を重複なしで取り出す方法

Thu, 10 Jul 2014 01:40:35 +0900

はじめに

テストデータの中からランダムにデータを n件（例えば10件）、取り出そうと思いました。

ランダムに抽出する方法を紹介します。

検証環境

$ bash -version
GNU bash, version 3.2.51(1)-release (x86_64-apple-darwin13)
Copyright (C) 2007 Free Software Foundation, Inc.

$ shuf --version | head -n 2
shuf (GNU coreutils) 8.32
Copyright (C) 2020 Free Software Foundation, Inc.

`$RANDOM` 環境変数を使った方法

$RANDOM 環境変数を使う方法が思いつきましたが、問題がありました。

$ echo $((RANDOM%100+1))

上記方法では、1から100までのランダムな値が取得はできますが、同じものが取得されることがあります。（ ex: 1 99 3 53 1 5 20 19 80 100 で、 1 が重複している）

同じデータを重複して取得しないようにするにはどうしたらよいでしょう？

`shuf` コマンドとパイプを使った方法

以下のワンライナーで実現できます。

$ seq 1 100| shuf| head -n 10

データを用意（ここでは1〜100にしています。）
shuf コマンドでデータ全体をシャッフル（行の順番を入れ替えるコマンドです）
最初の10件を取得

head コマンドを使わない方法もあります。 shuf コマンドには -n オプションがあります。これを使うとシャッフルした結果のうち、数件のみを出力させることができます。

boot2dockerを最も簡単に利用するには

Fri, 09 May 2014 22:08:37 +0900

最近話題の Docker を勉強し始めました。

CentOS サーバーや Ubuntu サーバーと言ったCUI環境では、なかなか Vagnat を動かすまでの準備が面倒です。特に Virtualbox のインストールが面倒です。 （僕に至っては一度もVirtualBoxが正常にインストールできたことはありません）

それに比べてDockerは、VirtualboxやVMWareのような仮想化ツールは不要です。これ単体で動作します。また、 Vagrant を利用する場合に比べて軽量です。

さて、Dockerを利用するとホストOSとなるホスト環境には、ほとんどツールやライブラリ入りません。軽量であればあるほどよいです。そのような背景で生まれてきたのが boot2docker という軽量Linuxディストリビューションです。これを最も簡単に利用するためのコマンドを以下に載せておきます。

前提条件

以下のツールがインストールされており利用できる

Virtualbox*
Vagrant*

コマンド

$ [ ! -d "$HOME/vagrant/boot2docker" ] && mkdir -p "$HOME/vagrant/boot2docker"
$ cd "$HOME/vagrant/boot2docker"

$ vagrant init boot2docker https://github.com/mitchellh/boot2docker-vagrant-box/releases/download/v0.3.0/boot2docker.box

$ vagrant up

$ vagrant ssh

2014-05-16 追記

もっと簡単に行ける模様。

$ [ ! -d "$HOME/vagrant/boot2docker" ] && mkdir -p "$HOME/vagrant/boot2docker"
$ cd "$HOME/vagrant/boot2docker"

$ vagrant init mitchellh/boot2docker

$ vagrant up

$ vagrant ssh

各データベース別のorder by実行時のNULLの扱い

Sun, 10 Nov 2013 11:56:09 +0900

新人の頃のメモ書きを見返していたら、Oracleでは NULL が常に最大値扱いとなるとあったので、他のDBについてどのような挙動になるか調べてみた。

Oracle
PostgreSQL
MySQL

環境

$ mysql -V
mysql Ver 14.14 Distrib 5.6.13, for osx10.8 (x86_64) using EditLine wrapper

$ psql -V
psql (PostgreSQL) 9.3.1

調査

以下の様なテーブルとデータを作成してみた。

MySQL

create table mytable (
 id int not null auto_increment primary key,
 column1 text
);

INSERT INTO mytable ( column1 ) VALUES ( 'a' );
INSERT INTO mytable ( column1 ) VALUES ( 'b' );
INSERT INTO mytable ( column1 ) VALUES ( '1' );
INSERT INTO mytable ( column1 ) VALUES ( '2' );
INSERT INTO mytable ( column1 ) VALUES ( null );

PostgreSQL

create table mytable (
 id serial not null primary key,
 column1 text
);

INSERT INTO mytable ( column1 ) VALUES ( 'a' );
INSERT INTO mytable ( column1 ) VALUES ( 'b' );
INSERT INTO mytable ( column1 ) VALUES ( '1' );
INSERT INTO mytable ( column1 ) VALUES ( '2' );
INSERT INTO mytable ( column1 ) VALUES ( null );

それぞれソートしてみる。

Redmineで新規登録する際に便利なブックマークを作成するためのブックマークレット

Wed, 23 Oct 2013 22:33:02 +0900

作ってみた。

登録方法

Chromeで試した。

使い方

1.以下のソースコードをコピーする。

(function () {
 const params = [];
 inputs = document.getElementsByTagName('input');
 for (var i = 0; i < inputs.length; i++) {
 var c = inputs[i];
 if (c.type === 'text' || (c.type === 'checkbox' && c.checked)) params.push(`${c.name}=${c.value}`);
 }
 inputs = document.getElementsByTagName('select');
 for (var i = 0; i < inputs.length; i++) {
 var c = inputs[i];
 params.push(`${c.name}=${c.value}`);
 }
 document.location.href = `${document.location.href}?${params.join('&')}`;
}());

2.ブックマークに登録する。

ticket_template_maker などで登録。

3.Redmineの新しいチケットページを開き、テンプレート登録したい内容を入力

4.tiket_template_makerを呼び出す。

5.新しいチケットページが再表示されるので、こちらをブックマーク登録する。

hoge_project_template などで登録する。

後は、新しいチケットを登録する際に hoge_project_template ブックマークを呼び出せばOK。

Macでgit-svnを使ってプロジェクトドキュメントをダウンロードするとファイルが管理対象外として扱われる

Wed, 16 Oct 2013 23:13:39 +0900

Macでgit-svnを使ってプロジェクトドキュメントをダウンロードするとダウンロードされたファイルが管理対象外として扱われる事象 Macでプロジェクトドキュメントを以下のコマンドでcloneした。 git clone -s http://hoge-server/path/to/the/project/ clone下ばかりのクリーンなフォルダのはずなのに、何故か日本語ディレクトリの幾つかが管理対象外扱いとなっている。どうも濁点、半濁点を含む日本語名フォルダがおかしくなる模様。対処法どうもMacは一般的なUTF-8とは異なる文字コードを利用しているようだ。簡単に説明すると、ファイル名…

jQuery Mobileでヘッダー右端にほんの少し余白が表示されてしまう場合の対処

Mon, 17 Jun 2013 23:56:46 +0900

問題

ヘッダー右端にほんの少し白い余白が表示されてしまう場合の対処について。以下のようなページを作成すると発生。

対処

div[data-role=page] から以下の要素を除去

data-fullscreen="true"

div[data-role=head] に以下の要素を追加

data-position="fixed"

MySQLでクエリ実行結果を横一列から縦一列に表示させる

Fri, 07 Jun 2013 15:26:08 +0900

Select句の最後に \G を付与し実行する。

select * from hoge_table \G

とても見やすい。

2013年06月07日のツイート

Fri, 07 Jun 2013 00:04:42 +0900

@genzouw: speediとかいらないし / 福井の原発事故で琵琶湖汚染裏付け　滋賀県がＳＰＥＥＤＩの拡散予測結果公表 - MSN産経ニュース URL

2013-06-07 11:51:54 via Tweet Button

@genzouw: "Amazonのクラウド・データベースRDSからベータが外れる―月間アップタイム99.95%を保証するSLAを提供" URL

2013-06-07 08:47:20 via feedly

@genzouw: アマゾンともあろう会社が直訳ｗ

2013-06-07 00:39:39 via TweetDeck

@genzouw: AWSのドキュメント（pdf）読んでたんだが、いきなり「アマゾンマシン画像」なる単語がサーバーの図やサーバー説明とともに出現し、「ああ、このサーバーの図がアマゾンマシン画像なんだな」と思って読み進めてたら、どうやらAMI（アマゾンマシンイメージ？）のことらしい事がわかった。

2013-06-07 00:39:21 via TweetDeck

2013年06月06日のツイート

Thu, 06 Jun 2013 00:10:25 +0900

@genzouw: aws無料版を使おうと頑張って、昨日からはまっていたけどようやく抜けた。Security Groupの設定が問題だったようです。

2013-06-06 23:03:02 via TweetDeck

@genzouw: “内部から見たVert.xとNode.jsとの比較” good read URL

2013-06-06 08:55:41 via feedly on iOS

@genzouw: すごい顔 URL

2013-06-06 08:12:24 via Tweetbot for iOS

UbuntuやCentOSでBashログイン後に「warning: setlocale: LC_ALL: cannot change locale (ja_JP.UTF-8)」が表示された場合の対処

Tue, 04 Jun 2013 22:31:58 +0900

はじめに

新しく導入したばかりの Linux サーバーに Bash でログインしたところ、次の様なメッセージが表示されるようになりました。

bash: warning: setlocale: LC_ALL: cannot change locale (ja_JP.UTF-8)

原因を解消すべく、対応したときのメモです。

実行環境

$ uname -a
$1 SMP PREEMPT Thu May 25 07:27:39 UTC 2023 x86_64 x86_64 x86_64 GNU/Linux

$ bash -version | head -n 1
GNU bash, version 5.1.16(1)-release (x86_64-pc-linux-gnu)

$ cat /etc/os-release
PRETTY_NAME="Ubuntu 22.04.3 LTS"
NAME="Ubuntu"
VERSION_ID="22.04"
VERSION="22.04.3 LTS (Jammy Jellyfish)"
VERSION_CODENAME=jammy
ID=ubuntu

直前に行ったこと

直前に行なっていたことは、 .bashrc に環境変数を幾つか追加したことでした。次の２行を追加していました。

export LANG='ja_JP.UTF-8'
export LC_ALL="${LANG}";

ロケールとは

ロケール ( locale ) とは、コンピューター上で使用される言語や地域に関する設定のことを指します。具体的には、言語、文字コード、通貨、日付や時刻の書式などが含まれます。ロケールは、ユーザーが使用する言語や地域に合わせて設定することで、コンピューター上で表示されるテキストや日付などが適切な形式で表示されるようになります。 Linux では、ロケールを設定するためのコマンドや設定ファイルが用意されており、ユーザーが自由に設定できます。

2013年05月29日のツイート

Wed, 29 May 2013 00:10:33 +0900

@genzouw: html5の一部、使って見たけどこりゃ便利だね。geolocation、localstorage。ちょっとしたところでnumberコントロールやplaceholderなんかも。bootstrapも。楽しいなぁ。

2013-05-29 01:08:21 via OS X

@genzouw: twitterのツイートボタン、フォローボタンを追加してみた。 / Friends Map URL #friends_map

2013-05-29 00:16:56 via Tweet Button

2013年05月28日のツイート

Tue, 28 May 2013 00:11:45 +0900

@genzouw: google maps apiで２地点間の距離取得できた！意外と簡単だな。computeDistanceBetweenを利用する。

2013-05-28 23:38:45 via web

@genzouw: たった一行実装するだけなのに利用するapi検索するのに30分ぐらいかかってしまう。検索する力大事よなぁ。

2013-05-28 23:37:17 via OS X

2013年05月27日のツイート

Mon, 27 May 2013 00:04:28 +0900

@genzouw: なるほど。Polylineで二点間の距離が取れると。帰ったらやってみる。 URL

2013-05-27 08:56:32 via Chrome on iOS

@genzouw: 少しそれっぽくなってきた。bootstrap適用して、circleつけてみた。 URL

2013-05-27 06:49:15 via OS X

2013年05月25日のツイート

Sat, 25 May 2013 00:04:38 +0900

@genzouw: 今、googleの検索結果ページでjキー押したら、検索結果が１つ１つ下に下がっていった。いつの間にこんな機能が。

2013-05-25 11:14:42 via TweetDeck

2013年05月23日のツイート

Thu, 23 May 2013 00:10:51 +0900

@genzouw: 眠たい波着てる・・・・

2013-05-23 23:37:30 via OS X

@genzouw: 瀬戸内海の海の上から僕のサイトみた奇特な方いるんだなw URL

2013-05-23 22:33:16 via OS X

@genzouw: 定期的に同期するたびに地図の中央に戻るので直した。

2013-05-23 22:13:14 via OS X

@genzouw: またちょっとだけ直した。また走るはめに。 URL

2013-05-23 07:31:06 via OS X

@genzouw: 眠い…

2013-05-23 02:06:20 via OS X

@genzouw: 眠たいのはいいとして（良くないが）GPSを使って、自分の近辺でアプリを起動した人を探しだすサービスを作ってみた。僕の住所バレるなｗ URL

2013-05-23 01:58:56 via OS X

@genzouw: 眠たい感じ。

2013-05-23 01:57:57 via OS X

2013年05月22日のツイート

Wed, 22 May 2013 00:05:54 +0900

@genzouw: スマホ所持者の現在地は表示されるようになった。指定した時間間隔でリフレッシュ。 URL

2013-05-22 21:48:15 via OS X

@genzouw: すげー便利！ドメイン別にスタイルシート（CSS）を当てる方法。 URL

2013-05-22 20:11:29 via twicca

@genzouw: ここ見るとmaps api v3からはキーは要らないと書かれてるな。 / Google Maps APIを使ったページの基本構成 - Google Maps APIの基本 - Google Maps入門 URL

2013-05-22 08:07:01 via twicca

@genzouw: @eye1103 はしる！

2013-05-22 07:54:36 via Tweetbot for iOS to @eye1103

@genzouw: google maps apiはそうなるといらないね。

2013-05-22 07:53:44 via Tweetbot for iOS

@genzouw: 結構gps位置情報正しく取れそうだな。例えばある会場内の画像に対して、現在地をプロットしたりできそうだ。事前に会場の四隅の位置情報とっておく必要はあるけど。

2013-05-22 07:53:15 via Tweetbot for iOS

@genzouw: google maps api使うにはキーの発行手続きが必要みたいだな。

2013-05-22 07:45:52 via Tweetbot for iOS

@genzouw: やばい遅刻する

2013-05-22 07:38:05 via OS X

@genzouw: 自動リフレッシュでgps位置情報取得しようとするとgoogleに怒られる件。 URL

2013-05-22 07:36:52 via OS X

2013年05月21日のツイート

Tue, 21 May 2013 00:04:51 +0900

@genzouw: 勉強会を企画すべきかなぁどうか。 / 4年後、『プレイングマネージャ』の君へ: 続かなかった社内勉強会 URL

2013-05-21 23:40:17 via twicca

@genzouw: 正直なところあまりメンバー乗り気でないみたい。なにか作りたい！という気持ちが先行して、どのようなものを作りたいかが曖昧なままの発車。

2013-05-21 23:34:33 via twicca

@genzouw: 言い出しっぺは多分に僕なので、積極的に動く必要があるな。

2013-05-21 23:32:37 via twicca

@genzouw: 社内メンバーでなにかアプリを開発して公開してみようということになった。

2013-05-21 23:32:04 via twicca

@genzouw: 200人まで無料で使えるグループウェア「サイボウズLive」を使い始めました。 URL

2013-05-21 20:59:13 via サイボウズLive

@genzouw: マジがよ！これ青森にしか無かったの？！美味いのに / 【画像】青森のソウルフード「イギリストースト」が話題に【画像】青森のソウルフード「イギリストースト」が話題にURL

2013-05-21 04:33:47 via twicca

2013年05月20日のツイート

Mon, 20 May 2013 00:05:02 +0900

@genzouw: アクション映画のシーンを「銃→親指」に変えたらメッチャポジティブになったでござる　Thumbs and Ammo URL

2013-05-20 21:49:43 via twicca

2013年05月19日のツイート

Sun, 19 May 2013 00:05:20 +0900

@genzouw: 本屋きたので次回購入したい本をピックアップしておく / プログラミングPHP 第2版 URL @AmazonJPさんから

2013-05-19 12:39:58 via Tweet Button

2013年05月18日のツイート

Sat, 18 May 2013 00:05:19 +0900

@genzouw: Gradleで特定のテストだけを実行させる方法。 / Gradle Goodness: Running a Single Test Gradle Goodness: Running a Single TestURL

2013-05-18 01:01:39 via twicca

@genzouw: apt-getから乗り換えるか / aptitude の検索結果のあれ aptitude の検索結果のあれURL

2013-05-18 01:01:37 via twicca

2013年05月16日のツイート

Thu, 16 May 2013 00:04:43 +0900

@genzouw: TDLの方に迷惑というのもあるが、子ども目線でも見てあげてほしい。不安やったやろに。 / 『迷子センター』を託児所がわりに使ったことで…主人と義母からメチャ罵倒されまし... URL #知恵袋_

2013-05-16 08:13:33 via Tweet Button

@genzouw: それでも彼、ちゃんと説明してくれるからありがたい。プログラム組める、設計できるも大事だけどそれを消化して伝える、他の事例に流用するっていう能力もプログラマに大事ね。その辺りの力、多分に自分に足りないと思う。

2013-05-16 00:46:16 via OS X

@genzouw: それはともかくとして、こちらの質問についても仕組みをわかりやすく噛み砕いて説明してくれる。多分俺が余計な質問しなければもっと作業進められるんだろうと思ったりする。こっちもステークホルダに説明する義務があるからそうも言ってられないのだが。

2013-05-16 00:44:52 via OS X

@genzouw: 4月から一緒に仕事させてもらってる子が非常に良くできて、仕事が楽しい。いろいろ知ってるので教えてもらってばかり。今まで「先輩こんなことも〜」な感じだったけど、逆の立場になると受け流してくれてた先輩方、本当にごめんなさい。

2013-05-16 00:43:13 via OS X

@genzouw: 以下にお客様にプログラムの動作、仕様を理解していただくように説明できるか…ここ数ヶ月の課題。ドキュメント書くのはきらいじゃないけどそれに見合う時間の使い方かと考えるとうーんとなるんだよね。でもやり取りの形を残さないと言った言わないになる。どのプロジェクトに関わってこ毎回課題。

2013-05-16 00:41:00 via web

2013年05月14日のツイート

Tue, 14 May 2013 00:11:23 +0900

@genzouw: @hebayour まじでか！

2013-05-14 20:25:30 via Tweet Button to @hebayour

@genzouw: ★ 【要約】夢をかなえるゾウ B! URL

2013-05-14 12:19:13 via IFTTT

2013年05月13日のツイート

Mon, 13 May 2013 00:05:32 +0900

@genzouw: @eye1103 @butaminton 24以外なら調整できるかと。土日は娘らがまとわりついてくるので。

2013-05-13 23:29:31 via TweetDeck to @eye1103

@genzouw: @butaminton @eye1103 mintoさんわかりました。

2013-05-13 23:26:35 via TweetDeck to @butaminton

@genzouw: @butaminton @eye1103 失礼。暇だと思ったわけではないよ。

2013-05-13 23:26:12 via TweetDeck to @butaminton

@genzouw: @butaminton @eye1103 結構あいてるなと思ってワラタ

2013-05-13 23:25:52 via TweetDeck to @butaminton

@genzouw: @hebayour よし、じゃあ飲みに行こう！

2013-05-13 23:18:17 via TweetDeck to @hebayour

@genzouw: 結構非難が多いけど僕はものすごく納得。プログラミングの能力と同時にそれを同業者だけでなく、ユーザーにも噛み砕いて説明できるメンバーはとても格好良く、仕事を楽しんでるように思える。 URL

2013-05-13 23:16:39 via TweetDeck

@genzouw: @butaminton @eye1103 じゃ来週以降で。

2013-05-13 23:10:55 via TweetDeck to @butaminton

@genzouw: @eye1103 @butaminton ああリア充のbutaさんよろしくお願いします。

2013-05-13 23:03:12 via TweetDeck to @eye1103

@genzouw: @eye1103 @butaminton 行くか。割り勘で良ければ。

2013-05-13 22:58:56 via TweetDeck to @eye1103

@genzouw: 最近酒で寝るようになってきてる。嫁さんが一言。「アル中の第一歩やな」

2013-05-13 22:48:56 via OS X

@genzouw: 秦基博いいなぁ。

2013-05-13 22:40:40 via TweetDeck

2013年05月09日のツイート

Thu, 09 May 2013 00:11:21 +0900

@genzouw: ★ [twitter]2013/05/01のツイート B! URL

2013-05-09 20:19:23 via IFTTT

@genzouw: ★ RubyライクにGroovyを書く B! URL

2013-05-09 09:19:46 via IFTTT

@genzouw: [Mac] Finderでフォルダのパスを表示する [Mac] Finderでフォルダのパスを表示するURL

2013-05-09 08:48:39 via twicca

@genzouw: 死ぬべきは言い過ぎとしてもいつもながらどきりとさせられる / 企業が求めるストレスに強い人材像に関する矛盾企業が求めるストレスに強い人材像に関する矛盾URL

2013-05-09 07:43:21 via twicca

2013年04月26日のツイート

Fri, 26 Apr 2013 00:05:48 +0900

@genzouw: これはいい！JavaScript のthis、よく分からなかったけどわかった。 / JavaScriptの「this」は「４つ」だけ！ #JavaScript URL

2013-04-26 08:42:50 via twicca

@genzouw: サイトに使われている技術が丸裸になるChrome拡張「BuiltWith」 URL

2013-04-26 08:42:49 via twicca

@genzouw: 何文字までを前方一致と判定するんだろ。 / Groovy Goodness: Partial Matches URL

2013-04-26 08:42:47 via twicca

2013年04月24日のツイート

Wed, 24 Apr 2013 00:04:54 +0900

@genzouw: 似たような言語あったなあ / scalaでは、val宣言を利用し値を全て定数として扱い再代入を抑制する事で、変数の状態変化を覚えておく必要が無くなると言うことです。

2013-04-24 08:32:00 via twicca

2013年04月23日のツイート

Tue, 23 Apr 2013 00:10:42 +0900

@genzouw: 子育てなんかそういう場面ある。子どもが他の友達におもちゃかさない、対応がつめたい。ダメよとついいってしまう。背景も理解せずに。なぜ、を理解するのに焦ってはいけないよね。なるべくしてciやユニットテストの文化がないのかもしれない。

2013-04-23 21:13:43 via Tweetbot for iOS

@genzouw: これっていろんな場合に当てはまるよね。後輩、子ども、嫁とか。年配の方に食事に誘っていただいて、結果を焦ったらこうなりやすいと指摘をいただいた。

2013-04-23 21:10:22 via Tweetbot for iOS

@genzouw: 出先の会社のやり方が今までやって来た自分のやり方と違った場合つい否定したくなるけど、なぜそういうやり方になったかを理解せずひていしてるさいきんにはんせい。

2013-04-23 21:07:41 via Tweetbot for iOS

@genzouw: jQueryグラフ描画ライブラリjqplotで折れ線グラフを描く URL

2013-04-23 20:30:52 via twicca

Bashシェルスクリプトでファイルやディレクトリを".yyyymmdd"付きでバックアップする

Sat, 20 Apr 2013 11:15:38 +0900

はじめに

Unix上のファイルやディレクトリを変更する前に、バックアップするために日付つきファイル名としてコピーしておくことがありますね。

「今日は何年何月何日だったっけ？」と悩む必要がないように、現在日時を .YYYYMMDD で取得し、コピー先ファイル名のサフィックスとして付与するコマンドを紹介します。

“.YYYYMMDD” サフィックス付きでバックアップファイルを作成するコマンド

以下のように、 {,.$(date +%Y%m%d)} という記述を使用します。

# file_to_backupというファイルが存在
$ ls
file_to_backup

# -a オプション付きでコピー
$ cp -a file_to_backup{,.$(date +%Y%m%d)}

# 年月日付きでファイルがバックアップされている
$ ls
file_to_backup file_to_backup.20130420

簡単な解説

実行されたコマンドは以下のように解釈されます。

$ cp -a file_to_backup file_to_backup.$(date +%Y%m%d)

cp コマンドの -a オプションは、所有者、パーミッションをそのまま保持するためのオプションです。また、 -R オプションと同様、ディレクトリの場合には階層構造を保持したまま再帰的にコピーします。

2013年04月18日のツイート

Thu, 18 Apr 2013 00:04:40 +0900

@genzouw: 笑ったけど可愛い URL

2013-04-18 07:19:22 via Chrome on iOS

Bashシェルスクリプトで年、月、日を1コマンドでそれぞれの変数に分割

Tue, 16 Apr 2013 12:59:57 +0900

はじめに

プログラミングで年月日の値を利用することは多いです。僕も何度日時を操作するプログラムを記述したか。

Bashシェルスクリプトで年月日を分割取得するちょっとかわった方法を紹介します。

方法その1 : 愚直に `date` コマンドを3回実行

すぐに思いつくのは、 date コマンドを3回叩いて年、月、日の値をそれぞれ別の変数に代入するという方法です。

$ YEAR=$(date +%Y)
$ MONTH=$(date +%m)
$ DATE=$(date +%d)

$ echo $YEAR
2013

$ echo $MONTH
04

$ echo $DATE
16

方法その2 : `set` コマンドで分割

別の方法として、 set コマンドを使って一度に分割し、それぞれの変数を用意することができます。

$ set -- $(date '+%Y %m %d')

# 年を表示
$ echo $1
2013

# 月を表示
$ echo $2
04

# 日を表示
$ echo $3
16

方法その3 : 一度、配列として変数代入

コメントで「こんな方法もあるよ！」と連絡いただきました！ありがとうございます。

一度 date コマンドの実行結果を配列に代入し、添字を使って年、月、日を参照していきます。

# 配列として代入
$ YMD=(
 $(date +'%Y %m %d')
)

# 年を表示
$ echo ${YMD[0]}
2013

# 月を表示
$ echo ${YMD[1]}
04

# 日を表示
$ echo ${YMD[2]}
16

ひとこと

1コマンドで別変数に代入する方法は簡潔ではありますが、注意が必要です。

yumでインストールしたパッケージのバージョンを確認

Mon, 15 Apr 2013 10:05:06 +0900

phpで利用するmcryptのバージョンを確認したかった。以下のコマンドで確認できた。

$ sudo yum list installed | grep -i mcrypt
cryptsetup-luks.x86_64
cryptsetup-luks-libs.x86_64
libmcrypt.x86_64 2.5.8-9.el6 @epel
php-mcrypt.x86_64 5.4.14-1.el6.remi @remi

2013年04月09日のツイート

Tue, 09 Apr 2013 00:05:23 +0900

@genzouw: RT @tarareba722: 日本人と結婚したアメリカ人女性が以前、「日本人はあまり“愛してる”と言わないし、すぐ謝罪すると思われているが、少し違う。彼らは“愛してる”という意味を込めて“ありがとう”と言うことが多く、また“ありがとう”という意味を込めて“すいません” ...

2013-04-09 21:51:11 via Silver Bird

@genzouw: 同一サーバーなら、MySQLの複数DBに対する同一コネクション内更新は１トランザクションとなると。なるほど。 / URL

2013-04-09 20:58:44 via Silver Bird

2013年04月08日のツイート

Mon, 08 Apr 2013 00:11:58 +0900

@genzouw: 想像以上にchromeすごいな！ / #10 Consoleパネルを使ってみよう | Chrome Developer Tools入門 - プログラミングならドットインストール #dotinstall URL

2013-04-08 21:47:05 via Tweet Button

@genzouw: ★ 第10回組織化とは「交換可能にする」ということ?個性の喪失は止められない? B! URL

2013-04-08 12:19:42 via IFTTT

@genzouw: そういう魅力のある人はいるよな。弱さをさらけ出せるひとなんだろう。 / 「それがリーダーってもんだよ」 URL

2013-04-08 08:08:58 via twicca

2013年04月06日のツイート

Sat, 06 Apr 2013 00:04:45 +0900

@genzouw: 壊れたパソコンのモバイルディスクの端子の部分だけ取り出してUSB接続したら仕えた。要らないアルミの部分だけ切り取って使うか… URL

2013-04-06 16:08:40 via OS X

@genzouw: 衣替えのついでにクローゼット掃除していると色んな物がでてくるなぁ。

2013-04-06 10:10:32 via OS X

@genzouw: こちらも不要なので、もしよければお譲りします。ほしい方いませんか？ URL

2013-04-06 10:10:05 via Camera on iOS

@genzouw: ただで提供します URL

2013-04-06 10:08:34 via Photos on iOS

@genzouw: どなたか入りませんか？多分昔の携帯電話とパソコンつなぐケーブル。 URL

2013-04-06 10:08:21 via Photos on iOS

2013年04月03日のツイート

Wed, 03 Apr 2013 00:04:54 +0900

@genzouw: twitterでurlつぶやくと短縮されて厄介ｗURL

2013-04-03 22:31:47 via OS X

@genzouw: こっちがjsonで返すapi。URL彦根&to=京都

2013-04-03 22:26:49 via OS X

@genzouw: 交通費計算システム。URL

2013-04-03 22:22:28 via OS X

@genzouw: jenkinsで静的チェックを考えているのでツール探し URL

2013-04-03 07:22:18 via Chrome on iOS

2013年03月29日のツイート

Fri, 29 Mar 2013 00:04:57 +0900

@genzouw: URL

2013-03-29 22:56:45 via Chrome on iOS

@genzouw: vib,dibでもいけるって。 . / vimでカッコの内側を選択する #Vim - Qiita URL

2013-03-29 07:54:38 via twicca

2013年03月27日のツイート

Wed, 27 Mar 2013 00:11:58 +0900

@genzouw: Quickfixを知ってからfugitiveを使うと捗る #Vim - Qiita by @joker1007 on @Qiita_jp URL

2013-03-27 21:41:49 via Tweet Button

2013年03月25日のツイート

Mon, 25 Mar 2013 00:05:01 +0900

@genzouw: [Oracle]OracleでSQLの実行時間を計測する方法URL

2013-03-25 23:35:57 via twicca

2013年03月23日のツイート

Sat, 23 Mar 2013 00:13:17 +0900

@genzouw: URL 郵便番号検索作ってみた。

2013-03-23 11:53:06 via web

2013年03月22日のツイート

Fri, 22 Mar 2013 00:04:56 +0900

@genzouw: 菅ちゃん結婚したんだ…ダメージでかい…

2013-03-22 21:07:59 via OS X

2013年03月20日のツイート

Wed, 20 Mar 2013 00:05:04 +0900

@genzouw: Java、C#、VBでの開発が多かったが、最近仕事でPHPをずっと触っていて、PHPを舐めてたなぁと感じた。interface、classは作れるわクロージャというか無名関数作れるし?:演算子使えるし。

2013-03-20 21:51:52 via web

2013年03月08日のツイート

Fri, 08 Mar 2013 00:11:48 +0900

@genzouw: ここ数日花粉症がひどく、鼻が詰まってあんまり眠れない。早く５月ぐらいにならないかな。

2013-03-08 07:17:04 via OS X

2013年03月03日のツイート

Sun, 03 Mar 2013 00:05:41 +0900

@genzouw: @butaminton そうやろ！自慢の嫁。

2013-03-03 13:03:04 via web to @butaminton

@genzouw: @ferrari_f2003ga ありがとう！

2013-03-03 12:19:14 via Tweetbot for iOS to @ferrari_f2003ga

@genzouw: 嫁さんやるな〜。勉強の休憩にリビングいったら！ URL

2013-03-03 11:57:21 via Tweetbot for iOS

@genzouw: cakephpのapiサイトを活用しましょう！ということなので簡単にvimからapiサイトを閲覧できるようにする。URL ,docと打ち込むとapiサイトが開く。 #study_cakephp

2013-03-03 10:26:41 via TwitVim

@genzouw: RT @fshin2000: 例えばさ、ラーメン屋で自分の実績に自信がないから100円で売りますってのはありえないわけよ。やっぱり定価で勝負するのが本来の在り方で。100円で勝負する場合は、知名度を買うとか意味がちゃんとあるわけで。

2013-03-03 09:58:24 via TweetDeck

@genzouw: ページ下部に実行したSQLのログなどが表示されるが、ログのレベルを制御するには app/Config/core.php のConfigure::write('debug', 2);を1や0に変更する #study_cakephp

2013-03-03 09:17:47 via TweetDeck

@genzouw: 今日も朝から昨日の続き開始。今週は長女次女とあまり遊べないけどごめんね。

2013-03-03 09:16:33 via TweetDeck

@genzouw: "DebugKit is not installed. It will help you inspect and debug different aspects of your application." このメッセージは簡単に解消できた。 #study_cakephp

2013-03-03 00:23:19 via Silver Bird

2013年02月28日のツイート

Thu, 28 Feb 2013 00:11:41 +0900

@genzouw: JQuery Mobileで数当てゲーム作ってみた。URL

2013-02-28 14:40:29 via OS X

@genzouw: JQuery Mobileの勉強に計算機作ってみた URL

2013-02-28 11:32:56 via Chrome on iOS

@genzouw: 工数が増えてしまった場合の余裕分を追加する。これをリスク分とかコンティンジェンシー／コンテンジェンシーと呼んでいる。

2013-02-28 10:13:40 via Tweetbot for iOS

2013年02月25日のツイート

Mon, 25 Feb 2013 00:07:27 +0900

@genzouw: [Twittet]2013年02月23日のツイート URL

2013-02-25 23:43:10 via Hatena

2013年02月23日のツイート

Sat, 23 Feb 2013 00:07:30 +0900

@genzouw: アジャイル開発している割合って、日本ではどのぐらいなんだろう？ URL

2013-02-23 19:57:22 via Chrome on iOS

2013年02月18日のツイート

Mon, 18 Feb 2013 00:07:14 +0900

@genzouw: Guardでファイル変更を監視して作業を自動化する Guardでファイル変更を監視して作業を自動化するURL

2013-02-18 08:45:33 via twicca

@genzouw: [java][jpa][mysql]JPA+MySQLでの文字化けにはまった件 [java][jpa][mysql]JPA+MySQLでの文字化けにはまった件URL

2013-02-18 08:45:31 via twicca

2013年02月17日のツイート

Sun, 17 Feb 2013 00:07:50 +0900

@genzouw: chrome版作ってみるか / [Greasemonkey]Googleのパーソナライズド検索を無効にするGreasemonkeyスクリプト書いたよ。 [Greasemonkey]Googleのパーソナライズド検索を無効にするGreasemonkeyスクリプト書いたよ。

2013-02-17 11:18:44 via twicca

2013年02月15日のツイート

Fri, 15 Feb 2013 00:03:28 +0900

@genzouw: ブラウザにファイルをドロップしてはいけない URL

2013-02-15 22:14:02 via twicca

@genzouw: なぜUnix&Linuxではホームディレクトリを「~」文字で表現するのか。 URL

2013-02-15 20:02:59 via twicca

@genzouw: javascriptを理解するためのたった2つの大切なこと URL

2013-02-15 20:02:54 via twicca

@genzouw: varで宣言された変数のスコープの意味がよくわかった。 / javascriptを理解するためのたった2つの大切なこと URL

2013-02-15 20:02:49 via twicca

@genzouw: [Twittet]2013年02月14日のツイート URL

2013-02-15 09:23:21 via Hatena

@genzouw: 何かそうでもなかった。時間帯なんだな。

2013-02-15 08:56:24 via Tweetbot for iOS

@genzouw: 東京の大江戸線の満員電車はじめてみたがすごいんだね。おしくらまんじゅう?

2013-02-15 08:39:01 via Tweetbot for iOS

2013年02月13日のツイート

Wed, 13 Feb 2013 00:03:23 +0900

@genzouw: ポート22でどこかにコネクションはれれば社内ブロキシ意味無ってこと？ [linux][メモ]sshでダイナミックに転送してなんかVPNみたいなことをする [linux][メモ]sshでダイナミックに転送してなんかVPNみたいなことをする

2013-02-13 20:38:56 via twicca

@genzouw: ちょっとした手間の削減だけど積み重なると大きいよね。 / DropboxへWEBページからダイレクトにファイル保存できるChrome 拡張機能「Download to Dropbox」 DropboxへWEBページからダイレクトにファイル保存できるChrome 拡張機能「Down

2013-02-13 19:07:45 via twicca

@genzouw: MySQLのUTF-8で文字化けにハマった MySQLのUTF-8で文字化けにハマったURL

2013-02-13 19:05:14 via twicca

@genzouw: わかりやすい。 / Shitf_JISとCP932とMS932とWindows-31Jを昔話風に語ってみた : 凶悪モナド URL

2013-02-13 19:05:11 via twicca

@genzouw: GroovyインストールされていなくてもGrape使って依存ライブラリダウンロード出来るけど、どうもGrabResolver使って任意のリポジトリ追加している場合うまく動かない。 URL

2013-02-13 10:50:38 via TwitVim

@genzouw: vichromeの設定 URL

2013-02-13 09:34:32 via TwitVim

2013年02月09日のツイート

Sat, 09 Feb 2013 00:07:19 +0900

@genzouw: ポジティブでいようとするほど自信を失うメカニズム?ネガティブシンキング＜１＞ポジティブでいようとするほど自信を失うメカニズム?ネガティブシンキング＜１＞URL

2013-02-09 19:41:33 via twicca

2013年02月06日のツイート

Wed, 06 Feb 2013 00:03:39 +0900

@genzouw: 我が家の子どもも嫁もUbuntu使えるぐらいなんだから、Microsoft Officeやゲームの必要性がないなら十分だと思う。Chrome（Chromium）も動くしGoogle日本語入力(Mozc）も動くし。

2013-02-06 23:11:33 via OS X

@genzouw: 多分にLinux、Ubuntuよりの記事だが、Windows、Mac、Linux使ってみて今のLinuxが一番使いやすい。 / オープンソース分野は今後どうなる？–2013年の10大予想 URL @zdnet_japanさんから

2013-02-06 23:09:14 via Tweet Button

@genzouw: ついに1.5ヶ月の修理期間を経てNexus7が明日帰ってくる。ネットで見てても故障のはなしあまり聞かないし、初期不良とかではないようだ。修理で問い合わせたら、なんでも静電気なんかで比較的容易に故障するといってた。

2013-02-06 22:42:22 via OS X

@genzouw: ★ git-svnで空ディレクトリを削除 B! URL

2013-02-06 09:52:02 via IFTTT

Groovyスクリプトでソースコードステップをカウントする

Tue, 05 Feb 2013 10:19:10 +0900

会社の方がソースコードの行数をカウントする方法として、 Amateras StepCounter を利用する方法を紹介している。

メモ: Amateras StepCounter を Ant で利用する - いがぴょんの日記＠はてな

僕もプロジェクトでは同じ方法を利用していた。紹介されている方法はセオリーとして、僕はGroovyを使った方法を紹介したい。

実行環境

$ uname -vs
CYGWIN_NT-6.1 2012-07-20 22:55

$ groovy -version
Groovy Version: 2.1.0 JVM: 1.7.0_05 Vendor: Oracle Corporation OS: Windows 7

ステップ数を計測する方法

以下のコマンドを実行するだけ。

実行後、コマンド実行時のカレントディレクトリに stepcounter_report.csv というファイルを出力する。
第一パラメータを指定しなかった場合、 カレントディレクトリをソースコード配置ディレクトリと解釈して処理 する。

$ groovy /sandbox/stepcounter.groovy <ソースコード配置ディレクトリ>

補足

curl /sandbox/stepcounter.groovy してもらえばわかるが、 Amateras StepCounter に頑張ってもらっている。というかただのラッパー。 Groovy 2.1.0 でしか動作しないので注意。

2013年02月04日のツイート

Mon, 04 Feb 2013 00:03:25 +0900

@genzouw: 改めて今からbrewでpearインストール開始するぞ。

2013-02-04 23:46:21 via web

@genzouw: brewでphp53をインストールするまでの手順としてはここが一番正しかった。 / “Mountain Lion にPHP開発環境をつくった - massat.jp” URL

2013-02-04 23:45:41 via Tweet Button

@genzouw: brew install php53するには、これをインストールする必要があるって。opensslがどうのこうのエラーが出るから、opensslインストールされてないのが問題とか思っていた。 / “XQuartz” URL

2013-02-04 22:51:40 via Tweet Button

@genzouw: 確かになぜか引き当ててくるんだがなぜだ？ipとか抜かれてるのか？ / 偽名捨てアドでもFacebookにリアル知り合いズラズラ出てきてビビったわ

2013-02-04 19:34:22 via Tweetbot for iOS

@genzouw: 面接希望者にももちろん原因がある場合はあるだろうが、こういう気持ちで仕事をしたい URL

2013-02-04 08:56:13 via Chrome on iOS

@genzouw: macでPEARするためのセットアップ手順。Linuxならセットアップ楽なのに? URL

2013-02-04 08:42:06 via Chrome on iOS

2013年01月30日のツイート

Wed, 30 Jan 2013 00:06:13 +0900

@genzouw: これを探していた / Vim: neosnippetで手前に文字があると変換できないときの対処 #Vim #neosnippet #PHP - Qiita by @livejam_db on @Qiita_jp URL

2013-01-30 08:22:48 via Tweet Button

@genzouw: css-builderが、デザイン周りの解決策になるかなと思ったが、startupでデザイン割り当てするので、ウィンドウ表示直後は背景色とかついておらず素っ気ない。一秒ぐらいしてからデザインが割り当てられる。

2013-01-30 08:19:29 via Tweetbot for iOS

@genzouw: Griffonアプリなんだけど、Mac環境でcssbuilderの一部機能が正しく動かない。パネルへの背景色は適用されるけどボタンへの背景色が適用されない。

2013-01-30 08:16:58 via Tweetbot for iOS

@genzouw: Dropbox、有線時とWi-Fi時でアップロードの速度が全く違う。Dropboxの問題なのかWi-Fiは上りが遅いとかあったりするのか？

2013-01-30 07:48:07 via Tweetbot for iOS

@genzouw: それでもどうしても他の会社の方々のスピード感を見ていると、あぐらをかいて仕事をしている今の状態はどうかなという思いもあり、結局踏み切った。

2013-01-30 01:59:06 via web

@genzouw: 退職するにあたり心残りなのは非常に信頼している同僚と離れること。僕は彼のことを尊敬しているし、彼も少なからず僕のことをよく思ってくれているようで。戦友だと思ってる。それだけが最後まで踏ん切りつかない理由になった。

2013-01-30 01:54:30 via web

2013年01月29日のツイート

Tue, 29 Jan 2013 00:03:30 +0900

@genzouw: @ittoku0107 ありがとうございます。先輩、知人の大部分は「やめておけ、後悔する」といっていました。僕も不安はあるのですが、自分を試してみたい気持ちもあり、退職の願いを出してきた次第です。

2013-01-29 23:15:40 via web to @ittoku0107

@genzouw: 少し早いが、２月いっぱいで在職中の会社をやめることになった。安定性という点では全く不満はなかったが、やはり開発の現場にまだまだどっぷり使っていたい気持ちに嘘は付けなかった。

2013-01-29 22:27:10 via OS X

2013年01月28日のツイート

Mon, 28 Jan 2013 00:08:12 +0900

@genzouw: macbook使ってみたけどどうにもubuntuのほうがしっくりくるなあ。時間が解決してくれるかな。

2013-01-28 23:12:20 via OS X

@genzouw: "MacPortsより使いやすい！？パッケージ管理システムHomebrewの使い方 | Macとかの雑記帳" URL

2013-01-28 23:10:27 via Tweet Button

2013年01月25日のツイート

Fri, 25 Jan 2013 00:08:06 +0900

@genzouw: @aalmiray thank you!

2013-01-25 08:59:01 via Tweetbot for iOS to @aalmiray

2013年01月24日のツイート

Thu, 24 Jan 2013 00:03:34 +0900

@genzouw: このレベルもめっきり減ったよね。いい世の中だ。 / “@mrgchr: 「仕様はソース」なんてのはまだいい方で、もうちょいレベルが高くなると「仕様はバイナリ」とかになる。ソースコードすら残ってなくて実行ファイルから仕様を推定する作業が超エキサイティン！！！！”

2013-01-24 08:38:37 via Tweetbot for iOS

2013年01月23日のツイート

Wed, 23 Jan 2013 00:03:37 +0900

@genzouw: Twitterのフォロワー数に敏感に反応するかたもいるし、日々のフォロワー数のグラフ化なんてのも面白いかな。もうあるかも。 #twitterdev

2013-01-23 18:22:45 via Tweetbot for iOS

@genzouw: twitterでアプリ作る際には過去に使ったタグが残った方が良いな。 #twitterdev

2013-01-23 18:11:57 via Tweetbot for iOS

@genzouw: twilogを使うと、つぶやきのログが残り、クローラにインデックスされる。 #twittertips

2013-01-23 18:05:40 via Tweetbot for iOS

@genzouw: こどもにきいてみた。 / URL

2013-01-23 12:03:40 via Tweet Button

@genzouw: @ittoku0107 昔体育教師にあったような根性論（練習中は水を飲むな！のような）は最近では否定的ですものね。

2013-01-23 10:31:58 via Tweet Button to @ittoku0107

@genzouw: 気合いは不要。「やりぬく人」になるために身につけたいこと : ライフハッカー［日本版］ URL

2013-01-23 08:54:11 via Tweet Button

2013年01月22日のツイート

Tue, 22 Jan 2013 00:14:39 +0900

@genzouw: 12月後半に修理に出したnexus7、結局まだ修理から戻ってこず。。。

2013-01-22 21:26:20 via HootSuite

@genzouw: こういう会社に以前務めていました(笑) / “@STAR_ZERO: 目的が分からん / “中国のFirewallがGithubをブロック中・・・ | IDEA*IDEA” URL”

2013-01-22 08:57:43 via Tweetbot for iOS

@genzouw: 確かに横並び見にくい URL

2013-01-22 08:25:01 via iOS

@genzouw: 結局購入してすぐにゴーストで修理扱いになったnexus7がまだ修理から帰ってこない。毎晩仕事から帰ってきて今日こそは届いたかな？と楽しみにしているんだが。

2013-01-22 00:36:30 via HootSuite

2013年01月19日のツイート

Sat, 19 Jan 2013 00:08:54 +0900

@genzouw: URL

2013-01-19 20:27:26 via iOS

GriffonでControllerにメソッドを作る際の注意

Thu, 17 Jan 2013 08:43:43 +0900

最近はGriffonでアプリを作る機会が多いですが、ハマったことを載せておきます。

とある、非常に簡単な画面があるとします。

ボタン１つ、テキストフィールド２つ。
ボタンを押すと、テキストフィールドに値をセットする。
セットする値は、それぞれfunc1メソッド、func2メソッドの実行結果。

実行環境

$ uname -vs
Linux #32-Ubuntu SMP Tue Dec 11 18:51:59 UTC 2012
$ griffon -version
------------------------------------------------------------
Griffon 1.0.0
------------------------------------------------------------
Build: 04-Jun-2012 08:53 PM
Groovy: 1.8.6
Ant: 1.8.2
Slf4j: 1.6.4
Spring: 3.1.1.RELEASE
JVM: 1.7.0_09 (Oracle Corporation 23.2-b09)
OS: Linux 3.5.0-21-generic amd64

Controller

※View、Modelのソースコードは省略します。今回ハマった点はControllerの組み方です。

package testpj

import groovy.util.logging.Slf4j

class TestpjController {
 // these will be injected by Griffon
 def model
 def view
 def clicked = { evt = null ->
 log.info "clicked - start."
 try {
 doOutside {
 doLater {
 model.text1 = func1()
 model.text2 = func2()
 }
 }
 } catch (e) {
 log.error "clicked - exception.", e
 } finally {
 log.info "clicked - end."
 }
 }

 def func1() {
 return "てすとですよ"
 }

 String func2() {
 return "てすとですよ"
 }
}

ごちゃごちゃ書いていますが、model.text1、model.text2にセットしているあたりが注意です。

2013年01月16日のツイート

Wed, 16 Jan 2013 00:40:26 +0900

@genzouw: ソフトニュース　怖いですね　「アプリ福袋」、実態は不正アプリの詰め合わせ！？ URL

2013-01-16 11:04:45 via iReadG

@genzouw: URL

2013-01-16 08:47:01 via Tweetbot for iOS

@genzouw: groovyの可能性: プログラマの思索 URL

2013-01-16 08:24:43 via iReadG

@genzouw: uri指定でプログラム実行できるよ、っていうのは面白そう。さらにスクリプトの配布が楽になるね / jar://, file://, http:// prefix support for launching Groovy scripts from the command line

2013-01-16 08:22:45 via iReadG

@genzouw: rc版出たんだ / Release Candidate for Groovy 2.1 URL

2013-01-16 08:19:50 via iReadG

@genzouw: ここ数ヶ月日勤、面接、夜勤のローテーションだったがようやく終わりが見えて来た。また勉強会参加したい。

2013-01-16 08:00:00 via Tweetbot for iOS

@genzouw: 行動力を見習いたい。まずは人見知りを / 「自分の勉強会遍歴」について URL

2013-01-16 07:57:25 via iReadG

2013年01月15日のツイート

Tue, 15 Jan 2013 00:03:19 +0900

@genzouw: 何をいってるのか。 URL

2013-01-15 21:15:35 via iOS

@genzouw: にちゃんから引用 / ↓が米連邦政府の発表なURL要は、Java7の貧弱性が指摘される中で、オラクルがブラウザのプラグイン無効化してってお願いしているからおまいら、自分の使っているブラウザの設定確認して、プラグイン無効化してやれって言ってい

2013-01-15 08:49:18 via Tweetbot for iOS

2013年01月14日のツイート

Mon, 14 Jan 2013 00:03:48 +0900

@genzouw: Oracleが導入したJava7の機能の周辺でセキュリティ問題が発生している模様 / “問題になっている Javaの脆弱性は Java 6では問題ないか - Windows 2000 Blog” URL

2013-01-14 16:30:08 via Tweet Button

@genzouw: テレビで言ってた。びっくりした / RT @hatebu_walker: 浅田舞「キム・ヨナの点数についてはノーコメントにしたほうが良い」 URL

2013-01-14 01:23:52 via web

@genzouw: オーケストラに詳しくはないけど本番は毎日するものなのかな。 / RT @_kobachi: オーケストラには「練習」があって、演奏会はその成果を発表する場だからなあ。会社で実践する場合は、同じプロセスがあるか考えるべきかも。

2013-01-14 01:19:12 via web

2013年01月11日のツイート

Fri, 11 Jan 2013 00:08:09 +0900

@genzouw: 今個人で一緒にアプリの開発をしている方がいる。アイデアはその方がどんどん出してくれる。そんなのうまくいくわけないよ、と思う僕の考えの檻をどんどん壊してワクワク感を与えてくれる。そのうち成功されるのでは？という気がする。

2013-01-11 14:19:29 via Tweetbot for iOS

@genzouw: @orange_clover つぶやきありがとうございます。あまり知らないかもしれません。転職活動中の方なら知っているかも。

2013-01-11 01:12:15 via web to @orange_clover

知っている方は知っている問題

Wed, 09 Jan 2013 13:09:50 +0900

Groovyで解いてみた。

answer.groovy

#!/usr/bin/env groovy
def code = args[0]
def parts = []
def life = 0
code.chars.each {
 if (life == 0) {
 parts << ""
 life = Integer.parseInt(it as String, 16)
 } else {
 parts[-1] += it
 life--
 }
}
parts.each {
 def mod = (it.toLong() % 26).toInteger()
 print(("a".."z")[mod])
}
println()

実行

$ ./answer.groovy 500001
b

2013年01月09日のツイート

Wed, 09 Jan 2013 00:07:09 +0900

@genzouw: 単純に技術が好きなんだ！というのにマイナスなイメージがあって最近はあまり人前で口に出せない / 何故プログラマやってるのか - 偏見プログラマの語り！ (id:kura-replace / @PG_kura) URL

2013-01-09 12:13:12 via Tweet Button

@genzouw: かっこよ過ぎ / “@masason: 髪の毛が後退しているのではない。私が前進しているのである。 RT @kingfisher0423: 髪の毛の後退度がハゲしい。”

2013-01-09 08:18:58 via Tweetbot for iOS

@genzouw: チャレンジ精神は素晴らしい / サムスン、Evernoteアプリ内蔵の4ドア冷蔵庫を発表 URL @engadgetjpさんから

2013-01-09 08:14:57 via Tweet Button

2013年01月08日のツイート

Tue, 08 Jan 2013 00:16:18 +0900

@genzouw: 鬼から電話がかかってくるしつけサポートアプリ #鬼から電話 URL

2013-01-08 21:01:51 via iOS

@genzouw: Groovy 2.1の初回βがリリースされました(翻訳) URL

2013-01-08 20:19:44 via iReadG

2013年01月07日のツイート

Mon, 07 Jan 2013 00:06:46 +0900

@genzouw: ★ スギちゃん、去年稼いだ金は3億7,000万円…浅草に2億円の豪邸を購入 B! URL

2013-01-07 19:30:44 via IFTTT

@genzouw: URL

2013-01-07 12:56:05 via Tweetbot for iOS

@genzouw: 本町紀伊国屋でツイッターのapi本を探し中

2013-01-07 12:30:57 via Tweetbot for iOS

Groovyで、クラスにInterceptor（AOP）を適用する

Sun, 06 Jan 2013 14:35:10 +0900

Springなどを利用せずにGroovy単体でInterceptorできないものかを調べてみた。きっかけはGriffonアプリを作成しているのだが、全アクションに同じようなログ出力処理が散らばってしまっているため一元管理したかったこと。

以下の２点にさえ注意すれば実現できる。

GroovyInterceptable というインターフェイスを実装する
invokeMethod メソッドを実装する

いろいろ試して作成したログ出力サンプルコードは以下の通り。（ひとまずはLog4jなどを利用せず、printlnを利用している）

#!/usr/bin/env groovy

class X implements GroovyInterceptable {
 def invokeMethod(String name, Object args) {
 def println = System.out.& println
 println "${name} - start."
 try {
 return this.& "$name"(args)
 } catch (e) {
 println "${name} - exception." + e
 } finally {
 println "${name} - end."
 }
 }

 def m1(p1) {
 println p1?.toString()
 }

 def m2(p1, p2) {
 println p1?.toString()
 println p2?.toString()
 }

 void m3(p1) {
 if (true) throw new Exception()
 println p1?.toString()
 }
}

def x = new X()
x.m1("aaa")
x.m2("aaa", "bbb")
x.m3("aaa")

注意が必要なのは、invokeMethod内で自身のクラスのメソッドを呼び出すとき。

無限ループに陥ってしまうことがある。あえてprintlnという変数を作成しているが、これをやらないと Object#println を呼び出して無限ループする。 Griffonにも適用してみる。

NERDTreeを利用しているVim環境でエラーが出始めた時の解決法

Tue, 01 Jan 2013 23:25:30 +0900

以下のようなエラーが出た時の解決法。

NERDTree: 1 invalid bookmarks were read. See :help NERDTreeInvalidBookmarks for info.

対処法

$ rm -rf ~/.NERDTreeBookmarks

php5の学習を進めるための環境構築

Fri, 28 Dec 2012 14:43:21 +0900

仕事帰りにO’rellyのPHP本を買ってきたので、早速学習準備を行う。今までは作成済みの環境を借りることが多かったので、今回は自分で環境構築からやってみた。

$ sudo apt-get install apache2 libapache2-mod-php5

今回は、自分のHomeディレクトリの public_html にてphpスクリプトを実行したいので、userdirモジュールの導入も行う。

$ cd ~
$ mkdir public_html
$ echo "<?php echo 'test'; ?>" > public_html/index.php
$ chmod 777 -R public_html
$ sudo a2enmod userdir
$ sudo service apache2 restart

自分のユーザー名はgenzouwだけど、ブラウザから以下のURLにアクセスしてみても見れなかった。

http://localhost/~genzouw/index.php

以下のファイルに、userdir上ではphpを動かさないようにするよ、という設定がかかれているのでコメントアウトする。

$ sudo vim /etc/apache2/mods-enabled/php5.conf

<IfModule mod_php5.c>
<FilesMatch "\.ph(p3?|tml)$">
SetHandler application/x-httpd-php
</FilesMatch>
<FilesMatch "\.phps$">
SetHandler application/x-httpd-php-source
</FilesMatch>
# To re-enable php in user directories comment the following lines
# (from <IfModule ...> to </IfModule>.) Do NOT set it to On as it
# prevents .htaccess files from disabling it.
# <IfModule mod_userdir.c>
# <Directory /home/*/public_html>
# php_admin_value engine Off
# </Directory>
# </IfModule>
</IfModule>

無事動作確認完了。

2012年12月27日のツイート

Thu, 27 Dec 2012 00:08:06 +0900

@genzouw: ★ 意外と知られてない、自分を飛躍的に成長させる読書テクニック B! URL

2012-12-27 09:06:02 via IFTTT

@genzouw: @shin1x1 すみません。なんだかうまく言ったようです。。。twitterへのつぶやきをしないようにチェックを外したらうまく行けました。

2012-12-27 00:49:28 via web to @shin1x1

@genzouw: @shin1x1 すみません。「第5回関西PHP勉強会」こちら、もう店員オーバーですか？

2012-12-27 00:47:57 via web to @shin1x1

2012年12月23日のツイート

Sun, 23 Dec 2012 00:29:43 +0900

@genzouw: ミスチルの my sweet heart 聞くたびに、ああここに僕がいるわと思う。

2012-12-23 00:17:14 via web

2012年12月20日のツイート

Thu, 20 Dec 2012 00:06:06 +0900

@genzouw: linkedinやってみるか。

2012-12-20 12:47:44 via Tweetbot for iOS

@genzouw: もうちょいGriffonのGUIを簡単に作れないものかなと悩み中。Swingpad以外で。

2012-12-20 12:43:52 via Tweetbot for iOS

2012年12月19日のツイート

Wed, 19 Dec 2012 00:08:32 +0900

@genzouw: @ittoku0107 そうですね。仕事の調整して言ってこようかと思います。

2012-12-19 08:41:33 via twicca to @ittoku0107

@genzouw: 委任状を出しました。紙面でも弁護士費用と万が一敗訴の場合でも保険会社が負担することの確証を頂きました。ひと安心かな？

2012-12-19 08:32:22 via twicca

@genzouw: 嫁がつわりはノロが数ヶ月続く苦しみと言っていて怖くなった。

2012-12-19 08:03:38 via Tweetbot for iOS

@genzouw: ノロで倒れてたけど、吐き気より強烈なめまいと時々心臓がばぐんってなる症状があるんだけどノロだよね？

2012-12-19 07:59:53 via Tweetbot for iOS

2012年12月18日のツイート

Tue, 18 Dec 2012 00:12:53 +0900

@genzouw: ブラウザからシムシティが遊べると聞いて、これは！と思ってプレイをクリックしてみたら… / SimCity4 - URL

2012-12-18 22:52:50 via Silver Bird

@genzouw: もし全国１区比例代表ドント方式なら議席配分はどうだったか - what_a_dudeの日記 - URL

2012-12-18 15:35:37 via Silver Bird

Ubuntuの各種メディア配置のデフォルトディレクトリ名を日本語から英語にする

Sun, 16 Dec 2012 14:44:31 +0900

コマンドラインから操作することが多いと、ディレクトリ名は日本語表記よりも英語表記のほうが操作しやすい。Ubuntuのデスクトップ、ダウンロード、ピクチャなどのディレクトリ名を英語表記に変更する方法をまとめる。

簡単だった。以下のファイルを編集するだけ。

$ vi ~/.config/user-dirs.dirs

僕の環境では以下のようになっていた。

# This file is written by xdg-user-dirs-update
# If you want to change or add directories, just edit the line you're
# interested in. All local changes will be retained on the next run
# Format is XDG_xxx_DIR="$HOME/yyy", where yyy is a shell-escaped
# homedir-relative path, or XDG_xxx_DIR="/yyy", where /yyy is an
# absolute path. No other format is supported.
#
XDG_DESKTOP_DIR="$HOME/デスクトップ"
XDG_DOWNLOAD_DIR="$HOME/ダウンロード"
XDG_TEMPLATES_DIR="$HOME/"
XDG_PUBLICSHARE_DIR="$HOME/"
XDG_DOCUMENTS_DIR="$HOME/"
XDG_MUSIC_DIR="$HOME/"
XDG_PICTURES_DIR="$HOME/ピクチャ"
XDG_VIDEOS_DIR="$HOME/ビデオ"

例えばピクチャディレクトリの名前を変更したい場合は以下のように設定。

Bashシェルスクリプトで変数からパターンに合致した文字列を除去する(dirname、basenameの代替として利用可能)

Fri, 14 Dec 2012 12:49:10 +0900

はじめに

いつも前方から除去するのか、後方から除去するのかごっちゃになっています ^^;

たとえばファイルのフルパスからファイル名だけを取得する場合。 basename コマンドや dirname コマンドを使えば解決なのだが、これらを使わない場合について紹介します。

検証環境

$ uname -moi
x86_64 x86_64 GNU/Linux

$ head -n 2 /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"

$ bash -version | head -n 1
GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

コマンド

$ FILEPATH=/opt/groovy/bin/groovy

$ echo ${FILEPATH#*/}
opt/groovy/bin/groovy

# === basenameと一緒 ===
$ echo ${FILEPATH##*/}
groovy

# === dirnameと一緒 ===
$ echo ${FILEPATH%/*}
/opt/groovy/bin

# 何も表示されない
$ echo ${FILEPATH%%/*}

${変数名##pattern} で、 前方一致 でパターンにマッチした文字列を除去した結果を取得できる。 # だと貪欲でない(最短一致)検索、 ## だと貪欲な検索が行われる。 ${変数名%%pattern} で、 後方一致 になる。 % だと貪欲でない(最短一致)検索、 %% だと貪欲な検索が行われる。

Bashシェルスクリプトのおける関数の定義方法（ `function` キーワードは必須ではなかった。）

Thu, 13 Dec 2012 12:40:47 +0900

いつも、 function というキーワードを利用して以下のように定義していた。

function xxx() {
 echo "xxx"
}

キーワードを利用しなくても、関数名の後ろに () を追記すれば関数扱いになる。

xxx() {
 echo "xxx"
}

2012年12月13日のツイート

Thu, 13 Dec 2012 00:08:57 +0900

@genzouw: ★ [Groovy][JUnit]GroovyでJUnitなテストを書くときの注意点……なんて無かった #gadvent2012 B! URL

2012-12-13 22:37:04 via IFTTT

@genzouw: [思ったこと]手段とか目的とか [思ったこと]手段とか目的とかURL

2012-12-13 22:35:18 via twicca

@genzouw: 非常に良いエントリ / [思ったこと]変なルールも何かのために作られた（はず） [思ったこと]変なルールも何かのために作られた（はず）URL

2012-12-13 22:35:16 via twicca

@genzouw: 各種APIを公開して、独自に開発した受注/在庫管理機能と連動させたい URL via @colormeshop

2012-12-13 01:04:19 via twicca

readコマンドで読み込んだ行からカラムを取り出す方法

Wed, 12 Dec 2012 10:07:07 +0900

今迄、 read コマンド を一行ずつで読み込んでくりかえし処理する用途でしか使用していませんでした。ほんのちょっとだけ突っ込んだ使い方を学んだ。

行をカラム分割する

たとえば以下のような csv から 2 列目と 3 列目の情報を取り出す。

1,2,3,4,5
2,3,4,5,6
3,4,5,6,7
4,5,6,7,8
5,6,7,8,9

今迄のやり方

$ cat report.csv | while read line; do
 c2=$(echo "$line" | cut -d, -f 2)
 c3=$(echo "$line" | cut -d, -f 3)

 echo "$c2"
 echo "$c3"
done

結果は以下の通り

もう何が何やら

今回見つけたやり方

$ cat report.csv | while IFS=, read -r c1 c2 c3 _; do
 echo "$c2"
 echo "$c3"
done

read コマンドに列の区切り文字を渡す（ IFS=, )
列のポジションに該当する変数を列挙する
不要な列位置には _ という変数を指定するのが一般的なようだ。（ 意味のない変数 ）
変数には各列の値がセットされる

-r オプションをつけないと、ファイルの行末にバックスラッシュが入っていた場合、改行が無視されてしまう。（なかなか無いケースとは思うが、ハマりたくないので念の為付与しておく。）

Bashシェルスクリプトでファイルを空にする4つの方法

Tue, 11 Dec 2012 16:40:37 +0900

ファイルを予め用意しておきたいが、ファイルの中身は空にしたい。そんなときに使える方法を4つ紹介します。

以下の方法のいずれもファイルの中身を空にできます。

ちなみに、ここで空にしたい対象ファイルは file.txt とします。

方法1 : `echo` コマンドを使う

echo コマンドを引数なし、末尾の改行無しオプション付きで実行します。

$ echo -n "" > file.txt

方法2 : `cat` コマンドを使う

/dev/null デバイスと組み合わせて、空文字を出力させます。

$ cat /dev/null > file.txt

方法3 : `touch` コマンドを使う

思い切って、一度削除してしまうという方法です。

$ rm -f file.txt

$ touch file.txt

**ただし、こちらの方法は問題があります。

tail -f コマンドのようなファイルを監視する仕組みを利用している場合に、新しく作成されたファイルの存在が検知できない場合があります。

方法4 : (おすすめ)リダイレクトのみ行う

もっともタイプ量が少ない方法です。

$ > file.txt

圧倒的な短さですね。

ひとこと

特に成約がなければ **4つめの方法で良いと思います。 **

2012年12月11日のツイート

Tue, 11 Dec 2012 00:12:38 +0900

@genzouw: @iida001 ありがとうございます。どうやら父が保険を使わずにすまずと生前に言っていた点が問題になっていたようでした。

2012-12-11 20:27:53 via Tweet Button to @iida001

@genzouw: @iidada ありがとうございます。どうやら父が保険を使わずにすまずと生前に言っていた点が問題になっていたようでした。

2012-12-11 20:25:23 via Tweet Button to @IIDADA

@genzouw: また状況報告します。繰り返しになりますが助けてくださった方々、ありがとうございました。

2012-12-11 19:20:42 via Tweetbot for iOS

@genzouw: 僕は相続放棄手続きしていたのでそれほど不安はなかったのですが、姉と兄悪い事にはならなそうになってきました。弁護士を立てられれば出廷も不要なので時間、費用面も安心かなと。

2012-12-11 19:18:28 via Tweetbot for iOS

@genzouw: 姉、兄、僕は保険会社の方で手配した弁護士の方に一任する、という委任状、その他必要書類の用意だけで済むようになりそうです。

2012-12-11 19:13:20 via Tweetbot for iOS

Bashシェルスクリプトでランダムな重複なしの数列を生成する方法

Mon, 10 Dec 2012 13:16:46 +0900

Bash でランダムな重複なしの数列を生成する方法について。

ちなみに、重複が許される場合には以下のエントリを参考ください。

Bash シェルスクリプトでランダムな文字列を作成する

ここでは、２つの方法を紹介します。

例として、 1 から 8 までの数値を 1 つだけ含んだ ランダムな数列を生成してみます。

shuf コマンドを利用する方法

$ seq 1 8 | shuf
8
3
2
7
1
6
4
5

shuf コマンドが便利な使い方がたくさんあるので、別エントリで詳しく紹介しています。

sort コマンドを利用する方法

$ seq 1 8 | sort -R # オプションは大文字であることに注意!
3
4
1
8
7
5
2
6

もちろん、コマンドラインに限らず、Vim を利用しているときに行をランダムに入れ替えるときにも使えます。

ひとこと

やっていることは標準入力から受けとった行をランダムに入れ替えているだけなので、数列以外にも利用できます。

2012年12月10日のツイート

Mon, 10 Dec 2012 00:12:36 +0900

@genzouw: ああ、こんなエントリ書いてる人の前でJenkins語ってた自分はずかしい・・・ / Jenkins がもっと便利になるおすすめプラグイン 8 つ URL @fenrir_officialさんから

2012-12-10 23:18:24 via Tweet Button

@genzouw: @masanobuimai 痛い(笑)

2012-12-10 20:32:35 via Tweetbot for iOS to @masanobuimai

@genzouw: 後輩がリーダーやりたいいってるので上司に相談しやらせてもらえるように調整した。頑張ってる。僕よりも(笑)。やりたいっていってるメンバーにやらせることによる開発効率化っていうのもあるかな。

2012-12-10 20:30:31 via Tweetbot for iOS

@genzouw: 本日フェンリルさんにお邪魔してきた。非常に物腰柔らかで話しやすい。開発環境や窓から景色見えた時興奮してしまった！！！素敵な職場だな〜

2012-12-10 20:01:47 via Tweetbot for iOS

@genzouw: ネットみると原告は勝てる見込み無しでは告訴しないとのことなので、こちらもなんとかする必要ありそう。大阪は木曜日に無料相談やってるみたいなので、嫁がいくとのこと。

2012-12-10 12:32:59 via Tweetbot for iOS

2012年12月09日のツイート

Sun, 09 Dec 2012 00:13:54 +0900

@genzouw: [Twittet]2012年12月08日のツイート URL

2012-12-09 22:05:55 via Hatena

@genzouw: 1/8に青森の裁判所に来てくださいと。お休みいただかないといけないな。

2012-12-09 21:24:00 via twicca

@genzouw: てか戸籍の分厚さにびびった。それからオヤジガ二人目の奥さんと結婚した日が9/25で、親父の誕生日だったのがなんだかほっこりした。ほっこりしてる場合じゃないんだけど。

2012-12-09 21:18:31 via twicca

@genzouw: 家帰ったら確かに手紙来てた。

2012-12-09 21:17:00 via twicca

@genzouw: @iida001 無料相談あるんですね。探してみます。ありがとうございます！

2012-12-09 17:33:24 via Tweetbot for iOS to @iida001

@genzouw: 連れ子の場合、親が離婚したら子どもではなくなるか、か。ぐぐってみるか。

2012-12-09 16:41:49 via Tweetbot for iOS

@genzouw: @tt4cs なるほど。兄も自分では手続きできないはずなので、母がどのような手続きをしているか次第ですね。意外と家族全員無傷でいけるような気がして来ました。ありがとうございます。

2012-12-09 16:39:59 via Tweetbot for iOS to @tt4cs

@genzouw: @tt4cs ありがとうございます！参考になりました。つまり僕以外の兄弟はややこしそうという事ですね。母は離婚していたために相手は子ども三人を相手として訴えを起こしています。母とはここ数年連絡が取れないので姉と相談してみます。

2012-12-09 16:36:38 via Tweetbot for iOS to @tt4cs

@genzouw: 考えるのつかれたし少し寝る！

2012-12-09 16:26:15 via Tweetbot for iOS

@genzouw: @tt4cs ありがとうございます。もしよろしければ教えていただきたいのですが、母が離婚しており、僕は放棄完了、兄は知的障害、姉は異父兄弟で別の家に嫁いでいる。この場合に親父が事故した際の責任は、誰にどれだけなのかわかりますか？

2012-12-09 16:19:53 via Tweetbot for iOS to @tt4cs

@genzouw: もうすぐ帰りのバス。相続放棄で交通事故の際の責任までちゃんと放棄されるか調べてみる

2012-12-09 15:39:43 via Tweetbot for iOS

@genzouw: 呪いというものがあるなら、親父の残した最後の呪いなのかもと思う。

2012-12-09 15:18:18 via Tweetbot for iOS

@genzouw: 今名古屋なので今晩家に帰ってから資料みていろいろ調べてみる。

2012-12-09 15:07:58 via Tweetbot for iOS

@genzouw: 相続放棄の効力がどこまで行くのかわからないな。僕は手続きしたけど兄貴、姉はやっていたんだろうか？何千万も払えないしな〜。嫁はパニクってるけど僕は負ける事はないと思ってる。

2012年12月08日のツイート

Sat, 08 Dec 2012 00:12:29 +0900

@genzouw: 怖いので出来れば成り行きをここに記しておく。さっき再送お願いしたので後で届くはず。

2012-12-08 18:43:04 via Tweetbot for iOS

@genzouw: いえ帰ったら青森地裁から特別送達の不在連絡票はいってた。僕何かしたのか？

2012-12-08 18:42:09 via Tweetbot for iOS

2012年12月07日のツイート

Fri, 07 Dec 2012 04:08:15 +0900

@genzouw: httpとftpで同じオプション使ってたりとか、プロトコルの区別をあまりしなくて良いのがいいね。 / curlコマンドの情報は意外と少ないが URL

2012-12-07 19:16:47 via twicca

シェルでユーザの所属グループを設定するコマンドusermodとgpasswdの違い

Thu, 06 Dec 2012 23:49:39 +0900

はじめに

以下のサイトでさくら VPS をセットアップしています。

さくらの VPS 入門 (全 21 回) - プログラミングならドットインストール

新規作成したユーザーを特定のグループに所属させる場合に usermod コマンドを使ったり、 gpasswd を使ったりとそれぞれのケースが有ったのですが、どう違うのか調べてみました。

※ここでは group1 グループ 、 group2 グループ がすでに存在しているものとします。

usermod を利用

$ sudo useradd xxxxx

# group1を設定
$ sudo usermod -G group1 xxxxx
$ id xxxxx
uid=1002(xxxxx) gid=1002(xxxxx) groups=1002(xxxxx),1003(group1)

# group2を設定
$ sudo usermod -G group2 xxxxx
$ id xxxxx
uid=1002(xxxxx) gid=1002(xxxxx) groups=1002(xxxxx),1004(group2)

gpasswd を利用

$ sudo useradd xxxxx

# group1を設定
$ sudo gpasswd -a xxxxx group1
Adding user xxxxx to group group1
$ id xxxxx
uid=1002(xxxxx) gid=1002(xxxxx) groups=1002(xxxxx),1003(group1)

# group2を設定
$ sudo gpasswd -a xxxxx group2
Adding user xxxxx to group group2
$ id xxxxx
uid=1002(xxxxx) gid=1002(xxxxx) groups=1002(xxxxx),1003(group1),1004(group2)

まとめ

usermod は Bash でいうリダイレクト “>” のようにセカンドグループを上書き、 gpasswd は “»” のようにセカンドグループを追加する。 gpasswd の方が使いやすいです。

Ubuntu Serverの言語設定

Wed, 05 Dec 2012 23:05:51 +0900

さくらのVPS設定を週末から進めている。
以下のサイトがさくらのVPS設定を行う際にとても参考になる。
さくらのVPS入門 (全21回) - プログラミングならドットインストール

以下の節について設定を進めていたところ、**CentOS**の場合の言語設定は

/etc/sysconfig/i18n

というファイルで変更できるよとのこと。
#04 さくらのVPSへ接続してみよう | さくらのVPS入門 - プログラミングならドットインストール

では**Ubuntu**の場合はというと以下のファイルを触る。

/etc/default/local

2012年12月05日のツイート

Wed, 05 Dec 2012 01:52:19 +0900

@genzouw: よし、あいつにナツメグを・・・・ / 【注意喚起】ナツメグを大量摂取すると恐ろしいことが起こります URL @youpouchさんから

2012-12-05 23:23:35 via Tweet Button

@genzouw: どういう仕組み？？スゴイ / 線の中になにかが隠れています/さて、なにが見えたかな？ URL @youpouchさんから

2012-12-05 23:22:40 via Tweet Button

@genzouw: ★ [jQuery][ゲーム][小ネタ]あなたが，勝つことも引き分けることもできない○×ゲーム　（jQueryプラグイン「jQuery.fakeTicTacToe.js」の紹介） B! URL

2012-12-05 21:52:04 via IFTTT

@genzouw: [jQuery][ゲーム][小ネタ]あなたが，勝つことも引き分けることもできない○×ゲーム　（jQueryプラグイン「jQuery.fakeTicTacToe.js」の紹介） [jQuery][ゲーム][小ネタ]あなたが，勝つことも引き分けURL

2012-12-05 20:29:47 via twicca

@genzouw: これすごいな。サイトの高速化のためにシコシコ改修する時間別なことに使える / 連載編集長ブログ―安田英久インストールするだけ! お手軽サイト高速化ツールGoogle mod_pagespeedはスゴかった URL

2012-12-05 20:29:41 via twicca

【注意】Viewにクロージャを引数とするbindメソッドでenable、visible設定をバインドした際の注意

Sun, 07 Oct 2012 23:09:55 +0900

タイトルのままです。
絶対ハマると思います。
View内のボタンの活性・非活性制御にbindメソッドを使った場合注意が必要。
通常のbindメソッドなら良いのですが、クロージャを引数に受けとるタイプで注意が必要。

例えば、保存するボタンがあるとする。
保存するボタンはModelのisInsertModeプロパティかisUpdateModeプロパティがtrueの場合のみ、押せるようにしたい。
この２つの設定は、Model内で@Bindableアノテーション付きで宣言されている。

 // ...
button(
 text:"保存する",
 actionPerformed:confirmAndExecute(
view.mainFrame,
"設定を保存します。\nよろしいですか？",
"はい",
controller.updateTwitterAccount,
),
 visible:bind{
model.isInsertMode || model.isUpdateMode
},
)
// ...

ここで、Controllerにてmodel.isInsertMode、model.isUpdateModeを色々変更してみるのだが、
変更内容がうまく反映されない。
どうもmodel.isUpdateModeを変更した場合にうまく変更が反映されてくれない。

解決策

いろいろもがいているうちに、２行追加することで問題が解決した。

 // ...
button(
 text:"保存する",
 actionPerformed:confirmAndExecute(
view.mainFrame,
"設定を保存します。\nよろしいですか？",
"はい",
controller.updateTwitterAccount,
),
 visible:bind{
model.isInsertMode // <=ここ
model.isUpdateMode // <=ここ
model.isInsertMode || model.isUpdateMode
},
)
// ...

どうもクロージャの最終行の値評価が行われる前に一度プロパティの呼び出しをしておく必要があるようだ。
解決方法としてはかなりかっこ悪いがこれで対応できる。

追記

例えば既存処理で一度別変数にセットしてから評価しているようなプログラムでは当然問題がでないので本当にハマった。

ex

 // ...
button(
 text:"保存する",
 actionPerformed:confirmAndExecute(
view.mainFrame,
"設定を保存します。\nよろしいですか？",
"はい",
controller.updateTwitterAccount,
),
 visible:bind{
// 一度プロパティの呼び出しをしているため問題は発生しない。
def insert = model.isInsertMode
def update = model.isUpdateMode
insert || update
},
)
// ...

実行環境

$ uname -vs
Linux #50-Ubuntu SMP Fri Sep 7 16:16:45 UTC 2012
$ groovy -version
Groovy Version: 2.0.0 JVM: 1.7.0_07 Vendor: Oracle Corporation OS: Linux
$ griffon -version
------------------------------------------------------------
Griffon 1.0.0
------------------------------------------------------------
Build: 04-Jun-2012 08:53 PM
Groovy: 1.8.6
Ant: 1.8.2
Slf4j: 1.6.4
Spring: 3.1.1.RELEASE
JVM: 1.7.0_07 (Oracle Corporation 23.2-b09)
OS: Linux 3.2.0-31-generic amd64

GroovyのList#takeメソッドが便利

Fri, 05 Oct 2012 12:22:43 +0900

よく組むロジックだが、いつもしこしこコーディングしていた処理が組み込みメソッドで用意されてた。とあるリストから、前方3件だけ取得したい。ただしリストが2件以下の場合はすべて返却。

#!/usr/bin/env groovy
def list = ["aaa", "bbb", "ccc", "ddd", "eee"]

def headEx(list, int n) {
 if (n-- > 0 && !list.empty) {
 return [list.head()] + headEx(list.tail(), n)
 } else {
 return []
 }
}

assert ["aaa", "bbb", "ccc", "ddd", "eee"] == headEx(list, 6)
assert ["aaa", "bbb", "ccc", "ddd", "eee"] == headEx(list, 5)
assert ["aaa", "bbb", "ccc"] == headEx(list, 3)
assert ["aaa", "bbb"] == headEx(list, 2)
assert ["aaa"] == headEx(list, 1)
assert [] == headEx(list, 0)
println "finish!"

List#take 使うと簡単に実現可能。

def list = ["aaa", "bbb", "ccc", "ddd", "eee"]
assert ["aaa", "bbb", "ccc", "ddd", "eee"] == list.take(6)
assert ["aaa", "bbb", "ccc", "ddd", "eee"] == list.take(5)
assert ["aaa", "bbb", "ccc"] == list.take(3)
assert ["aaa", "bbb"] == list.take(2)
assert ["aaa"] == list.take(1)
assert [] == list.take(0)
println "finish!"

Groovy(Java)でランダムな半角英数字を作成

Mon, 24 Sep 2012 15:07:26 +0900

CakePHP勉強中。

初期セットアップ手順に設定ファイル内の Security.salt っていうランダム文字列の値(40文字)を書き直しなさいってあったので、なんかいいコマンドないか探してみた。ググると、Linuxなら mkpasswd というコマンドで生成できるよ、とあった。

Cygwin環境で試したところ、うまく動かなかったため（パッケージをインストールしていないだけかも）Groovyで作ってみた。Apacheのcommons-langライブラリにちょうど良いメソッドがあったためそれを呼び出しただけ。

mkrandomtxt.groovy

#!/usr/bin/env groovy
@Grab("commons-lang:commons-lang:2.2")
import static org.apache.commons.lang.RandomStringUtils.*

def cli = new CliBuilder(usage: "${this.class.name} [-a] [-n] arg")
cli.a longOpt: "alpha", args: 0, "use alphabet chars.", required: false
cli.n longOpt: "num", args: 0, "use number chars.", required: false
def opt = cli.parse args
def params = opt.arguments()
if (params.size() != 1 || !params[0].isNumber() || (!opt.a && !opt.n)) {
 cli.usage()
 System.exit 1
}
if (opt.a && opt.n) {
 println randomAlphanumeric(params[0].toInteger())
} else if (opt.a) {
 println randomAlphabetic(params[0].toInteger())
} else if (opt.n) {
 println randomNumeric(params[0].toInteger())
}

使い方

$ ./mkrandomtxt.groovy
usage: test [-a] [-n] arg
-a,--alpha use alphabet chars.
-n,--num use number chars.

$ ./mkrandomtxt.groovy -a
usage: test [-a] [-n] arg
-a,--alpha use alphabet chars.
-n,--num use number chars.

$ ./mkrandomtxt.groovy -n
usage: test [-a] [-n] arg
-a,--alpha use alphabet chars.
-n,--num use number chars.

$ ./mkrandomtxt.groovy -a 40
YigbOgZPxHVbykasJjfBXooaRvrZfpriDFNtBhDv

$ ./mkrandomtxt.groovy -n 40
3426318853025788662162725592943221571994

$ ./mkrandomtxt.groovy -a -n 40
EEBZyK8BwAoyCriTJUJ8N2eHOUSAhHv41EDLtfmt

$ ./mkrandomtxt.groovy -an 40
lPckdxen3LBLrJddAZUBTRctIFChPBRmwYC0nxau

griffon-1.0.1で -version オプション付きでコマンド実行するとエラーが出る。

Thu, 09 Aug 2012 00:35:40 +0900

以下のようなエラーが出て困った。
僕の環境だけなのか不明。

/opt/griffon/bin/griffon: 140: /opt/griffon/bin/startGriffon: [[: not found

griffon 1.0.1は、以下のようにインストールしている。

opt
├─griff n-<= griffon-1.0.シンボリックリンク
├─griffon-0.9.5
├─griffon-1.0.0
├─griffon-1.0.1

該当箇所の変更に関するチケット

@kimukou2628さん(https://twitter.com/kimukou2628)が見つけてきてくれた。

@genzouw リリースノートのJava7対応 522のチケット対応で入った処理のようです URL URL

2012-08-08 22:35:58 via Tween to @genzouw

[#GRIFFON-522] Griffon command cannot be executed if JAVA_HOME is set in a non-standard way - jira.codehaus.org

変更してから随分経つし、問題は僕だけなのかな。

対処法

$GRIFFON_HOME/bin/griffon ファイルの１行目の google:シェバング部分を書き換えたらエラーは出なくなった。

--- griffon
+++ griffon
@@ -1,4 +1,4 @@
-#!/bin/sh
+#!/bin/bash
DIRNAME=`dirname "$0"`
. "$DIRNAME/startGriffon"

実行環境

$ uname -vs
Linux #43-Ubuntu SMP Fri Jul 6 14:25:57 UTC 2012
$ java -version
java version "1.7.0_03"
OpenJDK Runtime Environment (IcedTea7 2.1.1pre) (7~u3-2.1.1~pre1-1ubuntu3)
OpenJDK 64-Bit Server VM (build 22.0-b10, mixed mode)
$ groovy -version
Groovy Version: 2.0.0 JVM: 1.7.0_03 Vendor: Oracle Corporation OS: Linux
$ griffon -version
/opt/griffon/bin/griffon: 140: /opt/griffon/bin/startGriffon: [[: not found
------------------------------------------------------------
Griffon 1.0.1
------------------------------------------------------------
Build: 09-Jul-2012 10:21 AM
Groovy: 1.8.6
Ant: 1.8.2
Slf4j: 1.6.4
Spring: 3.1.1.RELEASE
JVM: 1.7.0_03 (Oracle Corporation 22.0-b10)
OS: Linux 3.2.0-27-generic amd64

CloudBees上でGrailsにてDBにアクセス

Thu, 02 Aug 2012 00:22:58 +0900

CloudBees にGrailsアプリをアップできたので、DBにアクセスしてみた。

設定

以下にアクセスして、Databaseの新規追加を行う。

https://grandcentral.cloudbees.com/

CloudBees上での各種設定方法は、僕自身も四苦八苦しているうちに登録方法をみにつけたので省略する。デフォルトではMySQLデータベースとして登録される。

Grailsアプリ上の設定

以下のサイトの Configuring CloudBees DataSources の内容を利用した。 CloudBees RUN@cloud Documentation

そのままコピペした。コピペした上で、以下の３文字列を置換した。

BEES_DB
BEES_DB_USER
BEES_DB_PASS

設定後は以下のコマンドを実行し、warファイルをデプロイする。

# ${app_name}は適切に書き換えること
$ grails prod war
$ grails bees-app-deploy ${app_name}

結果を確認してみる

ざんねんながら自分のアプリケーションにアクセスしてみても 404エラー となっている。

`http://${app_name}.${account_name}.cloudbees.net/`
exception is org.apache.commons.dbcp.SQLNestedException: Cannot create JDBC driver of class ‘com.cloudbees.jdbc.Driver’ for connect URL ‘[[jdbc:cloudbees://${app_name_db}]]’
at org….
…
…

com.cloudbees.jdbc.Driverを生成できませんでした、と。

解決方法

２つある。

解決方法その１

CloudBeesの提供していると思われるJDBC機能を利用しない方法。DataSource.groovyを書き換える。

DataSource.groovy

dataSource {
 pooled = true
 // driverClassName = "com.cloudbees.jdbc.Driver"
 driverClassName = "com.mysql.jdbc.Driver"
}
environments {
 // ...
 production {
 dataSource {
 dbCreate = "update"
 // url = "[[jdbc:cloudbees://${app_name_db}]]"
 url = "jdbc:mysql://ec2-75-xxx-xxx-xxx.compute-1.amazonaws.com/${app_name_db}" // 適宜書き換える必要がある箇所
 // mysqlサーバー名も僕の環境のものを一部掲載しておく。
 username = "${db_user}" // 適宜書き換える必要がある箇所
 password = "${db_password}" // 適宜書き換える必要がある箇所
 }
 }
}

解決方法その２

url属性情報 を一部直さないといけないぽい。

作成したGroovyスクリプトをGroovy未インストール環境で使ってもらう

Wed, 01 Aug 2012 00:55:03 +0900

作成したGroovyスクリプトをチームメンバーに利用してもらいたいが、普通のメンバーはGroovyはインストールしていない。知名度はまだまだのようだ。

そこでGroovyをインストールしていないメンバー環境でもGroovyを実行できるようにするにはどうしたらよいかを試行錯誤してみた。

結果うまくいった方法を残しておく。

経緯

複数エクセルファイルの内容をまとめ、１ファイルにして提出する必要があった。これをGroovy + POIで実現しようとした。
Groovyスクリプトで難なくできたわけだがこれをほかメンバーに公開したい。

もちろん fat jar化 する方法もあるが、編集のたびにビルドするのが面倒なために今回は他の方法を検討。

実行環境

$ uname -vs
Linux #41-Ubuntu SMP Thu Jun 14 17:49:24 UTC 2012

$ java -version
java version "1.7.0_03"
OpenJDK Runtime Environment (IcedTea7 2.1.1pre) (7~u3-2.1.1~pre1-1ubuntu3)
OpenJDK 64-Bit Server VM (build 22.0-b10, mixed mode)

$ groovy -version
Groovy Version: 2.0.0 JVM: 1.7.0_03 Vendor: Oracle Corporation OS: Linux

作成したスクリプト

実際のものと異なるが、カネムーメモ: groovyとpoiでExcelファイルを出力するから拝借し一部変更したものを記載。

test.gr

#!/usr/bin/env groovy
@Grab("org.apache.poi:poi:3.8")
@Grab("org.apache.poi:poi-ooxml:3.8")
@Grab("org.apache.poi:poi-scratchpad:3.8")
import org.apache.poi.hssf.usermodel.*

def myVal = [
 ["あああ", "いいい", "ううう"],
 ["かかか", "ききき", "くくく"],
 ["さささ", "ししし", "すすす"]
]
def file = new File("test.xls")
file.withOutputStream {
 def book = new HSSFWorkbook()
 def sheet = book.createSheet()
 for (i in 0..<myVal.size) {
 //新規行作成
 HSSFRow row = sheet.createRow(i)
 for (j in 0..<myVal[i].size) {
 //新規セル作成
 HSSFCell cell = row.createCell((short) j)
 cell.with {
 encoding = HSSFCell.ENCODING_UTF_16
 setCellValue(myVal[i][j])
 }
 }
 }
 book.write it
}

poiのライブラリがなくても、Grape機能で自動的に依存性を解決してくれる。

CloudBeesにGrailsアプリをデプロイしてみる

Mon, 30 Jul 2012 00:11:14 +0900

GrailsでWebアプリを作る際には CloudBees が良さそうだなと思い、無料版でアプリ検証してみました。アプリケーションの構築などはいろんな方が紹介しているので、今回はデプロイのみ行ってみます。次回はデータベースの利用を取り上げてみるつもりです。

マシン環境

$ uname -vs
Linux #41-Ubuntu SMP Thu Jun 14 17:49:24 UTC 2012

$ java -version
java version "1.7.0_03"
OpenJDK Runtime Environment (IcedTea7 2.1.1pre) (7~u3-2.1.1~pre1-1ubuntu3)
OpenJDK 64-Bit Server VM (build 22.0-b10, mixed mode)

$ grails -version
Grails version: 2.1.0

アプリケーションの作成、デプロイ

正式なデプロイ方法があるが、以下のGrailsプラグインを使うのが最も簡単なようです。

Grails Plugin: CloudBees

手順をピックアップする以下のようになります。

プラグインをインストール
プロパティを４つ設定
ビルド→デプロイを実行 もちろん事前にアカウントを取得しておく必要がある。

また、開発中のGrailsプロジェクトと同名でCloudBees上にアプリケーションを新規登録しておく必要もあります。

プラグインインストール

$ grails install-plugin cloud-bees

プロパティ設定

プロジェクト内のBuildConfig.groovyに以下の設定を追加。

cloudbees.account='CLOUD_BEES_ACCOUNT'
cloudbees.api.key='CLOUD_BEES_API_KEY'
cloudbees.api.secret='CLOUD_BEES_API_SECRET'
cloudbees.permgensize = 128

CLOUD_BEES_ACCOUNT, CLOUD_BEES_API_KEY, CLOUD_BEES_API_SECRET のうち、アカウントは簡単ですが残りの情報がどこから取得できるかわからずに詰まってしまいました。 CloudBeesにログインし以下のURLにアクセスすることで APIキー、APIシークレットを取得できます。

Bash上でGrailsコマンドのオプションを保管

Sat, 28 Jul 2012 16:09:28 +0900

Bash completion for Grails 1.1 - uehaj’s blog を見てからずっと設定を試してみたいと思っていたが google:Grails を触る機会がなかったもので試せていなかったが、Webの案件が入りそうなのでGrailsの最習得を目指して環境周りを整備しだした。

マシン環境

$ uname -vs
Linux #41-Ubuntu SMP Thu Jun 14 17:49:24 UTC 2012

$ java -version
java version "1.7.0_03"
OpenJDK Runtime Environment (IcedTea7 2.1.1pre) (7~u3-2.1.1~pre1-1ubuntu3)
OpenJDK 64-Bit Server VM (build 22.0-b10, mixed mode)

$ grails -version
Grails version: 2.1.0

スクリプトダウンロード

Bash Completionの仕組みは勉強不足だが、Grailsコマンドにこの機能を組み込むためにはスクリプトが必要という事でダウンロード。

google:github に上がっていた。（ https://github.com/podollb/grails-autocomplete ）

$ cd ~

$ git clone git://github.com/podollb/grails-autocomplete.git grails-autocomplete

次に.bashrcにスクリプト読み込み処理を追加。

$ vi ~/.bashrc

# 一番下に以下のコードを追加
[ -r $HOME/grails-autocomplete/grails_autocomplete ] && source $HOME/grails-autocomplete/grails_autocomplete

一度ログアウトするか、 source ~/.bashrc してやる。

GriffonのJsmoothプラグインで作ったexeが正常に動かない

Thu, 26 Jul 2012 23:51:54 +0900

今まで動いていたexeが急に動かなくなってものすごく躓いた。

なぜJavaアプリなのにexeが必要？

お客様とお話ししてはっとした。
展開系のツールがインストールされている場合、実行可能jarファイルをダブルクリックしてもjarが展開されるだけの環境があるとのこと。
だから、jarをexeに変換してリリースして欲しいということだった。

自分のマシン環境

$ uname -vs
Linux #41-Ubuntu SMP Thu Jun 14 17:49:24 UTC 2012
$ java -version
java version "1.7.0_03"
OpenJDK Runtime Environment (IcedTea7 2.1.1pre) (7~u3-2.1.1~pre1-1ubuntu3)
OpenJDK 64-Bit Server VM (build 22.0-b10, mixed mode)
$ griffon
Welcome to Griffon 1.0.0 - http://griffon-framework.org/
Licensed under Apache Standard License 2.0
Griffon home is set to: /opt/griffon
No script name specified. Use 'griffon help' for more info or 'griffonsh' to enter interactive mode
$ pwd
/home/genzou/testapp

exeを作る

プロジェクトディレクトリで以下のコマンドを実行するだけ。

GriffonでHibernateのアノテーションを使いたい時に躓いた

Wed, 08 Feb 2012 22:59:10 +0900

Griffonでアプリケーションを作成する機会が増えてきた。
SQliteが気に入っていてよく使っていたがHibernateを利用したかったため実績のあるHsqldbに切り替えた。

griffon-app/conf/Config.groovyに以下の記載を追加すればすぐに使えるものと思っていた。

 dependencies {
...
compile "org.hibernate:hibernate-annotations:3.5.6-Final"
runtime "org.slf4j:slf4j-simple:1.4.2"
runtime "hsqldb:hsqldb:1.8.0.7"
runtime "javassist:javassist:3.4.GA"
runtime "org.hibernate:hibernate-validator:4.2.0.Final"
...
}

が、どうもよくわからないエラーが発生。

java.lang.LinkageError: loader constraint violation: when resolving overridden method "org.apache.tools.ant.helper.ProjectHelper2$RootHandler.setDocumentLocator(Lorg/xml/sax/Locator;)V" the class loader (instance of org/codehaus/griffon/cli/support/GriffonRootLoader) of the current class, org/apache/tools/ant/helper/ProjectHelper2$RootHandler, and its superclass loader (instance of <bootloader>), have different Class objects for the type andler.setDocumentLocator(Lorg/xml/sax/Locator;)V used in the signature
at org.apache.tools.ant.helper.ProjectHelper2.parseUnknownElement(ProjectHelper2.java:130)
at org.apache.tools.ant.helper.ProjectHelper2.parseAntlibDescriptor(ProjectHelper2.java:110)
at org.apache.tools.ant.taskdefs.Antlib.createAntlib(Antlib.java:91)
at org.apache.tools.ant.taskdefs.Definer.loadAntlib(Definer.java:440)
at org.apache.tools.ant.taskdefs.Definer.execute(Definer.java:292)
at org.apache.tools.ant.ComponentHelper.checkNamespace(ComponentHelper.java:869)
at org.apache.tools.ant.ComponentHelper.getDefinition(ComponentHelper.java:308)
at org.apache.tools.ant.ComponentHelper.createComponent(ComponentHelper.java:285)
at org.apache.tools.ant.ComponentHelper.createComponent(ComponentHelper.java:264)
at org.apache.tools.ant.UnknownElement.makeObject(UnknownElement.java:417)
at org.apache.tools.ant.UnknownElement.maybeConfigure(UnknownElement.java:163)
at org.codehaus.griffon.cli.GriffonScriptRunner.callPluginOrGriffonScript(GriffonScriptRunner.java:435)
at org.codehaus.griffon.cli.GriffonScriptRunner.executeCommand(GriffonScriptRunner.java:300)
at org.codehaus.griffon.cli.GriffonScriptRunner.main(GriffonScriptRunner.java:116)
at org.codehaus.griffon.cli.support.GriffonStarter.rootLoader(GriffonStarter.java:198)
at org.codehaus.griffon.cli.support.GriffonStarter.main(GriffonStarter.java:223)
Error executing script RunApp: loader constraint violation: when resolving overridden method "org.apache.tools.ant.helper.ProjectHelper2$RootHandler.setDocumentLocator(Lorg/xml/sax/Locator;)V" the class loader (instance of org/codehaus/griffon/cli/support/GriffonRootLoader) of the current class, org/apache/tools/ant/helper/ProjectHelper2$RootHandler, and its superclass loader (instance of <bootloader>), have different Class objects for the type andler.setDocumentLocator(Lorg/xml/sax/Locator;)V used in the signature

いろいろ試してみた結果、hibernate-annotasionsライブラリ内のxml-apiを以下のように除外してやる必要があった。

MacのOpenコマンドをLinuxで

Mon, 06 Feb 2012 07:17:37 +0900

以下のエントリを見て、Macの open コマンドが便利そうだなと思いました。

MacのOpenコマンドのすすめ - それマグで！

open コマンドで、関連付けされた適切なアプリケーションが起動するようです。 Linuxにも同様なコマンドがないか？と探していたらありました。

gnome-open コマンドというらしい。

長くて打ち込みにくいのでエイリアスをつけることをおすすめ。

$ alias open='gnome-open'

DraftPadからRemember The Milkにタスク追加

Fri, 13 Jan 2012 01:10:06 +0900

最近google:DraftPadの存在を知って、メール送信からブログ投稿からメモからなにからなにまでこれでやれるんじゃないかと思ってきていた。
DraftPadのみそであるアシスト機能を自分でつくってみたいなと思い、google:Remember The Milkにタスクを登録するためのアシストを作ってみた。
以降、google:Remember The Milkをrtmと省略する

サンプル画面

以下のアシストを順番に実行すればタスクの追加が可能
- rtm > new
- rtm > insert

タスクの作成「rtm > new」

以下のようなアシストを登録する。


タイトル	「rtm > new」
URL	draftpad://self/urldecode?text=%0AList%3A%0ATags%3A%0ADue%3A%0APriority%3A%0AURL%3A%0ARepeat%3A%0AEstimate%3A
Option	Clean All

これを実行すると、rtmで登録するタスクのプロパティ一覧が表示される。
一行目は空になっているが、ここにはタスク名を入力。それ以外はタスクのプロパティを設定する。
プロパティ一覧の詳細は以下のサイトのメール記述方法を参照
第7回いろんな方法でタスクを登録する：これなら毎日できるタスク管理 1から学ぶRemember The Milk｜gihyo.jp … 技術評論社

タスクの作成後は、そのまま次のアシストを実行する。

タスクの登録「rtm > insert」

以下のようなアシストを登録する。
xxxxx、yyyyyは、各自のrtmの設定をもとに書き換えてください。rtmのタスクをメールで登録する方法を参照。
Going My Way: メールでタスクリストをRemember The Milkに追加する方法


タイトル	「rtm > insert」
URL	mailto:?to=xxxxx+yyyyy@rmilk.com&subject=<@L1>&body=<@L2~>
Option	None

これを実行すれば、rtmにタスクが登録される。
URLは不要なプロパティを消してみたり、固定の値を埋め込んだりすればより迅速にタスクの追加が可能になる。

リニューアル

Thu, 12 Jan 2012 01:41:52 +0900

リニューアルしました。
といっても多少デザインを変えただけですが。
今後共よろしくお願い致します。

fat jar作成後にInvalidsignaturefileがどうのこうの言われる時の対処

Wed, 11 Jan 2012 01:49:57 +0900

既存のJavaプロジェクトから、google:Gradle]を利用して[google:fat jarを作成してみた。
Cookbook - Gradle - Codehaus

ただし、swt関連のjarを含めたfat jarを実行すると以下のようなエラーが発生する場合がある。

Exception in thread "main" java.lang.SecurityException: Invalid signature file d
igest for Manifest main attributes
at sun.security.util.SignatureFileVerifier.processImpl(Unknown Source)
at sun.security.util.SignatureFileVerifier.process(Unknown Source)
at java.util.jar.JarVerifier.processEntry(Unknown Source)
at java.util.jar.JarVerifier.update(Unknown Source)
at java.util.jar.JarFile.initializeVerifier(Unknown Source)
at java.util.jar.JarFile.getInputStream(Unknown Source)
at sun.misc.URLClassPath$JarLoader$2.getInputStream(Unknown Source)
at sun.misc.Resource.cachedInputStream(Unknown Source)
at sun.misc.Resource.getByteBuffer(Unknown Source)
at java.net.URLClassLoader.defineClass(Unknown Source)
at java.net.URLClassLoader.access$000(Unknown Source)
at java.net.URLClassLoader$1.run(Unknown Source)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(Unknown Source)
at java.lang.ClassLoader.loadClass(Unknown Source)
at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source)
at java.lang.ClassLoader.loadClass(Unknown Source)

以下のようにbuild.gradleの一部に不要ファイルを除去する設定を追記することで解決する。

Groovyでもよくコマンド作るよね？（え？起動が遅い？）

Thu, 05 Jan 2012 23:55:15 +0900

以下のサイトではrubyでやっていたが、Groovyで同じことをしてみる。
URIのエンコードをコマンドにしていつでも呼べるようにしておくと便利だと思う。 - それマグで！

encodeuri

#!/usr/bin/env groovy
println java.net.URLEncoder.encode(System.in.getText("UTF-8"), "UTF-8")

decodeuri

#!/usr/bin/env groovy
println java.net.URLDecoder.decode(System.in.getText("UTF-8"), "UTF-8")

使い方

genzou@genzou--desktop-work:/tmp/work$ echo http://java.sun.com/javase/ja/6/docs/ja/api/java/net/URLEncoder.html | ./encodeuri
http%3A%2F%2Fjava.sun.com%2Fjavase%2Fja%2F6%2Fdocs%2Fja%2Fapi%2Fjava%2Fnet%2FURLEncoder.html%0A
genzou@genzou--desktop-work:/tmp/work$ echo http://java.sun.com/javase/ja/6/docs/ja/api/java/net/URLEncoder.html | ./encodeuri | ./decodeuri
http://java.sun.com/javase/ja/6/docs/ja/api/java/net/URLEncoder.html

FC2ブログのユーザー情報を取得（GroovyでXML-RPC）

Tue, 27 Dec 2011 00:42:54 +0900

以下のエントリで一生懸命 XML-RPC による通信方法を実現してみました。

FC2ブログへの投稿を行う

ところが、実は 「Groovy」 に便利なライブラリがあり、それを使うともっと簡単に実装できることがわかりました。

Groovy - XMLRPC

FC2ブログのユーザー情報を取得するサンプルコードは以下の通りです。

#!/usr/bin/env groovy
@Grab("groovy:groovy-xmlrpc:0.3")
import groovy.net.xmlrpc.*

def client = new XMLRPCServerProxy("http://blog.fc2.com/xmlrpc.php")

// FC2ブログでは、tokenは特に必要がないためブランク
def token = ""
def userId = "てきとうなユーザーIDにかえてください"
def password = "てきとうなパスワードにかえてください"
def result = client.blogger.getUserInfo(token userId, password)

println result

すごいと思ったのは client 変数に対して、 XML-RPC の blogger.getUserInfo というAPIをあたかもメソッドのように呼び出せるところ。

ちなみに XML-RPC というのはFC2だけではなく、あのMovable Typeでも利用されている通信方法のようですね。

FC2ブログへの投稿を行う

Sun, 25 Dec 2011 00:26:16 +0900

以下のサイトを参考にさせていただきました。

公開日誌 [Java] XML-RPCを使ってFC2にブログを投稿

Fc2Sample.groovy

#!/usr/bin/env groovy

@Grab("org.apache.xmlrpc:xmlrpc-client:*")
import org.apache.xmlrpc.client.*
XmlRpcClient client = new XmlRpcClient(
 config : new XmlRpcClientConfigImpl(
 serverURL:new URL("http://blog.fc2.com/xmlrpc.php"),
 ),
)

def userId = "てきとうなユーザーIDにかえてください"
def password = "てきとうなパスワードにかえてください"
def params = [
 // blogId
 "",
 userId,
 password,
 [
 "title":"タイトルです",
 "description":"本文です",
 // 本文中の改行をbrタグで反映
 "mt_convert_breaks":true,
 // コメントを受け付けるか
 "mt_allow_comments":true,
 // トラックバックを受け付けるか
 "mt_allow_pings":true,
 "mt_text_more":"続きを読むの部分です",
 ],
 // publish(trueで公開, falseで下書)
 true,
]

def result = client.execute("metaWeblog.newPost", params as Object[])

// 新規投稿した記事番号が返る
println "記事番号：" + result + "です。"

Grab を使って、実行時に自動的に依存ライブラリ(Jarファイル群)を取得してくれるようになっています。そのため、当スクリプトファイルだけで完結して動作します。

FC2ブログ や MovableType では、XML-RPC という方式で記事の投稿が可能となっています。

GroovyでSQLiteを使ってみる

Wed, 23 Nov 2011 01:55:16 +0900

クライアントアプリやjettyで動かすようなローカルアプリの場合には、軽量で小さなDBが欲しくなる。SQLiteが使えるとかなり便利。

GroovyでSQLiteを使うサンプルを作成してみた。emailテーブルを作成し、データを３レコードセット。

それを出力する例。

sqlite.groovy

#!/usr/bin/env groovy
@GrabConfig(systemClassLoader = true)
@Grab("org.xerial:sqlite-jdbc:3.7.2")
import groovy.sql.*

def dbfile = new File("./sqlite.db")
def url = "jdbc:sqlite:${dbfile.name}"
def driver = "org.sqlite.JDBC"
def gsql = Sql.newInstance(
 url
 , driver
)
if (dbfile.size() == 0) {
 gsql.execute("""
create table mails (
 id integer primary key, subject text,
 body text
)
""")
 3.times { i ->
 gsql.execute("""
insert into mails (id, subject, body)
values
 (
 ${i + 1}, '件名${i + 1}', '本文${i + 1}'
 )
""".toString())
 }
}
gsql.eachRow("""
SELECT
 id,
 subject,
 body
FROM
 mails
ORDER BY
 id
""") { row ->
 println "id:${row.id}, subject:${row.subject}, body:${row.body}"
}

Groovy(Java)でブラウザ起動を自動化する

Mon, 21 Nov 2011 00:03:46 +0900

前回OAuth実装のエントリでこねくり回して頑張ってブラウザ起動していたけど、起動したブラウザを停止する必要さ得なければ以下の方法で実現可能みたい。（あんまり使わないので、かなり前にチラ見していたけど頭から抜けていた）

#!/usr/bin/env groovy
java.awt.Desktop.desktop.browse new URI("http://google.com")

Groovy(Java)でアプリケーションの二重起動を禁止する方法

Sat, 19 Nov 2011 17:38:27 +0900

Groovyに限ったことではないが、アプリケーションの二重起動を防止する方法をメモ。

以下のように、ファイルチャネルからロック取得が成功するかどうかで二重起動を防止できる。

Attach API( Oracle Technology Network for Java Developers )というのを利用しても実現できるらしいが、IcedTea、Linuxのjdkのいずれにも標準装備されていないようなので断念した。（ClassNotFountExceptionが発生）

#!/usr/bin/env groovy
import java.nio.channels.*

class Lock {
 public static boolean getLock() {
 final FileOutputStream fos = new FileOutputStream(new File("lock"))
 final FileChannel fc = fos.channel
 final FileLock lock = fc.tryLock()

 if (lock == null) {
 return false
 }

 Runtime.runtime.addShutdownHook {
 if (lock != null && lock.valid) {
 lock.release()
 }
 fc.close()
 fos.close()
 } as Thread
 return true
 }
}

// ここからはLockクラスを利用した二重起動チェック処理
if (!Lock.getLock()) {
 println "end"
 System.exit(1)
}

// 安心して処理を実行♪
Thread.start {
 while(true) {
 println "test"
 sleep(1000)
 }
}

Lock#getLock() メソッド実行結果が true ならロック取得成功、 false ならロック取得失敗となる。上記スクリプトを２つ以上起動させようとしても後で起動した方が異常終了するようになる。

textArea(JTextArea)で、タブによるフォーカス移動を実現したいとき

Fri, 18 Nov 2011 23:11:23 +0900

以下のようにkeyPressedイベントを設定する。

 textArea(
 text:bind('statusMessageBody', target:model, mutual:true),
 rows:5,
 dragEnabled:true,
 keyPressed:{ e ->
if(e.keyCode == KeyEvent.VK_TAB) {
if(e.modifiers > 0)
e.source.transferFocusBackward()
else
e.source.transferFocus()
e.consume()
}
},
)

SwingのJTextAreaは、タブによるフォーカス移動をしたい場合にはCtrl+Tab、Ctrl+Shift+Tabを入力しなければならない。

UI上ではTab、Shift+Tabでタブ移動可能な先入観があるが、これはおそらくブラウザ上での操作性に基づいているのだと思う。
それだけ近年のブラウザの操作性が普及している証拠なのだ。

windows用の実行ファイル（exe）を簡単に作成

Thu, 17 Nov 2011 01:47:18 +0900

実行可能jarやjnlpで配布、というのでよい気がするが、ウィンドウズを使っている方々の中にはlhacaなんかでjarファイルを展開対象ファイルとして関連付けしている方もいるようだ。なのでexe形式にできると便利。

griffonではプラグインで簡単に実現できた。

仮にwinappというプロジェクトで試してみる。

プロジェクト作成

# プロジェクト作成
$ griffon create-app winapp
$ cd winapp
# installerプラグインをインストール
$ griffon install-plugin installer
# 準備
$ griffon prepare-windows
# exe化
$ griffon create-windows
# 確認
ll dist/
drwxrwx--- 5 genzou 4.0K 2011-11-17 01:45 windows/
# 確認
ll dist/windows
drwxrwx--- 2 genzou 4.0K 2011-11-17 01:45 bin/
drwxrwx--- 2 genzou 4.0K 2011-11-17 01:45 icons/
drwxrwx--- 3 genzou 4.0K 2011-11-17 01:45 lib/
-rw-rw---- 1 genzou 340K 2011-11-17 01:45 msvcr71.dll
-rw-rw---- 1 genzou 603K 2011-11-17 01:45 winapp.exe
-rw-rw---- 1 genzou 195K 2011-11-17 01:45 griffon.icns
-rw-rw---- 1 genzou 195K 2011-11-17 01:45 winapp.icns
-rw-rw---- 1 genzou 13M 2011-11-17 01:45 winapp-windows-0.1.zip

winapp.exeを実行すればGUIアプリが起動する。
簡単にできた。

ルパンっぽいもの

Fri, 11 Nov 2011 22:37:52 +0900

コマンドラインでルパンっぽいもの。
ふっと頭に浮かんだので息抜きで作ってみた。

lupan.groovy

#!/usr/bin/env groovy
args[0].each{ c ->
( [' '] + ('a'..'z') ).find{
print ( it )
if ( it == c )
return true
sleep 50
print ("\b")
return false
}
}
println()

以下のように実行すれば、ちょっとだけ幸せになれます。

$ groovy ./lupan.groovy "genzouw"

$ ./lupan.groovy "hello world"

JsonSlurperを使ってfacebook内のいいね！をクリック

Fri, 11 Nov 2011 01:15:35 +0900

悪用厳禁で。

#!/usr/bin/env groovy
import groovy.json.*
def facebookApi = new Object(){
def baseurl = "https://graph.facebook.com"
def accessToken = "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"
def jsonSlurper = new JsonSlurper()
def get = { path, params = [:] ->
jsonSlurper.parseText(
new URL(
baseurl + path + "?" +
([ "access_token":accessToken ] + params).collect{ it.key + "=" + it.value }.join("&")).text
)
}
def post = { path, params = [:] ->
println (baseurl + path)
new URL(
baseurl + path
).openConnection().with{
doOutput = true
setRequestProperty("User-Agent", "JsonSlurper")
setRequestProperty("Accept-Language", "ja")
outputStream.withWriter {
it << ([ "access_token":accessToken ] + params).collect{ it.key + "=" + it.value }.join("&")
}
def result = ""
inputStream.withReader {
result = it.text
}
result
}
}
}
def nameKeyword = args[0]
def me = facebookApi.get("/me")
def friends = facebookApi.get("/me/friends")
friends.data.findAll{
it.name.contains(nameKeyword)
}.id.each{ id ->
feeds = facebookApi.get("/${id}/feed")
feeds.data.findAll{
def likes = facebookApi.get("/${it.id}/likes")
!likes.data.id.contains( me.id ) &&
it?.created_time >= (new Date()-2).format('yyyy-MM-dd')
}.each{ feed ->
println feed.from
println feed.message
println feed.created_time
println facebookApi.post("/${feed.id}/likes")
println "--------------------------------------------------"
}
}

第一引数にフレンドの名前を指定。
それを含むフレンドの２日前までのフィードに一括で**いいね！します。
すでにいいね！**しているものにはなにもしません。
最後のpostでいいね！している。

facebookやtwitterはkeyword:restな作りになってるんだね。
取得=get、登録・更新=post、削除=deleteにてHTTPのリクエスト投げると。

urlの形式は、オブジェクト#メソッドの関係に似ている。
getリクエストで me/friends にアクセスすれば、自分のフレンド情報を取得。（パラメータでidはいる。）
deleteリクエストで ${feedId}/likes にアクセスすれば、${feedId}に関するいいね！を取り消せる。

JsonSlurperを使ってfacebook内のいいね！してないフィードを一覧表示

Wed, 09 Nov 2011 01:17:06 +0900

JsonSlurperかなりいい！調子にのっていろいろやってみた。

#!/usr/bin/env groovy
import groovy.json.*
def slurper = new JsonSlurper()
slurper.metaClass.define{
def baseurl = "https://graph.facebook.com"
def accessToken = "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"
getJson{ path, params = [] ->
delegate.parseText(
new URL(
baseurl + path + "?" +
([ "access_token":accessToken ] + params).collect{ it.key + "=" + it.value }.join("&")).text
)
}
}
def me = slurper.getJson("/me")
def friends = slurper.getJson("/me/friends")
friends.data.id.each{ id ->
feeds = slurper.getJson("/${id}/feed")
feeds.data.findAll{
def likes = slurper.getJson("/${it.id}/likes")
!likes.data.id.contains( me.id ) && it?.type != "photo"
}.each{ feed ->
println feed.from.name
println feed.message
println feed.created_time
println (feed.actions.find{ it.name == "Like" }?.link)
println "--------------------------------------------------"
}
}

ミソはインスタンスにdefineしてメソッド追加している点ぐらいかな。
あとは JsonSlurper 使ってる点。

JsonSlurperを使ってFacebook APIを呼び出す

Wed, 09 Nov 2011 00:07:40 +0900

restfb( RestFB )を使ってのFacebook API呼び出しをいろいろ調べたが、先日Groovyの合宿Twitterにリモート接続しているときにJsonSluperなるものの存在を知って、これを利用したほうが簡単なんじゃないかと思ったので試してみた。

フレンド名一覧を取得してみる。

#!/usr/bin/env groovy
def accessToken = "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"
def baseurl = "https://graph.facebook.com"
def slurper = new JsonSlurper()
def result = slurper.parseText(
 new URL(baseurl + "/me/friends?" +
 [
 "access_token": accessToken,
 ].collect { it.key + "=" + it.value }.join("&")).text
)
result.data.each {
 println "${it.name} (id:${it.id})"
}

毎度のことながら、accessToken変数部分にはfacebookから取得した自分の正しいアクセストークン値を設定。

結果は以下のとおり。（取得された名前のアルファベットやidはマスキングしています）

Aaaaaaaaa Aaaaaa (id:999999999)
Aaaaaaaa Aaa (id:999999999)
Aaaaaaaa Aaaaaaaaa (id:9999999999)
Aaaaa Aaaa (id:9999999999)
Aaaaaa Aaaaaa (id:9999999999)
Aaaa Aaaaaa (id:999999999999999)
Aaaaaa Aaaaaaa (id:999999999999999)
Aaaaaa Aaaaaa (id:999999999999999)
Aaaaaaaa Aaaaaaa (id:999999999999999)
Aaaaaaaa Aaa (id:999999999999999)
Aaaaaaaaa Aaaaaa (id:999999999999999)
Aaaaaaaa Aaaaaa (id:999999999999999)
Aaa Aaaaaa (id:999999999999999)
Aaaaa Aaaa (id:999999999999999)
Aaaa Aa (id:999999999999999)
Aaaaaa Aaaaaa (id:999999999999999)
Aaaaaa Aaaaaa (id:999999999999999)
Aaaaaa Aaaaaa (id:999999999999999)
Aaaaaa Aaaa (id:999999999999999)
Aaa-aaaa Aaaaaaaa (id:999999999999999)
Aaaaaa Aaaaaaaa (id:999999999999999)
Aaaaa Aaaa (id:999999999999999)
Aaaaaa Aaaaaaaa (id:999999999999999)
Aaaaa Aaaaaaa (id:999999999999999)
Aaaaaaa Aaaaaaaa (id:999999999999999)
Aaaa Aaaaaa (id:999999999999999)

なんかJsonSlurper使った方が簡単な気がした。

Groovyでfacebookへ近況書き込み

Wed, 02 Nov 2011 00:58:17 +0900

先日成功したfacebookのOAuth2.0認証方式をクラス化した。

クラスと使用例をあげる。
OAuth2.0認証にて取得したアクセストークンさえあれば、restfbライブラリを利用してfacebookに自由にアクセスできる。
RestFB - A Lightweight Java Facebook Graph API and Old REST API Client

FacebookOauth.Groovy

#!/usr/bin/env groovy
@Grab("org.mortbay.jetty:jetty-embedded:6.1.26")
import java.lang.reflect.InvocationTargetException
import java.lang.reflect.Method
import javax.servlet.http.*
import javax.servlet.ServletException
import org.mortbay.jetty.Connector
import org.mortbay.jetty.Handler
import org.mortbay.jetty.handler.AbstractHandler
import org.mortbay.jetty.Request
import org.mortbay.jetty.Server
class FacebookOauth {
def appId
def localHost = "localhost"
def localPort = 9999
def scopeList = []
def String accessToken = null
def String expiresIn = null
def accessTokenFile = new File("access_token.txt")
void load() {
if( accessTokenFile.exists() )
this.accessToken = accessTokenFile.text
}
void save() {
accessTokenFile.write this.accessToken
}
String auth() {
assert appId
assert localHost
assert localPort
assert !accessToken
assert !expiresIn
assert scopeList && !scopeList.empty
def urltext = "https://www.facebook.com/dialog/oauth?" + [
"client_id=${appId}",
"redirect_uri=" + URLEncoder.encode("http://${localHost}:${localPort}/login_success.html", "utf-8"),
"scope=" + URLEncoder.encode(scopeList.join(","), "utf-8"),
"response_type=token",
].join("&")
def browser = { url ->
switch(System.getProperty("os.name", "")) {
case ~/^Mac OS/:
Class fileMgr = Class.forName("com.apple.eio.FileManager")
Method openURL = fileMgr.getDeclaredMethod("openURL", [ String.class ] as Class[])
openURL.invoke(null, [ url ] as Object[])
break
case ~/^Windows/:
return Runtime.runtime.exec("rundll32 url.dll,FileProtocolHandler " + url)
break
 default:
def enableBrowser = [ "firefox", "opera", "konqueror", "epiphany", "mozilla", "netscape" ].find{
Runtime.runtime.exec([ "which", it ] as String[]).waitFor() == 0
}
if (!enableBrowser)
throw new NoSuchMethodException("Could not find web browser")
return Runtime.runtime.exec(enableBrowser + " ${url}")
break
}
}(urltext)
def server = new Server(localPort)
server.with{
connectors.each{
it.host = "${localHost}"
}
handler = [
 handle:{ String target, HttpServletRequest request, HttpServletResponse response, int dispatch ->
switch(target) {
case "/login_success.html":
response.with{
status = HttpServletResponse.SC_OK
contentType = "text/html"
writer.withWriter{
it.println("<html>")
it.println("<head>")
it.println("<script type='text/javascript'>")
it.println("function init() {")
it.println(" window.location = 'http://localhost:9999/access_token.html?' + window.location.toString().split('#')[1];");
it.println("}")
it.println("</script>")
it.println("</head>")
it.println("<body onload=\"init();\">")
it.println("</body>")
it.println("</html>")
}
}
break
case "/access_token.html":
synchronized(this){
accessToken = request.getParameter("access_token")
expiresIn = request.getParameter("expires_in")
}
request.handled = true
break
 default:
response.status = HttpServletResponse.SC_NOT_FOUND
break
}
}
] as AbstractHandler
}
server.start()
while ( !accessToken ) {
Thread.sleep(1000)
}
browser.destroy()
server.stop()
server.join()
this.accessToken
}
}

Example.groovy

#!/usr/bin/env groovy
@Grab("com.restfb:restfb:1.6.9")
import com.restfb.*
import com.restfb.types.*
FacebookOauth oauth = new FacebookOauth(
 appId:"XXXXXXXXXX", // acebookに登録したアプリケーションのIDを設定
 scopeList:[ // スコープの設定を配列で列挙。必要なら権限を追加する。
"email",
"read_stream",
"friends_about_me",
"read_friendlists",
"user_about_me",
"publish_stream",
"offline_access",
"create_event"
],
// その他、認証開始のためのローカルサーバー用設定値（localHost、localPort）や
// アクセストークン保存ファイル（accessTokenFile）などのプロパティも設定可能
// 今回はデフォルトのまま使用。
)
// loadすれば、以前取得したトークンがあればそれを利用しfacebookと通信する。
oauth.load()
// loadしてもトークンがからだった場合（=初めての認証）、認証手続きにてアクセストークン取得
FacebookClient client = new DefaultFacebookClient(oauth.accessToken ?: oauth.auth() )
// 今後も利用したい場合、アクセストークンを保存
oauth.save()
5.times {
FacebookType publishMessageResponse = client.publish(
"me/feed",
FacebookType.class,
Parameter.with("message", "ゲンゾウ時計：" + new Date().format("yyyy/MM/dd HH:mm:ss"))
)
Thread.sleep(5000)
}

近況報告を５秒ごとに登録してみた。

FacebookにGroovyでログイン（その４）

Tue, 01 Nov 2011 00:26:10 +0900

以下のエントリのさらに続きです。

FacebookにGroovyでログイン（その３）

結局、昨日の方式を採用しました。リダイレクト後の http://localhost:9999/#access_token=... の # 以降をサーバーで取得できないため、画面描画後にJavaScriptで ? に置き換え再リクエストするようにしてみました。

結果、アクセストークンが取得できました。

#!/usr/bin/env groovy
@Grab("org.mortbay.jetty:jetty-embedded:6.1.26")
import java.lang.reflect.InvocationTargetException
import java.lang.reflect.Method
import javax.servlet.http.*
import javax.servlet.ServletException
import org.mortbay.jetty.Connector
import org.mortbay.jetty.Handler
import org.mortbay.jetty.handler.AbstractHandler
import org.mortbay.jetty.Request
import org.mortbay.jetty.Server

def appId = "XXXXXXXXXXXXXXX"
def localHost = "localhost"
def localPort = 9999
def urlText = "https://www.facebook.com/dialog/oauth?" + [
 "client_id=${appId}",
 "redirect_uri=" + URLEncoder.encode("http://${localHost}:${localPort}/login_success.html", "utf-8"),
 "scope=" + URLEncoder.encode("email,read_stream,friends_about_me,user_about_me", "utf-8"),
 "response_type=token",
].join("&")

browser = browse(urlText)

server = new Server(localPort).with {
 connectors.each {
 it.host = "${localHost}"
 }
 handler = [
 handle: { String target, HttpServletRequest request, HttpServletResponse response, int dispatch ->
 switch (target) {
 case "/login_success.html":
 response.with {
 status = HttpServletResponse.SC_OK
 contentType = "text/html"
 writer.withWriter {
 it.println("<html>")
 it.println("<head>")
 it.println("<script type='text/javascript'>")
 it.println("function init() {")
 it.println(" window.location = 'http://localhost:9999/access_token.html?' + window.location.toString().split('#')[1];");
 it.println("}")
 it.println("</script>")
 it.println("</head>")
 it.println("<body onload=\"init();\">")
 it.println("</body>")
 it.println("</html>")
 }
 handled = true
 }
 break
 case "/access_token.html":
 println request.getParameter("access_token")
 println request.getParameter("expires_in")
 request.handled = true
 browser.destroy()
 server.stop()
 server.join()
 break
 default:
 response.status = HttpServletResponse.SC_NOT_FOUND
 break
 }
 }
 ] as AbstractHandler
 start()
}

def browse(String url) throws ClassNotFoundException, IllegalAccessException,
 IllegalArgumentException, InterruptedException, InvocationTargetException, IOException,
 NoSuchMethodException {
 def osName = System.getProperty("os.name", "")
 if (osName.startsWith("Mac OS")) {
 Class fileMgr = Class.forName("com.apple.eio.FileManager")
 Method openURL = fileMgr.getDeclaredMethod("openURL", [String.class] as Class[])
 openURL.invoke(null, [url] as Object[])
 } else if (osName.startsWith("Windows")) {
 return Runtime.runtime.exec("rundll32 url.dll,FileProtocolHandler " + url)
 } else {
 def browser = ["firefox", "opera", "konqueror", "epiphany", "mozilla", "netscape"].find {
 Runtime.runtime.exec(["which", it] as String[]).waitFor() == 0
 }
 if (!browser)
 throw new NoSuchMethodException("Could not find web browser")
 return Runtime.runtime.exec(browser + " ${url}")
 }
}

Facebookのアプリケーション設定画面の サイトURL 入力欄には、昨日の設定から以下の入力に変更しました。

FacebookにGroovyでログイン（その３）

Mon, 31 Oct 2011 00:19:44 +0900

以下のエントリのさらに続き。

FacebookにGroovyでログイン（その２）

結局、以下の流れでアクセスキーを取得してみることにしました。

Jettyを起動
ブラウザを起動
ブラウザでFacebookに手動でログイン
リダイレクト結果より、アクセスキー取得

#!/usr/bin/env groovy
@Grab("org.mortbay.jetty:jetty-embedded:6.1.26")
import java.lang.reflect.InvocationTargetException
import java.lang.reflect.Method
import javax.servlet.ServletException
import javax.servlet.http.HttpServletRequest
import javax.servlet.http.HttpServletResponse
import org.mortbay.jetty.Connector
import org.mortbay.jetty.Handler
import org.mortbay.jetty.Request
import org.mortbay.jetty.Server
import org.mortbay.jetty.handler.AbstractHandler

def appId = "XXXXXXXXXXXXXXX"
def localHost = "localhost"
def localPort = 9999
def urlText = "https://www.facebook.com/dialog/oauth?" + [
 "client_id=${appId}",
 "redirect_uri=" + URLEncoder.encode("http://${localHost}:${localPort}/", "utf-8"),
 "scope=" + URLEncoder.encode("email,read_stream,friends_about_me,user_about_me", "utf-8"),
 "response_type=token",
].join("&")

def browserProcess = browse(urlText)

server = new Server(localPort)
server.connectors.each {
 it.host = "${localHost}"
}
server.handler = new Callback(browserProcess: browserProcess)
def serverThread = Thread.start {
 server.start()
}

def browse(String url) throws ClassNotFoundException, IllegalAccessException,
 IllegalArgumentException, InterruptedException, InvocationTargetException, IOException,
 NoSuchMethodException {
 String osName = System.getProperty("os.name", "")
 if (osName.startsWith("Mac OS")) {
 Class fileMgr = Class.forName("com.apple.eio.FileManager")
 Method openURL = fileMgr.getDeclaredMethod("openURL", [String.class] as Class[])
 openURL.invoke(null, [url] as Object[])
 } else if (osName.startsWith("Windows")) {
 return Runtime.runtime.exec("rundll32 url.dll,FileProtocolHandler " + url)
 } else {
 def browser = ["firefox", "opera", "konqueror", "epiphany", "mozilla", "netscape"].find {
 Runtime.runtime.exec(["which", it] as String[]).waitFor() == 0
 }
 if (!browser)
 throw new NoSuchMethodException("Could not find web browser")
 return Runtime.runtime.exec(browser + " ${url}")
 }
}

class Callback extends AbstractHandler {
 def browserProcess

 void handle(String target, HttpServletRequest request, HttpServletResponse response, int dispatch)
 throws IOException, ServletException {
 println request.requestURL
 request.handled = true
 this.browserProcess.destroy()
 }
}

実行前にはあらかじめFacebookのアプリケーション設定画面の サイトURL 入力欄に以下の入力をしておく必要があります。

FacebookにGroovyでログイン（その２）

Sat, 29 Oct 2011 01:18:57 +0900

以下のエントリの誤りを修正。

FacebookにGroovyでログイン | ゲンゾウ用ポストイット

以下のようなhttpアクセスを実装した。

Facebookのログイン画面へアクセス
ユーザー名、パスワードを指定しFacebookへログイン
ログイン完了後、OAuth認証用のURLへ所定のパラメータを指定しGetアクセス
Facebookアプリを認証を許可する画面が表示されるため、ログインボタンを押す

ちなみに上記の最後の処理がうまく動作していない。

#!/usr/bin/env groovy
@Grab("org.apache.httpcomponents:httpclient:4.1.2")
import org.apache.http.*
import org.apache.http.client.*
import org.apache.http.client.entity.*
import org.apache.http.client.methods.*
import org.apache.http.client.params.*
import org.apache.http.impl.client.*
import org.apache.http.message.*
import org.apache.http.protocol.*
import org.apache.http.util.*

HttpClient client = new DefaultHttpClient()
def res = client.execute(new HttpGet("https://www.facebook.com/login.php"))
def nextAction = res.entity.content.text.replaceAll(/(?msi).+<form method="post".+?action="(.+?)"[^>]*>.+/, "\$1")
EntityUtils.consume(res.entity)
HttpPost post2 = new HttpPost(nextAction)

post2.entity = new UrlEncodedFormEntity([
 new BasicNameValuePair("email", "genzouw@gmail.com"),
 new BasicNameValuePair("pass", "XXXXXXXXXX")
], HTTP.UTF_8)

res = client.execute(post2)
EntityUtils.consume(res.entity)
def urltext = "https://www.facebook.com/dialog/oauth?" + [
 "client_id=XXXXXXXXXXXXXXXXXXXX",
 "redirect_uri=" + URLEncoder.encode("https://www.facebook.com/connect/login_success.html", "utf-8"),
 "scope=" + URLEncoder.encode("email,read_stream,friends_about_me,user_about_me", "utf-8"),
 "response_type=token",
].join("&")

res = client.execute(new HttpGet(urltext))
res.entity.content.text
EntityUtils.consume(res.entity)
HttpPost postLast = new HttpPost("https://www.facebook.com/dialog/permissions.request")
postLast.entity = new UrlEncodedFormEntity([
 new BasicNameValuePair("grant_required_cliked", ""),
], HTTP.UTF_8)

res = client.execute(postLast)

println res.entity.content.text
println res.statusLine.statusCode

def locations = res.getHeaders("location")
EntityUtils.consume(res.entity)
client.connectionManager.shutdown()

以下のGrab定義部分で利用しているhttpcomponentsライブラリの使い方に多くの誤りがあった。

@Grab("org.apache.httpcomponents:httpclient:4.1.2")

まず、HttpClientインスタンスは毎回生成する必要がない。

毎回インスタンス生成をしないとエラーとなっていたが、それはHttpResponse#getEntityで取得したHttpEntityインスタンスのabortをしていなかったことが原因。

以下のようにEntityUtils#comsumeメソッドを利用してクローズすることで問題が発生しなくなった。

EntityUtils.consume(res.entity)

加えて、毎回HttpClientインスタンスを生成しなくなったため、cookieStoreインスタンスをセットする必要もなくなった。（HttpClientインスタンス内で保持してくれている模様。HttpClientインスタンス生成時に空のそれを内部に保持しているようだ。）

というか、OAuth2.0の認証をブラウザなしで利用するのはかなりしんどい。accessToken取得までの流れは、Jettyなどのサーバーを一時的に起動して、フィルタで処理するようにしようと考えている。

FacebookにGroovyでログイン

Fri, 28 Oct 2011 02:10:14 +0900

FacebookにGroovyでログインする、というのを必死でやろうとしているがうまくいかない。とりあえず現時点でできているところまでアップする。

やりたいことは、FacebookにOAuth2.0方式でアクセスするようなデスクトップアプリケーションを作りたいということ。Facebook内のデータにアクセスする方法は以下にかかれている。

Facebook Login - Facebook開発者

英語なので何分辛かったが、 Client-side Flow のセクションにかかれている認証手順をブラウザなしで実現したい。ログインしていない場合、初回のアクセスでパスワード入力画面に遷移するために、ユーザー名パスワードをPost方式で渡してみたがパスワードが不正と言われてしまう。

（注意）

2011/10/28現在、以下のコードは HttpComponents の使い方として誤りが多いです。以下のエントリで修正版を載せているのでそちらを参照してください。

FacebookにGroovyでログイン（その２） | ゲンゾウ用ポストイット

ソースコード

#!/usr/bin/env groovy
@Grab("org.apache.httpcomponents:httpclient:4.1.2")
import org.apache.http.*
import org.apache.http.client.*
import org.apache.http.client.params.*
import org.apache.http.client.methods.*
import org.apache.http.impl.client.*

def urltext = "https://graph.facebook.com/oauth/authorize?" + [
 "client_id=OAUTH2.0_APP_ID",
 "redirect_uri=" + URLEncoder.encode("https://www.facebook.com/connect/login_success.html", "utf-8"),
 "scope=" + URLEncoder.encode("email,read_stream,friends_about_me,user_about_me", "utf-8"),
 "response_type=token",
].join("&")

CookieStore cookieStore = new BasicCookieStore()
HttpClient client = null
client = new DefaultHttpClient(cookieStore: cookieStore)
HttpGet get1 = new HttpGet(urltext)
def response1 = client.execute(get1)

println "get1:" + response1.statusLine.statusCode

def nextAction = response1.entity.content.text.replaceAll(/(?msi).+<form method="post".+?action="(.+?)"[^>]*>.+/, "\$1")

println nextAction

client.connectionManager.shutdown()
client = new DefaultHttpClient(cookieStore: cookieStore)
HttpPost post2 = new HttpPost(nextAction)

// ここが怪しい。addParameterを利用するのが正しい？
post2.addHeader("email", "XXXXX@gmail.com")
post2.addHeader("pass", "XXXXX")
def response2 = client.execute(post2)

println "post2:" + response2.statusLine.statusCode
println response2.entity.content.text

client.connectionManager.shutdown()

続きは明日。

XmlSlurperで取得したノードをxmlとして出力する

Sat, 15 Oct 2011 02:52:15 +0900

google:XmlSlurperでノードを取得した場合、GPathResultというクラスのインスタンスが取得される。
google:NodeChildというインターフェイスを実装していることから分かるとおり、xmlのノードを表している。

取得したノードのxml構造を見たいときは以下のように出力してやるとかなりおかしな出力の仕方がされる。

test.xml

<users>
<user name="genzou">
<family>yu</family>
<family>ki</family>
</user>
<user name="yasu">
<family>megumi</family>
</user>
<user name="taro">
<family>hanako</family>
<family>shinji</family>
</user>
</users>

test.groovy

#!/usr/bin/env groovy
import java.text.*
def users = new XmlSlurper(false,false).parseText(new File( "test.xml" ).text)
def user = users*.user
println user[0]

genzou@genzou-desktop:~/$ ./test.groovy
yukimegumihanakoshinji

どうやらテキストノードを保持するすべての子ノードをたどり、GPathResult#text()メソッドを呼び出しているようだ。
この場合、以下のように記述するのが正しい。

test.groovy（新）

#!/usr/bin/env groovy
import java.text.*
def users = new XmlSlurper(false,false).parseText(new File( "test.xml" ).text)
def user = users*.user
println groovy.xml.XmlUtil.serialize(user[0]).toString()

出力される情報は一行になっているため、必要があれば自分で綺麗に整形・インデントしなければならないが。

サイトのhtmlをXmlSlurperで処理する

Fri, 14 Oct 2011 02:07:59 +0900

最近ではxhtmlでかかれたサイトが多くなったが、サイトのhtmlがxhtmlであることを前提にXmlSlurperで処理しようとすると時々固まってしまう。正しいxhtmlでかかれていない箇所があったりするからだ。また、DTD定義を探しにいくが、見つからずにエラー、といったこともある。

そこで xhtmlを読み込む前に事前処理を行うことで、サイトのxhtmlを XmlSlurper で処理できる。

ソースコード

#!/usr/bin/env groovy
@Grapes(
@Grab(group='net.sourceforge.htmlcleaner', module='htmlcleaner', version='2.2')
)
import org.htmlcleaner.*
def address = 'http://groovy.codehaus.org/'
def cleaner = new HtmlCleaner()
def node = cleaner.clean(address.toURL())
// htmlをxmlに変換
def props = cleaner.getProperties()
def serializer = new SimpleXmlSerializer(props)
def xml = serializer.getXmlAsString(node)
// DTDの妥当性検証を実施しない設定
def page = new XmlSlurper(false,false).parseText(xml)

// (以下省略)
// ...

ひとこと

ここから先は以下のサイトを参考に page 変数に対して好き勝手にごにょごにょしてあげればOK。(僕はXmlSlurperの使い方になれず）

参考

Ubuntuでログイン後、.Xmodmapが読み込まれずに困っている場合

Fri, 14 Oct 2011 01:54:36 +0900

はじめに

家にはUbuntuマシンが３台あるのだが、１台だけxdmでログイン後、.Xmodmap が自動的に読み込まれずに困っていた。

$ cd
$ ll .Xmodmap
# 僕のLinux環境では、~/myconfigで各種設定ファイルを一元管理しシンボリックリンクを貼っています
lrwxrwxrwx 1 genzou 26 2011-09-12 23:39 .Xmodmap -> myconfig/.Xmodmap

しばらくは暫定対処していた

しかたがないのでログイン後毎回以下のコマンドを叩いていた。

$ cd
$ xmodmap .Xmodmap #.Xmodmapを読み込み

対処方法ありました

ちょっとググったら、ずばりの対応方法がかかれていた。 Ubuntu 9.04 でキー割り当て（キーボード配列）を変更 - 起動時に .Xmodmap が自動で読み込まれないときは？ - 彼女からは、おいちゃんと呼ばれています

所感

ちょいちょいこのgconf-editorなるものを触って設定を書き換える機会が発生するが、Linux的じゃないような気がしてならない。

Cygwinでカレントディレクトリにスペースを含む場合にShellbang付きGroovyが動かせない件のパッチを送ってみた

Mon, 10 Oct 2011 22:53:57 +0900

Groovyの開発リポジトリが GitHub · Build software better, together. に以降されたので、パッチなども容易に連絡できるようになった。

ようやくかなり以前のエントリであげていたcygwin上のカレントディレクトリに半角スペースを含む場合にエラーが発生する件( CygwinでWindows環境にLinuxと同様のGroovy環境を構築するための設定 )のパッチを連絡してみた。

ubuntuでimeの辞書登録的なことを行う

Sun, 09 Oct 2011 23:17:02 +0900

$ uname -a
Linux genzou-desktop 2.6.38-11-generic #50-Ubuntu SMP Mon Sep 12 21:18:14 UTC 2011 i686 i686 i386 GNU/Linux
$ anthy-agent --version
anthy-agent 9100h
$ anthy-dic-tool --version
Anthy-dic-util 9100h.

日本語入力にはanthyを利用しているが、anthyにimeでいう単語の辞書登録を行う方法を調べてみた。

辞書に単語を登録

kasumiっていうコマンドを使える
KotoDama | Welcome to KotoDama

辞書をバックアップ

~/.anthy/private_words_defaultをバックアップすればよい
Ubuntu日本語フォーラム / 日本語変換の辞書登録分のバックアップ

hatena.vimが動かなくなっていた

Sun, 09 Oct 2011 23:04:19 +0900

理由は簡単。ubuntuバージョンアップの度に新しくインストールしなおしているが、その際に**curlコマンド**がなくなってしまっていたため。
以下のサイトを参考に設定を見直して発覚。
hatena.vimを導入してvimからはてなダイアリーを更新したメモ - 今日もスミマセン。

コマンド一発で、あるPostgreSQLサーバから別のPostgreSQLサーバにデータをコピーする

Fri, 27 May 2011 00:15:02 +0900

トイレに行く前にターミナルから一発実行したコマンド。

PostgreSQLデータベースのデータをあるサーバから別のサーバに持っていきたいときに便利なコマンド。

これだとゴミファイルも残らない。

以下の部分には適当に書き換えて使ってください。

文字列	説明
from_user	コピー元サーバーユーザ
from_server	コピー元サーバーホスト
from_dbuser	コピー元 DBユーザ
from_dbpass	コピー元 DBパスワード
from_dbname	コピー元 DB名
————-	—————————–
to_user	コピー先サーバーユーザ
to_server	コピー先サーバーホスト
to_dbuser	コピー先 DBユーザ
to_dbpass	コピー先 DBパスワード
to_dbname	コピー先 DB名

コマンド

$ ssh from_user@from_server "PGPASSWORD=from_dbpass pg_dump -c -U from_dbuser from_dbname | gzip -c" \
 | ssh to_user@to_server "gunzip -c | PGPASSWORD=to_dbpass psql -U to_dbuser to_dbname"

事前に設定しておくと良い設定

ssh-keygenで秘密鍵を作っておくと ssh コマンド実行時のパスワード入力に悩まされない。

Gebを試してみる（再再々）

Wed, 25 May 2011 07:04:04 +0900

Gebを試してみる（再々） | ページ 1306273892 | ゲンゾウ用ポストイットの続き。

またまた kiy0taka さんがコメントをくれていた。

#!/usr/bin/env groovy
@GrabConfig(systemClassLoader = true)
@Grapes([
 @Grab("org.codehaus.geb:geb-core:latest.release"),
 @Grab('org.seleniumhq.selenium:selenium-chrome-driver:latest.release')
])
import geb.Browser

Browser.drive("http://google.com/ncr") {
 assert title == "Google"
 // enter wikipedia into the search field
 $("input", name: "q").value("wikipedia")
 // wait for the change to results page to happen
 // (google updates the page without a new request)
 waitFor { title.endsWith("Google Search") }
 // is the first link to wikipedia?
 def firstLink = $("li.g", 0).find("a.l")
 assert firstLink.text() == "Wikipedia"
 // click the link
 firstLink.click()
 // wait for Google's javascript to redirect
 // us to Wikipedia
 waitFor { title == "Wikipedia" }
}

このコードを実行すると以下のようなエラーが。

Gebを試してみる（再々）

Wed, 25 May 2011 06:51:32 +0900

Gebを試してみる（引き続き） | ゲンゾウ用ポストイットの続き。

kiy0taka さんがコメントをくれていた。

@Grab(‘org.seleniumhq.selenium:selenium-chrome-driver:latest.release’) をつけたらいいよ。

ダメモトでやったらやっぱりだめだった。

@GrabConfig(systemClassLoader = true)
@Grapes([
 @Grab('org.seleniumhq.selenium:selenium-chrome-driver:latest.release'),
 @Grab("org.codehaus.geb:geb-core:latest.release")
])
import geb.Browser

Browser.drive("http://google.com/ncr") {
 assert title == "Google"
 // enter wikipedia into the search field
 $("input", name: "q").value("wikipedia")
 // wait for the change to results page to happen
 // (google updates the page without a new request)
 waitFor { title.endsWith("Google Search") }
 // is the first link to wikipedia?
 def firstLink = $("li.g", 0).find("a.l")
 assert firstLink.text() == "Wikipedia"
 // click the link
 firstLink.click()
 // wait for Google's javascript to redirect
 // us to Wikipedia
 waitFor { title == "Wikipedia" }
}

Caught: java.lang.IncompatibleClassChangeError: Implementing class
at geb.driver.PropertyBasedDriverFactory.getDriver(PropertyBasedDriverFactory.groovy:59)
at geb.driver.CachingDriverFactory.getDriver(CachingDriverFactory.groovy:36)
at geb.Browser.getDefaultDriver(Browser.groovy:61)
at geb.Browser.<init>(Browser.groovy:48)
at geb.Browser.<init>(Browser.groovy)
at geb.Browser.<init>(Browser.groovy:44)
at geb.Browser.<init>(Browser.groovy)
at geb.Browser.drive(Browser.groovy:239)
at GebExamples.run(GebExamples.groovy:9)

僕にはまだ早い技術ということで諦める。Linuxという環境がまずいのかもしれない。

Gebを試してみる（引き続き）

Mon, 23 May 2011 23:40:23 +0900

Gebを試してみるの続き。

いろいろ試してみました。まずは id:nobusue さんが教えてくれたヒントを元に攻めてみます。

@GrabConfigで解決できませんかね。

http://groovy.codehaus.org/api/groovy/lang/GrabConfig.html (from @nobusue)

@GrabConfig でサンプルソースで設定されていることが多い systemClassLoader を設定してみます。

@GrabConfig(systemClassLoader = true)
@Grapes([
 @Grab("org.codehaus.geb:geb-core:latest.release"),
 @Grab("org.seleniumhq.selenium:selenium-firefox-driver:latest.release")
])
import geb.Browser
Browser.drive(“http://google.com/ncr") {
assert title == “Google”
// enter wikipedia into the search field
$(“input”, name: “q”).value(“wikipedia”)
// wait for the change to results page to happen
// (google updates the page without a new request)
waitFor { title.endsWith("Google Search") }

// is the first link to wikipedia?
def firstLink = $("li.g", 0).find("a.l")
assert firstLink.text() == "Wikipedia"

// click the link
firstLink.click()

// wait for Google's javascript to redirect
// us to Wikipedia
waitFor { title == "Wikipedia" }

}

関西Javaエンジニアの会（関ジャバ）5月に参加

Sun, 22 May 2011 23:23:45 +0900

5/18(水)に、関西Javaエンジニアの会に参加してきた。
前回は仕事が忙しく参加できずじまいだったが、今回は仕事の都合もつき参加できた。
懇親会は今回も参加できず。
今までよりも参加者は減ったかな。

関西Javaエンジニアの会（関ジャバ）のサイトができたよとのこと。
home

LTの内容は省略。Twitterでつぶやきまくったのでwww。
Twitter / Search - #kanjava

Googleカレンダーみて知ったけど、読書会なんかもやってるんだね。都合つけて参加してみたい！\

Gebを試してみる

Sun, 22 May 2011 00:03:26 +0900

関西Javaエンジニアの会で id:kiy0taka さんが話されていたGebを試してみた。その場で理解した限りでは、GroovyなSelenium的FW。

サイト： http://geb.codehaus.org/latest/index.html
マニュアル： http://geb.codehaus.org/latest/manual/

早速試してみる

http://geb.codehaus.org/latest/manual/intro.html#installation__usage にもあるとおり、インストールは不要。なぜならGroovyにはGrabがあるからね！だって。

以下のコードをスクリプト先頭に記述すればOKとのこと。

@Grapes([
@Grab(<span class="synConstant">"org.codehaus.geb:geb-core:latest.release"</span>),
@Grab(<span class="synConstant">"org.seleniumhq.selenium:selenium-firefox-driver:latest.release"</span>)
])
import geb.Browser

ということで以下のサンプルコードと組み合わせてスクリプトを作成し、実行。

http://geb.codehaus.org/latest/manual/intro.html#examples

サンプルコード（GebExample.groovy）

#!/usr/bin/env groovy
@Grapes([
 @Grab("org.codehaus.geb:geb-core:latest.release"),
 @Grab("org.seleniumhq.selenium:selenium-firefox-driver:latest.release")
])
import geb.Browser
Browser.drive(“http://google.com/ncr") {
assert title == “Google”
// enter wikipedia into the search field
$("input", name: "q").value("wikipedia")

// wait for the change to results page to happen
// (google updates the page without a new request)
waitFor { title.endsWith("Google Search") }

// is the first link to wikipedia?
def firstLink = $("li.g", 0).find("a.l")
assert firstLink.text() == "Wikipedia"

// click the link
firstLink.click()

// wait for Google's javascript to redirect
// us to Wikipedia
waitFor { title == "Wikipedia" }

}

「Java使いをGroovyに引き込むサンプル集」がおもしろかった

Wed, 02 Mar 2011 22:19:42 +0900

id:fumokmmさんが「Java使いをGroovyに引き込むサンプル集」というエントリをかかれていておもしろかったのではっておく。
Java使いをGroovyに引き込むサンプル集 - No Programming, No Life

最近プロジェクト内でのちょっとしたツールなどをGroovyで作成することが多くなってきた。

Windowsクライアントで作成した資材をLinuxサーバー上に配置するときに結構よくやる失敗

Fri, 18 Feb 2011 02:09:49 +0900

LinuxクライアントからLinuxサーバー、WindowsクライアントからWindowsサーバーでは発生しないが、Windowsクライアントで作成したシェルスクリプトなどをLinuxサーバーに持っていったりするときによくやる失敗について。

「改行コードが CRLF となっている」

これは非常によくやる失敗ですよね。単純だが意外と目立たないです。

まったく動かない場合もありますが、微妙に動いたりする場合もあるのでさらに分かりにくい。

数日間もこれに費やしてしまいました。。。

surround.vimの使い方

Fri, 18 Feb 2011 02:02:09 +0900

[text-object:keyword]をいくらか習得してきたらsurround.vimを導入することでさらに生産性があげられそう。
（まだ習得にはいたっていない。ds、csは比較的容易だが、ysが直感的でない気がする。）

以下のサイトの内容がわかりやすい。
vim の text-object をより便利に使えるプラグイン - surround.vim - 2nd life

覚えて便利なのは ys の機能だとはおもうが、長いし覚えにくい。

windows + cygwin + shebang 利用時にうまくスクリプトが動かない場合の対処

Tue, 21 Dec 2010 12:23:46 +0900

windows + cygwinで、たとえばデスクトップに以下のスクリプトを配置して実行すると動かない。

test.groovy

#/usr/bin/env groovy
prnltn "test"

cygwinで実行

cd
cd デスクトップ
./test.groovy

$GROOVY_HOME/bin/startGroovy を以下のように修正する。

--- startGroovy.orig 2010-12-21 12:17:33.431960400 +0900
+++ startGroovy 2010-12-21 12:16:57.730434900 +0900
@@ -223,7 +223,8 @@
for arg in "$@" ; do
CHECK=`echo "$arg"|egrep -c "$OURCYGPATTERN" -`
if [ $CHECK -ne 0 ] ; then
- eval `echo args$i`=`cygpath --path --ignore --mixed "$arg"`
+# eval `echo args$i`=`cygpath --path --ignore --mixed "$arg"`
+ eval `echo args$i`="\"`cygpath --path --ignore --mixed "$arg"`\""
else
eval `echo args$i`="\"$arg\""
fi

1.7.6でもまだ修正しないといけないみたい。
誰も問題になっていないのかな？

StringのEnumへの変換

Fri, 17 Dec 2010 12:36:48 +0900

以下も面白い。
Groovy Goodness: Transform String into Enum - Messages from mrhaki

String型オブジェクトを自動的にEnumの同名に変換してくれるそうだ。

DateからCalendarへの変換

Fri, 17 Dec 2010 12:27:40 +0900

以下のエントリが面白かった。
Groovy Goodness: Convert Date to Calendar - Messages from mrhaki

JavaではDateとCalendar周りのapiが非常に使いにくい。
Groovyではかなり便利になったけど1.7.6からはさらに便利になったんだね。
知らなかった。

h2console.groovyがめちゃくちゃ便利

Wed, 08 Dec 2010 09:24:01 +0900

久しぶりにゆっくりとブログを流し読みしていたら、 id:kiy0taka さんの作成した h2console.groovy というスクリプトがすごかった。 H2 DatabaseのWebServletが便利 - blog4j 2.0

Groovyスクリプトをダウンロードしてきて実行するだけ。本当にすごい。現在のプロジェクトではPostgreSQLデータベースを使用しているため、 $HOME/.groovy/lib フォルダに postgresql-8.4-702.jdbc4.jar を配置してから実行する必要があったが、MySQLならその作業すら不要ということ。

スクリプト実行後にブラウザで http://localhost:8080/ にアクセスするだけでDBの内容を閲覧できました。

日本語ファイル名をgit statusなどで文字化けさせずに表示する方法

Thu, 18 Nov 2010 14:46:05 +0900

会社のCygwin + Git環境だと、半角のみのファイルに関しては問題はないのだが、全角を含むファイル名を管理している場合に以下のコマンドで文字化けする。

$ git status
> create mode 100644 "\345\217\226\346\211\261\350\252\254\346\230\216\346\233\270.txt"

解決方法がようやくわかった。

git config –global core.quotepath false

http://tobysoft.net/wiki/index.php?git%2F%C6%FC%CB%DC%B8%EC%A5%D5%A5%A1%A5%A4%A5%EB%CC%BE%A4%F2git%20status%A4%CA%A4%C9%A4%C7%C9%BD%BC%A8%A4%B9%A4%EB%CA%FD%CB%A1

Cygwin環境では必須ですね。

Windowsでファイル結合

Tue, 28 Sep 2010 14:19:38 +0900

意外と詰まった。
Linuxならcatコマンドだが、Windowsではどうするか？
copyというコマンドを使えというwebの書き込みがいくつかあったが、正解はtypeコマンドだった。

Windows で cat コマンド - homesteading the noosphere

type file.1 file.2 > file.org

Subversionのリポジトリ上から２つのリビジョンの差分ファイルをピックアップするスクリプト

Tue, 31 Aug 2010 18:13:42 +0900

svndiffexp

#!/bin/bash
target=`svn info | grep 'URL: ' | sed 's/URL: //g'`
r1=$1
r2=$2
todir=$3
list=""
for f in `svn diff ${target} -r ${r1}:${r2} --summarize | grep -v ^D | sed -e "s@^. *${target}/@@g"`
do
if [ -f "$f" ]
then
list="$list $f"
fi
done
tar cf - $list | (cd "${todir}"; tar xvf -)

使い方

your_svn_work_dirというsvnの作業コピーディレクトリから、リビジョン10~12で変更されたファイルをピックアップする。

$ cd your_svn_work_dir
$ svndiffexp 10 12 ~/modfiles/

試用版ソフトを試用期間を超えて使用するための起動用バッチ（悪用禁止）

Thu, 26 Aug 2010 19:04:40 +0900

発想が単純だけど、なるほどと思った。職場の方が教えてくれた。悪用厳禁。

@ECHO OFF
set D=%DATE%
date = 2009-10-01
start "" "C:\Program Files\xxx\yyy.exe"
ping localhost -n 5
date = %D%

てか、LinuxじゃなくてWindowsでもシステム日時を変更するのに “date” コマンド使えるんだ、と思った。
あと

ping localhost -n 5

のあたりに芸の細かさを感じた。

JVMを複数インストールしているPCにてEclipseが起動しない

Thu, 26 Aug 2010 18:27:26 +0900

Eclipseのバージョンによって起動したりしなかったりということがあった。3.1や3.2は起動するが3.4、3.5は起動しない。原因がわからずに放置していたがどうしてもEclipseを使用する案件があり、Google先生に問い合わせしながらようやく解決。

jdk1.4 のjavaw.exeを参照していたことが原因だった。いまだに jdk1.4 を使用しているシステムを担当しているため、開発用ＰＣに jdk1.4 と jdk1.6 がインストールされている。僕のPCでは、Eclipse起動時に jdk1.4 を使用しているようで、古いEclipseは起動するが新しいEclipseは jdk1.4 では起動できない。

解決方法

以下のサイトが参考になった。

開発メモ Eclipse 起動しない

-vm オプションで、任意のjdk(jre)を使用するように指定できる。

Gradleを使ってTomcatサーバーへのデプロイ作業を自動化

Tue, 24 Aug 2010 12:53:39 +0900

AntやMavenを使い倒した人には何でもないことなんだろうけれども便利だと思ったのでメモ。Tomcat7を使用。

事前準備

$TOMCAT_HOME/conf/tomcat-users.xml を編集して、適当な ロール と ユーザー を追加する。

以下のような設定を追記した。

ロール： manager
ユーザー名・パスワード： manager-script

`tomcat-users.xml`

<?xml version='1.0' encoding='utf-8'?>
<tomcat-users>
 <role rolename="manager"/>
 <user username="manager-script" password="manager-script" roles="manager"/>
</tomcat-users>

設定後、Tomcatサーバーを起動(すでに起動していた場合は再起動)して以下のURLでログインできることを確認する。（Tomcatサーバーのホスト名は “testserver” とする。）

http://testserver:8080/manager

Gradleのビルドファイルを作成

次にbuild.gradleを作成する。以下のような設定を追記する。 xxxxxxの部分には、デプロイ対象のアプリケーション名を指定する。

build.gradle

apply plugin: "groovy"
apply plugin: "war"
version = "1.0.0"
configurations {
 catalinaAnt
}
dependencies {
 catalinaAnt "org.apache.tomcat:tomcat-catalina-ant:7.0.0"
 // 以下省略
}

// 先程ログインの動作確認をしたサーバのURL
def url = "http://testserver:8080/manager"
// デプロイ対象のアプリケーション名
def path = "/xxxxxx"
def user = project.properties['user']
def password = project.properties['password']

task tomcatStop << {
 ant.taskdef(
 'name':"stop", 'classname':"org.apache.catalina.ant.StopTask", 'classpath':configurations.catalinaAnt.asPath
 )
 ant.stop( 'username':user, 'path':path, 'password':password, 'url':url )
}

task tomcatStart << {
 ant.taskdef(
 'name':"start", 'classname':"org.apache.catalina.ant.StartTask", 'classpath':configurations.catalinaAnt.asPath
 )
 ant.start( 'username':user, 'path':path, 'password':password, 'url':url )
}

task tomcatReload(dependsOn:[clean, war]) << {
 ant.taskdef(
 'name':"reload", 'classname':"org.apache.catalina.ant.ReloadTask", 'classpath':configurations.catalinaAnt.asPath
 )
 ant.reload( 'username':user, 'path':path, 'password':password, 'url':url )
}

task tomcatList << {
 ant.taskdef(
 'name':"list", 'classname':"org.apache.catalina.ant.ListTask", 'classpath':configurations.catalinaAnt.asPath
 )
 ant.list( 'username':user, 'password':password, 'url':url )
}

task tomcatDeploy(dependsOn:[clean, war]) << {
 ant.taskdef(
 'name':"deploy", 'classname':"org.apache.catalina.ant.DeployTask", 'classpath':configurations.catalinaAnt.asPath
 )
 ant.deploy( 'username':user, 'path':path, 'password':password, 'url':url, 'war':"$rootDir/build/libs/xxxxxx-1.0.0.war" )
}

task tomcatUndeploy << {
 ant.taskdef(
 'name':"undeploy", 'classname':"org.apache.catalina.ant.UndeployTask", 'classpath':configurations.catalinaAnt.asPath
 )
 ant.undeploy( 'username':user, 'path':path, 'password':password, 'url':url )
}

デプロイのテスト

build.gradleが用意できたらデプロイを試してみる。

Gradleでのプラグイン使用のための記述が変更された

Mon, 16 Aug 2010 10:05:11 +0900

Gradle 0.9 から、build.gradleに記述するプラグイン使用のための設定形式が変更されている。

0.9より前のバージョン

usePlugin("groovy")
usePlugin("war")

0.9から

apply plugin: "groovy"
apply plugin: "war"

Gradleで依存しているjarファイルも含めて１つのjarファイルにしてリリースする

Sat, 07 Aug 2010 22:54:32 +0900

maven リポジトリに配置されているjarファイルを含める方法は分からなかったが、以下のようなローカルプロジェクト内の特定フォルダにすべてのjarファイルが配置されている場合に対応できる。

ローカルプロジェクトの状態

ここでは、プロジェクトホーム直下の lib フォルダにjarファイルがいくつか配置されているものとする。

myproject
├build
├─lib <=ここにjarファイルがいくつか存在している。
└─src
├─main
│ ├─groovy
│ └─java
└─test

build.gradleの設定追記

以下のようなタスクを追加。

task jarWithZipFileSet(type : Jar){
zipFileSet(dir: "$rootDir/lib")
new File("$rootDir/build/classes").listFiles().findAll{ it.directory }.each{
zipFileSet(dir: it.path)
}
}

ほいでjarファイルを作成。その際に以下のコマンドを使用する。

gradle clean jarWithZipFileSet

cleanは特に不要だが、一応念のためにプロジェクトを綺麗にしてからjarファイルを作成する。

git diffで文字化けが発生する場合の対処法

Sat, 07 Aug 2010 22:46:48 +0900

職場のWindowsにCygwinをインストールして作業している。以下のコマンドを実行すると文字化けしてしまう問題に遭遇。

git diff .

diffが文字化けすると日本語のコメント部分が読めなかったり、Markdownのドキュメントの変更点が追えず不便。

Gitに対して、以下の設定を行うことで文字化け対処できた。

git config --global core.pager 'lv -c'

lvをページャーに指定するだけだと文字化け解決できなかったので -c オプションを追加した。

GradleでGoogleCodeプロジェクトを作ってみる - その３

Sun, 01 Aug 2010 21:27:57 +0900

GradleにはMaven リポジトリ公開のためのプラグインが用意されている。

今現在のbuild.gradleが以下のようになっているはず。

build.gradle

usePlugin("groovy")
sourceCompatibility = 1.6
version = "0.1.0"
archivesBaseName = "gconv"
repositories {
flatDir(dirs: "$rootDir/lib")
mavenCentral()
}
dependencies {
groovy "org.codehaus.groovy:groovy:1.7.4"
testCompile "junit:junit:4.8.1"
}

これに以下の記述を追加する。

@@ -1,4 +1,5 @@
usePlugin("groovy")
+usePlugin("maven")
sourceCompatibility = 1.6
version = "0.1.0"
@@ -13,3 +14,16 @@
groovy "org.codehaus.groovy:groovy:1.7.4"
testCompile "junit:junit:4.8.1"
}
+
+uploadArchives {
+ repositories{
+ mavenDeployer {
+ repository(url: "file://localhost/tmp/gconv/svn/maven_repository/")
+ pom{
+ version = "0.1.0"
+ groupId = "com.gmail.genzouw"
+ artifactId = "gconv"
+ }
+ }
+ }
+}

このあたりはMavenをまったく使ってこなかったためによく分からない。いろんなサイトからかき集めてきた。

GradleでGoogleCodeプロジェクトを作ってみる - その２

Sun, 01 Aug 2010 09:29:16 +0900

はじめに

前回に引き続き、空のプロジェクトができたところからスタート。文字コード変換用のライブラリだが、判定ロジックなど僕のスキルでは書くことができないので以下のプロジェクトのリソースを拝借した。

juniversalchardet - Java port of universalchardet - Google Project Hosting

こちらを、javaフォルダに配置。

gconv
 `-- src
 `-- main
 `-- java

次にjuniversalchardetのクラスのラッパーを作成。これでいかにも自分が作成したっぽくなる。バイト配列をもらって、それがどの文字コードであるかを自動判定する。（ただし、半角英数字のみの場合、うまく判定ができない。juniversalchardetの仕様の模様）

gconv
 `-- src
 `-- main
 `-- groovy
 `-- com
 `-- gmail
 `-- genzouw
 `-- gconv
 `-- Gconv.groovy

コーディング

Gconv.groovy

package com.gmail.genzouw.gconv
import org.mozilla.universalchardet.Constants

class Gconv{
 private detector = nullclass Charset{
 private Charset(){}
 static final String ISO_2022_JP = Constants.CHARSET_ISO_2022_JP
 static final String ISO_2022_CN = Constants.CHARSET_ISO_2022_CN
 static final String ISO_2022_KR = Constants.CHARSET_ISO_2022_KR
 static final String ISO_8859_5 = Constants.CHARSET_ISO_8859_5
 static final String ISO_8859_7 = Constants.CHARSET_ISO_8859_7
 static final String ISO_8859_8 = Constants.CHARSET_ISO_8859_8
 static final String BIG5 = Constants.CHARSET_BIG5
 static final String GB18030 = Constants.CHARSET_GB18030
 static final String EUC_JP = Constants.CHARSET_EUC_JP
 static final String EUC_KR = Constants.CHARSET_EUC_KR
 static final String EUC_TW = Constants.CHARSET_EUC_TW
 static final String SHIFT_JIS = Constants.CHARSET_SHIFT_JIS
 static final String IBM855 = Constants.CHARSET_IBM855
 static final String IBM866 = Constants.CHARSET_IBM866
 static final String KOI8_R = Constants.CHARSET_KOI8_R
 static final String MACCYRILLIC = Constants.CHARSET_MACCYRILLIC
 static final String WINDOWS_1251 = Constants.CHARSET_WINDOWS_1251
 static final String WINDOWS_1252 = Constants.CHARSET_WINDOWS_1252
 static final String WINDOWS_1253 = Constants.CHARSET_WINDOWS_1253
 static final String WINDOWS_1255 = Constants.CHARSET_WINDOWS_1255
 static final String UTF_8 = Constants.CHARSET_UTF_8
 static final String UTF_16BE = Constants.CHARSET_UTF_16BE
 static final String UTF_16LE = Constants.CHARSET_UTF_16LE
 static final String UTF_32BE = Constants.CHARSET_UTF_32BE
 static final String UTF_32LE = Constants.CHARSET_UTF_32LE
 }
 private static Gconv SELF = new Gconv()
 private Gconv(){
 detector = new org.mozilla.universalchardet.UniversalDetector()
 }
 static Gconv getInstance(){
 SELF
 }
 String guess(byte[] bytes){
 detector.with{
 reset()
 handleData(bytes as byte[], 0, bytes.size())
 dataEnd()
 }
 detector.detectedCharset
 }
 byte[] gconv(byte[] bytes, outCode, inCode=null){
 if( !inCode ) {
 inCode = this.guess(bytes)
 }
 inCode ? new String(bytes, inCode).getBytes(outCode) : bytes
 }
 byte[] toEuc(byte[] bytes){
 this.gconv(bytes, Charset.EUC_JP)
 }
 byte[] toSjis(byte[] bytes){
 this.gconv(bytes, Charset.SHIFT_JIS)
 }
 byte[] toUtf8(byte[] bytes){
 this.gconv(bytes, Charset.UTF_8)
 }
 boolean isEuc(byte[] bytes){
 this.guess(bytes) == Charset.EUC_JP
 }
 boolean isSjis(byte[] bytes){
 this.guess(bytes) == Charset.SHIFT_JIS
 }
 boolean isUtf8(byte[] bytes){
 this.guess(bytes) == Charset.UTF_8
 }
}

テスト

testフォルダ以下にテストコードとテストに使用するリソースファイルを配置。

Posts on ゲンゾウ用ポストイット

Bashの組み込みコマンド "bc" を使ってみる

はじめに

検証環境

“fc” コマンドの概要

過去に実行したコマンドを一覧表示

シェルスクリプトで標準出力と標準エラー出力を入れ替える

はじめに

検証環境

解答

解説

ファイル記述子 ( ファイルディスクリプタ ) について

Github Copilot in the CLI を使ってみる

はじめに

検証環境

作業の流れ ( 作業ログ )

Github Copilot in the CLI の概要

生物の進化から学ぶシステムの進化 - Timee Advent Calendar 2023

はじめに

収斂進化 : どれを選んでも結局同じような仕組みになる

OIDCを使ってGithub ActionsからAWSにアクセスする仕組みについて理解を整理してみた

はじめに

検証環境

パスワードやアクセストークンを使ってGithub Actionsからクラウドへ認証する方法の問題点

OIDC ( OpenID Connect ) を使うメリット

Github Actions入門その5-式と関数

はじめに

式について

ローカルPC内でGithub Actionsを実行する - 'nekos/act'

はじめに

検証環境

見つけたツール : nektos/act

nektos/act ってどんなツール？

nektos/act って何をしてくれるに？

Github Actions入門その4-環境変数/スクリプト/Artifactsを使う

はじめに

ワークフローの中で変数を使う

Github Actions入門その3-アクションを探す・使う・自作する

はじめに

概要

公開されているアクションの探し方

Github Marketplace で見つけたアクションを追加

Github Actions入門その2-簡単なワークフローを作成してみる

はじめに

簡単なワークフローを作成してみる

Github Actions入門その1-概要と用語の整理

はじめに

Github Actions とは

CI/CD パイプラインとは

Github Actions が実行されるタイミング ( イベント )

実行環境

概要

Gitでいろいろな形式、方法でタグの一覧を出力する

はじめに

検証環境

シンプルにタグを一覧出力

コミットハッシュと一緒にタグを一覧出力

名前をパターン指定してタグを一覧出力

説明文付きでタグを一覧出力

Gitで最新のタグを取得する方法

はじめに

検証環境

git describe --tags コマンドを使う

実際に試してみる

docker-compose.yamlのentrypoint/commandフィールドで環境変数を使いたい

はじめに

検証環境

docker-compose.yaml に環境変数 $VAR を記述した時の挙動

"2>&1"を使わずに標準出力と標準エラー出力を同じファイルに出力する

はじめに

検証環境

実際に検証したスクリプト

“>” で標準出力をファイルに出力する方法

AWS CodeWhispererを使うためにセットアップを進めたがVimから利用できないことがわかり諦める

はじめに

作業の流れ ( 作業ログ )

IAM Identity Center 有効化

ChatGPTをVimから利用するためのプラグイン"vim-chatgpt"を触ってみる

はじめに

検証環境

見つけたツール : `nektos/act`

`nektos/act` ってどんなツール？

`nektos/act` って何をしてくれるに？

`git describe --tags` コマンドを使う

`docker-compose.yaml` に環境変数 `$VAR` を記述した時の挙動

`find` を `grep` をパイプでつなぎ、ファイルの検出を判定

「`grep` で絞り込むと出力が遅延する」とは？

`type` コマンドとは

準備 : `sudo` 実行可能なテストユーザーを作成

`while read` ループ中で `read` コマンドを利用するとどうなるか？