kaniko でコンテナイメージをビルドすると際にキャッシュが聞かない場合がある

tl;dr

kaniko の --build-arg にコンテナイメージのビルド毎に異なる値を入れる運用してて、 v0.19.0 より前のバージョンを使用してる場合はキャッシュが聞かないので注意してください。

発生した問題

kaniko の説明については↓を参照してください。 kaniko が解決したいこと

コンテナイメージ用の Dockerfile 内で環境変数を設定するのに ARG を使用してる場合、kaniko でビルドする場合 --build-arg を使用することで外から ARG に値を渡すことが出来ます。

仕事で GKE 用のコンテナイメージを CloudBuild でビルドしており、運用上の関係でソースコード内で Cloud Build の REVISION_ID (毎回のビルドで生成されるハッシュ値) を参照している箇所があるため、それを外から渡してやる必要がありました。

steps:
  - name: 'gcr.io/kaniko-project/executor:v0.13.0'
    args:
      - --destination=gcr.io/$PROJECT_ID/app:latest
      - --cache=true
      - --cache-ttl=6h
      - --build-arg=BUILD_ID=${REVISION_ID}

↑のようにコンテナイメージをビルドしてコンテナ内で正常に変数を取得できることを確認できたのですが、2回目のビルドから変更が無い Dockerfile コマンド (COPY など)にもかかわらず全くキャッシュが効かないという事象が発生しました。

原因を調査してみたところ、v0.18.0 以前のバージョンの kaniko には --build-arg にビルド毎に異なる値を入れるとキャッシュが聞かない問題があることがわかりました。

Is there a way not to include build-args in the cache key? · Issue#1008 · GoogleContainerTools/kaniko https://github.com/GoogleContainerTools/kaniko/issues/637 · Issue#637 · GoogleContainerTools/kaniko

func (s *stageBuilder) build() error {
    ...
    compositeKey := NewCompositeCache(dgst)
    compositeKey.AddKey(s.opts.BuildArgs...)
    ...
}

ただ、現在は https://github.com/GoogleContainerTools/kaniko/pull/1085 にて修正されており、v0.19.0 にて変更が取り込まれているので、kaniko を使用する際は v0.19.0 以降のバージョンを使用するのが良いでしょう。

v0.18.0 以前のバージョンを使ってる場合の回避策 (kubernetes の場合)

kubernetes を使ってる場合↓のようにして env で環境を設定を出来ます。

apiVersion: v1
kind: Pod
metadata:
  name: nginx
spec:
  containers:
  - name: busybox
    image: busybox
    env:
    - name: TEST_ENV
      value: "test"

これを利用して ConfigMap をビルド時に動的に作り、↑の Pod の yaml から参照してやることで回避することが可能です。