EKSをARMインスタンスに対応するためにGitHub Actionsのself-hosted runnerを立てる

controller:
  # controller配下の他の設定値はそのままにして、nodeSelectorのみ変更する
  nodeSelector:
    eks.amazonaws.com/nodegroup: "aws-system"

# gp3を使うためのStorageClassの設定を追加する
storageClasses:
- name: ebs-gp3
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
  volumeBindingMode: WaitForFirstConsumer
  reclaimPolicy: Delete
  parameters:
    encrypted: "false"
    type: "gp3"

FROM summerwind/actions-runner:ubuntu-22.04

ENV DEBIAN_FRONTEND="noninteractive" \
    BUILDAH_ISOLATION=chroot \
    BUILDAH_LAYERS=true

USER root

RUN BUILD_TOOLS="ca-certificates apt-transport-https curl lsof procps buildah podman gettext-base git openssh-client slirp4netns fuse-overlayfs super" \
  && apt-get update -o Acquire::Check-Valid-Until=false \
  && apt-get install -y --no-install-recommends ${BUILD_TOOLS} \
  && apt-get clean \
  && rm -rf /var/lib/apt/lists/* \
  && rm -rf /usr/share/doc /usr/share/man /var/log/* /tmp/*

RUN su - runner -c "git config --global --add safe.directory '*'" \
  && rm -f /etc/subuid /etc/subgid \
  && echo "runner:1:1000" >> /etc/subuid \
  && echo "runner:1002:64535" >> /etc/subuid \
  && echo "runner:1:1000" >> /etc/subgid \
  && echo "runner:1002:64535" >> /etc/subgid \
  && mkdir -p /home/runner/.local/share/containers \
  && chmod -R 775 /etc/containers/ \
  && chmod -R 755 /home/runner/.local/share/containers \
  && chown -R runner:runner /home/runner/.local

COPY containers.conf /etc/containers/
COPY registries.conf /etc/containers/
COPY storage.conf /etc/containers/

USER runner

apiVersion: actions.summerwind.dev/v1alpha1
kind: RunnerSet
metadata:
  name: example-runner
spec:
  serviceName: example-runner
  selector:
    matchLabels:
      app.kubernetes.io/name: example-runner
  # 利用するOrganizationを指定。単一リポジトリでよければ repository に対象リポジトリを指定
  organization: kkoudev
  #repository: kkoudev/example

  # GitHub Actionsのワークフローの runs-on で指定するラベル。今回はわかりやすく ubuntu-latest-arm としています
  labels:
    - ubuntu-latest-arm
  # 手順 4 で作成したランナーイメージをここで指定する。
  # AWS_ACCOUNT_ID と AWS_REGION は利用する環境に応じて置き換えてください。
  image: ${AWS_ACCOUNT_ID}.dkr.ecr.${AWS_REGION}.amazonaws.com/example/actions-runner:ubuntu-22.04
  template:
    metadata:
      labels:
        app.kubernetes.io/name: example-runner
      annotations:
        "cluster-autoscaler.kubernetes.io/safe-to-evict": "true"
    spec:
      # イメージを取得するために利用する認証情報。認証不要であればコメントアウトする
      imagePullSecrets:
      - name: ecr-login
      nodeSelector:
        # 手順 1 で作成したランナー用マネージドノードグループの名前を指定
        eks.amazonaws.com/nodegroup: gh-actions-runner
      affinity:
        # 以下の podAntiAffinity の指定により、1ホスト1ランナーで動作することを保証する
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
                - key: "app.kubernetes.io/name"
                  operator: In
                  values:
                  - example-runner
            topologyKey: "kubernetes.io/hostname"
      # デフォルトだとホストの user.max_user_namespaces や ulimit の上限値が低いため、initContainers で変更する
      # また、各ボリュームはマウント時にデフォルトで root になってしまっているため、ディレクトリの所有権限もここで変更する
      initContainers:
      - image: library/alpine:latest
        imagePullPolicy: IfNotPresent
        name: sysctl
        securityContext:
          privileged: true
        command:
        - sh
        - -c
        - >-
            ulimit -n 65536;
            sysctl -w "net.ipv4.ping_group_range=0 20000";
            sysctl -w user.max_user_namespaces=660000;
            chown 1001:1001 /home/runner/.local;
            chown 1001:1001 /home/runner/.cache;            
        volumeMounts:
        - name: rootless-work
          mountPath: /home/runner/.local
        - name: runner-cache
          mountPath: /home/runner/.cache
      containers:
      - name: runner
        securityContext:
          privileged: true
        # cluster-autoscalerでノードのオートスケーリングを行うためには resources の指定が必須です。
        # 作成したノードグループのインスタンスタイプによってここは変更するようにしてください。
        # 以下の値は m6g.large (vCPU : 2, メモリ : 8GiB)を前提とした値となっています。
        resources:
          limits:
            cpu: 1600m
            memory: 6Gi
          requests:
            cpu: 1000m
            memory: 4Gi
        env:
        - name: RUNNER_FEATURE_FLAG_EPHEMERAL
          value: "true"
        # ボリュームをマウントしないとコンテナイメージをビルドするタスクであればすぐに容量不足となってしまう。
        # そのため、以下のディレクトリにEBSボリュームをマウントする。
        volumeMounts:
        - name: runner-work
          mountPath: /runner/_work
        - name: rootless-work
          mountPath: /home/runner/.local
        - name: var-lib-docker
          mountPath: /var/lib/docker
        - name: runner-cache
          mountPath: /home/runner/.cache
        - name: runner-tool-cache
          mountPath: /opt/hostedtoolcache
      - name: docker
        volumeMounts:
        - name: runner-cache
          mountPath: /home/runner/.cache
      # ボリュームはゴミが残らないようにするために、Generic Ephemeral Volumes として作成します。(k8s 1.23 から使えます)
      # ランナーが終了するときにボリュームも一緒に破棄されます。
      volumes:
      - name: runner-work
        ephemeral:
          volumeClaimTemplate:
            spec:
              accessModes:
              - ReadWriteOnce
              storageClassName: "ebs-gp3"
              resources:
                requests:
                  storage: 10Gi
      - name: var-lib-docker
        ephemeral:
          volumeClaimTemplate:
            spec:
              accessModes:
              - ReadWriteOnce
              storageClassName: "ebs-gp3"
              resources:
                requests:
                  storage: 50Gi
      - name: runner-cache
        ephemeral:
          volumeClaimTemplate:
            spec:
              accessModes:
              - ReadWriteOnce
              storageClassName: "ebs-gp3"
              resources:
                requests:
                  storage: 50Gi
      - name: runner-tool-cache
        ephemeral:
          volumeClaimTemplate:
            spec:
              accessModes:
              - ReadWriteOnce
              storageClassName: "ebs-gp3"
              resources:
                requests:
                  storage: 10Gi
      - name: rootless-work
        ephemeral:
          volumeClaimTemplate:
            spec:
              accessModes:
              - ReadWriteOnce
              storageClassName: "ebs-gp3"
              resources:
                requests:
                  storage: 50Gi
---
apiVersion: actions.summerwind.dev/v1alpha1
kind: HorizontalRunnerAutoscaler
metadata:
  name: example-runner
spec:
  scaleTargetRef:
    kind: RunnerSet
    name: example-runner
  # ランナーの最小数と最大数を指定する
  # EKSのマネージドノードグループの最小値と最大値と一致するようにしておく
  minReplicas: 2
  maxReplicas: 4
  metrics:
  - type: PercentageRunnersBusy
    scaleUpThreshold: "0.75"
    scaleDownThreshold: "0.25"
    scaleUpFactor: "2"
    scaleDownFactor: "0.5"
  - type: TotalNumberOfQueuedAndInProgressWorkflowRuns
    repositoryNames:
    # Organization単位でランナーを追加した場合は、ランナーの実行を許可するリポジトリ名(org名を除いたリポジトリ名)をここで指定する。
    - example

name: kkoudev/example:arm64

on:
  push:
    paths-ignore:
      - "**.md"
    branches:
      - develop
    tags:
      - "v[0-9]+.[0-9]+.[0-9]+"

  workflow_dispatch:

env:
  AWS_ACCOUNT_ID: ${{ secrets.AWS_ACCOUNT_ID }}
  AWS_DEFAULT_REGION: ${{ secrets.AWS_DEFAULT_REGION }}

jobs:
  build:
    # ここに RunnerSet の labels で指定した名前を設定する
    # 配列にしてラベルを複数指定する方向でも良いが、その辺りはお好みで
    runs-on: ubuntu-latest-arm

    timeout-minutes: 30

    steps:
      - name: clone repository
        uses: actions/checkout@v3

      # AWS CLIを使う場合は少し注意
      # unfor19/install-aws-cli-action は自動的にARCHを判定せず、amd64のバイナリをデフォルトでインストールしてしまうため、
      # 明示的に arch を指定します。
      # もしかすると同じようなアクションは他にもあるかもしれません。
      - name: install-aws-cli-action
        uses: unfor19/install-aws-cli-action@v1
        with:
          version: 2
          arch: arm64

      - name: Configure AWS Credentials
        uses: aws-actions/configure-aws-credentials@v1-node16
        with:
          aws-access-key-id: ${{ secrets.AWS_ACCESS_KEY_ID }}
          aws-secret-access-key: ${{ secrets.AWS_SECRET_ACCESS_KEY }}
          aws-region: ${{ secrets.AWS_DEFAULT_REGION }}

      - name: Amazon ECR "Login" Action for GitHub Actions
        run: |
                    aws ecr get-login-password | buildah login --username AWS --password-stdin ${AWS_ACCOUNT_ID}.dkr.ecr.${AWS_DEFAULT_REGION}.amazonaws.com

      - name: Build, tag, and push image to Amazon ECR
        env:
          ECR_REPOSITORY: ${{ secrets.AWS_ECR_REPO_NAME }}
        run: |
          ECR_REGISTRY=${AWS_ACCOUNT_ID}.dkr.ecr.${AWS_DEFAULT_REGION}.amazonaws.com
          IMAGE_URL=${ECR_REGISTRY}/${ECR_REPOSITORY}:latest

          envsubst "$(env | awk '!/^(HOME|PATH)/' | awk -F= '{print "$$" $1}')" < Containerfile | buildah bud --layers=true -t ${IMAGE_URL} -f - .
          buildah push ${IMAGE_URL} docker://${IMAGE_URL}          

      - name: Slack Notification
        uses: 8398a7/action-slack@v3
        with:
          status: ${{ job.status }}
          fields: all
          username: ${{ secrets.SLACK_USERNAME }}
          icon_emoji: ${{ secrets.SLACK_ICON_EMOJI }}
        env:
          SLACK_WEBHOOK_URL: ${{ secrets.SLACK_WEBHOOK }}
          MATRIX_CONTEXT: ${{ toJson(matrix) }}
        if: always()