Kubernetes GKE 維運上小筆記

GKE 環境上可以啟動 CA(Cluster-Autoscaling) 來根據資源使用量調整節點的數量，可以視為節點層級的 HPA

基本上只要節點的資源使用率過低，該節點就會被嘗試回收並且將所有的 Workload 都轉移到其他的節點

如果有特別特別重要的 Pod 希望該 Pod 能夠抑制 CA 的行為，有該 Pod 運行的節點都不能被踢除回收的話，可以於 annotations 中加入下列設定

    cluster-autoscaler.kubernetes.io/safe-to-evict: 'false'

該節點就會讓節點沒有辦法順利踢除因此最後不會回收該節點，該指令也要小心使用，若用不好可能會導致節點資源使用率過低最後產生額外的花費。

應用程式本身需要更長時間去調整 GracePeriod (預設 30 秒)，可以直接修改 pod.spec.terminationGracePeriodSeconds 此欄位即可

$ kc explain pod.spec.terminationGracePeriodSeconds
KIND:     Pod
VERSION:  v1

FIELD:    terminationGracePeriodSeconds <integer>

DESCRIPTION:
     Optional duration in seconds the pod needs to terminate gracefully. May be
     decreased in delete request. Value must be non-negative integer. The value
     zero indicates stop immediately via the kill signal (no opportunity to shut
     down). If this value is nil, the default grace period will be used instead.
     The grace period is the duration in seconds after the processes running in
     the pod are sent a termination signal and the time when the processes are
     forcibly halted with a kill signal. Set this value longer than the expected
     cleanup time for your process. Defaults to 30 seconds.

簡易 bash 腳本可以備份目前環境中的所有 secret 物件

function dump_secret {
  for i in $(kubectl -n $1 get --no-headers secret | awk '{print $1}'); do
    kubectl -n $1 get secret -o yaml $i > $i.yaml;
  done
}

function dump_secrets {
  for i in $(kubectl get ns --no-headers | awk '{print $1}'); do
      if [ ! -d "./$i" ]; then
          mkdir $i
      fi
      echo "Dump $i"
      cd $i
      dump_secret $i
      cd ..
  done
}