[k8s] node.js 애플리케이션 쿠버네티스(kubernetes) 클러스터에 디플로이먼트(deployment)로 배포하기

1. node.js 의 express 모듈을 활용하여 웹서버 app. 만들기

• express 모듈 설치

  xxxxxxxxxx
  npm install --save express
  

• "Hello World"를 응답하는 index.js 파일 만들기

  xxxxxxxxxx
  var express = require('express');
  var app = express();
  ​
  app.get('/', function (req, res) {
    res.send('Hello World!');
  });
  ​
  app.listen(3000, function () {
    console.log('Example app listening on port 3000!');
  });
  

• web 서버 테스트

  xxxxxxxxxx
  # node index.js 
  # curl localhost:3000
  Hello World! 
  

2. node.js 애플리케이션용 도커(Docker) 이미지 생성

참고 URL : https://nodejs.org/ko/docs/guides/nodejs-docker-webapp/

• node.js 애플리케이션용 Dockerfile 생성

  xxxxxxxxxx
  FROM node:6.9.2
  ​
  RUN mkdir /app
  WORKDIR /app
  COPY index.js .
  COPY package.json .
  RUN npm install --save
  ​
  EXPOSE 3000
  CMD [ "node", "index.js" ]
  

• 도커 이미지 빌드

  xxxxxxxxxx
  docker build -t november11/node-web-app .
  

• 도커 이미지 조회

  xxxxxxxxxx
  docker image list | grep november11/node-web-app
  november11/node-web-app                             latest              69bee2f636dd        11 months ago       674MB
  

• 도커로 이미지 실행한 후 node.js 애플리케이션 테스트

  xxxxxxxxxx
  $ docker run -p 3000:3000 -d november11/node-web-app
  $ docker ps -a | grep november
  e9d66a183eb5        november11/node-web-app                               "node index.js"          About a minute ago   Up 57 seconds                0.0.0.0:3000->3000/tcp                                     
  $ curl localhost:3000
  Hello World!
  

3. node.js 애플리케이션용 디플로이먼트 및 서비스 오브젝트 생성 후 쿠버네티스 클러스터에 배포하기

• 디플로이먼트 YAML deployments.yaml

  xxxxxxxxxx
  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: node-web-app
    labels:
      app: node-web-app
  spec:
    selector:
      matchLabels:
        app: node-web-app
    replicas: 3
    template:
      metadata:
        labels:
          app: node-web-app
      spec:
        containers:
        - name: node-web-app
          image: november11/node-web-app
          imagePullPolicy: Never
          ports:
          - containerPort: 3000
  

• 서비스 YAML 생성 services.yaml

  x
  apiVersion: v1
  kind: Service
  metadata:
    name: node-web-app
  spec:
    selector:
      app: node-web-app
    ports:
    - protocol: "TCP"
      port: 3000
      targetPort: 3000
    type: LoadBalancer
  

• 디플로이먼트 및 서비스 적용으로 클러스터에 배포

  xxxxxxxxxx
  $ kubectl apply -f deployments.yaml
  $ kubectl apply -f services.yaml
  

• 파드 및 서비스 상태 확인

  xxxxxxxxxx
  $ kubectl get pod | grep node
  node-web-app-7fc465b977-6xtst   1/1     Running            0          34m
  node-web-app-7fc465b977-ddq94   1/1     Running            0          34m
  node-web-app-7fc465b977-v28nx   1/1     Running            0          34m
  ​
  $ kubectl get services | grep node
  node-web-app                    LoadBalancer   10.104.160.213   localhost     3000:31793/TCP               125m
  

   

[k8s] kubespray로 쿠버네티스 설치 후 calico-node 에서 CrashLoopBackOff 에러가 날 경우

• kubernetes 설치 후 helm list 명령어 실행 시 네트워크 통신 문제가 발생

• kubectl get pods -A 명령어로 kube 시스템 파드를 점검한 결과 네트워크와 관련된 calico-node 파드가 CrashLoopBackOff 상태였다.

   

   

   

  xxxxxxxxxx

   

   

   

   

  [root@k8s-master sample]# kubectl get pods -A

  NAMESPACE     NAME                                       READY   STATUS             RESTARTS   AGE

  kube-system   calico-kube-controllers-5868c849f5-jbcqt   1/1     Running            0          3h31m

  kube-system   calico-node-7q6fk                          0/1     CrashLoopBackOff   52         3h31m

  kube-system   calico-node-d8wm8                          0/1     Running            48         3h18m

  kube-system   coredns-74c9d4d795-sdkw4                   0/1     Running            0          3h17m

   

   

• 파드 노드 로깅 분석 결과 Kernel 의 ip_filter 에서 충돌이 발생했다.

• 쿠버네티스는 calico 를 사용하기 위해 net.ipv4.conf.all.rp_filter 값을 0이나 1로 설정해야 한다.

   

   

   

  xxxxxxxxxx

   

   

   

   

  [FATAL][264] int_dataplane.go 980: Kernel's RPF check is set to 'loose'.  This would allow endpoints to spoof their IP address.  Calico requires net.ipv4.conf.all.rp_filter to be set to 0 or 1. If you require loose

  >  RPF and you are not concerned about spoofing, this check can be disabled by setting the IgnoreLooseRPF configuration parameter to 'true'.

   

   

• /etc/sysctl.conf 파일에 net.ipv4.conf.all.rp_filter = 1을 추가한 후 sysctl -p 로 커널 파라미터 수정을 반영한다.

• kubectl get pods -A 명령어로 파드 상태를 재조회하면 정상화됨을 확인할 수 있다.

   

   

   

  xxxxxxxxxx

   

   

   

   

  [root@k8s-master ~]# kubectl get pods -A

  NAMESPACE     NAME                                       READY   STATUS    RESTARTS   AGE

  kube-system   calico-kube-controllers-5868c849f5-jbcqt   1/1     Running   0          3h43m

  kube-system   calico-node-7q6fk                          1/1     Running   53         3h44m

  kube-system   calico-node-d8wm8                          1/1     Running   50         3h30m

  kube-system   coredns-74c9d4d795-sdkw4                   1/1     Running   0          3h29m

  kube-system   coredns-74c9d4d795-tf6ls                   1/1     Running   0          3h29m

   

   

   

   

[k8s] kubespray 를 사용한 bare-metal 서버에 쿠버네티스 설치하기

• kubespray를 사용하여 VM에 Kubernetes 설치하는 방법을 다룬다.

• 테스트 환경의 VM은 CentOS 2대이며, master 1대, worker node 1대로 구성한다.

  [k8s] kubespray 를 사용한 bare-metal 서버에 쿠버네티스 설치하기1. 설치용 서버 사전 설정2. OS 사전 설정3. Ansible playbook 실행하여 설치4. kubectl 로 설치 확인

1. 설치용 서버 사전 설정

• kubespray를 실행할 mater 에 관련 hosts 정보 추가

  xxxxxxxxxx
  #tail /etc/hosts
  1.1.1.16      k8s-master
  1.1.1.35      k8s-worker
  ​
  

• ssh key 생성

  xxxxxxxxxx
  [root@k8s-master ~]# ssh-keygen -t rsa
  Generating public/private rsa key pair.
  Enter file in which to save the key (/root/.ssh/id_rsa):
  Enter passphrase (empty for no passphrase):
  Enter same passphrase again:
  Your identification has been saved in /root/.ssh/id_rsa.
  Your public key has been saved in /root/.ssh/id_rsa.pub.
  The key fingerprint is:
  SHA256:TsrGlaHo3jqUBEiORQIZnBqyVO1xU2UKIEBN+prE0Dc root@k8s-master
  The key's randomart image is:
  +---[RSA 2048]----+
  |*B=+.. ....o     |
  |B=* .o.o. o      |
  |** o. o E.       |
  |+.. .o . o       |
  |   E... S        |
  | .o.Eo =         |
  |.E..E = .        |
  |+  o.+           |
  |..  oo.          |
  +----[SHA256]-----+
  

• ssh key 배포

  x
  #ssh-copy-id root@k8s-master
  #ssh-copy-id root@k8s-worker
  

• kubespray에서 사용하는 관련 package 설치

  • kubespray는 ansible 기반으로 설치되기 때문에 ansible 과 관련된 package 설치가 필요하다.

  x
  [root@k8s-master ~] yum install https://centos7.iuscommunity.org/ius-release.rpm -y
  [root@k8s-master ~] yum install python36u python36u-pip wget -y
  [root@k8s-master ~] pip3.6 install ansible netaddr jinja2
  

• kubespray 다운로드

  x
  [root@k8s-master ~] git clone https://github.com/kubernetes-sigs/kubespray
  [root@k8s-master ~] cd kubespray
  [root@k8s-master ~] pip3.6 install -r requirements.txt
  

   

2. OS 사전 설정

• Master, Worker 를 포함한 모든 노드에서 실행한다.

  • Swap OFF : 스와핑에 의한 성능 저하를 예방하기 위해 swap 영역을 제거한다.

    xxxxxxxxxx
    [root@k8s-master ~]# swapoff -a
    

    xxxxxxxxxx
    [root@k8s-worker ~]# swapoff -a
    

  • SeLinux 해제 : 대부분의 패키지 설치에서 사전 작업 1순위인 .. Selinux 를 disable 한다.

    xxxxxxxxxx
    [root@k8s-master ~]# setenforce 0
    setenforce: SELinux is disabled
    

    xxxxxxxxxx
    [root@k8s-worker ~]# setenforce 0
    setenforce: SELinux is disabled
    

3. Ansible playbook 실행하여 설치

• Ansible Inventory 설정

  • Sample 을 복사하여 설치 환경에 맞게 수정한다.

  xxxxxxxxxx
  [root@k8s-master sample]# cp ~/kubespray/inventory/sample/inventory.ini ~/kubespray/inventory/inventory.ini
  [root@k8s-master kubespray]# cat ~/kubespray/inventory/inventory.ini
  [all]
  k8s-master ansible_ssh_host=1.1.1.16 ip=1.1.1.16
  k8s-worker ansible_ssh_host=1.1.1.35 ip=1.1.1.35
  ​
  [kube-master]
  k8s-master
  ​
  [etcd]
  k8s-master
  ​
  [kube-node]
  k8s-worker
  ​
  [k8s-cluster:children]
  kube-master
  kube-node
  

• ansible playbook 실행으로 kubernetes 설치

  xxxxxxxxxx
  [root@k8s-master kubespray]# ansible-playbook --flush-cache -u root -b -i ~/kubespray/inventory/inventory.ini ~/kubespray/cluster.yml
  ...
  PLAY RECAP ***********************************************************************************************************************************************************************************************************************************
  k8s-master                 : ok=650  changed=128  unreachable=0    failed=0
  localhost                  : ok=1    changed=0    unreachable=0    failed=0
  

   

4. kubectl 로 설치 확인

• kubectl 설치

  • CentOS 기준으로 아래 명령어를 실행한다.

    xxxxxxxxxx
    cat <<EOF > /etc/yum.repos.d/kubernetes.repo
    [kubernetes]
    name=Kubernetes
    baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
    enabled=1
    gpgcheck=1
    repo_gpgcheck=1
    gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
    EOF
    yum install -y kubectl
    

• kubectl get ndoes 명령어로 Cluster 노드 확인

  xxxxxxxxxx
  [root@k8s-master kubespray]# kubectl get nodes
  NAME         STATUS   ROLES    AGE     VERSION
  k8s-master   Ready    master   20m     v1.15.3
  k8s-worker   Ready    <none>   6m25s   v1.15.3
  

   

[K8S] AKS 클러스터에서 helm 차트 사용하기

Helm(헬름)은 쿠버네티스에서 사용하는 애플리케이션 패키징 시스템이다. (개념상으로 Linux의 yum과 같다.)

1. MAC에 helm 설치

참고 : https://helm.sh/docs/using_helm/#installing-helm

• brew 명령어로 helm 설치

  xxxxxxxxxx
  brew install kubernetes-helm
  

2. AKS클러스터에 Helm 설정

참고 : https://docs.microsoft.com/ko-kr/azure/aks/kubernetes-helm

1. AKS 클러스터 내 Helm용 RBAC(역할 기반 접근 제어) 생성

   • helm-rbac.yaml 파일을 생성하고 아래 매니페스트를 입력한다.

   • tiller는 Helm에서 사용하는 서비스 계정을 생성하고 cluster-admin 권한을 부여한다.

     xxxxxxxxxx
     apiVersion: v1
     kind: ServiceAccount
     metadata:
       name: tiller
       namespace: kube-system
     ---
     apiVersion: rbac.authorization.k8s.io/v1
     kind: ClusterRoleBinding
     metadata:
       name: tiller
     roleRef:
       apiGroup: rbac.authorization.k8s.io
       kind: ClusterRole
       name: cluster-admin
     subjects:
       - kind: ServiceAccount
         name: tiller
         namespace: kube-system
     

   • kubectl apply -f helm-rbac.yaml 명령어를 실행하여 RBAC생성

     xxxxxxxxxx
     $ kubectl get serviceaccount -A | grep tiller
     kube-system          tiller                               1         2d
     ​
     $ kubectl get ClusterRoleBinding | grep tiller
     tiller                                                 2d
     

      

2. helm 초기화로 클러스터 설정

   • helm init 명령어로 helm에서 사용할 서비스 계정을 초기화한다.

     xxxxxxxxxx
     helm init --service-account tiller --node-selectors "beta.kubernetes.io/os"="linux"
     

3. helm 정상 구성 확인

   • helm 이 정상 구성되었는지 확인하기 위해 helm search 명령어로 공개 helm 차트를 검색한다.

     xxxxxxxxxx
     $ helm search
     NAME                                  CHART VERSION APP VERSION                   DESCRIPTION
     stable/acs-engine-autoscaler          2.2.2         2.1.1                         DEPRECATED Scales worker nodes within agent pools
     stable/aerospike                      0.2.5         v4.5.0.5                      A Helm chart for Aerospike in Kubernetes
     stable/airflow                        2.8.2         1.10.2                        Airflow is a platform to programmatically author, schedul...
     stable/ambassador                     2.5.0         0.61.0                        A Helm chart for Datawire Ambassador
     stable/anchore-engine                 1.0.1         0.4.0                         Anchore container analysis and policy evaluation engine s...
     stable/apm-server                     2.1.0         7.0.0                         The server receives data from the Elastic APM agents and ...
     stable/ark                            4.2.2         0.10.2                        DEPRECATED A Helm chart for ark
     stable/artifactory                    7.3.1         6.1.0                         DEPRECATED Universal Repository Manager supporting all ma...
     stable/artifactory-ha                 0.4.1         6.2.0                         DEPRECATED Universal Repository Manager supporting all ma...
     

   • 현재 클러스터에서 실행중인 helm 차트는 helm list 명령어로 확인한다.

     x
     $ helm list
     NAME                    REVISION  UPDATED                   STATUS    CHART                     APP VERSION NAMESPACE
     dandy-fox               1         Sat Aug 24 17:33:08 2019  FAILED    demo-1.0.1                            default
     demo                    1         Sat Aug 24 23:36:44 2019  DEPLOYED  demo-1.0.1                            demo
     demo-staging            5         Sat Aug 24 18:57:03 2019  DEPLOYED  demo-1.0.1                            default
     fantastic-umbrellabird  1         Sat Aug 24 17:32:47 2019  FAILED    demo-1.0.1                            default
     full-puffin             1         Sat Aug 24 17:37:08 2019  DEPLOYED  demo-1.0.1                            default
     ignorant-boxer          1         Sat Aug 24 17:33:33 2019  DEPLOYED  demo-1.0.1                            default
     kube-state-metrics      1         Sat Aug 24 23:36:51 2019  DEPLOYED  kube-state-metrics-2.3.1  1.7.2       kube-state-metrics
     limping-parrot          1         Sat Aug 24 17:29:42 2019  DEPLOYED  demo-1.0.1                            default
     prometheus              1         Sat Aug 24 23:36:51 2019  DEPLOYED  prometheus-9.1.0          2.11.1      prometheus
     unrealistic-starfish    1         Sat Aug 24 17:38:02 2019  DEPLOYED  demo-1.0.1                            default
     Chois-MacBook-Pro:~ choikyunghyun$
     

      

[K8S] Azure CLI 로 AKS 클러스터 구성 및 로컬 환경에서 kubectl 로 AKS 클러스터 연결하기

1. Azure Cli 툴 설치 및 Azure 로그인

참고 : https://docs.microsoft.com/ko-kr/cli/azure/install-azure-cli-macos?view=azure-cli-latest

1. brew를 사용하여 azure cli 설치

   xxxxxxxxxx
   brew update && brew install azure-cli
   

2. azure cli 에서 Azure 로그인

   • 명령어 실행 시 Azure에 로그인할 수 있는 웹 브라우저가 열린다.

     xxxxxxxxxx
     az login
     

   • 웹 브라우저 로그인에 성공하면 아래와 같으 메시지가 출력된다.

     xxxxxxxxxx
     $ az login
     Note, we have launched a browser for you to login. For old experience with device code, use "az login --use-device-code"
     You have logged in. Now let us find all the subscriptions to which you have access...
     [
       {
         "cloudName": "AzureCloud",
         "id": "aaaaa-aaaa-aaaa-aaaa-aaaaaaaa",
         "isDefault": true,
         "name": "종량제",
         "state": "Enabled",
         "tenantId": ""aaaaa-aaaa-aaaa-aaaa-aaaaaaaa"",
         "user": {
           "name": "mr.november11",
           "type": "user"
         }
       }
     ]
     

      

2. Azure Cli 명령어로 AKS 클러스터 생성하고 연결하기

참고 : https://docs.microsoft.com/ko-kr/azure/aks/kubernetes-walkthrough

1. Resource Group 생성

   • AKS 리소스가 배포되고 관리될 논리적 그룹을 생성한다.

   • --location 에는 리소스를 생성한 지역을 선택하며 한국 서울의 경우 koreacentral이다.

     xxxxxxxxxx
     $az group create --name AKSTEST --location koreacentral
     {
       "id": "/subscriptions/aaaaa-aaaaa-aaaaaa-aaaaaaa/resourceGroups/AKSTEST",
       "location": "koreacentral",
       "managedBy": null,
       "name": "AKSTEST",
       "properties": {
         "provisioningState": "Succeeded"
       },
       "tags": null,
       "type": null
     }
     

2. AKS 클러스터 생성

   • AKSTEST 리소스 그룹 내 TEST라는 이름의 신규 클러스터를 생성한다.

     x
     az aks create \
         --resource-group AKSTEST \
         --name TEST \
         --node-count 1 
     

3. AKS 클러스터 연결

   • 로컬 환경에 kubectl이 설치되어 있지 않다면 azure cli 로 설치한다.

     xxxxxxxxxx
     az aks install-cli
     

   • AKS 클러스터 생성이 완료되었다면 로컬 Mac 환경의 kubectl 로 접속 가능하도록 AKS 클러스터에 대한 자격증명을 할당 받는다.

     할당받은 get-credentials 정보는 kubectl 의 context 정보에 추가된다.

     xxxxxxxxxx
     # az aks get-credentials --resource-group AKSTEST --name TEST
     Merged "TEST" as current context in /Users/november/.kube/config
     

   • 로컬 kubectl에서 여러 개의 클러스터에 연결할 경우 kubectl config get-contexts 명령어로 전체 cluster 목록을 확인할 수 있다.

     *로 표시된 context가 현재 연결된 클러스터다.

     x
     $ kubectl config get-contexts
     CURRENT   NAME                 CLUSTER          AUTHINFO                     NAMESPACE
     *         TEST                 TEST             clusterUser_AKSTEST_TEST
               docker-desktop       docker-desktop   docker-desktop
               docker-for-desktop   docker-desktop   docker-desktop
     

   • kubectl config use-context 명령어를 사용하여 kubectl 에 현재 연결된 클러스터를 전환할 수 있다.

     x
     $ kubectl config use-context docker-desktop
     Switched to context "docker-desktop".
     $ kubectl config get-contexts
     CURRENT   NAME                 CLUSTER          AUTHINFO                     NAMESPACE
               TEST                 TEST             clusterUser_AKSTEST_TEST
     *         docker-desktop       docker-desktop   docker-desktop
               docker-for-desktop   docker-desktop   docker-desktop
     

      

4. AKS 클러스터 연결 확인

   • kubectl 명령어로 생성된 클러스 관련 정보를 확인한다.

     • Node 상태

       xxxxxxxxxx
       $ kubectl get nodes
       NAME                       STATUS   ROLES   AGE     VERSION
       aks-nodepool1-32055371-0   Ready    agent   6m18s   v1.13.10
       

     • Namespace 상태

       xxxxxxxxxx
       $ kubectl get namespaces
       NAME          STATUS   AGE
       default       Active   12m
       kube-public   Active   12m
       kube-system   Active   12m
       

     • Pod 상태

       • AKS에서는 -A 플래그를 추가하면 전체 네임스페이스의 Pod를 조회할 수 있다.

       xxxxxxxxxx
       $ kubectl get pods -A
       NAMESPACE     NAME                                    READY   STATUS    RESTARTS   AGE
       kube-system   coredns-7fbf4847b6-g6gvw                1/1     Running   0          11m
       kube-system   coredns-7fbf4847b6-whr5x                1/1     Running   0          8m4s
       kube-system   coredns-autoscaler-657d77ffbf-s6d2d     1/1     Running   0          11m
       kube-system   kube-proxy-27mk2                        1/1     Running   0          8m32s
       kube-system   kubernetes-dashboard-6f697bd9f5-7q9hq   1/1     Running   0          11m
       kube-system   metrics-server-58699455bc-mb2zp         1/1     Running   0          11m
       kube-system   tunnelfront-94bb7d97c-d6lh9             1/1     Running   0          11m
       

        

[k8s] 공개용 Docker Image를 다운로드하여 사설 Registry 로 옮기기

• docker.elastic.co/beats/metricbeat:7.2.0 이미지를 대상으로 테스트 진행

1. 외부 통신 가능한 서버에서 docker.elastic.co/beats/metricbeat:7.2.0 이미지를 pull 하기

   • docker image pull <Image 경로> 명령어 사용

   # docker image pull docker.elastic.co/beats/metricbeat:7.2.0
   7.2.0: Pulling from beats/metricbeat
   48914619bcd3: Pull complete
   db7d496a7cc1: Pull complete
   3649ced0317e: Pull complete
   05479a0aa2cb: Pull complete
   52d3a14178d4: Pull complete
   57966fe285b1: Pull complete
   d29d1b061104: Pull complete
   Digest: sha256:308cb2581c762d2517d39009cec106e8883162f84206b1dc8860a5df30e5e3ba
   Status: Downloaded newer image for docker.elastic.co/beats/metricbeat:7.2.0
   

2. docker 이미지를 tar 파일로 저장하기

   • docker save -o <File Name> <Image Name> 명령어 사용

   # docker save -o metricbeat7.2.0.tar docker.elastic.co/beats/metricbeat:7.2.0
   # ls  | grep metricbeat7.2.0.tar
   metricbeat7.2.0.tar
   

    

3. 사설 Registry 연동된 사설 서버로 컨테이너 이미지 tar 파일 전송

4. 사설 서버에서 docker load 명령어로 이미지 tar 불러오기

   • docker load -i <File Name> 명령어로 tar 파일로 만들어진 이미지를 docker 내 image에 불러온다.

     x
     == docker load 실행 전 : docker image 리스트 내 metric 이미지 없음 ==
     # docker images | grep metric  
     ​
     # docker load -i metricbeat7.2.0_container_image.tar
     d69483a6face: Loading layer [==================================================>]  209.5MB/209.5MB
     a75632d17b31: Loading layer [==================================================>]  161.5MB/161.5MB
     0bdaa98c2259: Loading layer [==================================================>]  4.096kB/4.096kB
     719bfc958073: Loading layer [==================================================>]  4.096kB/4.096kB
     7c99d903a954: Loading layer [==================================================>]  6.144kB/6.144kB
     93880401ab85: Loading layer [==================================================>]  161.5MB/161.5MB
     80487eb70f1f: Loading layer [==================================================>]  304.6kB/304.6kB
     Loaded image: docker.elastic.co/beats/metricbeat:7.2.0
     ​
     == docker load 실행 후 : docker image 리스트 내 metric 이미지 있음 ==
     # docker images | grep metric
     docker.elastic.co/beats/metricbeat                                7.2.0               dd9cdde4a2d6        4 weeks ago         525MB
     ​
     

      

5. docker 이미지 태그 변경 후 사설 Registry 에 push 하기

   • docker image tag 명령어로 사설 서버 호스트로 이미지 태그를 변경한다 .

     x
     # docker image tag docker.elastic.co/beats/metricbeat:7.2.0 <사설 HOST>/metricbeat:7.2.0
     # docker images | grep metric
     docker.elastic.co/beats/metricbeat                                7.2.0               dd9cdde4a2d6        4 weeks ago         525MB
     <사설 HOST>:5000/metricbeat                                     7.2.0               dd9cdde4a2d6        4 weeks ago         525MB
     

   • 변경된 태그를 기준으로 사설 Registry 에 push 하기

     # docker image push <사설 HOST>/metricbeat:7.2.0
     The push refers to repository [<사설 HOST>/metricbeat]
     80487eb70f1f: Pushed
     93880401ab85: Pushed
     7c99d903a954: Pushed
     719bfc958073: Pushed
     0bdaa98c2259: Pushed
     a75632d17b31: Pushed
     d69483a6face: Pushed
     7.2.0: digest: sha256:ac3eb67fa6fbddddb51aeed3b724691c599828f3eccd50db727a5f39d560b713 size: 1782
     

      

[k8s] 쿠버네티스 Pod 보안을 위해 root 가 아닌 사용자로 컨테이너 실행하기

• Pod의 Security context에서 runAsUser를 설정하면 컨테이너에서 실행할 사용자를 지정할 수 있다.

• Pod의 Security context에서 runAsNonRoot를 설정하면 root로 실행하는 컨테이너의 실행을 차단할 수 있다.

  • 차단 시 CreateContainerConfigError 에러와 Error: container has runAsNonRoot and image will run as root 에러 발생

1. runAsUser로 사용자 지정 전

• pod 설정 yaml 파일

xxxxxxxxxx
piVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: test
  labels:
    app: test
spec:
  replicas: 1
  selector:
    matchLabels:
      app: test
  template:
    metadata:
      labels:
        app: test
    spec:
      containers:
        - name: testcontainer
          image: busybox:1.28
          command: ['sh', '-c', 'echo The app is running! && sleep 3600']

• 컨테이너 내 프로세스 출력 결과 : 프로세스가 root로 실행 중

xxxxxxxxxx
$ docker exec -it d3b5893dd94d /bin/sh
/ # ps -ef
PID   USER     TIME  COMMAND
    1 root      0:00 sleep 3600
   13 root      0:00 /bin/sh
   19 root      0:00 ps -ef
/ #

2. runAsUser로 사용자 지정 후

• pod 설정 yaml 파일 : securityContext 내 실행 사용자 2000으로 설정

x
...
    spec:
      containers:
        - name: testcontainer
          image: busybox:1.28
          command: ['sh', '-c', 'echo The app is running! && sleep 3600']
          securityContext:
            runAsUser: 2000
...

• yaml 파일에서 UID 2000 으로 설정 후 프로세스 목록 조회 결과 모든 프로세스가 UID 2000으로 실행된다.

x
$ docker exec -it c6ace4bd4ceb /bin/sh
/ $ ps -ef
PID   USER     TIME  COMMAND
    1 2000      0:00 sleep 3600
    7 2000      0:00 /bin/sh
   13 2000      0:00 ps -ef
/ $

• 실제 컨테이너 내 UID 2000 이 없어도 문제 없다.

xxxxxxxxxx
/ $ cat /etc/passwd
root:x:0:0:root:/root:/bin/sh
daemon:x:1:1:daemon:/usr/sbin:/bin/false
bin:x:2:2:bin:/bin:/bin/false
sys:x:3:3:sys:/dev:/bin/false
sync:x:4:100:sync:/bin:/bin/sync
mail:x:8:8:mail:/var/spool/mail:/bin/false
www-data:x:33:33:www-data:/var/www:/bin/false
operator:x:37:37:Operator:/var:/bin/false
nobody:x:65534:65534:nobody:/home:/bin/false
/ $ id
uid=2000 gid=0(root)

3. runAsNonRoot 으로 root 계정 실행 컨테이너 차단 시

• 파드 보안 설정에서 runAsNonRoot 을 true로 설정하면 root 를 사용하는 컨테이너의 실행을 차단할 수 있다.

• pod 설정 yaml 파일 : runAsNonRoot을 true로 설정

  x
  ...
      spec:
        containers:
          - name: testcontainer
            image: busybox:1.28
            command: ['sh', '-c', 'echo The app is running! && sleep 3600']          
            securityContext:
              runAsNonRoot: true
  ...
  

• runAsNonRoot 설정 후 실행 시 "Error: container has runAsNonRoot and image will run as root" 에러가 발생함

  x
  Chois-MacBook-Pro:k8s choikyunghyun$ kubectl describe pod test-554b755595-nls66 | tail
  Node-Selectors:  <none>
  Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300s
                   node.kubernetes.io/unreachable:NoExecute for 300s
  Events:
    Type     Reason                 Age               From                         Message
    ----     ------                 ----              ----                         -------
    Normal   Scheduled              56s               default-scheduler            Successfully assigned test-554b755595-nls66 to docker-for-desktop
    Normal   SuccessfulMountVolume  56s               kubelet, docker-for-desktop  MountVolume.SetUp succeeded for volume "default-token-q92r8"
    Normal   Pulled                 5s (x6 over 55s)  kubelet, docker-for-desktop  Container image "busybox:1.28" already present on machine
    Warning  Failed                 5s (x6 over 55s)  kubelet, docker-for-desktop  Error: container has runAsNonRoot and image will run as root
  Chois-MacBook-Pro:k8s choikyunghyun$
  

• runAsUser를 일반 사용자로 지정하면 runAsNonRoot가 true 이더라도 문제 없이 실행된다.
• 이 경우에도 컨테이너를 실행하는 docker 프로세스 자체는 root 계정으로 실행 됨