[k8s] kubespray 를 사용한 bare-metal 서버에 쿠버네티스 설치하기

• kubespray를 사용하여 VM에 Kubernetes 설치하는 방법을 다룬다.

• 테스트 환경의 VM은 CentOS 2대이며, master 1대, worker node 1대로 구성한다.

  [k8s] kubespray 를 사용한 bare-metal 서버에 쿠버네티스 설치하기1. 설치용 서버 사전 설정2. OS 사전 설정3. Ansible playbook 실행하여 설치4. kubectl 로 설치 확인

1. 설치용 서버 사전 설정

• kubespray를 실행할 mater 에 관련 hosts 정보 추가

  xxxxxxxxxx
  #tail /etc/hosts
  1.1.1.16      k8s-master
  1.1.1.35      k8s-worker
  ​
  

• ssh key 생성

  xxxxxxxxxx
  [root@k8s-master ~]# ssh-keygen -t rsa
  Generating public/private rsa key pair.
  Enter file in which to save the key (/root/.ssh/id_rsa):
  Enter passphrase (empty for no passphrase):
  Enter same passphrase again:
  Your identification has been saved in /root/.ssh/id_rsa.
  Your public key has been saved in /root/.ssh/id_rsa.pub.
  The key fingerprint is:
  SHA256:TsrGlaHo3jqUBEiORQIZnBqyVO1xU2UKIEBN+prE0Dc root@k8s-master
  The key's randomart image is:
  +---[RSA 2048]----+
  |*B=+.. ....o     |
  |B=* .o.o. o      |
  |** o. o E.       |
  |+.. .o . o       |
  |   E... S        |
  | .o.Eo =         |
  |.E..E = .        |
  |+  o.+           |
  |..  oo.          |
  +----[SHA256]-----+
  

• ssh key 배포

  x
  #ssh-copy-id root@k8s-master
  #ssh-copy-id root@k8s-worker
  

• kubespray에서 사용하는 관련 package 설치

  • kubespray는 ansible 기반으로 설치되기 때문에 ansible 과 관련된 package 설치가 필요하다.

  x
  [root@k8s-master ~] yum install https://centos7.iuscommunity.org/ius-release.rpm -y
  [root@k8s-master ~] yum install python36u python36u-pip wget -y
  [root@k8s-master ~] pip3.6 install ansible netaddr jinja2
  

• kubespray 다운로드

  x
  [root@k8s-master ~] git clone https://github.com/kubernetes-sigs/kubespray
  [root@k8s-master ~] cd kubespray
  [root@k8s-master ~] pip3.6 install -r requirements.txt
  

   

2. OS 사전 설정

• Master, Worker 를 포함한 모든 노드에서 실행한다.

  • Swap OFF : 스와핑에 의한 성능 저하를 예방하기 위해 swap 영역을 제거한다.

    xxxxxxxxxx
    [root@k8s-master ~]# swapoff -a
    

    xxxxxxxxxx
    [root@k8s-worker ~]# swapoff -a
    

  • SeLinux 해제 : 대부분의 패키지 설치에서 사전 작업 1순위인 .. Selinux 를 disable 한다.

    xxxxxxxxxx
    [root@k8s-master ~]# setenforce 0
    setenforce: SELinux is disabled
    

    xxxxxxxxxx
    [root@k8s-worker ~]# setenforce 0
    setenforce: SELinux is disabled
    

3. Ansible playbook 실행하여 설치

• Ansible Inventory 설정

  • Sample 을 복사하여 설치 환경에 맞게 수정한다.

  xxxxxxxxxx
  [root@k8s-master sample]# cp ~/kubespray/inventory/sample/inventory.ini ~/kubespray/inventory/inventory.ini
  [root@k8s-master kubespray]# cat ~/kubespray/inventory/inventory.ini
  [all]
  k8s-master ansible_ssh_host=1.1.1.16 ip=1.1.1.16
  k8s-worker ansible_ssh_host=1.1.1.35 ip=1.1.1.35
  ​
  [kube-master]
  k8s-master
  ​
  [etcd]
  k8s-master
  ​
  [kube-node]
  k8s-worker
  ​
  [k8s-cluster:children]
  kube-master
  kube-node
  

• ansible playbook 실행으로 kubernetes 설치

  xxxxxxxxxx
  [root@k8s-master kubespray]# ansible-playbook --flush-cache -u root -b -i ~/kubespray/inventory/inventory.ini ~/kubespray/cluster.yml
  ...
  PLAY RECAP ***********************************************************************************************************************************************************************************************************************************
  k8s-master                 : ok=650  changed=128  unreachable=0    failed=0
  localhost                  : ok=1    changed=0    unreachable=0    failed=0
  

   

4. kubectl 로 설치 확인

• kubectl 설치

  • CentOS 기준으로 아래 명령어를 실행한다.

    xxxxxxxxxx
    cat <<EOF > /etc/yum.repos.d/kubernetes.repo
    [kubernetes]
    name=Kubernetes
    baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
    enabled=1
    gpgcheck=1
    repo_gpgcheck=1
    gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
    EOF
    yum install -y kubectl
    

• kubectl get ndoes 명령어로 Cluster 노드 확인

  xxxxxxxxxx
  [root@k8s-master kubespray]# kubectl get nodes
  NAME         STATUS   ROLES    AGE     VERSION
  k8s-master   Ready    master   20m     v1.15.3
  k8s-worker   Ready    <none>   6m25s   v1.15.3
  

   

[K8S] AKS 클러스터에서 helm 차트 사용하기

Helm(헬름)은 쿠버네티스에서 사용하는 애플리케이션 패키징 시스템이다. (개념상으로 Linux의 yum과 같다.)

1. MAC에 helm 설치

참고 : https://helm.sh/docs/using_helm/#installing-helm

• brew 명령어로 helm 설치

  xxxxxxxxxx
  brew install kubernetes-helm
  

2. AKS클러스터에 Helm 설정

참고 : https://docs.microsoft.com/ko-kr/azure/aks/kubernetes-helm

1. AKS 클러스터 내 Helm용 RBAC(역할 기반 접근 제어) 생성

   • helm-rbac.yaml 파일을 생성하고 아래 매니페스트를 입력한다.

   • tiller는 Helm에서 사용하는 서비스 계정을 생성하고 cluster-admin 권한을 부여한다.

     xxxxxxxxxx
     apiVersion: v1
     kind: ServiceAccount
     metadata:
       name: tiller
       namespace: kube-system
     ---
     apiVersion: rbac.authorization.k8s.io/v1
     kind: ClusterRoleBinding
     metadata:
       name: tiller
     roleRef:
       apiGroup: rbac.authorization.k8s.io
       kind: ClusterRole
       name: cluster-admin
     subjects:
       - kind: ServiceAccount
         name: tiller
         namespace: kube-system
     

   • kubectl apply -f helm-rbac.yaml 명령어를 실행하여 RBAC생성

     xxxxxxxxxx
     $ kubectl get serviceaccount -A | grep tiller
     kube-system          tiller                               1         2d
     ​
     $ kubectl get ClusterRoleBinding | grep tiller
     tiller                                                 2d
     

      

2. helm 초기화로 클러스터 설정

   • helm init 명령어로 helm에서 사용할 서비스 계정을 초기화한다.

     xxxxxxxxxx
     helm init --service-account tiller --node-selectors "beta.kubernetes.io/os"="linux"
     

3. helm 정상 구성 확인

   • helm 이 정상 구성되었는지 확인하기 위해 helm search 명령어로 공개 helm 차트를 검색한다.

     xxxxxxxxxx
     $ helm search
     NAME                                  CHART VERSION APP VERSION                   DESCRIPTION
     stable/acs-engine-autoscaler          2.2.2         2.1.1                         DEPRECATED Scales worker nodes within agent pools
     stable/aerospike                      0.2.5         v4.5.0.5                      A Helm chart for Aerospike in Kubernetes
     stable/airflow                        2.8.2         1.10.2                        Airflow is a platform to programmatically author, schedul...
     stable/ambassador                     2.5.0         0.61.0                        A Helm chart for Datawire Ambassador
     stable/anchore-engine                 1.0.1         0.4.0                         Anchore container analysis and policy evaluation engine s...
     stable/apm-server                     2.1.0         7.0.0                         The server receives data from the Elastic APM agents and ...
     stable/ark                            4.2.2         0.10.2                        DEPRECATED A Helm chart for ark
     stable/artifactory                    7.3.1         6.1.0                         DEPRECATED Universal Repository Manager supporting all ma...
     stable/artifactory-ha                 0.4.1         6.2.0                         DEPRECATED Universal Repository Manager supporting all ma...
     

   • 현재 클러스터에서 실행중인 helm 차트는 helm list 명령어로 확인한다.

     x
     $ helm list
     NAME                    REVISION  UPDATED                   STATUS    CHART                     APP VERSION NAMESPACE
     dandy-fox               1         Sat Aug 24 17:33:08 2019  FAILED    demo-1.0.1                            default
     demo                    1         Sat Aug 24 23:36:44 2019  DEPLOYED  demo-1.0.1                            demo
     demo-staging            5         Sat Aug 24 18:57:03 2019  DEPLOYED  demo-1.0.1                            default
     fantastic-umbrellabird  1         Sat Aug 24 17:32:47 2019  FAILED    demo-1.0.1                            default
     full-puffin             1         Sat Aug 24 17:37:08 2019  DEPLOYED  demo-1.0.1                            default
     ignorant-boxer          1         Sat Aug 24 17:33:33 2019  DEPLOYED  demo-1.0.1                            default
     kube-state-metrics      1         Sat Aug 24 23:36:51 2019  DEPLOYED  kube-state-metrics-2.3.1  1.7.2       kube-state-metrics
     limping-parrot          1         Sat Aug 24 17:29:42 2019  DEPLOYED  demo-1.0.1                            default
     prometheus              1         Sat Aug 24 23:36:51 2019  DEPLOYED  prometheus-9.1.0          2.11.1      prometheus
     unrealistic-starfish    1         Sat Aug 24 17:38:02 2019  DEPLOYED  demo-1.0.1                            default
     Chois-MacBook-Pro:~ choikyunghyun$
     

      

[K8S] Azure CLI 로 AKS 클러스터 구성 및 로컬 환경에서 kubectl 로 AKS 클러스터 연결하기

1. Azure Cli 툴 설치 및 Azure 로그인

참고 : https://docs.microsoft.com/ko-kr/cli/azure/install-azure-cli-macos?view=azure-cli-latest

1. brew를 사용하여 azure cli 설치

   xxxxxxxxxx
   brew update && brew install azure-cli
   

2. azure cli 에서 Azure 로그인

   • 명령어 실행 시 Azure에 로그인할 수 있는 웹 브라우저가 열린다.

     xxxxxxxxxx
     az login
     

   • 웹 브라우저 로그인에 성공하면 아래와 같으 메시지가 출력된다.

     xxxxxxxxxx
     $ az login
     Note, we have launched a browser for you to login. For old experience with device code, use "az login --use-device-code"
     You have logged in. Now let us find all the subscriptions to which you have access...
     [
       {
         "cloudName": "AzureCloud",
         "id": "aaaaa-aaaa-aaaa-aaaa-aaaaaaaa",
         "isDefault": true,
         "name": "종량제",
         "state": "Enabled",
         "tenantId": ""aaaaa-aaaa-aaaa-aaaa-aaaaaaaa"",
         "user": {
           "name": "mr.november11",
           "type": "user"
         }
       }
     ]
     

      

2. Azure Cli 명령어로 AKS 클러스터 생성하고 연결하기

참고 : https://docs.microsoft.com/ko-kr/azure/aks/kubernetes-walkthrough

1. Resource Group 생성

   • AKS 리소스가 배포되고 관리될 논리적 그룹을 생성한다.

   • --location 에는 리소스를 생성한 지역을 선택하며 한국 서울의 경우 koreacentral이다.

     xxxxxxxxxx
     $az group create --name AKSTEST --location koreacentral
     {
       "id": "/subscriptions/aaaaa-aaaaa-aaaaaa-aaaaaaa/resourceGroups/AKSTEST",
       "location": "koreacentral",
       "managedBy": null,
       "name": "AKSTEST",
       "properties": {
         "provisioningState": "Succeeded"
       },
       "tags": null,
       "type": null
     }
     

2. AKS 클러스터 생성

   • AKSTEST 리소스 그룹 내 TEST라는 이름의 신규 클러스터를 생성한다.

     x
     az aks create \
         --resource-group AKSTEST \
         --name TEST \
         --node-count 1 
     

3. AKS 클러스터 연결

   • 로컬 환경에 kubectl이 설치되어 있지 않다면 azure cli 로 설치한다.

     xxxxxxxxxx
     az aks install-cli
     

   • AKS 클러스터 생성이 완료되었다면 로컬 Mac 환경의 kubectl 로 접속 가능하도록 AKS 클러스터에 대한 자격증명을 할당 받는다.

     할당받은 get-credentials 정보는 kubectl 의 context 정보에 추가된다.

     xxxxxxxxxx
     # az aks get-credentials --resource-group AKSTEST --name TEST
     Merged "TEST" as current context in /Users/november/.kube/config
     

   • 로컬 kubectl에서 여러 개의 클러스터에 연결할 경우 kubectl config get-contexts 명령어로 전체 cluster 목록을 확인할 수 있다.

     *로 표시된 context가 현재 연결된 클러스터다.

     x
     $ kubectl config get-contexts
     CURRENT   NAME                 CLUSTER          AUTHINFO                     NAMESPACE
     *         TEST                 TEST             clusterUser_AKSTEST_TEST
               docker-desktop       docker-desktop   docker-desktop
               docker-for-desktop   docker-desktop   docker-desktop
     

   • kubectl config use-context 명령어를 사용하여 kubectl 에 현재 연결된 클러스터를 전환할 수 있다.

     x
     $ kubectl config use-context docker-desktop
     Switched to context "docker-desktop".
     $ kubectl config get-contexts
     CURRENT   NAME                 CLUSTER          AUTHINFO                     NAMESPACE
               TEST                 TEST             clusterUser_AKSTEST_TEST
     *         docker-desktop       docker-desktop   docker-desktop
               docker-for-desktop   docker-desktop   docker-desktop
     

      

4. AKS 클러스터 연결 확인

   • kubectl 명령어로 생성된 클러스 관련 정보를 확인한다.

     • Node 상태

       xxxxxxxxxx
       $ kubectl get nodes
       NAME                       STATUS   ROLES   AGE     VERSION
       aks-nodepool1-32055371-0   Ready    agent   6m18s   v1.13.10
       

     • Namespace 상태

       xxxxxxxxxx
       $ kubectl get namespaces
       NAME          STATUS   AGE
       default       Active   12m
       kube-public   Active   12m
       kube-system   Active   12m
       

     • Pod 상태

       • AKS에서는 -A 플래그를 추가하면 전체 네임스페이스의 Pod를 조회할 수 있다.

       xxxxxxxxxx
       $ kubectl get pods -A
       NAMESPACE     NAME                                    READY   STATUS    RESTARTS   AGE
       kube-system   coredns-7fbf4847b6-g6gvw                1/1     Running   0          11m
       kube-system   coredns-7fbf4847b6-whr5x                1/1     Running   0          8m4s
       kube-system   coredns-autoscaler-657d77ffbf-s6d2d     1/1     Running   0          11m
       kube-system   kube-proxy-27mk2                        1/1     Running   0          8m32s
       kube-system   kubernetes-dashboard-6f697bd9f5-7q9hq   1/1     Running   0          11m
       kube-system   metrics-server-58699455bc-mb2zp         1/1     Running   0          11m
       kube-system   tunnelfront-94bb7d97c-d6lh9             1/1     Running   0          11m
       

        

[k8s] 공개용 Docker Image를 다운로드하여 사설 Registry 로 옮기기

• docker.elastic.co/beats/metricbeat:7.2.0 이미지를 대상으로 테스트 진행

1. 외부 통신 가능한 서버에서 docker.elastic.co/beats/metricbeat:7.2.0 이미지를 pull 하기

   • docker image pull <Image 경로> 명령어 사용

   # docker image pull docker.elastic.co/beats/metricbeat:7.2.0
   7.2.0: Pulling from beats/metricbeat
   48914619bcd3: Pull complete
   db7d496a7cc1: Pull complete
   3649ced0317e: Pull complete
   05479a0aa2cb: Pull complete
   52d3a14178d4: Pull complete
   57966fe285b1: Pull complete
   d29d1b061104: Pull complete
   Digest: sha256:308cb2581c762d2517d39009cec106e8883162f84206b1dc8860a5df30e5e3ba
   Status: Downloaded newer image for docker.elastic.co/beats/metricbeat:7.2.0
   

2. docker 이미지를 tar 파일로 저장하기

   • docker save -o <File Name> <Image Name> 명령어 사용

   # docker save -o metricbeat7.2.0.tar docker.elastic.co/beats/metricbeat:7.2.0
   # ls  | grep metricbeat7.2.0.tar
   metricbeat7.2.0.tar
   

    

3. 사설 Registry 연동된 사설 서버로 컨테이너 이미지 tar 파일 전송

4. 사설 서버에서 docker load 명령어로 이미지 tar 불러오기

   • docker load -i <File Name> 명령어로 tar 파일로 만들어진 이미지를 docker 내 image에 불러온다.

     x
     == docker load 실행 전 : docker image 리스트 내 metric 이미지 없음 ==
     # docker images | grep metric  
     ​
     # docker load -i metricbeat7.2.0_container_image.tar
     d69483a6face: Loading layer [==================================================>]  209.5MB/209.5MB
     a75632d17b31: Loading layer [==================================================>]  161.5MB/161.5MB
     0bdaa98c2259: Loading layer [==================================================>]  4.096kB/4.096kB
     719bfc958073: Loading layer [==================================================>]  4.096kB/4.096kB
     7c99d903a954: Loading layer [==================================================>]  6.144kB/6.144kB
     93880401ab85: Loading layer [==================================================>]  161.5MB/161.5MB
     80487eb70f1f: Loading layer [==================================================>]  304.6kB/304.6kB
     Loaded image: docker.elastic.co/beats/metricbeat:7.2.0
     ​
     == docker load 실행 후 : docker image 리스트 내 metric 이미지 있음 ==
     # docker images | grep metric
     docker.elastic.co/beats/metricbeat                                7.2.0               dd9cdde4a2d6        4 weeks ago         525MB
     ​
     

      

5. docker 이미지 태그 변경 후 사설 Registry 에 push 하기

   • docker image tag 명령어로 사설 서버 호스트로 이미지 태그를 변경한다 .

     x
     # docker image tag docker.elastic.co/beats/metricbeat:7.2.0 <사설 HOST>/metricbeat:7.2.0
     # docker images | grep metric
     docker.elastic.co/beats/metricbeat                                7.2.0               dd9cdde4a2d6        4 weeks ago         525MB
     <사설 HOST>:5000/metricbeat                                     7.2.0               dd9cdde4a2d6        4 weeks ago         525MB
     

   • 변경된 태그를 기준으로 사설 Registry 에 push 하기

     # docker image push <사설 HOST>/metricbeat:7.2.0
     The push refers to repository [<사설 HOST>/metricbeat]
     80487eb70f1f: Pushed
     93880401ab85: Pushed
     7c99d903a954: Pushed
     719bfc958073: Pushed
     0bdaa98c2259: Pushed
     a75632d17b31: Pushed
     d69483a6face: Pushed
     7.2.0: digest: sha256:ac3eb67fa6fbddddb51aeed3b724691c599828f3eccd50db727a5f39d560b713 size: 1782
     

      

[k8s] 쿠버네티스 Pod 보안을 위해 root 가 아닌 사용자로 컨테이너 실행하기

• Pod의 Security context에서 runAsUser를 설정하면 컨테이너에서 실행할 사용자를 지정할 수 있다.

• Pod의 Security context에서 runAsNonRoot를 설정하면 root로 실행하는 컨테이너의 실행을 차단할 수 있다.

  • 차단 시 CreateContainerConfigError 에러와 Error: container has runAsNonRoot and image will run as root 에러 발생

1. runAsUser로 사용자 지정 전

• pod 설정 yaml 파일

xxxxxxxxxx
piVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: test
  labels:
    app: test
spec:
  replicas: 1
  selector:
    matchLabels:
      app: test
  template:
    metadata:
      labels:
        app: test
    spec:
      containers:
        - name: testcontainer
          image: busybox:1.28
          command: ['sh', '-c', 'echo The app is running! && sleep 3600']

• 컨테이너 내 프로세스 출력 결과 : 프로세스가 root로 실행 중

xxxxxxxxxx
$ docker exec -it d3b5893dd94d /bin/sh
/ # ps -ef
PID   USER     TIME  COMMAND
    1 root      0:00 sleep 3600
   13 root      0:00 /bin/sh
   19 root      0:00 ps -ef
/ #

2. runAsUser로 사용자 지정 후

• pod 설정 yaml 파일 : securityContext 내 실행 사용자 2000으로 설정

x
...
    spec:
      containers:
        - name: testcontainer
          image: busybox:1.28
          command: ['sh', '-c', 'echo The app is running! && sleep 3600']
          securityContext:
            runAsUser: 2000
...

• yaml 파일에서 UID 2000 으로 설정 후 프로세스 목록 조회 결과 모든 프로세스가 UID 2000으로 실행된다.

x
$ docker exec -it c6ace4bd4ceb /bin/sh
/ $ ps -ef
PID   USER     TIME  COMMAND
    1 2000      0:00 sleep 3600
    7 2000      0:00 /bin/sh
   13 2000      0:00 ps -ef
/ $

• 실제 컨테이너 내 UID 2000 이 없어도 문제 없다.

xxxxxxxxxx
/ $ cat /etc/passwd
root:x:0:0:root:/root:/bin/sh
daemon:x:1:1:daemon:/usr/sbin:/bin/false
bin:x:2:2:bin:/bin:/bin/false
sys:x:3:3:sys:/dev:/bin/false
sync:x:4:100:sync:/bin:/bin/sync
mail:x:8:8:mail:/var/spool/mail:/bin/false
www-data:x:33:33:www-data:/var/www:/bin/false
operator:x:37:37:Operator:/var:/bin/false
nobody:x:65534:65534:nobody:/home:/bin/false
/ $ id
uid=2000 gid=0(root)

3. runAsNonRoot 으로 root 계정 실행 컨테이너 차단 시

• 파드 보안 설정에서 runAsNonRoot 을 true로 설정하면 root 를 사용하는 컨테이너의 실행을 차단할 수 있다.

• pod 설정 yaml 파일 : runAsNonRoot을 true로 설정

  x
  ...
      spec:
        containers:
          - name: testcontainer
            image: busybox:1.28
            command: ['sh', '-c', 'echo The app is running! && sleep 3600']          
            securityContext:
              runAsNonRoot: true
  ...
  

• runAsNonRoot 설정 후 실행 시 "Error: container has runAsNonRoot and image will run as root" 에러가 발생함

  x
  Chois-MacBook-Pro:k8s choikyunghyun$ kubectl describe pod test-554b755595-nls66 | tail
  Node-Selectors:  <none>
  Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300s
                   node.kubernetes.io/unreachable:NoExecute for 300s
  Events:
    Type     Reason                 Age               From                         Message
    ----     ------                 ----              ----                         -------
    Normal   Scheduled              56s               default-scheduler            Successfully assigned test-554b755595-nls66 to docker-for-desktop
    Normal   SuccessfulMountVolume  56s               kubelet, docker-for-desktop  MountVolume.SetUp succeeded for volume "default-token-q92r8"
    Normal   Pulled                 5s (x6 over 55s)  kubelet, docker-for-desktop  Container image "busybox:1.28" already present on machine
    Warning  Failed                 5s (x6 over 55s)  kubelet, docker-for-desktop  Error: container has runAsNonRoot and image will run as root
  Chois-MacBook-Pro:k8s choikyunghyun$
  

• runAsUser를 일반 사용자로 지정하면 runAsNonRoot가 true 이더라도 문제 없이 실행된다.
• 이 경우에도 컨테이너를 실행하는 docker 프로세스 자체는 root 계정으로 실행 됨

[ELK] Elasticsearch, Kibana 7.1 -> 7.2 업데이트 후 'Kibana server is not ready yet ' 에러 발생 시

참고 자료 : https://discuss.elastic.co/t/upgraded-to-7-2-kibana-server-is-not-ready-yet/188072/3

• KIBANA 7.2 버전 업데이트 후 'Kibana server is not ready yet ' 문구만 출력되면서 kibana 접속이 안 되는 문제가 발생했다.

  xxxxxxxxxx
  Kibana server is not ready yet 
  

• 해결 방법은 이전 버전의 kibana indice 를 삭제하면 된다.

  삭제 시 기존 kibana의 Dashboard, Visualize 설정이 모두 삭제된다.

  xxxxxxxxxx
  curl -XDELETE 'http://localhost:9200/.kibana' 
  

• elasticsearch indice확인 방법

  xxxxxxxxxx
  #curl http://localhost:9200/.kibana'/_cat/indices?v
  health status index                           uuid                   pri rep docs.count docs.deleted store.size pri.store.size
  green  open   .monitoring-kibana-7-2019.07.03 cpujtSbjSeWEOVWWTDiKcA   1   1       8640            0      3.7mb          1.8mb
  green  open   .monitoring-kibana-7-2019.06.29 ThrYGu3_Tx-6ch-PwER6aw   1   1       5880            0      2.6mb          1.3mb
  green  open   .monitoring-es-7-2019.07.02     3wdgJUxfRASqUc5kY4Ur4w   1   1     126516       159956    190.7mb         95.3mb
  green  open   .monitoring-es-7-2019.06.29     HuH3-HNCSB-PwMNEHEUBHA   1   1      76530        58730    104.6mb         52.3mb
  green  open   .kibana_task_manager            pfs4_RReT6S9s_npn0icvA   1   1          2           26     40.6kb         20.3kb
  green  open   .kibana_1                       scZMq1tUTOyl-JbVSWK9vA   1   1          5            0     91.1kb         45.5kb
  green  open   .monitoring-kibana-7-2019.07.02 dFRnvH37Rdmef9Tf6yF3kw   1   1       5216            0      2.5mb          1.2mb
  green  open   .monitoring-kibana-7-2019.06.30 lOyk16FCQ7i2GKabti_5Ug   1   1       8639            0      3.6mb          1.8mb
  green  open   .monitoring-es-7-2019.07.04     nsKkj9wnQCmiOiWupWtpkw   1   1      98341         4320    124.7mb           65mb
  green  open   .tasks                          LtHz1Y-YStOySX6oUiOeUQ   1   1          1            0     12.7kb          6.3kb
  green  open   .monitoring-es-7-2019.07.03     xkrS_uvGQ5ONrutuR_2ZsA   1   1     216013        18938    268.3mb          134mb
  green  open   .monitoring-es-7-2019.06.30     pW5T8YRGSsWtZOGWg2b6lg   1   1     129628       120932    175.9mb         87.9mb
  green  open   metricbeat-7.1.1                mfLGqDKPQwi9K7Dd8_9EEA   1   1    3594634            0        3gb          1.6gb
  green  open   .monitoring-es-7-2019.07.01     IvPmIhtsRoW8eiXakYkY-g   1   1      45546        11412     58.4mb         29.2mb
  green  open   .monitoring-kibana-7-2019.07.04 yFP1IlKcQXe-v6uv8eQx8w   1   1       3356            0      2.4mb            1mb
  green  open   .monitoring-kibana-7-2019.07.01 q7d1QFf6THCD0Q1imNGTGA   1   1       2036            0    989.5kb        494.7kb
  green  open   .kibana_2                       KA4WgAlDRp6g2RBYp5bPuw   1   1          0            0       566b           283b
  green  open   .security-7                     YDou8KO_SZGuaD2QfyZ3oA   1   1         45            0    128.3kb         70.6kb
  

   

[ELK] Elasticsearch 보안기능(TLS통신, RBAC, 계정 기능) 설정하기

참고 자료 : https://www.elastic.co/kr/blog/getting-started-with-elasticsearch-security

• Elasticsearch 에서 보안 기능을 활성화 하기 위해서는 TLS 인증서 설정이 필요하다.

1. Elasticsearch TLS 설정

1. elasticsearch-certutil로 인증서 생성

   • RPM으로 elasticsearch를 설치한 기준으로 /usr/share/elasticsearch/bin 디렉토리 내 해당 파일이 있다.

     xxxxxxxxxx
     # pwd
     /usr/share/elasticsearch/bin
     # ls -al | grep certutil
     -rwxr-xr-x 1 root root      483 May 23 23:06 elasticsearch-certutil
     

   • ./elasticsearch-certutil cert -out /etc/elasticsearch/elastic-certificates.p12 "" 명령어를 실행하여 TLK 파일 생성

2. /etc/elasticsearch/elasticsearch.yml 파일에 TLS 관련 설정 추가

   • Elasticsearch Master, Data 노드에 전부 다 동일하게 설정해며 앞서 생성한 elastic-certificates.p12 파일도 모든 노드에 다 설정해야 한다.

   • 설정 정보

     xxxxxxxxxx
     xpack.security.enabled: true
     xpack.security.transport.ssl.enabled: true
     xpack.security.transport.ssl.verification_mode: certificate
     xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/elastic-certificates.p12
     xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/elastic-certificates.p12
     

   • elasticsearch 기동에 문제가 발생한다면 elastic-certificates.p12 파일 위치 확인이 필요하다.

3. Elastic Search 재기동 systemctl restart elasticsearch

4. Elasticsearch 클러스터 비밀번호 생성

   • elasticsearch-setup-passwords는 built in 계정에 대한 패스워드를 설정하는 프로그램이다. 패스워드 변경 전 Cluster 의 상태를 확인하기 때문에 Cluster 내 마스터 노드 설정 확인이 필요하다.

   • ./elasticsearch-setup-passwords auto 로 기본 계정(elastic, kibana 등)에 대한 패스워드를 자동으로 생성한다.

     해당 패스워드는 조회나 kibana 설정에 필요하니 별도로 기록해야한다.

     # ./elasticsearch-setup-passwords auto
     Initiating the setup of passwords for reserved users elastic,apm_system,kibana,logstash_system,beats_system,remote_monitoring_user.
     The passwords will be randomly generated and printed to the console.
     Please confirm that you would like to continue [y/N]y
     ​
     ​
     Changed password for user apm_system
     PASSWORD apm_system = agR7R1SOet7M3fMxs2Ql
     ​
     Changed password for user kibana
     PASSWORD kibana = LFys895AjskgUpefgCMT
     ​
     Changed password for user logstash_system
     PASSWORD logstash_system = ivB05jZtiqe0V4y19RuK
     ​
     Changed password for user beats_system
     PASSWORD beats_system = KD97YhRiQlV1zNsGs49A
     ​
     Changed password for user remote_monitoring_user
     PASSWORD remote_monitoring_user = aMxHaenD7ZwwNRsKGQA7
     ​
     Changed password for user elastic
     PASSWORD elastic = rEtvJS1gX9PpusJ9M74y
     ​
     [root@PDV-TELK-MST01 bin]#
     

   • elastic 계정에 대한 패스워드 설정 후 Node 상태 확인 결과

     x
     # curl -u elastic:rEtvJS1gX9PpusJ9M74y 1.1.1.1:9200/_cat/nodes?v
     ip           heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
     1.1.1.1           10          99   3    0.03    0.31     0.25 mdi       -      ELK-MST01
     1.1.1.2           10          97   2    0.05    0.44     0.64 mdi       *      ELK-MST03
     1.1.1.3           14          81   2    0.01    0.41     0.62 mdi       -      ELK-MST02
     ​
     

      

2. Kibana 계정 설정

1. /etc/elasticsearch/kibana.yml 파일에 kibana 계정 추가

   앞서 elasticsearch-setup-passwords에서 생성한 kibana 계정의 패스워드를 입력한다.

   # If your Elasticsearch is protected with basic authentication, these settings provide
   # the username and password that the Kibana server uses to perform maintenance on the Kibana
   # index at startup. Your Kibana users still need to authenticate with Elasticsearch, which
   # is proxied through the Kibana server.
   #elasticsearch.username: "user"
   #elasticsearch.password: "pass"
   elasticsearch.username: "kibana"
   elasticsearch.password: "LFys895AjskgUpefgCMT"
   ​
   

2. kibana 재기동 systemctl restart kibana

    

3. Kibana 접속 후 RBAC(Role Based Access Control) 관리

1. http://KIBANA_HOST:5601 접속 후 elastic 계정으로 접속

   • elastic 계정의 패스워드는 앞서 elasticsearch-setup-passwords에서 생성한 패스워드 입력

2. 좌측 하단 'Management' 메뉴에서 'Security' -> 'Users', 'Roles' 메뉴 접속

   • 'Roles' 메뉴에서 Elasticsearch 관련 권한(read, monitoring 등)을 생성하고

   • 'Users' 메뉴에서 해당 권한을 포함한 신규 계정을 생성하면 됨

      

4. Metricbeat 설정

• metricbeat 를 활용하여 elasticsearch에 데이터를 수집하고 있다면 metricbeat 내에 계정 설정도 필요하다.

  • /etc/metricbeat/metricbeat.yml 파일 내 output.elasticsearch에 이전에 생성한 계정 정보 추가

  • protocol 정보에 "http" 를 입력하지 않으면 401 Unauthorized 에러가 발생핸다.

    xxxxxxxxxx
    output.elasticsearch:
    ....
      protocol: "http"
      username: "elastic"
      password: "rEtvJS1gX9PpusJ9M74y"
    ...