Ceph Storage Architecture 구성 가이드 (H/W)

Ceph Server H/W 관점

Network

• Cluster 기반 대용량 Storage 를 제공하기 위해 10Gbps 급 Interface 사용이 권장된다.

  특히, Rack 단위 대규모 장애 시 Rebalance 및 Recover를 위해서 대규모 대역폭이 꼭 필요하다.

  Redhat에서 권장하는 NIC 대역폭은 12개 OSD 당 10Gbps 이다.

  OSD 노드에 12개 이상의 OSD는 수용하지 않기 때문에 10Gbps NIC를 LACP로 이중화하면 구성하면 무난하다.

• 분리된 NIC 을 통한 Public / Cluster Network 별도 구성이 권장된다.

  • Public Network(Front-side) : Storage 연동 Client Traffic 및 MON 노드 통신 구간

  • Cluster Network(Back-side) : OSD Heartbeat, Replication, Backfilling, Recovery Traffic 전용 구간

• Network 최적화를 위해 Jumbo frame 사용이 권장된다.

  • Jumbo frame 은 TCP 패킷의 MTU(최대 패킷 Size)를 9,000 바이트로 지정하는 것을 말한다.

    Ceph, Gluster 와 같이 IP 기반의 Storage Cluster 최적화를 위해 많이 사용된다.

    Jumbo frame 은 출발지, 목적지 서버 및 중간 스위치 구간에서 모두 Jumbo frame 지원해야 한다.

RAID

• Ceph 에는 Replica 또는 Erasue Code 를 통해 Redundancy를 제공하고 있다.

  RAID 1 또는 5, 6을 활용한 Disk Redyndancy 는 일반적으로 사용하지 않는다고 한다.

  다량의 Disk를 Grouping하여 하나의 OSD로 만들 경우에는 RAID0 을 사용한다.

Disk

• 'Redhat Ceph Storage Hardware Selection Guide'에서는 IOPS/Throughput/Capacity optimized 3가지 유형으로 나누어 구분하고 있으나 일반적으로는 SSD 기반 구성/HDD 기반 2가지 구성으로 나누어 생각해볼 수 있을 것 같다.

  • Ceph가 OpenStack OS 영역에서 RDB로 활용될 경우 Ceph Latency가 VM 성능의 병목 구간이 될 수 있다.

    이경우 OSD Disk 는 SATA SSD / OSD Journaling Disk 는 NVMe SSD를 사용하는 것이 권장된다.

    또는 SATA SSD 내에서 Co-located¹방식으로 OSD+OSD Journaling 을 함께 쓰는 방안도 있다.

  • Ceph 를 통해 nDrive, Google Drive와 같은 대용량의 Storage를 서비스 한다면

    OSD Disk 는 대용량의 SAS HDD을 사용하고 OSD Journaling Disk는 SSD를 사용해야 한다.

    Journaling 을 HDD를 통해 처리할 경우 Ceph Storage 전체에 병목이 발생한다.

  • non-collocated 구성으로 journal Disk를 별도로 분리 시 하나의 Journal Disk 에는 최대 12개의 OSD를 구성하는 것을 권장한다.

Memory

• ceph-osd 노드 구성 시 기본 16GB + OSD Daemon 개수 * 2GB의 물리적 RAM 구성이 권장된다.

  예를 들어, 2TB Disk 4개로 4개의 OSD를 제공하는 노드가 있다면, 요구되는 최소의 Memory 크기는 24GB(16GB+4*2GB)이다.

[BMW] BMW 320ed 상봉 코스트코 타이어 교체 및 인천 영봉 휠 얼라이먼트 방문

320ed가 만 5년, 주행거리 4만km 정도 되니 고속도로 주행 중 타이어 펑크가 2번이나 발생했다.

보통 타이어 교체 주기가 3~4만km 정도 된다고 들어서 타이어 교체를 결심했다.

최초에 타이어펑크 정비를 받은 타이어 정비소에서는 4짝에 120만원 정도의 교체 견적을 제시했다.

생각보다 너무 쎈 가격대라... 호갱님으로 보여진 기분이라 다른 경로를 알아봤다.

그러던 중 코스트코에서는 그나마 양심적으로 타이어를 판매한다는 얘기를 전해들었다.

코스트코 상봉점에 방문하여 운좋게 미쉐린 타이어 행사로 8만원 상품권도 받으며 싸게 구매했다.

1. BMW 320ed 코스트코 타이어 구매기

코스트코 상봉점에는 주차장 입구 이외에 타이어 센터로 가는 별도의 길이 있다.

타이어 센터로 가면 코스트코 소속 직원들이 차량에 맞는 타이어 제품을 제안해준다.

마침 미쉐린 타이어 할인 행사 및 타이어 코스트코 상품권 8만원 증정 이벤트가 진행중이라 저렴한 가격에 타이어 4짝을 구매했다.

BMW 320ed 제품의 타이어 사이즈는 205/60R이며 에너지 세이버 제품으로 한 짝에 12만원에 총 48만원으로 구매가 가능하다. 코스트코 상품권 8만원을 반영하면 한짝당 10만원으로 저렴하게 구매하는 것과 같다.

참고로 다나와에서 해당 제품을 검색하면 10~11만원 정도로 동일하거나 조금 더 비싼 가격이 나온다.

문제는 코스트코에서 타이어를 구매할 경우 휠 얼라이먼트를 맞춰주지 않는다.

휠 얼라이먼트는 자동차 바퀴 또는 휠의 밸런스를 조정하는 작업이다. 이 밸런스가 맞지 않으면 차량 주행이 불안정하거나 타이어 편마모가 발생할 수 있다.

2. 인천 영봉 휠 얼라이먼트 이용기

코스트코 타이어 센터에서는 휠 얼라이먼트를 조정해주지 않기 때문에 조정이 가능한 다른 정비소를 찾아봤다.

그 중 인천 영봉 휠 얼라이먼트라는 샵에 국내 최고의 장인이 있다고 하여 멀지만 서울에서 인천까지 찾아갔다.

영봉 휠 얼라이먼트의 조정 가격은 13.5만원으로 평균 8만원 정도인 다른 정비소에 비해 많이 비싼 가격이다.

하지만, 안전과 직결된 정비라 생각하여 아끼지 않고 투자해 작업을 요청했다.

작업 요청 시 대표님께서 차량을 직접 시운전하며 차량의 밸런스를 체크해주신다.

작업 시간은 1시간 정도 소요되었다.

휠 얼라이먼트 조정 결과 이전보다 주행 안정감이 개선 되었음을 체감할 수 있다.
자동차에 대한 대표님의 애정과 열정이 남다르다. 휠 얼라이먼트 책도 직접 쓰신 것으로 믿고 맡길만 한 것 같다.
영봉 휠 얼라이먼트 주소는 아래와 지도와 명함을 참고하세요~참고로, 예약은 안 받고 현장 방문해야 점검 가능하다고 합니다.

[Apple] Applie Music 구독 해지 방법

셀룰러용 Apple Watch 에서 iPhone 없이 음악을 들을 수 있는 방법은 Apple Music 밖에 없다.

운동하면서 iPhone 없이 Watch로 음악을 들으려고 Apple Music 구독을 신청했지만 생각보다 들을만한 음원이 많지 않아 결국 Melon으로 돌아왔다.

Apple Music 앱 내에서는 구독을 해지하는 방법이 없어 구글링을 통해서 방법을 찾아보는 수 밖에 없었다...

해지 방법은 아래 순서를 따라가면 된다.

1. 설정 -> iTunes 및 App Store 선택

2. App ID : <계정명 > 선택

3. Apple ID 보기 선택

4. 계정 패스워드 입력 ( Face ID 로 안 된다. )

5. 구독 선택

6. Apple Music 구독 멤버십 선택

7. 구독 취소 선택( 취소 시 기존에 결제된 구독 기간까지는 사용 가능하며, 연장 구독 신청이 해제된다. )

[Ansible]7. Ansible Playbook을 활용한 Zabbix Agent 자동 설치

Ansible Playbook을 활용하여 Zabbix Agent 3.4.9 버전을 자동 설치

1. 자동화 관련 Flow

1. Zabbix Agent 3.4.9 RPM을 원격지로 파일 전송

2. Zabbix Agent 설치

3. Zabbix Agent 관련 Config 파일 설정

   zabbix-agentd.conf.j2 파일의 템플릿을 활용하며

   기본적인 Log 옵션 및 Server/Agent 의 정보 입력을 자동화 했다.

4. Zabbix Agent 서비스 Start

Ansible Server 실행 디렉토리 내에 rpm 파일이 있어야 함

2. 관련 Command 및 실행 결과

1) 실행 Command

1
[test@server1 ansible]$ ansible-playbook -k -i hosts zabbix-agent.yml -K -e 'zabbix_server_ipaddr=X.X.X.X target=server4 target_userid=test' --ask-become-pass

2) 명령어 매개변수

3) 실행 결과

1
[test@server1 ansible]$ ansible-playbook -k -i hosts zabbix-agent.yml -K -e 'zabbix_server_ipaddr=X.X.X.X target=server4 target_userid=test' --ask-become-pass
2
SSH password: 
3
SUDO password[defaults to SSH password]: 
4
​
5
PLAY [Install zabbix-agent-3.4.9] *************************************************************************************
6
​
7
TASK [Gathering Facts] ************************************************************************************************
8
 [WARNING]: sftp transfer mechanism failed on [server4]. Use ANSIBLE_DEBUG=1 to see detailed information
9
​
10
ok: [server4]
11
​
12
TASK [1. Test connection] *********************************************************************************************
13
 [WARNING]: sftp transfer mechanism failed on [server4]. Use ANSIBLE_DEBUG=1 to see detailed information
14
​
15
ok: [server4]
16
​
17
TASK [2. Copy Zabbix Agent rpm to Remote host] ************************************************************************
18
 [WARNING]: sftp transfer mechanism failed on [server4]. Use ANSIBLE_DEBUG=1 to see detailed information
19
​
20
changed: [server4]
21
​
22
TASK [3. Install Zabbix Agent] ****************************************************************************************
23
 [WARNING]: sftp transfer mechanism failed on [server4]. Use ANSIBLE_DEBUG=1 to see detailed information
24
​
25
changed: [server4]
26
​
27
TASK [4. Configure Zabbix Agent] **************************************************************************************
28
 [WARNING]: sftp transfer mechanism failed on [server4]. Use ANSIBLE_DEBUG=1 to see detailed information
29
​
30
changed: [server4]
31
​
32
TASK [5. Restart Zabbix Agent] ****************************************************************************************
33
 [WARNING]: sftp transfer mechanism failed on [server4]. Use ANSIBLE_DEBUG=1 to see detailed information
34
​
35
changed: [server4]
36
​
37
PLAY RECAP ************************************************************************************************************
38
server4                    : ok=6    changed=4    unreachable=0    failed=0   

3. 관련 파일

1) zabbix-agent.yml

1
---
2
- name: Install zabbix-agent-3.4.9
3
  hosts: "{{ target }}"
4
  remote_user: "{{ target_userid }}"   
5
  gather_facts: yes   
6
  become: yes
7
  become_user : root
8
  tasks:
9
    - name: 1. Test connection
10
      ping:
11
​
12
    - name: 2. Copy Zabbix Agent rpm to Remote host
13
      copy: 
14
        src: zabbix-agent-3.4.9-1.el7.x86_64.rpm
15
        dest: zabbix-agent-3.4.9-1.el7.x86_64.rpm
16
        owner: "{{ target_userid }}"
17
        group: "{{ target_userid }}"
18
        mode: 0644
19
        backup: yes     
20
​
21
    - name: 3. Install Zabbix Agent 
22
      yum:
23
        name: zabbix-agent-3.4.9-1.el7.x86_64.rpm
24
        state: present
25
​
26
    - name: 4. Configure Zabbix Agent
27
      template: 
28
        src: zabbix-agentd.conf.j2
29
        dest: /etc/zabbix/zabbix_agentd.conf 
30
        owner: root
31
        group: root
32
        backup: yes
33
​
34
    - name: 5. Start Zabbix Agent
35
      service:
36
        name: zabbix-agent
37
        state: started
38
        enabled: yes

2) hosts

1
[test]
2
server2
3
server3
4
server4

3) zabbix-agentd.conf.j2

1
# This is a configuration file for Zabbix agent daemon (Unix)
2
# To get more information about Zabbix, visit http://www.zabbix.com
3
​
4
############ GENERAL PARAMETERS #################
5
​
6
### Option: PidFile
7
#       Name of PID file.
8
#
9
# Mandatory: no
10
# Default:
11
# PidFile=/tmp/zabbix_agentd.pid
12
​
13
PidFile=/var/run/zabbix/zabbix_agentd.pid
14
​
15
### Option: LogType
16
#       Specifies where log messages are written to:
17
#               system  - syslog
18
#               file    - file specified with LogFile parameter
19
#               console - standard output
20
#
21
# Mandatory: no
22
# Default:
23
# LogType=file
24
​
25
### Option: LogFile
26
#       Log file name for LogType 'file' parameter.
27
#
28
# Mandatory: no
29
# Default:
30
# LogFile=
31
​
32
LogFile=/var/log/zabbix/zabbix_agentd.log
33
​
34
### Option: LogFileSize
35
#       Maximum size of log file in MB.
36
#       0 - disable automatic log rotation.
37
#
38
# Mandatory: no
39
# Range: 0-1024
40
# Default:
41
# LogFileSize=1
42
​
43
LogFileSize=100
44
​
45
### Option: DebugLevel
46
#       Specifies debug level:
47
#       0 - basic information about starting and stopping of Zabbix processes
48
#       1 - critical information
49
#       2 - error information
50
#       3 - warnings
51
#       4 - for debugging (produces lots of information)
52
#       5 - extended debugging (produces even more information)
53
#
54
# Mandatory: no
55
# Range: 0-5
56
# Default:
57
# DebugLevel=3
58
​
59
### Option: SourceIP
60
#       Source IP address for outgoing connections.
61
#
62
# Mandatory: no
63
# Default:
64
# SourceIP=
65
​
66
### Option: EnableRemoteCommands
67
#       Whether remote commands from Zabbix server are allowed.
68
#       0 - not allowed
69
#       1 - allowed
70
#
71
# Mandatory: no
72
# Default:
73
# EnableRemoteCommands=0
74
​
75
### Option: LogRemoteCommands
76
#       Enable logging of executed shell commands as warnings.
77
#       0 - disabled
78
#       1 - enabled
79
#
80
# Mandatory: no
81
# Default:
82
# LogRemoteCommands=0
83
​
84
##### Passive checks related
85
​
86
### Option: Server
87
#       List of comma delimited IP addresses (or hostnames) of Zabbix servers.
88
#       Incoming connections will be accepted only from the hosts listed here.
89
#       If IPv6 support is enabled then '127.0.0.1', '::127.0.0.1', '::ffff:127.0.0.1' are treated equally.
90
#
91
# Mandatory: no
92
# Default:
93
# Server=
94
​
95
Server={{ zabbix_server_ipaddr }}
96
​
97
### Option: ListenPort
98
#       Agent will listen on this port for connections from the server.
99
#
100
# Mandatory: no
101
# Range: 1024-32767
102
# Default:
103
# ListenPort=10050
104
​
105
### Option: ListenIP
106
#       List of comma delimited IP addresses that the agent should listen on.
107
#       First IP address is sent to Zabbix server if connecting to it to retrieve list of active checks.
108
#
109
# Mandatory: no
110
# Default:
111
# ListenIP=0.0.0.0
112
ListenIP={{ ansible_all_ipv4_addresses[0] }}
113
​
114
### Option: StartAgents
115
#       Number of pre-forked instances of zabbix_agentd that process passive checks.
116
#       If set to 0, disables passive checks and the agent will not listen on any TCP port.
117
#
118
# Mandatory: no
119
# Range: 0-100
120
# Default:
121
# StartAgents=3
122
​
123
##### Active checks related
124
​
125
### Option: ServerActive
126
#       List of comma delimited IP:port (or hostname:port) pairs of Zabbix servers for active checks.
127
#       If port is not specified, default port is used.
128
#       IPv6 addresses must be enclosed in square brackets if port for that host is specified.
129
#       If port is not specified, square brackets for IPv6 addresses are optional.
130
#       If this parameter is not specified, active checks are disabled.
131
#       Example: ServerActive=127.0.0.1:20051,zabbix.domain,[::1]:30051,::1,[12fc::1]
132
#
133
# Mandatory: no
134
# Default:
135
# ServerActive=
136
​
137
ServerActive={{ zabbix_server_ipaddr }}
138
​
139
### Option: Hostname
140
#       Unique, case sensitive hostname.
141
#       Required for active checks and must match hostname as configured on the server.
142
#       Value is acquired from HostnameItem if undefined.
143
#
144
# Mandatory: no
145
# Default:
146
# Hostname=
147
​
148
Hostname={{ ansible_hostname }} 
149
​
150
### Option: HostnameItem
151
#       Item used for generating Hostname if it is undefined. Ignored if Hostname is defined.
152
#       Does not support UserParameters or aliases.
153
#
154
# Mandatory: no
155
# Default:
156
# HostnameItem=system.hostname
157
​
158
### Option: HostMetadata
159
#       Optional parameter that defines host metadata.
160
#       Host metadata is used at host auto-registration process.
161
#       An agent will issue an error and not start if the value is over limit of 255 characters.
162
#       If not defined, value will be acquired from HostMetadataItem.
163
#
164
# Mandatory: no
165
# Range: 0-255 characters
166
# Default:
167
# HostMetadata=
168
​
169
### Option: HostMetadataItem
170
#       Optional parameter that defines an item used for getting host metadata.
171
#       Host metadata is used at host auto-registration process.
172
#       During an auto-registration request an agent will log a warning message if
173
#       the value returned by specified item is over limit of 255 characters.
174
#       This option is only used when HostMetadata is not defined.
175
#
176
# Mandatory: no
177
# Default:
178
# HostMetadataItem=
179
​
180
### Option: RefreshActiveChecks
181
#       How often list of active checks is refreshed, in seconds.
182
#
183
# Mandatory: no
184
# Range: 60-3600
185
# Default:
186
# RefreshActiveChecks=120
187
RefreshActiveChecks=300
188
​
189
### Option: BufferSend
190
#       Do not keep data longer than N seconds in buffer.
191
#
192
# Mandatory: no
193
# Range: 1-3600
194
# Default:
195
# BufferSend=5
196
​
197
### Option: BufferSize
198
#       Maximum number of values in a memory buffer. The agent will send
199
#       all collected data to Zabbix Server or Proxy if the buffer is full.
200
#
201
# Mandatory: no
202
# Range: 2-65535
203
# Default:
204
# BufferSize=100
205
​
206
### Option: MaxLinesPerSecond
207
#       Maximum number of new lines the agent will send per second to Zabbix Server
208
#       or Proxy processing 'log' and 'logrt' active checks.
209
#       The provided value will be overridden by the parameter 'maxlines',
210
#       provided in 'log' or 'logrt' item keys.
211
#
212
# Mandatory: no
213
# Range: 1-1000
214
# Default:
215
# MaxLinesPerSecond=20
216
​
217
############ ADVANCED PARAMETERS #################
218
​
219
### Option: Alias
220
#       Sets an alias for an item key. It can be used to substitute long and complex item key with a smaller and simpler one.
221
#       Multiple Alias parameters may be present. Multiple parameters with the same Alias key are not allowed.
222
#       Different Alias keys may reference the same item key.
223
#       For example, to retrieve the ID of user 'zabbix':
224
#       Alias=zabbix.userid:vfs.file.regexp[/etc/passwd,^zabbix:.:([0-9]+),,,,\1]
225
#       Now shorthand key zabbix.userid may be used to retrieve data.
226
#       Aliases can be used in HostMetadataItem but not in HostnameItem parameters.
227
#
228
# Mandatory: no
229
# Range:
230
# Default:
231
​
232
### Option: Timeout
233
#       Spend no more than Timeout seconds on processing
234
#
235
# Mandatory: no
236
# Range: 1-30
237
# Default:
238
# Timeout=3
239
Timeout=10
240
​
241
### Option: AllowRoot
242
#       Allow the agent to run as 'root'. If disabled and the agent is started by 'root', the agent
243
#       will try to switch to the user specified by the User configuration option instead.
244
#       Has no effect if started under a regular user.
245
#       0 - do not allow
246
#       1 - allow
247
#
248
# Mandatory: no
249
# Default:
250
# AllowRoot=0
251
​
252
### Option: User
253
#       Drop privileges to a specific, existing user on the system.
254
#       Only has effect if run as 'root' and AllowRoot is disabled.
255
#
256
# Mandatory: no
257
# Default:
258
# User=zabbix
259
​
260
### Option: Include
261
#       You may include individual files or all files in a directory in the configuration file.
262
#       Installing Zabbix will create include directory in /usr/local/etc, unless modified during the compile time.
263
#
264
# Mandatory: no
265
# Default:
266
# Include=
267
​
268
Include=/etc/zabbix/zabbix_agentd.d/
269
​
270
# Include=/usr/local/etc/zabbix_agentd.userparams.conf
271
# Include=/usr/local/etc/zabbix_agentd.conf.d/
272
# Include=/usr/local/etc/zabbix_agentd.conf.d/*.conf
273
​
274
####### USER-DEFINED MONITORED PARAMETERS #######
275
​
276
### Option: UnsafeUserParameters
277
#       Allow all characters to be passed in arguments to user-defined parameters.
278
#       The following characters are not allowed:
279
#       \ ' " ` * ? [ ] { } ~ $ ! & ; ( ) < > | # @
280
#       Additionally, newline characters are not allowed.
281
#       0 - do not allow
282
#       1 - allow
283
#
284
# Mandatory: no
285
# Range: 0-1
286
# Default:
287
# UnsafeUserParameters=0
288
​
289
### Option: UserParameter
290
#       User-defined parameter to monitor. There can be several user-defined parameters.
291
#       Format: UserParameter=<key>,<shell command>
292
#       See 'zabbix_agentd' directory for examples.
293
#
294
# Mandatory: no
295
# Default:
296
# UserParameter=
297
​
298
####### LOADABLE MODULES #######
299
​
300
### Option: LoadModulePath
301
#       Full path to location of agent modules.
302
#       Default depends on compilation options.
303
#
304
# Mandatory: no
305
# Default:
306
# LoadModulePath=${libdir}/modules
307
​
308
### Option: LoadModule
309
#       Module to load at agent startup. Modules are used to extend functionality of the agent.
310
#       Format: LoadModule=<module.so>
311
#       The modules must be located in directory specified by LoadModulePath.
312
#       It is allowed to include multiple LoadModule parameters.
313
#
314
# Mandatory: no
315
# Default:
316
# LoadModule=
317
​
318
####### TLS-RELATED PARAMETERS #######
319
​
320
### Option: TLSConnect
321
#       How the agent should connect to server or proxy. Used for active checks.
322
#       Only one value can be specified:
323
#               unencrypted - connect without encryption
324
#               psk         - connect using TLS and a pre-shared key
325
#               cert        - connect using TLS and a certificate
326
#
327
# Mandatory: yes, if TLS certificate or PSK parameters are defined (even for 'unencrypted' connection)
328
# Default:
329
# TLSConnect=unencrypted
330
​
331
### Option: TLSAccept
332
#       What incoming connections to accept.
333
#       Multiple values can be specified, separated by comma:
334
#               unencrypted - accept connections without encryption
335
#               psk         - accept connections secured with TLS and a pre-shared key
336
#               cert        - accept connections secured with TLS and a certificate
337
#
338
# Mandatory: yes, if TLS certificate or PSK parameters are defined (even for 'unencrypted' connection)
339
# Default:
340
# TLSAccept=unencrypted
341
​
342
### Option: TLSCAFile
343
#       Full pathname of a file containing the top-level CA(s) certificates for
344
#       peer certificate verification.
345
#
346
# Mandatory: no
347
# Default:
348
# TLSCAFile=
349
​
350
### Option: TLSCRLFile
351
#       Full pathname of a file containing revoked certificates.
352
#
353
# Mandatory: no
354
# Default:
355
# TLSCRLFile=
356
​
357
### Option: TLSServerCertIssuer
358
#      Allowed server certificate issuer.
359
#
360
# Mandatory: no
361
# Default:
362
# TLSServerCertIssuer=
363
​
364
### Option: TLSServerCertSubject
365
#      Allowed server certificate subject.
366
#
367
# Mandatory: no
368
# Default:
369
# TLSServerCertSubject=
370
​
371
### Option: TLSCertFile
372
#       Full pathname of a file containing the agent certificate or certificate chain.
373
#
374
# Mandatory: no
375
# Default:
376
# TLSCertFile=
377
​
378
### Option: TLSKeyFile
379
#       Full pathname of a file containing the agent private key.
380
#
381
# Mandatory: no
382
# Default:
383
# TLSKeyFile=
384
​
385
### Option: TLSPSKIdentity
386
#       Unique, case sensitive string used to identify the pre-shared key.
387
#
388
# Mandatory: no
389
# Default:
390
# TLSPSKIdentity=
391
​
392
### Option: TLSPSKFile
393
#       Full pathname of a file containing the pre-shared key.
394
#
395
# Mandatory: no
396
# Default:
397
# TLSPSKFile=

[Ansible] 6 . Ansible Playbook에서 Command line을 통해 입력 받은 변수 사용 방법

Ansible의 playbook은 작성 시 일반 프로그래밍 언어와 같은 변수(var)입력 기능을 지원한다.

변수는 대상 서버의 Facts 정보 또는 사용자가 입력한 값을 지정하여 활용할 수 있다.

여기서는 간단하게 Playbook 내 대상 host를 Adhoc 커맨드와 같이 특정 서버를 지정하여 실행하는 용도로 변수 기능을 활용할 예정이다.

[ansible-playbook man page] -e, --extra-vars set additional variables as key=value or YAML/JSON, if filename prepend with @

외부 변수 입력은 -e 옵션을 통해 지정 가능하다.

Playbook 내 아래와 같이 {{ input_host }} 변수 값을 지정한다.

1
[test@server1 ~]$ cat var.yml 
2
---
3
- hosts: "{{ input_host }}"
4
  remote_user: test
5
  gather_facts: no
6
  tasks:
7
    - name: 1. Test connection
8
      ping:

명령어 실행 시 "ansible-playbook var.yml -k -i hosts -e "input_host=server2" 로 실행하면,

Playbook 파일 내 hosts 값 변경 없이 아래와 같이 server2에만 Playbook을 실행할 수 있다.

1
[test@server1 ~]$ ansible-playbook var.yml -k -i hosts -e "input_host=server2"
2
SSH password: 
3
​
4
PLAY [server2] *********************************************************************************************************
5
​
6
TASK [1. Test connection] **********************************************************************************************
7
 [WARNING]: sftp transfer mechanism failed on [server2]. Use ANSIBLE_DEBUG=1 to see detailed information
8
​
9
ok: [server2]
10
​
11
PLAY RECAP *************************************************************************************************************
12
server2                    : ok=1    changed=0    unreachable=0    failed=0   
13
​

대상 서버를 변경하고 싶다면 Command Line에서 input_host 의 값을 "input_host=server4" 로 변경 후 실행하면 된다.

1
[test@server1 ~]$ ansible-playbook var.yml -k -i hosts -e "input_host=server4"
2
SSH password: 
3
​
4
PLAY [server4] *********************************************************************************************************
5
​
6
TASK [1. Test connection] **********************************************************************************************
7
 [WARNING]: sftp transfer mechanism failed on [server4]. Use ANSIBLE_DEBUG=1 to see detailed information
8
​
9
ok: [server4]
10
​
11
PLAY RECAP *************************************************************************************************************
12
server4                    : ok=1    changed=0    unreachable=0    failed=0   
13
​

[Ansible] 5 . Ansible 의 멱등성 이해 및 Cron 모듈 예제

Ansible의 멱등성 개요

Ansible의 기존 shell script 자동화 방식 대비 가장 큰 장점은 멱등성(idempotence)를 기본 개념으로 제공하는 것이라 생각한다.

멱등성(冪等性, 영어: idempotence) : 연산을 여러 번 적용하더라도 결과가 달라지지 않는 성질을 의미한다.

https://ko.wikipedia.org/wiki/%EB%A9%B1%EB%93%B1%EB%B2%95%EC%B9%99

자동화 솔루션 도입 시 가장 걱정되는 것은 버그나 예외상황에 의한 오동작으로 장애나 설정 오류가 발생하는 것이다.

Shell script를 직접 작성 시에는 모든 작업에 대해 if 문을 통한 상태 체크가 필요하거나 장애 케이스별 영향도 파악을 사전에 모두 완료해야한다.

하지만 ansible 에서 제공하는 모듈 대부분은 멱등성을 기반으로 제작되어 있기 때문에 운용자가 의도하지 않은 상황에서는 불필요한 중복 작업이 수행되지 않게 한다. task 수행 전 해당 모듈과 관련된 상태를 체크하여 문제가 없을 시에만 작업을 실행한다.

Cron 모듈과 멱등성 이해

ansible의 Cron은 Linux 시스템의 cron.d 와 crontab 을 관리하는 모듈이다.

운용자가 특정 계정으로 매분 단위 "ls -alh > /dev/null" 라는 명령어를 수행하고 싶다면,

Bash Shell의 echo로 /var/spool/cron 폴더 내 계정 파일에 crontab 작업을 추가하는 스크립트를 제작하면 된다.

이 경우 동일 명령어가 2번 수행 된다면 동일한 crontab 작업은 중복으로 2개가 추가된다.

ansible 의 Cron은 개별 cron job을 name 을 통해 관리한다.

운용자가 A 라는 crontab 작업 추가를 지시할 시 기존 crontab 내 A라는 작업이 있는지 사전에 확인한 후

동일 작업이 없을 경우에만 A job을 추가한다. 동일한 job이 있다면 해당 task를 pass 한다.

• When crontab jobs are managed: the module includes one line with the description of the crontab entry "#Ansible: <name>" corresponding to the “name” passed to the module, which is used by future ansible/module calls to find/check the state. The “name” parameter should be unique, and changing the “name” value will result in a new cron task being created (or a different one being removed).

[Playbook]

"* * * * * ls -alh > /dev/null" crontab job 을 추가하는 playbook

1
[november11@server1 ~]$ cat cron.yml 
2
---
3
- hosts: server2 
4
  remote_user: november11
5
  gather_facts: no
6
  tasks:
7
    - cron: 
8
        name: 1. Add Cron Job(2) 'ls -alh > /dev/null' 
9
        job: "ls -alh > /dev/null"

Playbook 실행 시 crontab job 추가 작업이 진행되었기 때문에 changed 상태가 1로 설정된다.

1
[november11@server1 ~]$ ansible-playbook cron.yml -k -i hosts
2
SSH password: 
3
​
4
PLAY [server2] *********************************************************************************************************
5
​
6
TASK [cron] ************************************************************************************************************
7
 [WARNING]: sftp transfer mechanism failed on [server2]. Use ANSIBLE_DEBUG=1 to see detailed information
8
​
9
changed: [server2]
10
​
11
PLAY RECAP *************************************************************************************************************
12
server2                    : ok=1    changed=1    unreachable=0    failed=0   
13
​
14
[november11@server1 ~]$ 

작업 대상인 server2에 아래와 같이 crontab job이 추가된 것을 확인할 수 있다.

1
[november11@server2 ~]$ crontab -l
2
#Ansible: 1. Add Cron Job(2) 'ls -alh > /dev/null'
3
* * * * * ls -alh > /dev/null
4
[november11@server2 ~]$ 

server1에서 동일 playbook 을 재실행 시에는 동일한 name으로 기존재 crontab job 이기 때문에 추가 작업이 미수행 되며 changed 상태는 0이 된다.

1
[november11@server1 ~]$ ansible-playbook cron.yml -k -i hosts
2
SSH password: 
3
​
4
PLAY [server2] *********************************************************************************************************
5
​
6
TASK [cron] ************************************************************************************************************
7
 [WARNING]: sftp transfer mechanism failed on [server2]. Use ANSIBLE_DEBUG=1 to see detailed information
8
​
9
ok: [server2]
10
​
11
PLAY RECAP *************************************************************************************************************
12
server2                    : ok=1    changed=0    unreachable=0    failed=0   
13
​
14
[november11@server1 ~]$ 

server2의 crontab 작업에는 변화가 없다.

1
[november11@server2 ~]$ crontab -l
2
#Ansible: 1. Add Cron Job(2) 'ls -alh > /dev/null'
3
* * * * * ls -alh > /dev/null

[Ansible] 4 . Ansible Playbook 에서 hosts 인벤토리 파일 지정

ansible-playbook 지정 시 Default hosts 파일 경로는 /etc/ansible/hosts 이다.

1
[test@server1 ~]$ cat /etc/ansible/hosts 
2
# This is the default ansible 'hosts' file.
3
#
4
# It should live in /etc/ansible/hosts
5
#
6
#   - Comments begin with the '#' character
7
#   - Blank lines are ignored
8
#   - Groups of hosts are delimited by [header] elements
9
#   - You can enter hostnames or ip addresses
10
#   - A hostname/ip can be a member of multiple groups 

해당 /etc/ansible/hosts 파일은 /etc/ 폴더 내에 존재하며 root 권한이 있어야만 작성 가능하다.

ansible playbook의 배포와 자유도를 높이기 위해서는 해당 파일에 종속되지 않는 인벤토리(Hosts) 파일이 필요하다.

ansible-playbook 실행 시 -i 옵션으로 작업 대상이 저장된 Inventory 파일의 지정이 가능하다.

1
[server@server1 ~]$ ansible-playbook -h | grep ' -i '
2
  -i INVENTORY, --inventory=INVENTORY, --inventory-file=INVENTORY

/etc/ansible/hosts 파일 내 hosts 정보를 삭제 후 -i 옵션 없이 ansible-playbook를 실행하면 "no hosts matched" 에러가 발생한다.

1
[test@server1 ~]$ ansible-playbook test.yml -k
2
SSH password: 
3
 [WARNING]: provided hosts list is empty, only localhost is available. Note that the implicit localhost does not match 'all'
4
​
5
 [WARNING]: Could not match supplied host pattern, ignoring: test
6
​
7
​
8
PLAY [test] *****************************************************************************************************************************************************************************************************************************
9
skipping: no hosts matched
10
​
11
PLAY RECAP ******************************************************************************************************************************************************************************************************************************

-i 옵션을 설정 시 이전과 같이 정상적으로 실행되는 것을 확인할 수 있다.

1

[test@server1 ~]$ cat hosts
[test]
server2
server3
server4

[test@server1 ~]$ ansible-playbook test.yml -k -i hosts
2
SSH password: 
3
​
4
PLAY [test] *****************************************************************************************************************************************************************************************************************************
5
​
6
TASK [1. Test connection] ***************************************************************************************************************************************************************************************************************
7
 [WARNING]: sftp transfer mechanism failed on [server3]. Use ANSIBLE_DEBUG=1 to see detailed information
8
​
9
 [WARNING]: sftp transfer mechanism failed on [server4]. Use ANSIBLE_DEBUG=1 to see detailed information
10
​
11
 [WARNING]: sftp transfer mechanism failed on [server2]. Use ANSIBLE_DEBUG=1 to see detailed information
12
​
13
ok: [server3]
14
ok: [server4]
15
ok: [server2]
16
​
17
PLAY RECAP ******************************************************************************************************************************************************************************************************************************
18
server2                    : ok=1    changed=0    unreachable=0    failed=0   
19
server3                    : ok=1    changed=0    unreachable=0    failed=0   
20
server4                    : ok=1    changed=0    unreachable=0    failed=0   

[Ansible] 3 . Ansible Playbook 에서 gather_facts 설정 해제

ansible 의 playbook을 아래와 같이 ping taks를 추가 후 실행하면 의도하지 않은 [Gathering Facts] 가 추가로 실행 됨을 확인할 수 있다.

Facts 는 원격 대상 시스템의 호스트 네임, CPU, Memory 정보 등을 수집하는 setup 모듈이다.

수집 관련 전체 항목은 ansible -m setup 를 통해 확인 가능하다.

ansible 에서는 playbook 실행 시 default 로 setup 모듈을 실행하여 관련 정보를 사전에 수집한다.

작업 대상 서버가 대규모라면 Gathering Facts 를 사전에 실행하는 시간이 매우 많이 소요될 것이다.

수집된 정보를 playbook 내부에서 사용하지 않는다면 해당 설정을 disable 해주는 것이 좋다.

Playbook 제작 시 초반 hosts 설정 하단에 "gather_facts: no" 옵션을 추가하자.

[Playbook]

1
---
2
- hosts: test 
3
  remote_user: test
4
  gather_facts: no
5
  tasks:
6
    - name: 1. Test connection
7
      ping:

Playbook 실행 시 [Gathering Facts] 가 사라졌으며 수행 시간도 훨씬 더 단축된 것을 체감할 수 있다.

1
[test@server1 ~]$ ansible-playbook test.yml -k 
2
SSH password: 
3
​
4
PLAY [test] ************************************************************************************************************
5
​
6
TASK [1. Test connection] **********************************************************************************************
7
 [WARNING]: sftp transfer mechanism failed on [server3]. Use ANSIBLE_DEBUG=1 to see detailed information
8
​
9
 [WARNING]: sftp transfer mechanism failed on [server4]. Use ANSIBLE_DEBUG=1 to see detailed information
10
​
11
 [WARNING]: sftp transfer mechanism failed on [server2]. Use ANSIBLE_DEBUG=1 to see detailed information
12
​
13
ok: [server4]
14
ok: [server3]
15
ok: [server2]
16
​
17
PLAY RECAP *************************************************************************************************************
18
server2                    : ok=1    changed=0    unreachable=0    failed=0   
19
server3                    : ok=1    changed=0    unreachable=0    failed=0   
20
server4                    : ok=1    changed=0    unreachable=0    failed=0