[GlusterFS] GlusterFS Client 연동 방법

GlusterFS 로 생성한 Volume을 Mount 하는 방법은 3가지가 있다. 

1. Gluster Fuse 모듈을 활용한 Native Client 접속
2. Network Storage를 지원하는 NFS 프로토콜로 접속
3. Windows Samba와 같은 SMB 프로토콜 접속(거의 사용하지 않음)

1. Gluster Fuse 모듈을 활용한 Native Client 접속

1) glusterfs fuse module 설치

1
yum install glusterfs glusterfs-fuse

2) glusterfs 파티션 type 으로 /etc/fstab에 추가

1
/etc/fstab 내 아래 예제 참고하여 추가 
2
server1:/test-volume /mnt/glusterfs glusterfs defaults,_netdev 0 0

3) /etc/fstab에 추가한 파티션 mount

1
mount -a 로 파티션 추가 후
2
df -h 로 추가된 파티션 확인

2. Network Storage를 지원하는 NFS 프로토콜로 접속

GlusterFS 에서는 Gluster NFS와 NFS-Ganesha 2가지로 NFS를 지원한다.

• Glsuter NFS는 NFSv3만 지원하며
• NFS-Ganesha는 NFSv3, NFSv4.x, pNFS 프로토콜을

지원한다. 

1) nfs type으로 /etc/fstab 에 추가

1
아래 예제 참고하여 추가
2
server1:/test-volume /mnt/glusterfs nfs defaults,_netdev,mountproto=tcp 0 0

2) mount 및 파티션 확인

Native client 설정과 동일하다. 

1
mount -a
2
df -h

Trouble Shooting

• NFS mount실패 시에는 해당 volume을 재시작 하면 된다.

1
gluster volume stop <VOLUME>
2
gluster volume start <VOLUME> 

• NFS의 경우 nfsrpc가 정상 동작 하지 않을 경우 문제가 발생할 수 있다. 

  GlusterFS 서버에서는 rpcbind의 상태 체크가 필요하다

1
[root@server ~]# systemctl status rpcbind
2
● rpcbind.service - RPC bind service
3
   Loaded: loaded (/usr/lib/systemd/system/rpcbind.service; indirect; vendor preset: enabled)
4
   Active: active (running) since 수 2017-01-04 13:58:45 KST; 1 years 6 months ago
5
 Main PID: 3151 (rpcbind)
6
   CGroup: /system.slice/rpcbind.service
7
           └─3151 /sbin/rpcbind -w
8
​
9
Warning: Journal has been rotated since unit was started. Log output is incomplete or unavailable.
10
​

• NFS volume이 mount 됐음에도 불구하고 nfs.log에 "RPC program version not available" 로그가 남을 경우

  위 문제가 지속될 경우 문제의 Client가 mount 시도하는 Gluster NFS서버의 NFS 데몬이 crash 된다. 

  Gluster NFS는 NFSv3만 지원한다. 

  Client측에서 별도의 version을 지정하지 않을 경우 version 4로 mount를 시도하기 때문에 문제가 발생한다.

1
[2018-08-02 12:26:48.869277] W [rpcsvc.c:273:rpcsvc_program_actor] 0-rpc-service: RPC program version not available (req 100003 2) for 1.1.1.1:54849
2
[2018-08-02 12:26:48.869553] E [rpcsvc.c:560:rpcsvc_check_and_reply_error] 0-rpcsvc: rpc actor failed to complete successfully
3
[2018-08-02 12:26:48.870644] W [rpcsvc.c:273:rpcsvc_program_actor] 0-rpc-service: RPC program version not available (req 100003 2) for 1.1.1.1:54849
4
[2018-08-02 12:26:48.870681] E [rpcsvc.c:560:rpcsvc_check_and_reply_error] 0-rpcsvc: rpc actor failed to complete successfully

(해결방법) 해당 문제를 해겨 하기 위해서 Client 측에서 mount 시 version 3를 지정하며, noacl 모드를 설정해야 한다. 

1
mount -t nfs -o vers=3,noacl server1:/test-volume /mnt/glusterfs

Redhat Gluster Storage Guide 문서 관련 원문 

Q: Therpc actor failed to complete successfullyerrorisdisplayedinthenfs.log, even after the volume is mounted successfully. 

A: gluster NFS supports only NFS version 3. When nfs-utils mounts a client when the version is not mentioned, it tries to negotiate using version 4 before falling back to version 3. This is the cause of the messages in both the server log and the nfs.log file. 

[2013-06-25 00:03:38.160547] W [rpcsvc.c:180:rpcsvc_program_actor] 0- rpc-service: RPC program version not available (req 100003 4) [2013-06-25 00:03:38.160669] E [rpcsvc.c:448:rpcsvc_check_and_reply_error] 0-rpcsvc: rpc actor failed to complete successfully 

To resolve the issue, declare NFS version 3 and the noacl option in the mount command as follows: 

# mount -t nfs -o vers=3,noacl server1:/test-volume /mnt/glusterfs

[GlusterFS] GlusterFS 설정 파일 구조 분석

glusterfs는 /var/lib/glusterd 폴더 내 설정 값으로 저장된다.

/var/lib/glusterd 내 파일들은 Gluster 관리 데몬에 의해 생성된 값만 유효하다.

운용자가 수동으로 변경했을 경우 정상 동작을 보장하지 않는다.. 

Server and Client용 vol file

• Server and Client용 vol file 경로 : /var/lib/glusterd/vols//

1. volume 구성 정보 확인 /var/lib/glusterd/vols//info 파일로 확인 

   • 4+2 Dispersed Volume인 경우

   1
   [root@server volume]# cat info
   2
   type=4                  #Type 4 : Disperse
   3
   count=6                 #전체 brick Count
   4
   status=1                #Volume 상태
   5
   sub_count=6             
   6
   stripe_count=1          #Stripe Count
   7
   replica_count=1         #Replica Count
   8
   disperse_count=6        #Disperse Count
   9
   redundancy_count=2      #Disperse 중 Redundancy Count
   10
   ... 

   • 1+2 Disperse Volume인 경우

   1
   [root@server volume]# cat info
   2
   type=4                  #Type 4 : Disperse
   3
   count=3                 #전체 brick Count
   4
   status=1                #Volume 상태
   5
   sub_count=3
   6
   stripe_count=1          #Stripe Count
   7
   replica_count=1         #Replica Count
   8
   disperse_count=3        #Disperse Count
   9
   redundancy_count=1      #Disperse 중 Redundancy Count
   10
   version=3
   11
   ...

   • 3 replicate Volume인 경우

   1
   [root@server volume]# cat info
   2
   type=2                  #Type 2 : Replicate
   3
   count=3                 #전체 brick Count
   4
   status=1                #Volume 상태
   5
   sub_count=3
   6
   stripe_count=1          #Stripe Count
   7
   replica_count=3         #Replica Count
   8
   disperse_count=0
   9
   redundancy_count=0
   10
   version=3
   11
   ...

Management Daemon 용 vol file

• Management Daemon 용 vol file 경로 : /etc/glusterfs/glusterd.vol 

  1
  [root@server glusterfs]# cat glusterd.vol
  2
  volume management
  3
      type mgmt/glusterd
  4
      option working-directory /var/lib/glusterd
  5
      option transport-type socket,rdma
  6
      option transport.socket.keepalive-time 10
  7
      option transport.socket.keepalive-interval 2
  8
      option transport.socket.read-fail-log off
  9
      option ping-timeout 0
  10
      option event-threads 1
  11
  #   option lock-timer 180
  12
  #   option transport.address-family inet6
  13
  #   option base-port 49152
  14
  end-volume
  15
  [root@P-TVIEW-GLUSTER4-1 glusterfs]#

   

[GlusterFS] GlusterFS 명령어

GlusterFS version 확인

glusterfs --version 또는 glusterd --version

1
[root@P-GlusterNAS01 ~]# glusterfs --version
2
glusterfs 3.8.5 built on Oct 13 2016 13:27:15
3
Repository revision: git://git.gluster.com/glusterfs.git
4
Copyright (c) 2006-2013 Red Hat, Inc. <http://www.redhat.com/>
5
GlusterFS comes with ABSOLUTELY NO WARRANTY.
6
It is licensed to you under your choice of the GNU Lesser
7
General Public License, version 3 or any later version (LGPLv3
8
or later), or the GNU General Public License, version 2 (GPLv2),
9
in all cases as published by the Free Software Foundation.
10
[root@P-GlusterNAS01 ~]#

1
[root@D-GlusterNAS01 ~]# glusterd --version
2
glusterfs 3.8.5 built on Oct 13 2016 13:27:15
3
Repository revision: git://git.gluster.com/glusterfs.git
4
Copyright (c) 2006-2013 Red Hat, Inc. <http://www.redhat.com/>
5
GlusterFS comes with ABSOLUTELY NO WARRANTY.
6
It is licensed to you under your choice of the GNU Lesser
7
General Public License, version 3 or any later version (LGPLv3
8
or later), or the GNU General Public License, version 2 (GPLv2),
9
in all cases as published by the Free Software Foundation.
10
[root@D-GlusterNAS01 ~]#