IT Knowledge/기타

Redis Cluster On Kubernetes

Seok. 2023. 9. 3. 22:48
반응형

Redis Cluster를 Kubernetes 환경에 배포하기 위해선, StatusfulSets과 PersistentVolumes 의 조합이 필요합니다.

추가로, kubernetes cluster에서 활용하려면, Service 까지 필요합니다.

  • Redis Kubernetes 컨테이너 환경 구성
    • Redis Service
    • Redis ConfigMap
    • Redis StatusfulSets
    • Redis PersistentVolumes
  • Redis Cluster 구성
    • Redis Cluster 상태 확인

[Service 배포]

$ kubectl apply -f redis-svc.yaml

service/redis-cluster created

redis-svc.yaml
apiVersion: v1
kind: Service
metadata:
  name: redis-cluster
  namespace: myspace
  labels:
    app: redis-cluster
spec:
  type: ClusterIP
  ports:
  - port: 6379
    targetPort: 6379
    name: client
  - port: 16379
    targetPort: 16379
    name: gossip
  clusterIP: None
  selector:
    app: redis-cluster

 

[Configmap 배포]

Redis-configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: redis-cluster
  namespace: myspace
  labels:
    app: redis-cluster
data:
  update-node.sh: |
    #!/bin/sh
    REDIS_NODES="/data/nodes.conf"
    sed -i -e "/myself/ s/[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}/${POD_IP}/" ${REDIS_NODES}
    exec "$@"
  redis.conf: |+
    cluster-enabled yes
    cluster-require-full-coverage no
    cluster-node-timeout 15000
    cluster-config-file /data/nodes.conf
    cluster-migration-barrier 1
    appendonly no
    protected-mode no
    requirepass DEFAULT-PASSWORD
    masterauth DEFAULT-PASSWORD
    maxmemory 1gb
    maxmemory-policy allkeys-lru

Cluster-enabled : yes로 하면 cluster mode로 시작. No로 하면 standalone mode로 시작

Cluster-config-file /data/nodes.conf : nodes.conf 파일은 클러스터의 상태를 기록하는 바이너리 파일이다. 클러스터의 상태가 변경될때 마다 상태를 기록한다.

Cluster-node-timeout 15000 : 레디스 노드가 다운되었는지 판단하는 시간

Appendonly는 클러스터와 직접적인 연관이 있는 파라미터는 아니지만, 다운되었던 마스터 노드 재시작시, appendonly 파일에 가장 최근까지 데이터가 있으므로, 클러스터 운영시에는 yes를 권장한다.

 

[StatusFulSets 배포]

Redis-sts.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: redis-cluster
  namespace: myspace
  labels:
    app: redis-cluster
spec:
  serviceName: redis-cluster
  replicas: 6
  selector:
    matchLabels:
      app: redis-cluster
  template:
    metadata:
      labels:
        app: redis-cluster
    spec:
      containers:
      - name: redis
        image: repository/redis:5.0.5-alpine3.9
        resources:
          requests:
            cpu: 100m
            memory: 100Mi
          limits:
            cpu: 1000m
            memory: 1Gi
        ports:
        - containerPort: 6379
          name: client
        - containerPort: 16379
          name: gossip
        command: ["/conf/fix-ip.sh", "redis-server", "/conf/redis.conf"]
        readinessProbe:
          exec:
            command:
            - sh
            - -c
            - "redis-cli -h $(hostname) -a ${REDIS_PASSWORD} ping"
          initialDelaySeconds: 15
          timeoutSeconds: 5
        livenessProbe:
          exec:
            command:
            - sh
            - -c
            - "redis-cli -h $(hostname) -a ${REDIS_PASSWORD} ping"
          initialDelaySeconds: 20
          periodSeconds: 3
        env:
        - name: POD_IP
          valueFrom:
            fieldRef:
              fieldPath: status.podIP
        - name: REDIS_PASSWORD
          value: password
        volumeMounts:
        - name: conf
          mountPath: /conf
          readOnly: false
        - name: data
          mountPath: /data
          readOnly: false
        - name: tz-config
          mountPath: /etc/localtime
      volumes:
      - name: conf
        configMap:
          name: redis-cluster
          defaultMode: 0755
      - name: tz-config
        hostPath:
          path: /etc/localtime
  volumeClaimTemplates:
  - metadata:
      name: data
      labels:
        name: redis-cluster
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          storage: 3Gi
      storageClassName: kuber-storage

 

[Redis-cluster ip제대로 가지고 오는지 확인.]

$ kubectl get pods -n myspace -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP}{":6379 "}{end}'

 

 

[Redis-Cluster 구성 설정]

 

$ kubectl exec -it redis-cluster-0 -n myspace -- redis-cli -a "password" --cluster create --cluster-replicas 1 $(kubectl get pods -n myspace -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP}{":6379 "}{end}')

 

Redis 클러스터 구성 완료

 

 

[Redis 클러스터 상태 확인]

Redis-cluster-0 POD에서 확인

cluster info
cluster node

정상 확인

 

 

참조 : https://www.suse.com/c/rancher_blog/deploying-redis-cluster-on-top-of-kubernetes/

반응형