반응형 Cluster19 Kubernetes cluster 초기화(Reset) Kubernetes cluster 구성하다가, 실패했을대, 초기상태로 되돌리는 방법. # kubeadm reset 위 명령은 kubeadm init 혹은 kubeadm join 에 의해 수행된 내용을 최대한 되돌립니다. "RESET" 명령시 아래의 단계를 실행Preflight : pre-flight checks를 되돌린다. Update-cluster-status : 해당 노드를 ClustersStatus 에서 제거한다. Remove-etcd-member : 로컬 etcd 맴버를 제거한다.Cleanup-node : Node cleanup을 실행한다. * CNI 설정은 clean 되지 않는다, 수동 제거 필요. * Iptables 규칙은 제거 되지 않는다. * IPVS 별도 삭제 필요. * Kubeco.. 2025. 3. 25. Kubernetes Cluster Version Upgrade(kubeadm) 쿠버네티스 클러스터 버전 업그레이드 작업 업그레이드 순서Control-Plane 노드 업그레이드 (Control-Plane Node가 2개 이상의 경우) 다른 Control-Plane 노드 업그레이드WorkerNodes 업그레이드필요사항모든 노드가 Ready 상태Swap 비활성화Node Draining 필요. (Container Spec hash 값이 변경되었으므로, 모든 컨테이너(pod)는 업그레이드후 재시작 됩니다. 따라서, 사전에 Node Drain 을 진행해두면 영향도를 최소화 할 수 있습니다. )업그레이드 전에 릴리즈노트를 자세히 확인이 필요. (업그레이드 되면, 일부 사용하지 못하는 command들이 나올 수 있다. ) 업그레이드 할 버전 결정. # yum list --showdup.. 2025. 3. 21. Elasticsearch 안정적인 클러스터 운영 노하우 노드 부트스트랩 과정 이해마스터 노드와 데이터 노드 분리하기클러스터 관리 API주요 체크포인트 [노드 부트스트랩 과정 이해]노드 부트스트랩 = 노드가 최초 실행시, 동작할 환경을 체크하는 작업을 스스로 수행한다. Elasticsearch에서는 운영시 발생 가능한 다양한 문제점을 미연에 방지하기 위해, 엘라스틱서치 노드가 실행될 때 좀 더 강력한 검사를 수행하게 된다. 부트스트랩 체크 과정을 통해 필수 설정이 잘못되어 있을 경우, 사용자에게 알리고 해당 설정이 정상적으로 수정 될때까지 엘라스틱서치를 강제 종료반드시 필수 설정이 완료 되어야만 실행되도록 강제한다. 이러한 노드 부트스트랩 과정이 항상 실행할 필요는 없지만, 운영환경의 경우는 필수로 필요하다. 개발 모드(Development Mode)로컬동.. 2024. 8. 6. ElasticSearch Cluster 구성 고려사항 시스템 규모가 커지면, 노드들의 성격에 따라 전용 노드를 구성하고 그에 맞는 하드웨어와 운영방식이 필요하다. 또한 가용성을 높이기 위해 HA 방안도 고민해야 하는데, 마스터 후보 전용 노드는 가능하면 홀수(1,3,5)배열로 구성하며, 나머지 노드들은 하드비트를 통해 주기적으로 상태 검사를 수행해는 것이 중요하다. 성능과 안정성을 위한 운영 클러스터 고려사항엘라스틱서치를 실제 서비스로 운영하기 위해서 가장 신경써야 할 부분은 서비스의 안정성과 지속성일 것이다. 아무리 빠른 성능이라도 요청량을 수용하지 못하거나 검색을 제대로 처리하지 못한다면 운영에서는 사용할 수 없을것이다. 노드 구성 계획마스터 노드 : 최소 3개데이터 노드 : 최소 2대 ~ @이외에 인덱싱 부하량에 따라 : 인제스트 노드 추가검색 부.. 2024. 5. 28. ElasticSearch 샤드의 최적화 클러스터는 인덱스를 최대 몇 개까지 생성할 수 있을까?하나의 샤드 크기는 과연 얼마가 적당한가?ElasticSearch로 서비스를 운영하고 있다면, 모두가 고민해봤을만한 주제이다. 시간이 지날 수록 데이터의 크기는 점점 커지고, 서비스는 살아있는 생물 같아서 관심을 주지 않으면 금방 엉망이 되어 버진다. 현재 서비스가 월활하게 된다고 해서 앞으로도 서비스가 월활하게 될것이라는 보장은 없다. 데이터가 계속 증가할 수 있기 때문에, 항상 최적화를 위해 고민해야 한다는 것이다. 운영 중에 샤드의 개수를 수정해도 되는가?원칙적으로 클러스터를 운영중에 인덱스의 샤드 개수를 수정하는 것은 불가능하다. 하지만, 서비스를 운영하다보면, 데이터의 크기가 점점 더 커지고 너무 많은 데이터가 쌓이면, 샤드의 부하가 발생할.. 2024. 5. 28. RedisClusterNode Validate that the Redis URI are equal when comparing nodes [이슈 현상] Redis Cluster의 Node IP가 변경되어도, RoundRobinSocketAddressSupplier는 변경된 Node IP로 새로고침을 하지 않고, 이전의 IP로 계속 연결을 시도합니다. [환경] Lettuce 버전 : 5.1.8 버전 Redis 버전 : 5.0.5 Kubernetes에서 6개의 Pod로 Redis Cluster를 구축 Statefulset을 통해서 Redis-cluster 배포 Redis Pod중 일부가 재시작되면서, Redis의 NodeID는 같지만, IP가 변경됨 Redis Cluster는 깨지지 않음. Lettuce에서는 Redis Pod의 이전IP를 사용하여 연결을 시도함. [예상되는 동작] 노드의 IP가 변경되면, 변경된IP를 Catch 하여 새로운 .. 2023. 9. 4. 이전 1 2 3 4 다음 반응형
