반응형

분류 전체보기 134

mkdir: cannot create directory '/bitnami/kafka/config': Permission denied

안녕하세요. 쿠버네티스 클러스터에 카프카를 설치(배포)하는 과정에 발생한 이슈입니다. 클러스터 상태 총 3대의 노드가 있고, 모두 taint 해제한 상태입니다. 이슈 내용 1번 마스터 노드에 뜬 kafka(노드)만 정상이고, 나머지는 권한 오류로 pod가 실행되지 않는 현상이었습니다. 심지어 1개 카프카만 2번 노드에 배포되도 권한 이슈가 발생했습니다. replicasCount 3 해결 이때는 볼륨 마운트 권한을 추가해주면 됩니다. helm install kafka bitnami/kafka --set volumePermissions.enabled=true --create-namespace --namespace kafka -f values.yaml strimzi부터 scrach까지 많은 시도를 했었지만, ..

kubernetes 2023.01.14

using helm deploy kafka on kubernetes

1. PersistentVolume kafka, zookeeper PersistentVolume 정의 및 생성 (본문 내에 claimRef는 중복이니 편하신 방법으로 생성하시면 됩니다.) 1-1 kafka data persistent volume # vim kafka-persistent-volume.yaml apiVersion: v1 kind: PersistentVolume metadata: namespace: kafka name: kafka-pv labels: name: kafka spec: storageClassName: kafka-data capacity: storage: 2Gi volumeMode: Filesystem accessModes: - ReadWriteOnce claimRef: names..

kafka 2022.12.25

Internal error occurred: failed calling webhook "validate.nginx.ingress.kubernetes.io"

ingress nginx에 timeout config 설정한 후로 webhook이 동작하고, ingress 수정할 때마다 validation이 일어나서 설정을 취소시키는 현상. 동작에 크게 작용하지 않기 때문에 admission은 제거하였습니다. Error from server (InternalError): error when creating "ingress-myapp.yaml": Internal error occurred: failed calling webhook "validate.nginx.ingress.kubernetes.io": Post https://ingress-nginx-controller-admission.ingress-nginx.svc:443/extensions/v1beta1/ingres..

kubernetes 2022.12.24

kubernetes nginx-ingress-controller 504 bad gateway 해결

여러 증상이 있었습니다. ufw 킨 상태로 calico가 정상 동작하지 않았고, (ufw 끄고 calico 실행 -> ufw on 하면 동작 됨) ingres-nginx-controller는 정상 동작중 controller log를 찍어보면 upstream timed out (110: Operation timed out) 발생 calico는 모두 run 상태 특정 노드에서 504 bad gateway가 발생 띄워놓은 서비스는 대략 6개 가량 있었고, 그 중 spark만 정상이었습니다. 마지막 추가했던 서비스를 하나씩 끄면서 오류 찾기..(헛짓ㅠ) kuvectl get po -A 현 상태에서도 504 bad gateway가 발생 문득 예전에 calico 말썽이 떠올라서 calico 로그를 확인해보니, 아래..

kubernetes 2022.12.23

deploy prometheus and grafana on kubernetes

이번 글은 쿠버네티스에 프로메테우스 & 그라파나 설치입니다. 1. setup - 네임스페이스 및 네트워크 생성 git clone https://github.com/prometheus-operator/kube-prometheus.git cd kube-prometheus kubectl create -f manifests/setup 2. create - app 배포 kubectl create -f manifests/ alertmanager.monitoring.coreos.com/main created networkpolicy.networking.k8s.io/alertmanager-main created poddisruptionbudget.policy/alertmanager-main created prometh..

kubernetes 2022.12.21

deploy spark on kubernetes - 스파크 쿠버네티스에 배포

헬름을 이용한 spark 클러스터 생성하기입니다. (하나씩 구현했는데 이번엔 성공하지 못했어요.) helm은 너무 간편하고, 전 클러스터에 잡만 제출하면 되기 때문에.... 타협했습니다. namespace 생성 # vim ns.yaml apiVersion: v1 kind: Namespace metadata: name: spark kubectl apply -f ns.yaml bitnami helm helm repo add bitnami https://charts.bitnami.com/bitnami helm install spark bitnami/spark -n spark # Read more about the installation in the Apache Spark packaged by Bitnami C..

카테고리 없음 2022.12.21
반응형