지혜를 창출할 창고

안녕하세요. 쿠버네티스 클러스터에 카프카를 설치(배포)하는 과정에 발생한 이슈입니다. 클러스터 상태 총 3대의 노드가 있고, 모두 taint 해제한 상태입니다. 이슈 내용 1번 마스터 노드에 뜬 kafka(노드)만 정상이고, 나머지는 권한 오류로 pod가 실행되지 않는 현상이었습니다. 심지어 1개 카프카만 2번 노드에 배포되도 권한 이슈가 발생했습니다. replicasCount 3 해결 이때는 볼륨 마운트 권한을 추가해주면 됩니다. helm install kafka bitnami/kafka --set volumePermissions.enabled=true --create-namespace --namespace kafka -f values.yaml strimzi부터 scrach까지 많은 시도를 했었지만, ..

vim으로 파일을 열었을 때 흑백인 경우 아래 명령어를 실행하면 됩니다. echo "\" Sets the default vim settings. source \$VIMRUNTIME/defaults.vim \" Enable syntax highlighting. syntax on " > ~/.vimrc 결과

1. PersistentVolume kafka, zookeeper PersistentVolume 정의 및 생성 (본문 내에 claimRef는 중복이니 편하신 방법으로 생성하시면 됩니다.) 1-1 kafka data persistent volume # vim kafka-persistent-volume.yaml apiVersion: v1 kind: PersistentVolume metadata: namespace: kafka name: kafka-pv labels: name: kafka spec: storageClassName: kafka-data capacity: storage: 2Gi volumeMode: Filesystem accessModes: - ReadWriteOnce claimRef: names..

ingress nginx에 timeout config 설정한 후로 webhook이 동작하고, ingress 수정할 때마다 validation이 일어나서 설정을 취소시키는 현상. 동작에 크게 작용하지 않기 때문에 admission은 제거하였습니다. Error from server (InternalError): error when creating "ingress-myapp.yaml": Internal error occurred: failed calling webhook "validate.nginx.ingress.kubernetes.io": Post https://ingress-nginx-controller-admission.ingress-nginx.svc:443/extensions/v1beta1/ingres..

보호되어 있는 글입니다.

여러 증상이 있었습니다. ufw 킨 상태로 calico가 정상 동작하지 않았고, (ufw 끄고 calico 실행 -> ufw on 하면 동작 됨) ingres-nginx-controller는 정상 동작중 controller log를 찍어보면 upstream timed out (110: Operation timed out) 발생 calico는 모두 run 상태 특정 노드에서 504 bad gateway가 발생 띄워놓은 서비스는 대략 6개 가량 있었고, 그 중 spark만 정상이었습니다. 마지막 추가했던 서비스를 하나씩 끄면서 오류 찾기..(헛짓ㅠ) kuvectl get po -A 현 상태에서도 504 bad gateway가 발생 문득 예전에 calico 말썽이 떠올라서 calico 로그를 확인해보니, 아래..

https://kubernetes.io/ko/docs/reference/kubectl/cheatsheet/ kubectl 치트 시트 이 페이지는 일반적으로 사용하는 kubectl 커맨드와 플래그에 대한 목록을 포함한다. Kubectl 자동 완성 BASH source plugins=(git ...) plugins=(git zsh-syntax-highlighting zsh-autosuggestions kubectl kube-ps1)

이번 글은 쿠버네티스에 프로메테우스 & 그라파나 설치입니다. 1. setup - 네임스페이스 및 네트워크 생성 git clone https://github.com/prometheus-operator/kube-prometheus.git cd kube-prometheus kubectl create -f manifests/setup 2. create - app 배포 kubectl create -f manifests/ alertmanager.monitoring.coreos.com/main created networkpolicy.networking.k8s.io/alertmanager-main created poddisruptionbudget.policy/alertmanager-main created prometh..

헬름을 이용한 spark 클러스터 생성하기입니다. (하나씩 구현했는데 이번엔 성공하지 못했어요.) helm은 너무 간편하고, 전 클러스터에 잡만 제출하면 되기 때문에.... 타협했습니다. namespace 생성 # vim ns.yaml apiVersion: v1 kind: Namespace metadata: name: spark kubectl apply -f ns.yaml bitnami helm helm repo add bitnami https://charts.bitnami.com/bitnami helm install spark bitnami/spark -n spark # Read more about the installation in the Apache Spark packaged by Bitnami C..

mac spark java scala Ventura 13.1 version 3.3.1 19.0.1 2.12.15 로컬에 설치된 버전입니다. # java openjdk 17.0.5 2022-10-18 LTS OpenJDK Runtime Environment Zulu17.38+21-CA (build 17.0.5+8-LTS) OpenJDK 64-Bit Server VM Zulu17.38+21-CA (build 17.0.5+8-LTS, mixed mode, sharing) # scala Scala code runner version 3.2.1 -- Copyright 2002-2022, LAMP/EPFL 진행 순서 홈브루에 스크립트 설치 java 설치 scala 설치 (선택) spark 설치 hello world..