지혜를 창출할 창고

mac spark java scala Ventura 13.1 version 3.3.1 19.0.1 2.12.15 로컬에 설치된 버전입니다. # java openjdk 17.0.5 2022-10-18 LTS OpenJDK Runtime Environment Zulu17.38+21-CA (build 17.0.5+8-LTS) OpenJDK 64-Bit Server VM Zulu17.38+21-CA (build 17.0.5+8-LTS, mixed mode, sharing) # scala Scala code runner version 3.2.1 -- Copyright 2002-2022, LAMP/EPFL 진행 순서 홈브루에 스크립트 설치 java 설치 scala 설치 (선택) spark 설치 hello world..

이번 글은 postgres 배포입니다. 곧 사용할 것 같은 RDB이고, 큰 비중은 없어서 postgres 선택했습니다. 아래와 같은 순서로 진행됩니다. 네임스페이스 작성 컨피그맵 작성 스토리지 작성 퍼시스턴트 볼륨 퍼시스턴트 볼륨 클래임 배포(deployment) 작성 서비스 작성 배포 실행 hello world 입력 # vim postgres-ns apiVersion: v1 kind: Namespace metadata: name: db 네임스페이스 생성 # vim postgres-configmap.yaml apiVersion: v1 kind: ConfigMap metadata: name: postgres-config namespace: db labels: app: postgres data: POSTGR..

보호되어 있는 글입니다.

공식 문서 https://kubernetes.io/docs/tasks/tools/install-kubectl-linux/ # 하드웨어 정보 hwinfo --short OS RAM CPU-core GPU Ubuntu 22.04.1 LTS 64 8 3080 - 8G Ubuntu 22.10 16 8 3070 - 8G Ubuntu 22.10 12 4 - kubernetes 및 container 정보 kubectl version --short Client Version: v1.25.5 Kustomize Version: v4.5.7 Server Version: v1.25.5 kubernetes kustomize-version kernel-version container-runtime v1.25.5 v4.5.7 5...

운영하기 더 편한 cluster를 찾아서 이번엔 kubespray를 설치해봅니다. (처음엔 centos + ubuntu로 하였으나, ubuntu로 통일했습니다.) cluster 총 3대의 pc 스펙은 아래와 같습니다. os node cpu-core gpu ram (GB) Ubuntu 22.04 master 8 3080 64 playbook Ubuntu 22.10 master 8 3070 16 playbook Ubuntu 22.10 worker 4 - 12 playbook macOS ventura 13.0.1 ansible 실행자 하드웨어 검색 sudo apt install hwinfo -y disabled memory swap - ALL node sudo swapoff -a enabled ip forwa..

우분투 버전 확인 lsb_release -a nvidia driver 확인 cat /proc/driver/nidia/version nvidia 정보 확인 nvidia-smi 일단 전 설치되지 않아서 설치를 진행합니다. 제가 사용하는 노트북은 3080, 3070이고 조금 낮은 515 버전을 선택했습니다. 전체 삭제 sudo apt-get remove --purge '^nvidia-.*' sudo apt-get remove --purge '^libnvidia-.*' sudo apt-get remove --purge '^cuda-.*' 설치 sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update -y sudo apt install nvidia-dri..

문제점 22.10부터 openSSH 버전이 바뀌어서 socket 통신의 설정이 필요. PubKey 설정을 하지 않고 아래대로 진행하면, ssh 접속이 안 됩니다. PubKey 설정을 하실 예정이라면 먼저 아래 글을 확인하시길 권장합니다. 2022.10.03 - [Linux] - 리눅스 서버 설치 후 해야할 작업 (for ssh) ufw allow 5678 및 reload 후 sshd_config 파일을 아래와 같이 변경해도 defaultPort가 바뀌지 않는 현상이 생겼습니다. # /etc/ssh/sshd_config # This is the sshd server system-wide configuration file. See # sshd_config(5) for more information. # Th..

home 디렉터리 이름을 바꿨더니 일부 app이 먹통이네요. 변경 전 디렉터리를 자꾸 바라봐서 docker 캐시랑 함께 삭제 후 재설치 하였습니다. brew uninstall docker sudo rm -rf /Library/PrivilegedHelperTools/com.docker.vmnetd sudo rm -rf /Library/LaunchDaemons/com.docker.vmnetd.plist sudo rm -rf /usr/local/lib/docker sudo rm -rf ~/.docker sudo rm -rf ~/Library/Application Support/Docker Desktop sudo rm -rf ~/Library/Preferences/com.docker.docker.plist su..

수강한 강의 목록 교육기관 강사 강의 제목 기억에 남는 점 링크 러닝 스푼즈 Lukas 카카오 엔지니어와 데이터 엔지니어링 입문 on Cloud - https://learningspoons.com/course/detail/cloud_engineering/ 패스트 캠퍼스 김건우 실시간 빅데이터 처리를 위한 Spark & Flink - https://fastcampus.co.kr/data_online_flink

kubernetes delete all command because occurred error control plane network while install kubeadm sudo su kubeadm reset systemctl stop kubelet systemctl disable kubelet rm -rf /etc/cni/net.d $HOME/.kube/config sudo rm /usr/local/bin/kubectl snap remove kubectl snap remove kubeadm snap remove kubelet apt-get remove kubectl kubeadm kubelet -y ubuntu 22.10 # root sudo su # dependency apt-get remove ..