Python/colab

csv 파일 공개 저장소에서 불러오기 on colab

PSAwesome 2020. 10. 31. 01:44
반응형

안녕하세요.

github 계정 생성과 raw 데이터를 공개 저장소인 github에 올리고 호출하는 과정이 막막하다는 내용을 보고 글을 작성하게 되었습니다.

글을 읽으시는 분에게 조금이나마 도움이 되길 바랍니다.

 

비개발직에 계신 분들이 많은 것 같아 아래의 행동 화면을 담게 되었습니다.

  1. csv 파일 다운로드 (기상청)
  2. github 계정 생성
  3. repository 생성
  4. 파일 업로드
  5. colab에서 호출하기

 

csv 파일 다운로드

해당 데이터는 공공데이터인 기상청 데이터를 기준으로 진행합니다.

 

1. 다운로드

https://data.kma.go.kr/stcs/grnd/grndRnDay.do?pgmNo=156

저는 위 주소에서 csv 파일을 받았지만, 실제 활용하시는 데이터를 내려받으시면 되겠습니다.

 

 

csv 다운로드 화면

 

2. github 계정 생성

 

2-1. 아래 sign up for Github를 클릭하시면 됩니다.

 

2-2. 사용하실 계정 입력 후 Create account를 클릭

계정 입력

 

3-1. 오른쪽 위 버튼으로 repository 화면으로 이동

 

3-2. 새로운 repository를 생성합니다.

repository(저장소)에 csv 파일을 업로드 하고 그 주소를 colab에서 불러올 예정입니다.

 

repository 생성하기

 

3-3. repository 이름을 지정하고, README.md 파일을 추가하도록 설정합니다.

 

4-1. 파일 업로드하기

 

4-2. [1]번에서 다운로드한 기상청 데이터를 업로드 합니다.

upload

 

4-3. raw 데이터 확인

아래 포커스처럼 제목을 클릭하시면 해당 파일 내용을 볼 수 있는 페이지로 이동합니다.

 

4-4. csv 파일 내용 확인하기

table 형태의 데이터 확인

 

4-5. 별첨

파일명이 csv인데, [4-4]처럼 테이블 형태가 나오지 않고, 4-5의 이미지처럼 나온다면

4-6. 별첨을 진행해주세요.

4-5 깨진 csv (csv 형태가 아닌 요소가 있는 경우)

 

4-6. 별첨 - 사람의 손으로 불필요한 데이터를 삭제하는 작업

더보기

* Edit this file 클릭

아래 데이터를 보시면

연도,1월,2월,3월 식으로 테이블 모양이 나오지 않고 있습니다.

 

 

* 데이터를 확인해보니, 파일 내용 중간에 다른 형태의 데이터가 있어 제거하는 작업을 진행하였습니다.

 

불필요 데이터 제거로 csv 파일 형식을 맞춤

 

* 파일을 저장하기 또는 반영하기

 

commit changes를 눌러 파일을 저장(반영)함.

 

 

* 위 작업을 마친 후 데이터가 테이블 형태로 확인되고 있습니다.

 

 

 

* 아래 이미지는 한글 파일명인 STCS_강수일수_MNH 를 STCS_precipitation_days_MNH로 변경하였습니다.

오류 데이터 제거 후 보이는 데이터 형태

 

 

4-7. Raw 클릭

 

4-8. url 복사하기

 

 

5-1. colab에서 호출하기

pandas를 통해 호출한 결과입니다.

 

colab 공유 주소입니다.

colab.research.google.com/drive/1w196DkY1v4FHrUk5eznrCIain9lRPCou?usp=sharing

 

Google Colaboratory

 

colab.research.google.com

감사합니다.

 

반응형