관성을 이기는 데이터

firestore를 사용하기 위해 먼저 구글 클라우드 플랫폼의 IAM 관리자에서 서비스 계정을 하나 만들어준다(이미 있으면 pass) 서비스계정을 만들면 자동으로 인증키 json 파일이 다운로드 된다. 해당 파일을 가지고 나의 firebase_admin을 초기화해주면 설정 완료. 설정(키 인식)이 끝났다면, 데이터를 넣어본다. 만약 doc_ref 변수로 지정한 collection과 document가 없다면 알아서 생성된다. *데이터 구조: 컬렉션 > 문서 > 필드 > 데이터 기존에 가지고 있던 collection, document가 있다면, 해당 경로에 데이터가 추가된다 문서 아래에는 하위 컬랙션을 추가할 수도 있다. 해당 컬랙션에는 message 정보를 담아보자 만약, 데이터프레임 형태의 데이터를 가지..

도커 컨테이너 전체 삭제 $docker container rm -f$(docker ps -aq) 도커 이미지 전체 삭제 $docker image rm -f$(docker images -q)

sklearn.metrics.confusion_matrix reference : sklearn.metrics.confusion_matrix, scikit-learn.org 분류 성능평가, 데이터사이언스스쿨 Document sklearn.metrics.confusion_matrix(y_true, y_pred, *, labels=None, sample_weight=None, normalize=None) 사용 예시 from sklearn.metrics import confusion_matrix y_true = [2, 0, 2, 2, 0, 1] y_pred = [0, 0, 2, 2, 0, 2] confusion_matrix(y_true, y_pred) array([[2, 0, 0], [0, 0, 1], [1, ..

설치 $brew install tmux 세션 시작$tmux new -s session_name 실행중인 세션 리스트 $tmux list 실행중인 세션 연결$tmux attach -t session_number (or session_name) 화면 분할(위/아래로) (ctrl + b) " 화면 분할(왼쪽/오른쪽으로) (ctrl + b) % 분할 화면간 이동 (ctrl + b) o 세션 유지하고 나가기 (ctrl + b) d

기존 git의 커밋을 유지한 채 원격 저장소 위치만 변경 git remote set-url –push origin new_repo_name 단, 이 때 새 저장소에 뭔가 커밋된 이력이 있으면 pull 해서 저장소와 맞춘 다음 push 하거나 강제로 덮어써야한다.(force option 사용) git push -f origin main

데이터 파이프라인 구축 (1)에서 csv 파일의 텍스트 전처리가 필요했다. 해당 부분부터 이어서 kibana 대시보드 작업까지 진행한다. 지난 글에서 작성했지만, 작업환경과 파이프라인 flow도 다시 보자. """ 작업 환경: Macbook Pro 2019 - i9, 16GB GCP 가상 머신 4대 할당(e2-small 3대 + e2-medium 1대) 가상 머신 1대에 클러스터 1개 배치(클러스터당 노드도 1개씩) filebeat 설치(Local) logstash 설치(Local) elastic search 설치(e2-small 3개 각각 설치) kibana 설치(e2-medium 1대에 설치) 데이터: 서울시 상권 추정 매출(서울시 열린 데이터 광장 제공) 구축할 데이터 파이프라인 Flow: Beat..

reset_index(drop=True) 자꾸 까먹어서 적어놓는다. 데이터전처리가 끝난 후, 혹은 중간에 데이터 정리가 필요한 경우 reset_index()는 유용하게 사용된다. reset_index() 는 마치 엑셀, 구글스프레드시트의 고정된 index 번호처럼 0부터 순서대로 index를 정리해주는 함수다. 아래와 같은 과일의 특징을 정리한 데이터프레임이 있다고 해보자. print(df) x1 x2 x3 x4 Apple 1 1 0 0 Banana 1 0 1 1 Kiwi 0 1 1 0 reset_index() 함수를 사용해보면, 인덱스가 다시 정리되고 기존의 index는 새로운 '열'로 추가된다. print(df.reset_index()) index x1 x2 x3 x4 0 Apple 1 1 0 0 1..

Encoder LabelEncoder OneHotEncoder LabelBinarizer *reference : kaggle, Heart Attack Prediction_95.4% accuracy, Avinash Bagul* 머신러닝 프로젝트 실행-3, cyan91 1. LabelEncoder object 타입의 label을 숫자형으로 변환 머신러닝 모델은 모든 컬럼의 값을 숫자형으로 통일시켜줘야 하는데(혹은 categorical column은 제거해야 하는데) 이는 확률 모델이기 때문에 그렇다(+수식 계산이 가능해야 미분을 통한 학습이 이루어질 수 있다) 예시 코드 from sklearn.preprocessing import LabelEncoder le = LabelEncoder() X_encoded ..

reference : 도커(Docker) 입문편 [Docker]Docker File을 이용하여 Docker Image 만들기 vi/vim 편집기 명령어 정리 (단축키 모음/목록) 위 레퍼런스의 예시 명령어 요약 도커 저장소로부터 centos:latest image를 받아와 아래 기본 명령어들을 경험해본다. docker run -it centos:latest bash docker ps docker ps -a docker restart docker attach ubuntu:bionic image를 받아와 git을 설치해보고, 아래 명령어들을 통해 버전관리를 경험해본다. docker pull ubuntu:bionic docker run -it ubuntu:bionic bash /# git --version d..

terminal에서 폴더를 돌아다니다보면 git의 branch가 변하는 것을 볼 수 있다. remote 할 때 origin을 어느 브런치로 지정하였는지에 따라 현재(default) branch 이름이 바뀐다. TIA_main [main] git status 현재 브랜치 main 브랜치가 'origin/main'에 맞게 업데이트된 상태입니다. 커밋할 사항 없음, 작업 폴더 깨끗함 TIA_main [main] cd .. TIA [master] git status 현재 브랜치 master 브랜치가 'origin/main'에 맞게 업데이트된 상태입니다. 커밋할 사항 없음, 작업 폴더 깨끗함 현재 브런치와 Github Repository의 브런치가 일치하지 않는다면 git push가 불가능하다. 이 때는 아래와 ..