관성을 이기는 데이터

설치 $brew install tmux 세션 시작 $tmux new -s session_name 실행중인 세션 리스트 $tmux list 실행중인 세션 연결 $tmux attach -t session_number (or session_name) 화면 분할(위/아래로) (ctrl + b) " 화면 분할(왼쪽/오른쪽으로) (ctrl + b) % 분할 화면간 이동 (ctrl + b) o 세션 유지하고 나가기 (ctrl + b) d

기존 git의 커밋을 유지한 채 원격 저장소 위치만 변경 git remote set-url –push origin new_repo_name 단, 이 때 새 저장소에 뭔가 커밋된 이력이 있으면 pull 해서 저장소와 맞춘 다음 push 하거나 강제로 덮어써야한다.(force option 사용) git push -f origin main

reset_index(drop=True) 자꾸 까먹어서 적어놓는다. 데이터전처리가 끝난 후, 혹은 중간에 데이터 정리가 필요한 경우 reset_index()는 유용하게 사용된다. reset_index() 는 마치 엑셀, 구글스프레드시트의 고정된 index 번호처럼 0부터 순서대로 index를 정리해주는 함수다. 아래와 같은 과일의 특징을 정리한 데이터프레임이 있다고 해보자. print(df) x1 x2 x3 x4 Apple 1 1 0 0 Banana 1 0 1 1 Kiwi 0 1 1 0 reset_index() 함수를 사용해보면, 인덱스가 다시 정리되고 기존의 index는 새로운 '열'로 추가된다. print(df.reset_index()) index x1 x2 x3 x4 0 Apple 1 1 0 0 1..

Encoder LabelEncoder OneHotEncoder LabelBinarizer *reference : kaggle, Heart Attack Prediction_95.4% accuracy, Avinash Bagul* 머신러닝 프로젝트 실행-3, cyan91 1. LabelEncoder object 타입의 label을 숫자형으로 변환 머신러닝 모델은 모든 컬럼의 값을 숫자형으로 통일시켜줘야 하는데(혹은 categorical column은 제거해야 하는데) 이는 확률 모델이기 때문에 그렇다(+수식 계산이 가능해야 미분을 통한 학습이 이루어질 수 있다) 예시 코드 from sklearn.preprocessing import LabelEncoder le = LabelEncoder() X_encoded ..

reference : 도커(Docker) 입문편 [Docker]Docker File을 이용하여 Docker Image 만들기 vi/vim 편집기 명령어 정리 (단축키 모음/목록) 위 레퍼런스의 예시 명령어 요약 도커 저장소로부터 centos:latest image를 받아와 아래 기본 명령어들을 경험해본다. docker run -it centos:latest bash docker ps docker ps -a docker restart docker attach ubuntu:bionic image를 받아와 git을 설치해보고, 아래 명령어들을 통해 버전관리를 경험해본다. docker pull ubuntu:bionic docker run -it ubuntu:bionic bash /# git --version d..

terminal에서 폴더를 돌아다니다보면 git의 branch가 변하는 것을 볼 수 있다. remote 할 때 origin을 어느 브런치로 지정하였는지에 따라 현재(default) branch 이름이 바뀐다. TIA_main [main] git status 현재 브랜치 main 브랜치가 'origin/main'에 맞게 업데이트된 상태입니다. 커밋할 사항 없음, 작업 폴더 깨끗함 TIA_main [main] cd .. TIA [master] git status 현재 브랜치 master 브랜치가 'origin/main'에 맞게 업데이트된 상태입니다. 커밋할 사항 없음, 작업 폴더 깨끗함 현재 브런치와 Github Repository의 브런치가 일치하지 않는다면 git push가 불가능하다. 이 때는 아래와 ..

Multiple-Object Detection - Type A reference : Multiple-Object Detection (1) : R-CNN Multiple-Object Detection (2) : SPP-Net Multiple-Object Detection (3) : Fast R-CNN 갈아먹는 Object Detection [1] R-CNN 갈아먹는 Object Detection [2] Spatial Pyramid Pooling Network 갈아먹는 Object Detection [3] Fast R-CNN 갈아먹는 Object Detection [4] Faster R-CNN Multiple Object Detection의 동작 방식은 Region Proposal과 Classificatio..

로컬 서버에서 지정된 인코딩 정보와 파일의 인코딩 정보가 일치하지 않는 경우 terminal에서 해당 파일을 읽을 때 아래와 같이 한글이 깨질 수 있다. 해당 파일의 인코딩 정보는 $file -I filename 으로 확인할 수 있다.(윈도우는 $file -bi filename) 해당 파일의 charset은 iso-8859-1이다. 일반적으로 맥 서버의 한글 인코딩 설정은 utf-8로 되어있다. 이렇게 인코딩 정보가 다르면 한글을 정상적으로 읽을 수 없기 때문에 vim으로 파일을 열어서 인코딩 형식을 변경해준다. 그러고나서 다시 인코딩 정보를 확인하면 utf-8로 변경된 것을 확인할 수 있고, 한글도 정상적으로 출력된다.

키바나를 elastic search와 연동하여 실행시 default로 실시간 데이터가 적재된다. 만약 테스트를 위한 작은 VM을 띄우고 실습한다면, 용량에 부담을 주고 ssh 서버 접속이 제한될 수 있으니 경우에 따라 제한할 필요가 있다. - 실행시 데이터 적재되는 모습 메모리 용량 조절을 위해 모니터링하지 않을때는 데이터가 쌓이지 않도록 Dev-Tools 탭에서 elastic search 명령으로 초기화할 수 있다. _cluster/settings에 persistent -> null 명령어를 실행해주면 아래와 같이 데이터 수집이 중단된다(붉은 선 기점으로 중단)

가상머신 Copy하는법(이미지생성) VM 인스턴스 탭 -> 이미지 생성 -> 생성된 이미지로 새로운 인스턴스 생성