본문 바로가기

분류 전체보기56

Docker (2) - Ubuntu에 Docker 설치하기 도커에 대한 대략적인 이해가 되었으니 이제 사용해보자. 이번 글에서는 사용을 위한 첫 시작. 설치를 해볼 예정이다. 나는 AWS EC2 AMI 중 하나인 딥러닝 ubuntu위에 설치했다. 당장에는 GPU를 사용할 일은 없지만 도커를 설치하고 kaggle gpu 이미지를 설치해서 간단한 머신러닝이 돌아가는지 확인해볼 예정이다. Ubuntu 요구 사항 확인 도커 엔진을 사용하기 위해선 아래 하나의 우분투 중 64bit 버전이 필요하다. Ubuntu Focal 20.04 (LTS) Ubuntu Eoan 19.10 Ubuntu Bionic 18.04 (LTS) Ubuntu Xenial 16.04 (LTS) 또한, x86_64(혹은 amd64), armhf, arm64 아키텍처에서 동작한다. 구버전 도커 지우기 .. 2020. 7. 20.
Docker (1) - 입문자를 위한 Docker란 무엇인가? 현업에서 개발하다 보면 동일 서버를 사용하는 개발자들 간에 버전 이슈가 생기기도 하고, 새로운 툴이나 기술들을 테스트할 때 관련 패키지들을 설치하느라 애를 먹기도 한다. 그럴 때마다 새로운 버전을 설치했다가 다른 테스트 후 기존 버전으로 돌아갈 수도 없고, 새로운 서버를 생성한다면 그 서버로 데이터를 이동하는데 비용이 들뿐 들어 새로운 서버 비용은 어떻게 감당하겠는가. 하여 이런 통합적인 솔루션을 제공하기 위해서 나온 솔루션이 docker이다. 이번 글에는 docker에 대한 간략한 설명을 하고자 한다. 사실 나도 도커가 있다는 것만 알았지 사용해본 적이 없다. docker관련 글을 쓰면서 docker를 쓰는 습관을 길러보자. Docker란 무엇인가? 도커(Docker)는 컨테이너를 이용하여 어플리케이션.. 2020. 7. 20.
XGBoost (4) - 머신러닝으로 부동산 가격 예측 실습하기 / Tutorial 지루한 이론과 설치가 끝나고 드디어 실습이다. 이번 글에서는 sklearn에서 제공하는 보스턴 주택 가격 데이터를 이용해 xgboost 모델을 학습시키고 예측하기까지 해 볼 예정이다. 개발 환경 설치가 완료된 이상 대부분 개발환경의 제약은 받지 않으나 내가 개발한 환경은 다음과 같다. AWS Linux python 3.6.10 준비하기 이전 글에서 설치한 xgboost용 python을 활성화해준다. source /bin/activate sklearn, pandas, matplotlib, graphviz를 설치하지 않은 경우 설치해준다. pip install sklearn pandas matplotlib graphviz 앞에 sudo를 붙이거나 가상 환경을 활성화시키지 않은 상태로 설치하는 실수는 하지 말.. 2020. 7. 14.
XGBoost (3) - Python 가상 환경에 설치하기 저번 글에서는 파라미터와 개념 등 이론적인 면에 대해서 글을 썼다면 이번 글부터는 실습 위주의 포스팅이다. 나는 sw는 실행해보면서 이해하는 부분이 크기 때문에, 첫 이론 학습은 간략히, 실습은 세세하게, 이후 다시 이론을 학습하는 편을 선호한다. 이번 글은 실습의 시작인 설치 편이다. 각 환경에 따라 모두 설치 과정을 보여주고 싶었으나 너무 귀찮기에, 내 환경에서만 진행한다. 앞으로는 docker를 배워서 사용해볼까 생각 중이다. 20200721 업데이트 잠깐. docker 환경에 익숙하거나 사용해볼 의향이 있다면 아래 글을 참고해서 환경 구축을 하는 것을 추천한다. 사용해보니 너무 간단한다. 3줄로 간단히 머신러닝/딥러닝 환경 구축하기(docker kaggle image 설치/활용하기) 사전 필요 지.. 2020. 7. 13.
XGBoost (2) - Parameter 이해와 현업자의 설정 방법 이전의 글에서 언급한 것과 같이 XGBoost의 장점 중에는 오버핏에 강하고 다양한 파라미터 조정으로 최적화된 모델을 만들 수 있다고 했다. 이번 글에서는 이런 장점을 가능하게 해주는 XGBoost의 파라미터, 그중에서도 Tree Booster를 사용하기 위한 파라미터를 설명하고자 한다. (가장 많이 쓰이기도 하고, 다른 건 잘 안 써서 잘 모르기도 함) Tree Booster를 사용하기 위해서는 세 가지 유형의 파라미터를 설정해야 한다. General parameter : 일반적으로 트리 또는 선형 모델에서 부스팅을 수행하는 데 사용하는 부스터와 관련된 파라미터이다. Booster parameter : 선택한 부스터의 파라미터에 따라 다름. 이글에서는 Tree Booster parameter를 설명할 .. 2020. 7. 9.
XGBoost (1) - 입문용 예제로 개념 쉽게 이해하기 요즘 현업에서 자주 사용하는 모델 중 하나가 XGBoost이다. 개인적으로 내 업무는 Data Scientist보다 Data Engineer에 가까워서 모델에 관해 심도 깊은 이해는 필요 없지만, 어느 정도의 이해는 필요하다고 생각된다. 그래서 겉핥는 정도의 이론 부분을 포함하여 사용법 예제, 시행착오 등을 순차적으로 포스팅할 예정이다. 사전 필요 지식 XGBoost 학습을 위해서는 다음에 관한 지식이 필요하다. 추후 기회가 되면 포스팅 할 예정. Gradient Boost Regression Regularization XGBoost란? [XGBoost: A Scalable Tree Boosting System] 논문에서 소개된 "Extreme Gradient Boosting"을 의미하며, 여기서 "Gr.. 2020. 7. 8.
티스토리 스킨 편집으로 소제목 깔끔하게 꾸미기 티스토리를 시작하면서 따로 유료 스킨이나 다른 개발자분들이 만든 것들을 사용하지 않은 이유는 다음과 같다. 1. 모든 것을 만족하는 것을 찾기가 쉽지 않다. 2. 무채색을 극도로 좋아하는 내 취향에 어긋나는 디자인. 3. 스킨을 추가 편집하게 되면 라이선스 문제가 생기는 경우도 있지 않을까..? 하여, 티스토리 스킨에 조금씩 조금씩 살을 붙여 개인형 스킨을 만들고자 한다. 우선, 오늘은 제목 태그 꾸미기, 개발자 용어로는 H태그 CSS 수정 정도가 되겠다. 스킨 보관 우선, 스킨 편집으로 소제목을 꾸미다 보면, 의도했던 바와 다르게 오류가 생기기도 하고 엉망이 되기도 한다. 그럴 때를 대비하여 스킨을 보관한다. 블로그 관리 - 꾸미기/스킨 변경 - 보관 -이름 입력 후 저장 수정할 CSS 찾기 블로그 관.. 2020. 7. 6.
기록을 시작하며 IT 업계에 종사하는 이상 최신 기술들과 담을 쌓고 살 수가 없다. 고도화된 기술들이 하루가 멀다 하고 기존 기술을 대체하고 있다. 이러한 기술들을 따라잡기 위해서는 자기개발이 필수적인데, 매일매일 학습하는 내 전문 분야 지식들이 기록되지 않는 것이 너무 아까웠다. 학습한 전문 지식을 기록하면, 나 똑같은 전철을 밟고 있는 다른 누군가에게도 득이 될 거라 생각한다. 사실 이런 생각은 요즘 든 건 아니고, 예전부터 들었지만 워낙 실행력이 부족하다 보니 여태까지 미뤘다. 포트폴리오를 대체할 블로그가 될 때까지 조금 더 게으른 개발자가 되기 위하여, 기록 남기기를 시작해보자. 우선, 나는 글쓰기에 젬병이기 때문에 보여주는 방식이라도 깔끔해야 할 것 같다. 인용구 정리나 소제목 표기 등 마크업 세팅 등 가시 티.. 2020. 7. 6.

티스토리툴바