모티's Study Blog

https://knife-criminal-announce.vercel.app/(칼부림 사건 현황판 라이브 데모) 칼부림 사건 현황판 knife-criminal-announce.vercel.app 2023년 대한민국 연쇄 흉기 난동 사건은 2023년 7월 신림역 흉기 난동 사건 전후로 서현역 흉기 난동 사건을 비롯해 비슷한 강력범죄 및 범죄 예고(협박)가 잇따라 발생하는 현상이다. 이에 대해, 네이버 뉴스에 있는 칼부림 사건을 웹 크롤링과 Chatgpt API를 이용해 본문에 담겨있는 지역, 시간, 요약글 등을 제공하고자 본 프로젝트를 진행하였다. 👥팀 구성원 인원 2명(프론트엔드 개발자 , 데이터 분석 및 백엔드 개발자) 기간 : 2023 8월 5일 ~ 7일 프로젝트 기획 이유 : 최근 핫한 칼부림 뉴스..

지난주는 부스트캠프의 새로고침 데이로 한주간 방학을 가지게 되었다. 거제도 여행도 가고 게임도 하고 맛있는 것도 먹고 에너지를 충전할 수 있는 한주가 되었다. 이번주는 마지막 최종프로젝트를 팀원들과 오프라인으로 하기 위해 서울로 올라왔다. 올라온 만큼 성공적으로 프로젝트를 마무리할 것이다! 이번주 회고록은 새로운 양식으로 작성해보았다. 잘했던 것, 좋았던 것, 계속할 것 Offline Meeting. 확실히 서로 의견공유하고, 브레인스토밍 하는 업무는 Offline Meeting 효율이 훨씬 좋다. FastAPI 강의를 빠르게 듣고 전반적인 개념을 가져보다는 것이 좋았다. 각각 EDA를 진행하고 느낀점을 JIRA에 적어서 서로 공유할 수 있었음 멘토링을 통해 백엔드와 관련된 자료들을 받아 실습해볼 수 있..

Movie Recommendation 대회가 4주차를 마지막으로 끝이 났다. 최종 등수는 다소 아쉬웠지만 Recbole 라이브러리 구현 및 JIRA에 대해서 새롭게 배울 수 있었고, 최종프로젝트를 위한 와인 데이터 EDA 및 유저 스토리 고민 등 level2를 마무리하면서 level3를 위한 도약을 준비하는 한주였다. 다음주는 새로고침데이로 한주간 방학을 진행한다. 거제도 여행도 갔다오고 게임도 실컷하고 새로운 시작을 위한 준비도 하면서 새로고침 하고 올 것이다. Fact(사실 : 무슨 일이 있었나?) Recbole 라이브러리 Sequnece model과 Context model이 train/inference 모두 돌아가게 완성하였다. Recbole에 내장된 Hyperopt를 통해 하이퍼파라미터 튜닝을 ..

수술 후 회복하면서 영화 추천 대회 3주차를 보냈다. Recbole 라이브러리를 구현하는 중인데 sequence 모델과 general 모델이 train까지는 돌아가는데 inference가 돌아가지 않아 말썽이다. 저번주에 못들었던 sequence 강의와 추천시스템 평가지표 강의를 수강한 한주였다. Fact(사실 : 무슨 일이 있었나?) Recbole 라이브러리 구현 추천시스템 sequence model(GRU4Rec, SASRec, BERT4Rec)에 대한 기초이론과 추천시스템 평가 기준(accuracy 외에도 diversity : 다양성 , serendipity : 우연성, novelty : 새로움 등등에 대해서 배웠다 최종프로젝트는 피드백을 바탕으로 유저플로우를 새롭게 구축하였고 유저가 처음에 웹에 ..

영화 추천대회가 시작된지 2주차이다. Recbole 라이브러리를 이용해보자는 의견이 나왔고 내가 베이스라인 구현을 맡아서 코드를 완성해주었다. recbole을 그대로 가져와쓰면 되는줄 알았지만 라이브러리는 movielens 데이터를 explicit feedback 바탕으로 구현되어 있는데 movie 대회는 해당 데이터를 implicit feeback으로 활용하기에 그 구조를 바꿔서 적용하는데 애를 먹었다. 최종프로젝트도 크롤링을 끝내고 유저 플로우와 추천 메커니즘을 고민하기는 시간을 가졌다. 무엇보다도 몸이 아파서 수술을 했는데 회복하느라 고생했다 Fact(사실 : 무슨 일이 있었나?) Recbole 라이브러리 구현 context-aware recommendation 모델에 대한 이론 공부 → FM, D..

DKT 대회가 끝나자마자 Movie Recommendation 대회가 열렸다. 이번 대회도 4주 동안 진행되는데, 지난 대회 때 아쉬웠던 베이스라인 말고 다른 모델을 사용해보기, 남들이 똑같이 하는 대회 프로세스 말고 차별화된 실험을 해보기, 원활한 소통을 통해 팀원들과 실험하는 내용을 공유하기 등등 보다 개선된 대회를 하길 기대한다. 이제 최종 프로젝트하기 전 마지막 대회인데, 12등에서 7등을 해봤으니 7등에서 5등 이내로 드는 것이 개인적 목표이다. 최종 프로젝트 관련해서도 슬슬 데이터를 모으면서 시작 중인데, 아직은 구체화된 것이 없다 Fact(사실 : 무슨 일이 있었나?) Movie Recommendation 대회 시작(유저의 영화 시청이력이 있을때, 마지막 영화와 중간중간 시청했던 영화를 맞추..

4주간의 DKT 대회가 끝났다. 마지막주에는 팀원들을 만나기 위해 서울로 올라왔다. 확실히 온라인으로 소통하는 것보다 오프라인이라 빠르게 의견을 공유하고 팀원들과 같이 진행할 실험들을 한번에 할 수 있었다. 하지만, 풀타임 집중해야해서 끝나고 나면 진이 쭈욱 빠지고 미팅장소까지 왔다갔다가 하는 시간이 아깝긴 했다. 그래도 목요일 대회가 끝나고 회식을 했는데 재밌었다. 대회동안 전체적인 협업과정이나 R&R, PM의 부재 등등 아쉬운 것도 많았지만, 피쳐엔지니어링 방법, Valid_set을 test_set과 비슷하게 하기, Shap, Sweep 등 다양한 실험을 해볼 수 있어서 얻은 것도 많은 대회였다. Fact(사실 : 무슨 일이 있었나?) 오프라인으로 카페에서 대회 마무리 Feature Engineeri..

DKT 대회를 진행한지 어느덧 3주차이다! 어느정도 모델의 성능이 고도화 됐지만 검증셋과 대회 리더보드에서의 성능차이가 많이 차이나는 편이다. 이를 해결할려고 많은 시도를 해보았지만 유의미하게 개선하지 못해서 아쉽다. 아직 한주가 남았고 이제는 단일 모델의 성능보단 팀 전체의 모델을 앙상블해서 좋은 성능을 이끌어보자. 무엇보다 SWEEP이랑 Github을 많이 사용해볼 수 있어서 좋았음 Fact(사실 : 무슨 일이 있었나?) DKT 대회에서 ELO 함수를 이용한 피쳐엔지니어링과 KFOLD를 통해 성능 향상을 이룸. LGBM에서 wandb를 돌아갈 수 있게 코드 구현 → 성호형이 다시 수정해줌(팀원 모두가 돌아갈 수 있게) 개인적인 실험으로 SHAP 라이브러리를 사용해봄 → 모델의 피쳐 설명력을 보여주는 ..

Level2 시작한지 2주차가 되었다. LGBM 모델을 베이스라인으로 EDA, Feature Engineering을 하느라 한주가 빠르게 지나갔다. 단순한 하나의 함수를 구현하는데 시간이 많이 소요되고 그만큼의 성능은 나오지 않는다. 그래도 계속해서 오르는 만큼 추가 피쳐를 만들어보고 GBM모델뿐만 아니라 딥러닝 모델도 사용해보도록 하자. 추가로 WADNB나 깃헙으로 시작했는데 아직은 미숙하지만 LEVEL1의 부족한 점을 채우고 있다는 것에 만족 중! Fact(사실 : 무슨 일이 있었나?) 팀원들마다 각자 공부하고 싶은 모델을 선택하고 모델 구조와 데이터로드, 코드분석까지 하기로 함 저번주에 얘기한 Fast API 스터디를 진행 오피스아워 시간에 금융 도메인의 추천시스템에 대해서 배울 수 있었음 두런두런..

문제정의의 중요성 머신러닝 알고리즘, 개발 능력도 중요하지만 근본적인 사고능력도 중요 HOW보다 WHY에 집중 문제해결 FLOW 문제를 해결하기 위한 Flow 현상 파악 목적, 문제 정의 => 계속 생각하기, 쪼개서 생각하기 프로젝트 설계 Action 추가 원인 분석 1. 현상 파악 어떤 현상이 발견되었는가? 현재 상황을 파악함 어떤 일이 발생하고 있는가? 해당 일에서 어려움은 무엇인가? 해당 일에서 해결하면 좋은 것은 무엇인가? 추가적으로 무엇을 해볼 수 있을까? 어떤 가설을 만들어 볼 수 있을까? 어떤 데이터가 있을까 2. 문제 정의 무엇을 해결하고 싶은가? 무엇을 알고 싶은가? 문제 정의는 결국 현상을 계속 쪼개고, 그 문제를 기반으로 어떤 어려움을 겪고 있는지를 파악함 데이터로 할 수 있는 일을 ..