코린이의 공부일기

ML Engineer 란 ? Machine learning의 기술을 이해하고 , 연구하고 Product 을 만드는 Engineer이다. Deep learning의 급부상으로 Product에 Deep learning을 적용하고자 하는 수요가 발생했다. 폭발적인 발전속도로 인해 Researcher와 Enginner의 경계가 모호하다 (연구와 동시에 Product을 개발) 그렇다면 Full stack ML Enginner 란 ? Deep learning research 을 이해하고 ML Product로 만들 수 있는 Enginner이다. + Apple Job Description '코딩을 잘하고, 창의적이고, 다양한 조직의 사람과 협업할 수 있고, 새로운 기술을 배우는 것을 즐기는 개발자' Full stack..

드디어 Team competition이 종료 : -) 모두 수고 많았습니다 (◍•ᴗ•◍)❤ - Level 1 대회 주제 - Image Classification - 대회 개요 - COVID-19의 확산으로 우리나라는 물론 전 세계 사람들은 경제적, 생산적인 활동에 많은 제약을 가지게 되었습니다. 우리나라는 COVID-19 확산 방지를 위해 사회적 거리 두기를 단계적으로 시행하는 등의 많은 노력을 하고 있습니다. 과거 높은 사망률을 가진 사스(SARS)나 에볼라(Ebola)와는 달리 COVID-19의 치사율은 오히려 비교적 낮은 편에 속합니다. 그럼에도 불구하고, 이렇게 오랜 기간 동안 우리를 괴롭히고 있는 근본적인 이유는 바로 COVID-19의 강력한 전염력 때문입니다. 감염자의 입, 호흡기로부터 나오는..

오늘은 회고로 집중된 나의 첫 2021- 08 -31 Team Competition ! 1,2일 차 회고록 나는 P stage을 하기 전 솔직히 개인 Competition이 더 힘들 것 같다라는 생각을 했는데 반대로 나는 팀 Competition이 훠얼 씬 힘들었다, 그치만 정말 많이 배울 수 있었다. 그 이유는 , 팀에서 제일 성능이 좋고 깔끔하게 짠 코드를 베이스코드로 정하고 거기서 팀원 다 같이 성능을 높히는 방향으로 정했다. 그리고 github에서 pull하고 push하며 협업 하기로했는데..! 난 지금까지 사실 파이썬을 주피터노트북에서만 사용해봐서 vs code는 사실 하나도 몰랐다.. 게다가 개인 Competition 때 주피터랩으로만 실험을 한 상태였다. Vs code는 U stage에서 약..

Training and Inference (1) -Loss,Optimizer, Metric 이전 까지 모델을 구성했다면 이번 포스팅은 훈련 Task을 진행해보자 ! Trainging Process의 종류 1. Loss -내가 예측한 output값과 target 값 간의 차이를 Cost 함수라고 부르며 줄이도록 목표를 가지고 Backward을 거치며 Cost함수의 Parameter값들을 최적화된 값으로 업데이트한다. -> 최적화 값을 찾는데에 Loss는 중요한 역할을 가진다. - Loss도 사실은 nn.Module Family이다. Loss함수 자체도 Module처럼 Family로 활동할 수 있다. 그래서 Loss도 Forward함수를 가지고 있다. -loss.backward() loss= criterti..

이전 포스팅까지 Dataset에 대한 포스팅이었다 이제는 데이터가 거칠만한 모델링을 만들어보자! 일반적으로 모델은 정보의 표현을 말한다 그렇지만 그 대상이 사람이거나 시스템이거나 여러가지가 있다. 우리가 말하고자 하는 말하는 모델은 딥러닝 모델이다 즉 , 최적화된 파라미터 를 가지고 있는 성능이 좋은 모델을 만들고자 하는 것이 목표이다 - Design Model with Pytorch 그렇다면 파이토치가 뭘까? =Low Level, Pytonic,Flexibility 라고 할 수 있다 응용력이 뛰어나고 초보자 들에게도 쉽게 배울 수 있는 라이브러리이다. -nn.Module nn.Module 안에는 사진과 같이 conv1,conv2을 가지고 있다. 그 말은 즉슨 Module안에는 여러 모듈들이 가지고 있는..

Dataset Data Processing 내가 원하는 데이터의 형태로 가져오는 것 =문제를 풀기 위해 데이터의 형태를 파악하고 전처리 작업하는 것 Pre-processing (전처리 작업) 사실 제일 어렵고 오래걸리는 것 .... -> 현업에서는 데이터자체에 노이즈가 많고 이상치 값들이 많다. 전처리 작업을 잘한다 = 데이터 성능이 좋다 라고 생각해도 될 정도라고 한다! 1. Bounding box 2. Resize -> 빠르게 학습을하고 결과를 보기 위해서 size을 모델에 맞춰 효율적으로 크기 조절을 하는 것이 좋다. 그렇다면 이미지데이터에서 전처리방식은 어떤 것이 있을까? 어떠한 특수한 도메인에서 특수한 전처리가 중요할 때가 많다 예를들어서 이러한 medical 이미지 데이터에서는 어두워서 잘 보..

2021-08-23 P stage start! * 이전 약 3주 간 진행한 U stage에서 경험한 이론을 바탕으로 실제 데이터와 코드베이스를 통한 이해 * Competition형태의 실습을 통해 점진적인 모델 성능 향상을 경험 * 머신러닝 파이프라인의 한 부분을 경험 P_stage 는이 세가지의 목적을 가지고 시행하는 과정이다. 이 포스팅을 읽기전 이 생각을 갖고 읽어보자! "주어진 데이터를 이용해 원하는 결과를 만들기 위한 가장 좋은 방법이란 뭘까?" 예를 들어, - 댓글 데이터를 이용한 악성 댓글 분류 - 폐 CT 사진을 이용한 폐 질병 예측 등 .. 데이터들을 가지고 원하는 결과 값을 도출하고 싶다면, Competition을 진행해보며 Task을 이해하고 경험하는 것이 중요하다. Competiti..

1Day 처음 피어세션을 진행한 날 팀원 모두가 너무 잘하시는 분들 같아 더욱 자극받아 열심히해야겠단 생각이 들었다. 첫날 4시반부터 6시까지 처음만난 캠퍼들과 함께 피어세션시간 동안의 계획을 구성했다. 날마다 들어야할 강의목록들을 나눈 후 날마다 지정된 모더레이터가 날짜에 맞는 강의를 발표하는방식으로 진행했다. 특히 가장 좋았던것은 그날 지정된 모더레이터가 랜덤으로 팀원을 지정해 과제와 퀴즈를 발표하는 것이 너무 좋았다. 그래서 퀴즈와 과제다 제출에 그치지않고 하나하나 자세히보며 추가적으로 설명할 것이 없는지 더욱 공부할 수 있었다. 그리고 팀github을 만들어 서로서로 과제한 것에 대해 공유할 수 있도록 구성하였다. -피어세션 계획 조 이름 : 7 features 모더레이터/팀원 -모더레이터: 하루..