코린이의 공부일기

이전 포스팅까지 Dataset에 대한 포스팅이었다 이제는 데이터가 거칠만한 모델링을 만들어보자! 일반적으로 모델은 정보의 표현을 말한다 그렇지만 그 대상이 사람이거나 시스템이거나 여러가지가 있다. 우리가 말하고자 하는 말하는 모델은 딥러닝 모델이다 즉 , 최적화된 파라미터 를 가지고 있는 성능이 좋은 모델을 만들고자 하는 것이 목표이다 - Design Model with Pytorch 그렇다면 파이토치가 뭘까? =Low Level, Pytonic,Flexibility 라고 할 수 있다 응용력이 뛰어나고 초보자 들에게도 쉽게 배울 수 있는 라이브러리이다. -nn.Module nn.Module 안에는 사진과 같이 conv1,conv2을 가지고 있다. 그 말은 즉슨 Module안에는 여러 모듈들이 가지고 있는..

Dataset Data Processing 내가 원하는 데이터의 형태로 가져오는 것 =문제를 풀기 위해 데이터의 형태를 파악하고 전처리 작업하는 것 Pre-processing (전처리 작업) 사실 제일 어렵고 오래걸리는 것 .... -> 현업에서는 데이터자체에 노이즈가 많고 이상치 값들이 많다. 전처리 작업을 잘한다 = 데이터 성능이 좋다 라고 생각해도 될 정도라고 한다! 1. Bounding box 2. Resize -> 빠르게 학습을하고 결과를 보기 위해서 size을 모델에 맞춰 효율적으로 크기 조절을 하는 것이 좋다. 그렇다면 이미지데이터에서 전처리방식은 어떤 것이 있을까? 어떠한 특수한 도메인에서 특수한 전처리가 중요할 때가 많다 예를들어서 이러한 medical 이미지 데이터에서는 어두워서 잘 보..

2021-08-23 P stage start! * 이전 약 3주 간 진행한 U stage에서 경험한 이론을 바탕으로 실제 데이터와 코드베이스를 통한 이해 * Competition형태의 실습을 통해 점진적인 모델 성능 향상을 경험 * 머신러닝 파이프라인의 한 부분을 경험 P_stage 는이 세가지의 목적을 가지고 시행하는 과정이다. 이 포스팅을 읽기전 이 생각을 갖고 읽어보자! "주어진 데이터를 이용해 원하는 결과를 만들기 위한 가장 좋은 방법이란 뭘까?" 예를 들어, - 댓글 데이터를 이용한 악성 댓글 분류 - 폐 CT 사진을 이용한 폐 질병 예측 등 .. 데이터들을 가지고 원하는 결과 값을 도출하고 싶다면, Competition을 진행해보며 Task을 이해하고 경험하는 것이 중요하다. Competiti..

계획 -9:30-19:30 코어타임으로 그날 주어진 강의와 알고리즘, 필수과제 마무리 -강의 내용 꼭 정리하며 시청 -코어 타임 까지 못 끝냈을 시 이외의 시간을 활용활동: DL Basic, 알고리즘 리뷰, Data Viz, github, 강의정리, 회고회고: 강의 1개를 듣는데 시간이 꽤 오래 걸렸다. 특히 Dl Basic에서 생소한 부분들이 많고 내 기준 어려운 이론이였어서 구글링하며 수강하였다. 시간도 오래걸리고 2주차는 특강도 많아 코어시간 안에도 다 끝내지 못했지만 전반적인 이해도는 높아져서 학습률은 좋아진 것 같다.-아직 torch가 너무 생소해 수요일부터 pytorch 튜토리얼을 조금씩 보았다. 그리고 실습 과제를 할 때, 튜토리얼도 같이보면서 문법을 조금 더 익숙해지려고 했다. 그치만 아직..

*Sequential Model 이전데이터가 들어왔을 때 다음 데이터를 찾아보는 것 첫번 째 데이터는 아무것도 Condition 되어있지 않다. -> 두번 째 데이터는 1번째 데이터에 condition 세번 째는 1,2번째에 condition 그래서 점점 Data가 갈수록 고려해야할 Data가 많아진다. 위의 어려움 때문에 나는 과거 2개의 Data에만 dependent하는 모델 -Autoregressive model =past Timespan 을 고정하는 것 Markov 모델은 사실 말이되지 않는다 ex> 수능은 그 전날 공부한 것으로 점수가 결정된다 -> 말이 될 수 없다. Markov model -> 많은 정보를 버릴 수 밖에 없다. 많은 과거들의 Data을 반영하는 것, 그렇다고 이전의 과거만 c..

CNN의 탄생 Fully connected layer 만으로 구성된 인공 신경망 같은 경우에는 1차원의 배열형태로 한정된다. 그렇기 때문에 사진데이터를 1차원으로 평면화 시키는 과정에서 공간 정보가 손실될 수 밖에 없다. 그래서 이미지 공간 정보를 유지한 상태로 학습을 할 수 있는 모델이 CNN(Convolutional Neural Network)입니다. 합성곱 (convolution) 입력데이터에 1개의 필터로 합성곱 연산을 수행하며 하나의 output= Feature Map 을 만든다. Filter는 즉 Kernel이라고도 하며 이미지의 특징을 찾아내기 위한 파라미터이다. CNN에서의 학습대상 = Filter parameter 필터는 입력데이터에서 지정된 간격(Stride) 으로 순회하며 채널별로 합..

Artificial Inteligence(인공지능) - 사람의 지능을 모방한 것 Merchine Learning(머신러닝) -데이터를 통해 학습 Deep Learning Point 1. 데이터 : 이미지분류 -이미지 데이터 필요 자연어분류 - 말뭉치의 데이터 필요 2.모델 : 데이터를 바탕으로 학습시키고자하는 모델이 필요 input : Image -> output : Label 3. Loss Function : 모델 학습에 필요한 손실함수, 학습의 목적: Loss function을 최소화하는 것이 목적 4. Algorithm: Loss function의 극소점을 가기위한 알고리즘 1. Data 풀고자하는 문제에 따라 데이터가 달라진다 -Classification : 이미지 분류 -Semantic Segm..

1Day 처음 피어세션을 진행한 날 팀원 모두가 너무 잘하시는 분들 같아 더욱 자극받아 열심히해야겠단 생각이 들었다. 첫날 4시반부터 6시까지 처음만난 캠퍼들과 함께 피어세션시간 동안의 계획을 구성했다. 날마다 들어야할 강의목록들을 나눈 후 날마다 지정된 모더레이터가 날짜에 맞는 강의를 발표하는방식으로 진행했다. 특히 가장 좋았던것은 그날 지정된 모더레이터가 랜덤으로 팀원을 지정해 과제와 퀴즈를 발표하는 것이 너무 좋았다. 그래서 퀴즈와 과제다 제출에 그치지않고 하나하나 자세히보며 추가적으로 설명할 것이 없는지 더욱 공부할 수 있었다. 그리고 팀github을 만들어 서로서로 과제한 것에 대해 공유할 수 있도록 구성하였다. -피어세션 계획 조 이름 : 7 features 모더레이터/팀원 -모더레이터: 하루..