코린이의 공부일기

일단 프레임워크(Framework)와 라이브러리 (Library)의 먼저 공통점은 ! 개발자가 쉽게 사용할 수 있도록 사람(?)이 만들어 놓은 것! But, 심플한 차이점은 -> " 누가 누구를 컨트롤 하는가" 이다 1. 내가 코드를 컨트롤 하는 것 -> 라이브러리 (Library) 2. 내가 정해진 규칙을 따라하는 것 -> 프레임워크 (Framework) 즉, 예시를 들어본다면 훨씬 더 쉽게 이해할 수 있다. 먼저 라이브러리에 대해 설명하자면, 머신러닝 라이브러리 중 하나인 scikit learn 에서 K fold와 Stratified K fold 을 사용해 교차검증을 사용할 수 있는 것처럼 라이브러리는 내가 선택해 사용할 수 있다. 그리고 쉽게 대체해서 사용할 수 있다. 예를들어, 교차검증데이터셋은 ..

$ docker pull tensorflow/tensorflow:2.7.1-gpu-jupyter Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running? docker hub에서 tensorflow docker image가져와서 튜닝을 하려했더니 바로 이런 오류가 떴다. 그래서 한번 stackoverflow에 찾아보았다. 이 오류가 뜨는 이유는 docker 가 실행이 되어있지 않아서 뜨는 문제인데 해결 방법은 두가지가 있다. 첫 번째 방법은 1. 바로 도커 앱을 키고 다시 터미널에 명령을 쳐본다면? $ docker ps CONTAINER ID IMAGE COMMAND CREATED STAT..

양과 늑대 문제 설명 2진 트리 모양 초원의 각 노드에 늑대와 양이 한 마리씩 놓여 있습니다. 이 초원의 루트 노드에서 출발하여 각 노드를 돌아다니며 양을 모으려 합니다. 각 노드를 방문할 때 마다 해당 노드에 있던 양과 늑대가 당신을 따라오게 됩니다. 이때, 늑대는 양을 잡아먹을 기회를 노리고 있으며, 당신이 모은 양의 수보다 늑대의 수가 같거나 더 많아지면 바로 모든 양을 잡아먹어 버립니다. 당신은 중간에 양이 늑대에게 잡아먹히지 않도록 하면서 최대한 많은 수의 양을 모아서 다시 루트 노드로 돌아오려 합니다. 예를 들어, 위 그림의 경우(루트 노드에는 항상 양이 있습니다) 0번 노드(루트 노드)에서 출발하면 양을 한마리 모을 수 있습니다. 다음으로 1번 노드로 이동하면 당신이 모은 양은 두 마리가 됩..

모델 개발 프로세스 - Production 웹, 앱 서비스에서 활용할 수 있게 만드는 과정 -"모델에게 데이터(input)을 제공하면서 , output 예측해주세요" 라고 요청하는 과정 MLOps란? -머신러닝 모델을 운영하면서 반복적으로 필요한 업무를 자동화시키는 과정 = 머신러닝 엔지니어링 + 데이터 엔지니어링 + 클라우드 +인프라 즉 머신러닝 모델 개발과 (ML Dev)과 머신러닝 모델 운영(Ops)에서 사용되는 문제, 반복을 최소화하고 비즈니스 가치를 창출하는 것이 목표! -> 모델링에 집중할 ㅅ 있도록 관련된 인프라를 만ㅇ들고, 자동으로 운영되도록 하는 것 게다가 최근에는 비즈니스 문제에는 머신러닝/딥러닝을 적용하는 Case가 많아짐 특히 현실에서는 예측할 수 없는 리스크가 굉장히 많기 때문에 ..

Quantization 이란? * 좋은 해상도를 가지는 input value을 낮은 해상도를 가지도록 output value로 mapping하는 것 -Mapping input values from a large set to output values in a smaller set original에서의 -1값이 -> quantization에서는 -0.25로 mapping -1~+1 -> -0.25~0.25로 구간 간격이 절반이 됨. -introduction -2015년에 나온 Inception V3 model 첫번 째 Conv layer weight 분포 -256개의 bin을 가지는 histogram으로 plot -Bit encoding 기존의 32bit float 값을 8 bit int(256개의 bin)..

Data Engineering 이 하는 일 - Data Cleansing, Preprocessing , Feature Engineering, Select ML Algorithm, Set Hyperparameters등 -좋은 configuration을 찾을 때까지 반복함 - 주로 expert(대학원생)이 진행 현업에서는 데이터의 추가 , 모델의 변경 등으로 인해 이러한 re-tuning이 계속해서 반복됨 -> AutoML에서는 진정한 end to end learning을 실현하자라는 의미를 갖고있음 -> 반복적인 process에서 사람을 빼내자! AutoML(Hyperparameter Optimization)의 문제정의 ->loss을 가장 minimize을 해주는 hyperparameter 의 config..

스마트워치나 스마트폰에 그 밖에 IoT Device에 머신러닝어플리케이션이 올라가서 inference을 수행경우가 많이 생김 1. On device AI Vision이나 Natural Language의 기능이 On device에서 많이 사용되고 있다. On device 의 한계점 -파워사용량 -RAM memory -저장공간 제약 -Computing 파워의 제약 2. AI on cloud(or server) -배터리, 저장공간, 연산능력의 제약을 줄어드나 latency와 throughput의 제약이 존재 latency : 요청에대해서 소요되는 시간 throughput :단위시간 당 처리가능한 요청 수 -같은 자원으로 더 적은 latency와 더 큰 throughput이 가능하다면? -> 경량화가 무조건 필..

-내가 제작한 AI모델이 실제로 얼마나 잘 동작하는 파악하는 것은 굉장이 중요하며, 성능 평가를 통해 실무/연구 단계에서 개선해야 할 점은 무엇인지를 파악해야 합니다. 이번 강의에서는 , 성능평가의 중요성에 대해 다시한번 상기시키며, 전반적인 성능 측정 개념, 및 OCR에서 활용되고 있는 여러 평가방식을 소개합니다. 성능평가란 ? 새로운 데이터가 들어왔을 때 얼마나 잘 동작하는가 ? = 일반화 성능이 얼마나 좋을까? 성능평가를 위해 쓰는 대표적 방식 1. Train - Test split 학습하지 않은 Test Dataset(Test Dataset)을 따로 두어 트레이닝 후, 성능검사를 하는 방식 2. 5- Fold Cross Validation 5개의 Validation set을 다르게한 모델을 만들어..