코린이의 공부일기

스마트워치나 스마트폰에 그 밖에 IoT Device에 머신러닝어플리케이션이 올라가서 inference을 수행경우가 많이 생김 1. On device AI Vision이나 Natural Language의 기능이 On device에서 많이 사용되고 있다. On device 의 한계점 -파워사용량 -RAM memory -저장공간 제약 -Computing 파워의 제약 2. AI on cloud(or server) -배터리, 저장공간, 연산능력의 제약을 줄어드나 latency와 throughput의 제약이 존재 latency : 요청에대해서 소요되는 시간 throughput :단위시간 당 처리가능한 요청 수 -같은 자원으로 더 적은 latency와 더 큰 throughput이 가능하다면? -> 경량화가 무조건 필..