Efficient AI - 온디바이스에 AI 모델을 적용하는 사례가 늘면서 '경량화'가 화두가 됨 - 왜? ai model은 계속 커지고 있음 vs 그대로 Application에 적용하기에는 비용적 cost가 너무 큼 - hardware, software 어느 쪽 하나의 approach만 필요한 것이 아닌, holistic approach가 필요한 부분 - AI 모델을 구동하기 위한 cost를 낮추기 위하여, 경량화의 공부가 필요함 - 새로 나온 모델, 경량화 방법론 등을 알아보고자 함 Background of Efficient AI - ai 모델이 더 다양하고 복잡한 task를 수행하고자 점차 크고 복잡한 모델이 만들어지게 되었다. - 그게 트렌드.. 크기를 키우는게 가장 성능을 쉽게 높이는 방법이더라..

대규모 training data set으로 훈련된 foundation model은 prompt engineering으로 잘 활용할 수 있지만, 활용하고자 하는 분야가 매우 domain-specific 하는 등의 경우에서는 모델을 customizing해야 할 필요가 있다. 이처럼 domain/task-specific 할 때, foundation model의 performance를 개선하기 위한 방법으로 (작은) data set으로 모델을 추가로 훈련하는 방법이 있다. 이게 바로 fine-tuning인데, fine-tuning도 그냥 하면 문제가 뭐냐. LLM을 SFT하는데 그 많은 파라미터들을 다 파인튜닝하면서 모든 모델 가중치를 수정한다고 생각해보자. (예를 들어 Llama-2는 최소 7B임) compu..