★ 아래의 글은 이전에 포스팅했던 Attention&Transformer 글을 (1)/(2)로 나누고 재정리한 글입니다. 출처 - https://youtu.be/AA621UofTUA?si=1wD9tdEATVo0Tkt7 - 학교 자연어처리 수업 - https://web.stanford.edu/class/cs224n/slides/cs224n-2024-lecture08-transformers.pdf 목차 ◈ Attention & Transformer (1) 1. Seq2Seq의 구조 2. 기존 Seq2Seq 모델의 한계 3. Seq2Seq에 Attention을 추가 - Attention Mechanism - Seq2Seq with Attention - 다양한 종류의 Attention 2024.01.30 - [..

★ 아래의 글은 이전에 포스팅했던 Attention&Transformer 글을 (1)/(2)로 나누고 재정리한 글입니다. 출처 - https://youtu.be/AA621UofTUA?si=1wD9tdEATVo0Tkt7 - 학교 자연어처리 수업 - https://web.stanford.edu/class/cs224n/slides/cs224n-2024-lecture08-transformers.pdf 목차 ◈ Attention & Transformer (1) 1. Seq2Seq의 구조 2. 기존 Seq2Seq 모델의 한계 3. Seq2Seq에 Attention을 추가 - Attention Mechanism - Seq2Seq with Attention - 다양한 종류의 Attention ◈ Attention & ..

1. Applications of RNNs → Many to one 텍스트 분류가 many to one 태스크에 해당된다. language classification, sentiment analysis 모두 이에 해당된다. → One to many Image Description이 이에 해당된다. (하나의 사진에 대해서 사진을 설명하는 문장으로 출력이 되는 task) → Many to many Language model을 변형하고 새로운 조건들을 부여하여 ai model이 기계번역, 요약, 대화, 파싱, 코드 생성.. 등 다양한 자연어처리 task를 해낼 수 있도록 한다. i/o 모두 sequence (=many) 임을 확인할 수 있다. " Neural Machine Translation (NMT) is..

Efficient AI - 온디바이스에 AI 모델을 적용하는 사례가 늘면서 '경량화'가 화두가 됨 - 왜? ai model은 계속 커지고 있음 vs 그대로 Application에 적용하기에는 비용적 cost가 너무 큼 - hardware, software 어느 쪽 하나의 approach만 필요한 것이 아닌, holistic approach가 필요한 부분 - AI 모델을 구동하기 위한 cost를 낮추기 위하여, 경량화의 공부가 필요함 - 새로 나온 모델, 경량화 방법론 등을 알아보고자 함 Background of Efficient AI - ai 모델이 더 다양하고 복잡한 task를 수행하고자 점차 크고 복잡한 모델이 만들어지게 되었다. - 그게 트렌드.. 크기를 키우는게 가장 성능을 쉽게 높이는 방법이더라..

논문 : Rich feature hierarchies for accurate object detection and semantic segmentation [Tips] - 이미지 분류 task에 ImageNet이 있다면, 객체 탐지 task에는 PASCAL VOC이 있다. (Visual Object Classes) - mAP : mean Average Precision : 객체별 AP의 평균값으로 객체 탐지 task에서 대표적으로 사용되는 metrics 중 하나 - 2012년 이미지넷 대회에서 CNN이 이미지 분류 task에서 우수한 성능을 보임 [Question] "CNN으로 객체 탐지 task에서 좋은 성능을 낼 방법이 없을까?" [ 위 문제를 해결하기 위한, 2가지 새끼 문제들] (문제 1) 그 CN..

1. 텍스트 분류 텍스트 분류(text classification)이란, 텍스트를 입력으로 받아 텍스트가 어떤 범주 (class)에 속하는지를 구분하는 작업이다. 분류해야 할 범주의 개수에 따라, class가 2개이면 이진분류 (binary classification)이고 class가 3개 이상이면 다중 클래스 분류 (multi-class classification)에 해당된다. 2. 감성 분석 감성분석은 텍스트 분류의 대표적인 예시로, 텍스트에 들어있는 의견이나 감성, 평가, 태도 등의 주관적인 정보를 분석하는 태스크이다. 전통적으로 분류에 사용했던 방법은, 'Lexicon-based Approach'로, 사전에 감성 사전을 구축하고 키워드의 등장 유무로 긍/부정을 판단했었다. 현재는 실제 데이터를 기..

출처 : stanford cs224n 강의를 듣고 작성한 페이지입니다. https://www.youtube.com/watch?v=JlK46EzImM8&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4&index=16 1. Background : Program Synthesis - 프로그램을 짜는 프로그램 - program synthesizer : program that takes a specification and outputs a program that satisfies it - 어떤 specification ?? - a logical formula / 같은 algorithm을 더 빠르게 / 정해진 input, output에 맞는 식 / Natural language descrip..

출처 : https://www.youtube.com/watch?v=nDPWywWRIRo&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk&index=12 http://cs231n.stanford.edu/schedule.html 컴퓨터 비전 태스크는 다양하게 존재하고, 그 중 가장 코어하고 전통적인 태스크는 분류일 것이다. 위 강의에서는 이 외의 다양한 task에 대해서 알아보고자 한다. 목차는 다음과 같다. 1. Semantic Segmentation 2. Object Detection 3. Instance Segmentation 4. Beyond 2D Object Detection... 이 글에서는 각 task를 수행하기 위한 방법들, 모델에 대한 개괄을 정리한다. 1. Seman..

출처 : https://blog.google/technology/developers/gemma-open-models/ https://medium.com/@mohammed97ashraf/your-ultimate-guide-to-instinct-fine-tuning-and-optimizing-googles-gemma-2b-using-lora-51ac81467ad2 https://huggingface.co/collections/google/gemma-release-65d5efbccdbb8c4202ec078b https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf Gemma Open Models Gemma는 2024.02.21에 구글에서 오픈한..