리뷰논문https://arxiv.org/pdf/2007.12626githubhttps://github.com/Yale-LILY/SummEval/tree/master Text Summarization - Source Text가 주어졌을 때 요약문 : Target Text를 도출하는 task    - source text는 single-document 이거나 multi-document일 수 있다.     - target text는 짧고 간결해야 하며 source text의 중요한 정보를 담고 있어야 한다. - 추출 요약 vs 생성요약     - 추출 요약 : Extractive Summarization          - 문서에서 중요한 부분을 선택해서 요약문으로 선정         - 비교적 task가 쉽..

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models → link: https://arxiv.org/abs/2201.11903. (2022) "chain of thought" 이라는 방법으로 llm이 복잡한 reasoning(추론) tasks 수행 성능을 높이는 것에 대한 논문    NLP 분야에서는 언어모델의 태스크 수행 능력을 scale-up을 통해 향상시키고 있었음.하지만 이에도 한계가 있었는데..arithmetic, commonsense, and symbolic reasoning (수식추론, 상식추론, 기호추론)의 문제에서의 성능이 정말 낮다는 것. reasoning ability를 향상시키기 위한 방법으로 GPT-3 논문에서..

https://arxiv.org/pdf/2005.14165 OpenAI에서 발표한 GPT-1, GPT-2 논문에 이어 GPT-3 모델을 발표한 논문이다. "Language Models are Few-Shot Learners" (2020)  Pretraining-Finetuning 훈련 프로세스를 통해 다량의 unlabeled data로 비지도 학습 후 task-specific하게 지도학습을 하는 모델이 소개되고 많은 NLP tasks를 잘 처리할 수 있게 되었지만, 여전히 finetuning 과정에서 다량의 labeled 데이터가 필요한 것은 사실이다. 그래서, 사람처럼 예시 / 지시사항을 통해 새로운 language task를 수행할 수 있게 할 수 없을까? 라는 research question으로부터..

저번글 이어서................. 2024.04.22 - [Study/자연어처리] - [cs224n] Lecture 9 - Pretraining (1)출처:- https://wikidocs.net/108730cs224n lec.9 : pretraining- https://web.stanford.edu/class/cs224n/index.html#schedule- https://www.youtube.com/watch?v=DGfCRXuNA2w&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4&index=9학교 자연어처리 수업 : Language Model- https://jalammar.github.io/illustrated-bert/Pretraining Encoders : B..

출처:- https://wikidocs.net/108730cs224n lec.9 : pretraining- https://web.stanford.edu/class/cs224n/index.html#schedule- https://www.youtube.com/watch?v=DGfCRXuNA2w&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4&index=9학교 자연어처리 수업 : Language Model- https://jalammar.github.io/illustrated-bert/ 본문은 Language Modeling / Pretraining의 개념과 논문 : 'Improving Language Understanding by Generative Pre-Training'  (GPT..

★ 아래의 글은 이전에 포스팅했던 Attention&Transformer 글을 (1)/(2)로 나누고 재정리한 글입니다. 출처 - https://youtu.be/AA621UofTUA?si=1wD9tdEATVo0Tkt7 - 학교 자연어처리 수업 - https://web.stanford.edu/class/cs224n/slides/cs224n-2024-lecture08-transformers.pdf 목차 ◈ Attention & Transformer (1) 1. Seq2Seq의 구조 2. 기존 Seq2Seq 모델의 한계 3. Seq2Seq에 Attention을 추가 - Attention Mechanism - Seq2Seq with Attention - 다양한 종류의 Attention 2024.01.30 - [..

★ 아래의 글은 이전에 포스팅했던 Attention&Transformer 글을 (1)/(2)로 나누고 재정리한 글입니다. 출처 - https://youtu.be/AA621UofTUA?si=1wD9tdEATVo0Tkt7 - 학교 자연어처리 수업 - https://web.stanford.edu/class/cs224n/slides/cs224n-2024-lecture08-transformers.pdf 목차 ◈ Attention & Transformer (1) 1. Seq2Seq의 구조 2. 기존 Seq2Seq 모델의 한계 3. Seq2Seq에 Attention을 추가 - Attention Mechanism - Seq2Seq with Attention - 다양한 종류의 Attention ◈ Attention & ..

1. Applications of RNNs → Many to one 텍스트 분류가 many to one 태스크에 해당된다. language classification, sentiment analysis 모두 이에 해당된다. → One to many Image Description이 이에 해당된다. (하나의 사진에 대해서 사진을 설명하는 문장으로 출력이 되는 task) → Many to many Language model을 변형하고 새로운 조건들을 부여하여 ai model이 기계번역, 요약, 대화, 파싱, 코드 생성.. 등 다양한 자연어처리 task를 해낼 수 있도록 한다. i/o 모두 sequence (=many) 임을 확인할 수 있다. " Neural Machine Translation (NMT) is..

1. 텍스트 분류 텍스트 분류(text classification)이란, 텍스트를 입력으로 받아 텍스트가 어떤 범주 (class)에 속하는지를 구분하는 작업이다. 분류해야 할 범주의 개수에 따라, class가 2개이면 이진분류 (binary classification)이고 class가 3개 이상이면 다중 클래스 분류 (multi-class classification)에 해당된다. 2. 감성 분석 감성분석은 텍스트 분류의 대표적인 예시로, 텍스트에 들어있는 의견이나 감성, 평가, 태도 등의 주관적인 정보를 분석하는 태스크이다. 전통적으로 분류에 사용했던 방법은, 'Lexicon-based Approach'로, 사전에 감성 사전을 구축하고 키워드의 등장 유무로 긍/부정을 판단했었다. 현재는 실제 데이터를 기..