리뷰논문https://arxiv.org/pdf/2007.12626githubhttps://github.com/Yale-LILY/SummEval/tree/master Text Summarization - Source Text가 주어졌을 때 요약문 : Target Text를 도출하는 task    - source text는 single-document 이거나 multi-document일 수 있다.     - target text는 짧고 간결해야 하며 source text의 중요한 정보를 담고 있어야 한다. - 추출 요약 vs 생성요약     - 추출 요약 : Extractive Summarization          - 문서에서 중요한 부분을 선택해서 요약문으로 선정         - 비교적 task가 쉽..

시계열 패턴의 이해 - 3 요인 : 추세(trend) + 계절성(seasonality) + 주기성(cycle) 추세 : 데이터가 장기적으로 증가 또는 감소할 때 나타나는 패턴 주기성 : 고정된 빈도가 아닌 형태로, 중기적으로 증가 또는 감소하는 모습을 보일 때 드러나는 패턴계절성 :  1달, 1년 등 특정한 때에 단기로 나타나는 계절성 요인이 시계열 패턴에 영향을 줄 때 드러나는 패턴 + 그 외 불규칙 요인 : 측정 및 예측이 어려운 오차에 의한 변동  성분을 분해할 수 있는 모형 크게 2가지 : 가법모형 & 승법모형  [ 가법모형 ]-  yt=St+Tt+Rt-  yt가 원래 데이터, St가 계절 성분, Tt가 추세 - 주기 성분, Rt가 residual이다.  [ 승법모형 ]-  yt=St*Tt*Rt-..

ocr 여러가지 테스트 중~ 1. Tesseract2024.07.07 - [Study/비전] - [OCR] 광학 문자 인식 기술 (1) [OCR] 광학 문자 인식 기술 (1)우와!지난 realtime object detection model을 이용한 시각장애인 음성안내 카메라 서비스 플젝을 마무리하고이젠 비전 안봐~ 했는데 어쩌다보니 비전 카테고리에 글을 쓸일이 생겼네요..ㅋㅋㅋㅋ 원래greenjade.tistory.com   2. Easy OCRhttps://github.com/JaidedAI/EasyOCR?tab=readme-ov-file GitHub - JaidedAI/EasyOCR: Ready-to-use OCR with 80+ supported languages and all popular wr..

우와!지난 realtime object detection model을 이용한 시각장애인 음성안내 카메라 서비스 플젝을 마무리하고이젠 비전 안봐~ 했는데 어쩌다보니 비전 카테고리에 글을 쓸일이 생겼네요..ㅋㅋㅋㅋ 원래 인생이 그렇지 머 ~~    광학 문자 인식 (Optical Character Recognition;OCR)은 입력/ 필기 / 인쇄된 텍스트 '이미지'를 기계가 읽을 수 있는 인코딩된 '텍스트'로 변환하는 데 사용되는 기술이다.즉,  input = 이미지 / output = 텍스트 OCR을 하기 위해서 어떤 api 또는 파이썬 라이브러리를 사용할 수 있는지 조사해봤다. 내가 사용할 input 이미지는 겨울방학에 비타민에서 진행된 시계열 프로젝트의 발표 ppt이다.   1. Tesseract ..

0. 일단 time series data에 대해 스무딩 (평활) 기법을 적용하려면 계절성을 제거해야 한다.  1. 단순 이동평균  : Simple Moving Average window 사이즈 = k일때현 시점 포함 k개의 과거 데이터에 대한 평균값을 이용  당연히 window size : k가 커질수록 변동성이 감소하지만 lagging 현상이 발생하고 데이터의 움직임에 대한 섬세함이 떨어진다는 단점이 있다. 순간적인 변화에 대응하는 것이 중요하고, 이에 민감해야 한다면 트레이드 오프를 고려하여 적절한 window size를 정하는 것이 중요할 수 있다.  또, '평균'이라는 통계치가 outlier에 굉장히 취약하게 반응한다는 것이 잘 알려져 있다. 이런 이유로 어떤 경우에는 평균값 대신 median값을..

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models → link: https://arxiv.org/abs/2201.11903. (2022) "chain of thought" 이라는 방법으로 llm이 복잡한 reasoning(추론) tasks 수행 성능을 높이는 것에 대한 논문    NLP 분야에서는 언어모델의 태스크 수행 능력을 scale-up을 통해 향상시키고 있었음.하지만 이에도 한계가 있었는데..arithmetic, commonsense, and symbolic reasoning (수식추론, 상식추론, 기호추론)의 문제에서의 성능이 정말 낮다는 것. reasoning ability를 향상시키기 위한 방법으로 GPT-3 논문에서..

https://arxiv.org/pdf/2005.14165 OpenAI에서 발표한 GPT-1, GPT-2 논문에 이어 GPT-3 모델을 발표한 논문이다. "Language Models are Few-Shot Learners" (2020)  Pretraining-Finetuning 훈련 프로세스를 통해 다량의 unlabeled data로 비지도 학습 후 task-specific하게 지도학습을 하는 모델이 소개되고 많은 NLP tasks를 잘 처리할 수 있게 되었지만, 여전히 finetuning 과정에서 다량의 labeled 데이터가 필요한 것은 사실이다. 그래서, 사람처럼 예시 / 지시사항을 통해 새로운 language task를 수행할 수 있게 할 수 없을까? 라는 research question으로부터..

저번글 이어서................. 2024.04.22 - [Study/자연어처리] - [cs224n] Lecture 9 - Pretraining (1)출처:- https://wikidocs.net/108730cs224n lec.9 : pretraining- https://web.stanford.edu/class/cs224n/index.html#schedule- https://www.youtube.com/watch?v=DGfCRXuNA2w&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4&index=9학교 자연어처리 수업 : Language Model- https://jalammar.github.io/illustrated-bert/Pretraining Encoders : B..

출처:- https://wikidocs.net/108730cs224n lec.9 : pretraining- https://web.stanford.edu/class/cs224n/index.html#schedule- https://www.youtube.com/watch?v=DGfCRXuNA2w&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4&index=9학교 자연어처리 수업 : Language Model- https://jalammar.github.io/illustrated-bert/ 본문은 Language Modeling / Pretraining의 개념과 논문 : 'Improving Language Understanding by Generative Pre-Training'  (GPT..