출처 : stanford cs224n 강의를 듣고 작성한 페이지입니다. https://www.youtube.com/watch?v=JlK46EzImM8&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4&index=16 1. Background : Program Synthesis - 프로그램을 짜는 프로그램 - program synthesizer : program that takes a specification and outputs a program that satisfies it - 어떤 specification ?? - a logical formula / 같은 algorithm을 더 빠르게 / 정해진 input, output에 맞는 식 / Natural language descrip..

출처 : https://blog.google/technology/developers/gemma-open-models/ https://medium.com/@mohammed97ashraf/your-ultimate-guide-to-instinct-fine-tuning-and-optimizing-googles-gemma-2b-using-lora-51ac81467ad2 https://huggingface.co/collections/google/gemma-release-65d5efbccdbb8c4202ec078b https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf Gemma Open Models Gemma는 2024.02.21에 구글에서 오픈한..

본격적으로 Neural Network에 대한 이야기를 하기 전에 neural network가 사용되는 nlp task를 보면서 넘어가자고 한다. Named Entity Recognition 오 일하면서 지겹도록 듣는 ner이다. NER task는 텍스트에서 인명, 지명과 같은 고유명사를 찾아, 분류하는 태스크이다. 예를 들어, 다음과 같은 두 문장이 있다고 하자. ① Last night, Paris (PER) Hilton (PER) wowed in a sequin gown. ② Samuel (PER) Quinn (PER) was arrested in the Hilton (LOC) Hotel (LOC) in Paris (LOC) in April (DATE) 1989 (DATE). → 여기서 두 문장은 전혀..

이번 강의는 지난 1강에 이어서 계속 워드 임베딩 방법론에 대해서 설명한다. lecture1에서 워드 임베딩이 필요한 이유, 워드 벡터와 워드 임베딩이 무엇인지, 그리고 Word2vec의 개념과 훈련 방법에 대해서 쭉 설명한다. lecture2 초반부에서 lec1에 다 못한 설명을 이어서 하는데 그 설명은 이전글에 연결해서 작성했다. 여기서부터는 word2vec model의 방법 중 skip-gram(이하 SG)와 CBOW, 카운트 기반 방법론(LSA), 그리고 마지막으로 어떻게 GloVe까지 등장했는지까지의 설명을 작성한다. Word2vec : Skip-grams & CBOW ■ Word2vec maximizes objective function by putting similar words nearby..

Human Language and Word Meaning ■ How do we represent the meaning of a word? ■ How do we have usable meaning in a computer? : WordNet 그런데, 어떻게 컴퓨터에 'tree'를 'tree가 나타내는 것들'을 연결해서 입력시켜주지? 전통적 NLP Solution : Use Wordnet, a thesaurus containing list of synonym sets and hypernyms (relationship) WordNet의 한계 : 뉘앙스를 놓치는 경우, 새로운 단어, 의미 (신조어) 등록 x, 주관적, 정확한 단어 유사도 측정이 불가능 ■ Representing words as discrete ..

2023.12.14 - [Study/LLM] - ChatGPT Prompt Engineering for Developers : Usage (2) 이어서 ~ 마지막으로 customized Chatbot 만들기랑, OpenAI [ Text Generation ] Documentation 살펴보고 마무리. Chatbot 가장 최근 openai로 업그레이드해서 버전 체크했을 때 나오는 결과 api key 발급받아서 Chat Completions API 호출하는 과정 강의는 옛날 버전 `0.27.0` 이라서 openai.ChatCompletion.create( )으로 호출하는 것을 보여주는데 내가 하고 있는 버전 `1.3.8`은 client.chat.completion.create( )으로 호출해야 했다. 그리고..

2023.12.14 - [Study/LLM] - ChatGPT Prompt Engineering for Developers : Usage (1) 이어서~ Prompting 활용 사례 알아보기 - summarizing - inferring - transforming - expanding Transforming 주어진 input에 대하여 prompt에 주어진 대로 변형을 해서 output을 리턴하는! 다양하게 활용 가능 : 번역, 오류 수정, 형식 변형 Translation ) ex. Tone Transformation ) Writing can vary based on the intended audience. ChatGPT can produce different tones. ex. Format Convers..

2023.12.13 - [Study/LLM] - ChatGPT Prompt Engineering for Developers : Intro 이어서~ Prompting 활용 사례 알아보기 - summarizing - inferring - transforming - expanding Summarizing 1차 접근 ) word/sentence/character limit (당연히 요약이니까 요약본의 길이 제한) 2차 접근 ) 세부적 지시사항 추가 # 예시 : product review를 요약해서 # shipping department에 피드백을 주려는 상황이라면 --- prompt : " summarize by focusing on any aspects that mention shipping and deliv..

DeepLearning AI 강의 수강 후 요약 https://www.deeplearning.ai/ Home Learn the skills to start or advance your AI career | World-class education | Hands-on training | Collaborative community of peers and mentors www.deeplearning.ai 단순히 ChatGPT web user interface를 이용하는 것에서 넘어서 developer tool으로서의 LLM의 힘은 "using API calls to LLMs to quickly build software applications"이다. - Andrew Ng - 언어모델을 이해하는 것도 중요하지만 ..