2023.12.14 - [Study/LLM] - ChatGPT Prompt Engineering for Developers : Usage (1) 이어서~ Prompting 활용 사례 알아보기 - summarizing - inferring - transforming - expanding Transforming 주어진 input에 대하여 prompt에 주어진 대로 변형을 해서 output을 리턴하는! 다양하게 활용 가능 : 번역, 오류 수정, 형식 변형 Translation ) ex. Tone Transformation ) Writing can vary based on the intended audience. ChatGPT can produce different tones. ex. Format Convers..

2023.12.13 - [Study/LLM] - ChatGPT Prompt Engineering for Developers : Intro 이어서~ Prompting 활용 사례 알아보기 - summarizing - inferring - transforming - expanding Summarizing 1차 접근 ) word/sentence/character limit (당연히 요약이니까 요약본의 길이 제한) 2차 접근 ) 세부적 지시사항 추가 # 예시 : product review를 요약해서 # shipping department에 피드백을 주려는 상황이라면 --- prompt : " summarize by focusing on any aspects that mention shipping and deliv..

DeepLearning AI 강의 수강 후 요약 https://www.deeplearning.ai/ Home Learn the skills to start or advance your AI career | World-class education | Hands-on training | Collaborative community of peers and mentors www.deeplearning.ai 단순히 ChatGPT web user interface를 이용하는 것에서 넘어서 developer tool으로서의 LLM의 힘은 "using API calls to LLMs to quickly build software applications"이다. - Andrew Ng - 언어모델을 이해하는 것도 중요하지만 ..

https://tutorials.pytorch.kr/recipes/recipes/tensorboard_with_pytorch.html 텐서보드 - 학습에 사용되는 각종 파라미터 값이 어떻게 변화하는지 시각화하여 살펴볼 수 있음 - 성능(loss/accuracy) 추적, 시각화 or 평가 용도 (1) SummaryWriter 인스턴스 생성 import torch from torch.utils.tensorboard import SummaryWriter writer = SummaryWriter() 모니터링 값들이 출력되는 디렉토리를 ()에 설정해줄 수 있음 (2) 스칼라(scalar) 기록하기 - 스칼라는 각 학습 단계에서 손실 값이나 각 에폭 이후의 정확도를 저장하는데 도움을 줌 - 스칼라 값을 기록하려면 ..

1. 파이토치 : GPU에서 텐서 조작 및 동적 신경망 구축이 가능한 프레임워크 GPU : 빠른 연산속도 Tensor : 파이토치의 데이터 형태 동적 신경망 : 훈련 반복 때마다 네트워크 변경이 가능한 신경망 2. 파이토치의 아키텍쳐 파이토치 API : 가장 상위 계층 파이토치 엔진 : 다차원 텐서 및 자동 미분(autograd) 처리 연산처리 : 텐서에 대한 연산 처리, 텐서의 실질적인 계산을 위한 C, CUDA등 라이브러리가 위치함 2.1 파이토치 API 사용자가 이해하기 쉬운 API를 제공하여 텐서에 대한 처리와 신경망을 구축하고 훈련할 수 있도록 도움. (실제 계산은 수행하지 않고, 파이토치 엔진으로 그 작업을 전달하는 역할만!) torch : GPU를 지원하는, 텐서 생성 라이브러리 다차원 텐서..

https://bbycroft.net/llm LLM Visualization bbycroft.net

Leet Code #602. Friend Requests II: Who Has the Most Friends Friend Requests II: Who Has the Most Friends - LeetCode Can you solve this real interview question? Friend Requests II: Who Has the Most Friends - Table: RequestAccepted +----------------+---------+ | Column Name | Type | +----------------+---------+ | requester_id | int | | accepter_id | int | | accept_date | leetcode.com [ 문제상황 ] 팔로우..

예제 leet code # 626 leet code # 1204 Leet Code #626. Exchange Seats [ 문제상황 ] id - 학생이름이 나열되어 있는 테이블에서 - (1,2) / (3,4) / ... 이웃된 학생끼리 id를 swap - 만약 학생 수가 홀수 명이라서 한 명이 남으면 그 학생은 id 유지 [ 해결방법 ] Sol 1 : CASE WHEN 으로 케이스 분류 접근법 : 1. id가 짝수면 (2로 나눈 나머지가 0) 기존 id에서 1을 빼고, 2. id가 홀수면 (2로 나눈 나머지가 1) 기존 id에서 1을 더함. 3. 그런데 전체 학생 수가 홀수일 때 마지막 홀수 번호 학생은 1을 더해주면 안되니까 subquery 이용해서 case 나눠주기. id = (SELECT COUNT..

1. 차원이 크면 생기는 문제점 차원이 커질수록 (1) 데이터 포인트들 간 거리가 크게 증가 (2) 데이터가 희소화됨 (sparse) 데이터 포인트들 간 거리에 기반한 머신러닝 알고리즘이 무력화됨 + 그리고 피처가 많을 경우 개별 피처간에 상관관계가 높아 선형 회귀 같은 모델에서는 다중 공선성 모델로 예측 성능이 저하될 가능성이 높음 2. 차원을 축소하면 장점 - 학습 데이터 크기를 줄여서 training 시간을 절약 - 불필요한 피처들을 줄여서 모델 성능 향상에 기여할 수 있음 (항상 향상되는건 아님) - 다차원의 데이터를 3차원 이하의 차원 축소를 하면 시각적으로 쉽게 데이터 패턴을 인지할 수 있음 3. 차원 축소의 목표 원본 데이터의 정보를 최대한 유지하면서 차원을 축소하기 4. 차원 축소 (1) ..