ChatGPT Prompt Engineering for Developers : Intro

DeepLearning AI 강의 수강 후 요약 

 

https://www.deeplearning.ai/

Home

 

단순히  ChatGPT web user interface를 이용하는 것에서 넘어서

developer tool으로서의 LLM의 힘은  "using API calls to LLMs to quickly build software applications"이다. 

- Andrew Ng -

 

 

언어모델을 이해하는 것도 중요하지만 거대언어모델은 빠른 속도로 발전하고 있고, 사전에 학습된 언어모델을 어떻게 활용할 수 있는지가 중요하다는 생각이 들었다. (이미 활용 분야도 급격히 늘어나는 중..) 앞으로도 어디에서 관련된 일을 하게 된다면, 내가 언어모델을 개발하고 파인튜닝하고 있는게 아니라 목적에 맞게 api를 가져다 활용하는 사람이 되지 않을까? 해서 듣게 된 짧은 강의이다. 

 

---

 

2 Types of LLMs

 

1) Base LLM

2) Instruction Tuned LLM

 

Base LLM	Instruction Tuned LLM
txt 훈련 데이터를 기반으로 다음 단어를 예측	지시를 따르려고 함
	Fine-tune on instructions & good attempts at following those instructions. * RLHF : Reinforcement learning with human feedback
예) Prompt : What is the capital of France? 에 대한 각 LLM의 반환값
비슷한 질문들.. ( What is France's largest city?    What is France's population? )	질문에 대한 대답 ( The capital of France is Paris. )

 

본 강의가 지향하는 LLM : Instruction Tuned LLM 

 

 

---

 

Guidelines for Prompting

Principles

 

 1. Write clear and specific instructions (clear하다고 짧은게 아님) 

 

• tactic 1 : use delimiters to clearly indicate distinct parts of the input
  • 어디까지가 문장이고, 어디까지가 prompt인지 명확히 구분
  • ``` , """, < >, <tag> </tag>
  • prompt injection을 막을 수 있음
• tactic 2 : ask for structured output (HTML, JSON 등)

 

• tactic 3 : check whether conditions are satisfied. / check assumptions required to do the task
  • 언어 모델의 hallucination 현상을 예방할 수 있음

• tactic 4 : Few-shot prompting
  • give successful examples of completing task, 그 다음에 task 수행을 요구하기 !

 

 

 2. Give a model time to "think" 

 

• tactic 1 : specify the steps to complete a task
• tactic 2 : instruct the model to work out its own solution before rushing to a conclusion 

 

Model Limitations

- Hallucination : makes statements that sound plausible but are not true

- Reducing Halluciation : prompt like

  " first find relevant info, then answer the question based on the relevant information "

 

 

Iterative Prompt Development

결과를 보고 계속 수정, 다듬는 식

예를 들어, 응답의 단어 수, 문장 수를 제한한다던가, 구체적인 요구사항 (꼭 포함되어야 할 것 / 안될 것)을 포함시키기,

또는 응답의 format (HTML tag 등)을 요구하거나 

 

 

 

 

---

 

참고자료

 

https://learn.deeplearning.ai/chatgpt-prompt-eng/lesson/1/introduction

https://learn.deeplearning.ai/chatgpt-prompt-eng/lesson/2/guidelines

https://learn.deeplearning.ai/chatgpt-prompt-eng/lesson/3/iterative