Fine-tuning "GPT-3.5-turbo"

1. 파인튜닝(Fine-tuning) 데이터 준비

데이터는 아래와 같은 jsonl형식을 준비합니다.

 

각 줄에는 system, user, assistant message가 포함됩니다.

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already."}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?"}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters."}]}

-data.jsonl-

 

2. 파인튜닝(Fine-tuning) 데이터 업로드

아래의 코드로 위에서 준비한 데이터를 사용하여 fine-tuning에 쓰일 데이터를 업로드합니다.

import openai

opanai.api_key = "OPENAI_API_KEY"

response = openai.File.create(
  file=open("data.jsonl", "rb"),
  purpose='fine-tune'
)

print(response)

위 코드를 실행할 경우 "id" = "file-" 이러한 형식의 파일 id 값을 얻을 수 있습니다.

 

3. "gpt-3.5-turbo" 모델 트레인

이제 위에서 얻은 file id의 값을 활용하여 gpt-3.5-turbo 모델을 직접 train 합니다.

import openai

openai.api_key = "OPENAI_API_KEY"
file_id = "your file id"
response = openai.FineTuningJob.create(training_file=file_id, model="gpt-3.5-turbo")

print(response)

파인튜닝의 시간은 데이터셋에 크기에 따라 달라집니다.

 

파인튜닝이 완료된 이후 일정시간 후에 Open AI에 등록된 이메일 계정으로 

 

파인튜닝이 완료된 새로운 모델명을 알려줍니다.

 

4. 파인튜닝된 모델 사용하기

이제는 파인튜닝한 모델을 사용할 시간입니다.

 

langchain을 이용하여 위에서 학습한 모델을 기반으로 질문에 대한 답변을 불러옵니다.

from langchain.chat_models import ChatOpenAI
from langchain.schema import HumanMessage

model_name = "your model name"
chat = ChatOpenAI(model=model_name)

messages = [
    HumanMessage(content="What is the meaning of life?")
]

response = chat(messages)
print(response.content)

 

감사합니다. :)

 

 

-참고자료-

 

https://www.haihai.ai/finetune/

How to Fine-Tune gpt-3.5-turbo

https://platform.openai.com/docs/guides/fine-tuning

OpenAI Platform