IT 기술 따라잡기

오늘은 Open AI API 에서 제공하는 기본 Embedding 예제 소스 코드를 살펴 보겠습니다.

아래 글을 보시면 해당 API 페이지의 내용을 보실 수 있습니다.

https://coronasdk.tistory.com/1237

이 예제 코드를 실행하기 위해서 약간 고친 저의 코드는 아래와 같습니다.

print를 좀 이쁘게 하기 위해서 pprint를 import 했고 api key를 전달하는 부분을 파일에서 읽어서 전달하도록 바꾸었습니다.

openai.Embedding.create() 부분은 예제와 똑 같습니다

이것을 실행하면 이렇게 나옵니다.

시작하는 부분은 이렇습니다.

입력 값은 "The food was delicious and the waiter..." 입니다. 

이에 대한 응답은 JSON 형식으로 response를 받게 되고 data 밑에 embedding 이라는 항목이 있고 그 안데 배열 형식으로 수 많은 숫자들이 있습니다. 모든 숫자는 0 이하의 부동 소숫점이고 양수와 음수들이 번갈아 가며 있습니다.

소숫점 아래 숫자들은 18자리 입니다.

이 부동 소숫점 들이 몇개나 있는지 알아봤습니다.

총 1536개가 있었습니다.

이것만 가지고는 무슨 의미인지 전혀 알 수 없습니다.

이 embeddings 기능을 사용하려면 이 response를 조금 가공 해야 합니다.

의미를 알 수 있도록 가공하는 방법에 대해서는 다음 글에서 자세하게 다룰 예정입니다.

오늘은 간단한 방법만 알아 보겠습니다.

일단 response 부분을 더 보겠습니다.

response의 맨 아랫부분을 보면 이렇습니다.

부동 소숫점 배열이 있는 embedding 부분이 끝나면 index 가 있습니다.

현재 값은 0 입니다.

이것은 우리가 request를 할 때 한가지만 전달해서 그렇습니다.

request의 input 부분에 여러개를 전달하면 각각에 대한 embedding 값을 반환하고 index는 0,1,2,3 이렇게 증가하면서 몇번째 request에 대한 임베딩 값인지 알 수 있게 해 줍니다.

그 다음 object는 embedding 이라는 것을 말해 줍니다.

그 다음은 모델 정보가 나옵니다. 우리는 request에서 text-embedding-ada-002를 사용했습니다.

응답에 나온 것을 보니까 정확하게는 text-embedding-ada-002-v2 모델을 사용했네요.

밑줄엔 object 아이템이 있고 이것은 list 를 사용했다고 알려 주는 것 같습니다.

그 밑에 usage 부분에는 사용된 토큰 값이 표시 됩니다.

이 토큰의 양에 따라서 사용료가 부과가 되니까 이것도 중요한 정보 입니다.

우리가 사용한 토큰은 총 8개 입니다.

토큰에 대해 알고 싶으시면 아래 글에 간단히 설명 돼 있습니다.

https://coronasdk.tistory.com/1257

일단 여기서 핵심 정보는 embedding 부분입니다.

이것을 다루려면 이 부분만 따로 추려서 다루어야 합니다.

response 중에 embedding 만을 따로 추리는 방법은 아래와 같습니다.

embeddings = response['data'][0]['embedding']

당연히 이 부분을 출력하면 embedding 값들만 나오겠죠.

이 embedding은 대개 유사성을 측정하는데 사용합니다.

그렇기 때문에 두개 이상의 대상에 대해 유사성을 측정하게 되는데요.

이 경우 이 값들을 유의미하게 사용하기 위해서 numpy의 dot() 이라는 메소드를 사용합니다.

이 dot() 메소드는 두개의 input array가 1차원인 벡터들인 경우 사용합니다.

다음 글에서는 이 embedding 을 가지고 유의미하게 사용하는 예제를 만들고 분석해 보겠습니다.