Openai cookbook : GPT-3 , Text editing examples

오늘 공부할 내용 원본은 아래와 같습니다.

https://github.com/openai/openai-cookbook/blob/main/text_editing_examples.md

GitHub - openai/openai-cookbook: Examples and guides for using the OpenAI API

Text editing examples

 

 completions API endpoint 에 추가해서 OpenAI 는 edits API endpoint를 제공합니다.  자세한 사항을 아래 링크를 참조하세요.

• Blog post announcement (Mar 2022)
• Edit API documentation

단일 텍스트 입력값만 받는 Completions 와 달리 Edits는 두가지 입력값을 받습니다. 지시문과 수정될 텍스트 입니다. 아래 예를 보여드리겠습니다.

 

instruction input :

Fix the OCR errors

Text input

Therewassomehostilityntheenergybehindthe researchreportedinPerceptrons....Part of ourdrivecame,aswequiteplainlyacknoweldgednourbook,fromhe facthatfundingndresearchnergywerebeingdissipatedon. . .misleadingttemptsouseconnectionistmethodsnpracticalappli-cations.

Output

There was some hostility in the energy behind the research reported in Perceptrons....Part of our drive came, as we quite plainly acknowledged in our book, from the fact that funding and research energy were being dissipated on...misleading attempts to use connectionist methods in practical applications.

 

일반적으로 instructions는 명령형, 현재형 혹은 과거형 일 수 있습니다. 사용 사례마다 가장 적합한 것이 무엇인지 직접 실험해 보세요.

 

Translation

이 Edit 애플리케이션 중 하나가 번역 프로그램입니다.

Large language 모델은 common language들 간의 번역에 아주 탁월합니다.

2021년 GPT-3는 WMT14 영어 - 프랑스어 benchmark에서 자율 번역 분야에서 새로운 state-of-the-art 기록을 세웠습니다.

 

다음은 Edits endpoint를 사용하여 텍스트를 번역하는 방법에 대한 예제 입니다.

 

Instruction input

translation into French

 

Text input

That's life.

Output

C'est la vie.

물론 Edits endpoint로 할수 있는 많은 작업들이 Completion endpoint로도 수행할 수 있습니다. 예를 들어 다음과 같이 명령을 앞에 추가하여 번역을 요청할 수 있습니다.

 

Translate the following text from English to French.

English: That's life.
French:

Output

 C'est la vie.

번역을 위한 팁에는 아래와 같은 것들이 있습니다.

 

• Performance is best on the most common languages
• 대부분의 일반적인 언어들에 있어서의 성능은 최고 입니다.
• We've seen better performance when the instruction is given in the final language (so if translating into French, give the instruction Traduire le texte de l'anglais au français. rather than Translate the following text from English to French.)
• instruction이 최종 언어로 제공될 때 그 성능은 더 좋게 나오는 것을 목격했습니다. (따라서 프랑스어로 번역하는 경우 instruction을 Translate the following text from English to French 이렇게 주는 것 보다 Traduire le texte de l'anglais au français. 이렇게 주는 것이 더 효과가 좋습니다.. )
• Backtranslation (as described here) can also increase performance
• 역변환 (here 참조)도 성능을 향상 시킬 수 있습니다.
• Text with colons and heavy punctuation can trip up the instruction-following models, especially if the instruction uses colons (e.g., English: {english text} French:)
• colon과 heavy punctuation 부호가 있는 텍스트는 instruction-following 모델에 문제를 일으킬 수 있습니다. 특히 instruction이 colon을 사용하는 경우 그렇습니다. (e.g., English: {english text} French:)
• The edits endpoint sometimes repeats the original text input alongside the translation, which can be monitored and filtered
• Edits endpoint는 번역문과 함께 원본 텍스트를 반복할 때도 있습니다. 이는 모니터링 및 필터링을 할 수 있습니다.

번역과 관련하여 large language 모델은 번역과 함께 다른 instruction을 결합하는데 탁월합니다. 예를 들어 여러분은 GPT-3에게 Slovenian을 English로 번역할 것을 요청할 수 있습니다. 하지만 모든 LaTeX 조판 명령은 바뀌지 않습니다. 다음 Jupyter Notebook은 슬로베니아 수학책을 영어로 어떻게 번역했는지 자세히 설명합니다.

 

Translation of a Slovenian math book into English

GitHub - openai/openai-cookbook: Examples and guides for using the OpenAI API