반응형
블로그 이미지
개발자로서 현장에서 일하면서 새로 접하는 기술들이나 알게된 정보 등을 정리하기 위한 블로그입니다. 운 좋게 미국에서 큰 회사들의 프로젝트에서 컬설턴트로 일하고 있어서 새로운 기술들을 접할 기회가 많이 있습니다. 미국의 IT 프로젝트에서 사용되는 툴들에 대해 많은 분들과 정보를 공유하고 싶습니다.
솔웅

최근에 올라온 글

최근에 달린 댓글

최근에 받은 트랙백

글 보관함

카테고리


반응형

https://huggingface.co/learn/nlp-course/chapter3/5?fw=pt

 

Fine-tuning, Check! - Hugging Face NLP Course

2. Using 🤗 Transformers 3. Fine-tuning a pretrained model 4. Sharing models and tokenizers 5. The 🤗 Datasets library 6. The 🤗 Tokenizers library 9. Building and sharing demos new

huggingface.co

 

Fine-tuning, Check!

 

That was fun! In the first two chapters you learned about models and tokenizers, and now you know how to fine-tune them for your own data. To recap, in this chapter you:

 

재미있었어요! 처음 두 장에서는 모델과 토크나이저에 대해 배웠고 이제 자신의 데이터에 맞게 미세 조정하는 방법을 알게 되었습니다. 요약하면 이 장에서는 다음을 수행합니다.

 

  • Learned about datasets in the Hub 허브의 데이터 세트에 대해 배웠습니다.
  • Learned how to load and preprocess datasets, including using dynamic padding and collators
  • 동적 패딩 및 콜레이터 사용을 포함하여 데이터 세트를 로드하고 전처리하는 방법을 배웠습니다.
  • Implemented your own fine-tuning and evaluation of a model
  • 모델에 대한 자체 미세 조정 및 평가 구현
  • Implemented a lower-level training loop
  • 낮은 수준의 훈련 루프를 구현했습니다.
  • Used 🤗 Accelerate to easily adapt your training loop so it works for multiple GPUs or TPUs
  • 여러 GPU 또는 TPU에서 작동하도록 훈련 루프를 쉽게 조정하기 위해 🤗  Accelerate를 사용했습니다.
 

Hugging Face – The AI community building the future.

 

huggingface.co

 

 

 

 

 

 

 

반응형