https://huggingface.co/learn/nlp-course/chapter1/5?fw=pt
Encoder models - Hugging Face NLP Course
2. Using 🤗 Transformers 3. Fine-tuning a pretrained model 4. Sharing models and tokenizers 5. The 🤗 Datasets library 6. The 🤗 Tokenizers library 9. Building and sharing demos new
huggingface.co
https://youtu.be/MUqNwgPjJvQ?si=0uK-B2FJcPmGBNcy
Encoder models use only the encoder of a Transformer model. At each stage, the attention layers can access all the words in the initial sentence. These models are often characterized as having “bi-directional” attention, and are often called auto-encoding models.
인코더 모델은 Transformer 모델의 인코더만 사용합니다. 각 단계에서 Attention 레이어는 초기 문장의 모든 단어에 접근할 수 있습니다. 이러한 모델은 종종 "양방향" 주의를 기울이는 특징이 있으며 자동 인코딩 모델이라고도 합니다.
The pretraining of these models usually revolves around somehow corrupting a given sentence (for instance, by masking random words in it) and tasking the model with finding or reconstructing the initial sentence.
이러한 모델의 사전 학습은 일반적으로 주어진 문장을 어떻게든 손상시키고(예: 임의의 단어를 마스킹하여) 초기 문장을 찾거나 재구성하는 작업을 모델에 맡기는 것을 중심으로 진행됩니다.
Encoder models are best suited for tasks requiring an understanding of the full sentence, such as sentence classification, named entity recognition (and more generally word classification), and extractive question answering.
인코더 모델은 문장 분류, 명명된 엔터티 인식(더 일반적으로는 단어 분류), 추출적 질문 응답 등 전체 문장에 대한 이해가 필요한 작업에 가장 적합합니다.
Representatives of this family of models include:
이 모델 제품군의 대표자는 다음과 같습니다.
'Hugging Face > NLP Course' 카테고리의 다른 글
| HF-NLP-Transformer models : End-of-chapter quiz (1) | 2023.12.24 |
|---|---|
| HF-NLP-Transformer models : Summary (0) | 2023.12.24 |
| HF-NLP-Transformer models : Bias and limitations (1) | 2023.12.24 |
| HF-NLP-Transformer models : Sequence-to-sequence models[sequence-to-sequence-models] (1) | 2023.12.24 |
| HF-NLP-Transformer models : Decoder models (1) | 2023.12.24 |
| HF-NLP-Transformer models : How do Transformers work? (1) | 2023.12.24 |
| HF-NLP-Transformer models : Transformers, what can they do? (0) | 2023.12.23 |
| HF-NLP-Transformer models : Natural Language Processing (0) | 2023.12.19 |
| HF-NLP-Transformer models : Introduction (0) | 2023.12.19 |
| HF-NLP-Setup Introduction (0) | 2023.12.19 |