kompactss/JeBERT_ko_je_v2

🍊 제주 방언 번역 모델 🍊

• 표준어 -> 제주어
• Made by. 구름 자연어처리 과정 3기 3조!!
• github link : https://github.com/Goormnlpteam3/JeBERT

1. Seq2Seq Transformer Model

• encoder : BertConfig
• decoder : BertConfig
• Tokenizer : WordPiece Tokenizer

2. Dataset

• Jit Dataset
• AI HUB(+아래아 문자)_v2

3. Hyper Parameters

• Epoch : 10 epochs(best at 7 epoch)
• Random Seed : 42
• Learning Rate : 5e-5
• Warm up Ratio : 0.1
• Batch Size : 32

4. BLEU Score

• Jit + AI HUB(+아래아 문자) Dataset : 67.6

---

CREDIT

• 주형준 : [email protected]
• 강가람 : [email protected]
• 고광연 : [email protected]
• 김수연 : [email protected]
• 이원경 : [email protected]
• 조성은 : [email protected]