Update README.md
Browse files
README.md
CHANGED
|
@@ -14,4 +14,17 @@ widget:
|
|
| 14 |
- text: "Аня: Ох!"
|
| 15 |
---
|
| 16 |
|
| 17 |
-
float16 версия [zlsl/l_soft_erotic_tm](https://huggingface.co/zlsl/l_soft_erotic_tm)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 14 |
- text: "Аня: Ох!"
|
| 15 |
---
|
| 16 |
|
| 17 |
+
float16 версия [zlsl/l_soft_erotic_tm](https://huggingface.co/zlsl/l_soft_erotic_tm)
|
| 18 |
+
|
| 19 |
+
|
| 20 |
+
|
| 21 |
+
## Для пользователей text-generation-webui
|
| 22 |
+
В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
|
| 23 |
+
Ошибка такая:<br>
|
| 24 |
+
>eos_token_id = eos_token_id[0]
|
| 25 |
+
>IndexError: list index out of range
|
| 26 |
+
|
| 27 |
+
Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br>
|
| 28 |
+
<code>tokenizer.eos_token_id = 2</code><br>
|
| 29 |
+
перед<br>
|
| 30 |
+
<code>return tokenizer</code>
|