Aratako commited on
Commit
228a428
1 Parent(s): 458ee47

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +13 -0
README.md CHANGED
@@ -50,6 +50,19 @@ jsquad(jsquad-1.1-0.3, 2-shots)、jcommonsenseqa(jcommonsenseqa-1.1-0.3, 3-shots
50
 
51
  ![レーダーチャート](./japanese_mt_bench.png)
52
 
 
 
 
 
 
 
 
 
 
 
 
 
 
53
  ## ライセンス
54
  元モデルである[CohereForAI/c4ai-command-r-v01](https://huggingface.co/CohereForAI/c4ai-command-r-v01)はCC-BY-NC 4.0と[C4AI's Acceptable Use Policy](https://docs.cohere.com/docs/c4ai-acceptable-use-policy)のもとに配布されています。
55
 
 
50
 
51
  ![レーダーチャート](./japanese_mt_bench.png)
52
 
53
+ 余談ですが、英語ベンチマークである[Open LLM Leaderboard]((https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard))のスコアもなぜかわずかに向上していました。
54
+ [詳細](https://huggingface.co/datasets/open-llm-leaderboard/details_Aratako__c4ai-command-r-v01-japanese-instruct)
55
+
56
+ | Metric |c4ai-command-r-v01|**c4ai-command-r-v01-japanese-instruct**|
57
+ |---------------------------------|----:|----:|
58
+ |Avg. |68.54|**68.85**|
59
+ |AI2 Reasoning Challenge (25-Shot)|65.53|**65.87**|
60
+ |HellaSwag (10-Shot) |87|**85.62**|
61
+ |MMLU (5-Shot) |68.2|**67.61**|
62
+ |TruthfulQA (0-shot) |52.32|**51.01**|
63
+ |Winogrande (5-shot) |81.53|**82.95**|
64
+ |GSM8k (5-shot) |56.63|**60.05**|
65
+
66
  ## ライセンス
67
  元モデルである[CohereForAI/c4ai-command-r-v01](https://huggingface.co/CohereForAI/c4ai-command-r-v01)はCC-BY-NC 4.0と[C4AI's Acceptable Use Policy](https://docs.cohere.com/docs/c4ai-acceptable-use-policy)のもとに配布されています。
68