Edit model card

vit-pretraining-2024_03_25

This model is a fine-tuned version of facebook/vit-mae-base on the imagefolder dataset. It achieves the following results on the evaluation set:

  • Loss: 0.1139

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 4.6875e-06
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: cosine
  • lr_scheduler_warmup_ratio: 0.05
  • num_epochs: 400.0

Training results

Training Loss Epoch Step Validation Loss
0.2681 1.0 3583 0.2640
0.1979 2.0 7166 0.1934
0.1697 3.0 10749 0.1721
0.1511 4.0 14332 0.1592
0.1536 5.0 17915 0.1502
0.1519 6.0 21498 0.1459
0.1396 7.0 25081 0.1418
0.1393 8.0 28664 0.1392
0.1323 9.0 32247 0.1369
0.1409 10.0 35830 0.1351
0.1297 11.0 39413 0.1339
0.1314 12.0 42996 0.1322
0.1295 13.0 46579 0.1312
0.1337 14.0 50162 0.1305
0.1283 15.0 53745 0.1296
0.1323 16.0 57328 0.1289
0.1287 17.0 60911 0.1280
0.1278 18.0 64494 0.1279
0.1315 19.0 68077 0.1271
0.1293 20.0 71660 0.1266
0.1226 21.0 75243 0.1261
0.1227 22.0 78826 0.1259
0.1198 23.0 82409 0.1250
0.1214 24.0 85992 0.1245
0.1255 25.0 89575 0.1247
0.1235 26.0 93158 0.1238
0.1257 27.0 96741 0.1238
0.1291 28.0 100324 0.1239
0.1299 29.0 103907 0.1232
0.1219 30.0 107490 0.1233
0.1208 31.0 111073 0.1231
0.1277 32.0 114656 0.1232
0.1273 33.0 118239 0.1224
0.1219 34.0 121822 0.1225
0.1194 35.0 125405 0.1228
0.1237 36.0 128988 0.1224
0.129 37.0 132571 0.1220
0.1264 38.0 136154 0.1219
0.1213 39.0 139737 0.1215
0.1208 40.0 143320 0.1215
0.1233 41.0 146903 0.1213
0.1221 42.0 150486 0.1207
0.1139 43.0 154069 0.1213
0.1208 44.0 157652 0.1211
0.1169 45.0 161235 0.1212
0.1193 46.0 164818 0.1208
0.122 47.0 168401 0.1205
0.1251 48.0 171984 0.1212
0.114 49.0 175567 0.1202
0.1196 50.0 179150 0.1207
0.1209 51.0 182733 0.1203
0.1265 52.0 186316 0.1197
0.1165 53.0 189899 0.1204
0.112 54.0 193482 0.1202
0.1194 55.0 197065 0.1199
0.1194 56.0 200648 0.1200
0.1212 57.0 204231 0.1198
0.1168 58.0 207814 0.1203
0.1246 59.0 211397 0.1197
0.1147 60.0 214980 0.1201
0.1271 61.0 218563 0.1190
0.1241 62.0 222146 0.1198
0.1149 63.0 225729 0.1189
0.1246 64.0 229312 0.1193
0.1172 65.0 232895 0.1195
0.1205 66.0 236478 0.1192
0.1129 67.0 240061 0.1188
0.118 68.0 243644 0.1192
0.1095 69.0 247227 0.1189
0.128 70.0 250810 0.1190
0.1125 71.0 254393 0.1193
0.1148 72.0 257976 0.1186
0.1195 73.0 261559 0.1186
0.1249 74.0 265142 0.1187
0.1208 75.0 268725 0.1189
0.1157 76.0 272308 0.1186
0.1186 77.0 275891 0.1183
0.1155 78.0 279474 0.1185
0.1187 79.0 283057 0.1184
0.121 80.0 286640 0.1184
0.1195 81.0 290223 0.1185
0.1183 82.0 293806 0.1184
0.1176 83.0 297389 0.1183
0.1192 84.0 300972 0.1178
0.1124 85.0 304555 0.1184
0.1175 86.0 308138 0.1183
0.1193 87.0 311721 0.1182
0.1162 88.0 315304 0.1181
0.1161 89.0 318887 0.1179
0.1189 90.0 322470 0.1180
0.1218 91.0 326053 0.1180
0.1134 92.0 329636 0.1176
0.1132 93.0 333219 0.1175
0.1211 94.0 336802 0.1182
0.1166 95.0 340385 0.1180
0.124 96.0 343968 0.1176
0.1199 97.0 347551 0.1178
0.1138 98.0 351134 0.1172
0.1151 99.0 354717 0.1182
0.118 100.0 358300 0.1177
0.1159 101.0 361883 0.1172
0.1166 102.0 365466 0.1180
0.1193 103.0 369049 0.1176
0.1194 104.0 372632 0.1180
0.1172 105.0 376215 0.1175
0.118 106.0 379798 0.1170
0.1204 107.0 383381 0.1173
0.1152 108.0 386964 0.1177
0.1194 109.0 390547 0.1174
0.1246 110.0 394130 0.1177
0.1217 111.0 397713 0.1175
0.1147 112.0 401296 0.1174
0.1218 113.0 404879 0.1172
0.1172 114.0 408462 0.1171
0.1162 115.0 412045 0.1175
0.1178 116.0 415628 0.1165
0.1149 117.0 419211 0.1170
0.1163 118.0 422794 0.1175
0.114 119.0 426377 0.1172
0.118 120.0 429960 0.1172
0.1167 121.0 433543 0.1173
0.1143 122.0 437126 0.1172
0.1144 123.0 440709 0.1171
0.1155 124.0 444292 0.1164
0.1152 125.0 447875 0.1170
0.116 126.0 451458 0.1171
0.1171 127.0 455041 0.1170
0.1143 128.0 458624 0.1166
0.115 129.0 462207 0.1170
0.1182 130.0 465790 0.1171
0.1263 131.0 469373 0.1171
0.1146 132.0 472956 0.1171
0.1097 133.0 476539 0.1169
0.1154 134.0 480122 0.1165
0.1139 135.0 483705 0.1168
0.1169 136.0 487288 0.1166
0.1244 137.0 490871 0.1162
0.1139 138.0 494454 0.1167
0.1133 139.0 498037 0.1165
0.1169 140.0 501620 0.1164
0.1161 141.0 505203 0.1166
0.1163 142.0 508786 0.1164
0.1124 143.0 512369 0.1168
0.109 144.0 515952 0.1164
0.1143 145.0 519535 0.1164
0.1158 146.0 523118 0.1163
0.1194 147.0 526701 0.1160
0.1151 148.0 530284 0.1160
0.1204 149.0 533867 0.1165
0.1166 150.0 537450 0.1162
0.1169 151.0 541033 0.1165
0.122 152.0 544616 0.1164
0.1067 153.0 548199 0.1164
0.1237 154.0 551782 0.1165
0.1105 155.0 555365 0.1167
0.1072 156.0 558948 0.1162
0.1126 157.0 562531 0.1161
0.1117 158.0 566114 0.1163
0.1181 159.0 569697 0.1161
0.12 160.0 573280 0.1161
0.1147 161.0 576863 0.1163
0.1066 162.0 580446 0.1162
0.1137 163.0 584029 0.1159
0.1224 164.0 587612 0.1158
0.118 165.0 591195 0.1163
0.1143 166.0 594778 0.1161
0.1251 167.0 598361 0.1155
0.1164 168.0 601944 0.1158
0.1146 169.0 605527 0.1157
0.1145 170.0 609110 0.1159
0.1112 171.0 612693 0.1157
0.1222 172.0 616276 0.1165
0.1173 173.0 619859 0.1165
0.1124 174.0 623442 0.1161
0.1107 175.0 627025 0.1159
0.1164 176.0 630608 0.1156
0.1221 177.0 634191 0.1158
0.1231 178.0 637774 0.1159
0.1121 179.0 641357 0.1158
0.1079 180.0 644940 0.1154
0.1155 181.0 648523 0.1160
0.1139 182.0 652106 0.1159
0.1163 183.0 655689 0.1155
0.1149 184.0 659272 0.1154
0.1151 185.0 662855 0.1160
0.1146 186.0 666438 0.1160
0.1199 187.0 670021 0.1158
0.1184 188.0 673604 0.1159
0.1233 189.0 677187 0.1156
0.1093 190.0 680770 0.1156
0.1117 191.0 684353 0.1150
0.1102 192.0 687936 0.1156
0.1105 193.0 691519 0.1160
0.1151 194.0 695102 0.1159
0.119 195.0 698685 0.1153
0.1214 196.0 702268 0.1155
0.1133 197.0 705851 0.1158
0.1175 198.0 709434 0.1157
0.1148 199.0 713017 0.1154
0.114 200.0 716600 0.1154
0.1225 201.0 720183 0.1152
0.1146 202.0 723766 0.1153
0.1197 203.0 727349 0.1157
0.1167 204.0 730932 0.1158
0.1162 205.0 734515 0.1150
0.1154 206.0 738098 0.1158
0.1193 207.0 741681 0.1155
0.1168 208.0 745264 0.1153
0.1119 209.0 748847 0.1154
0.1163 210.0 752430 0.1153
0.1165 211.0 756013 0.1154
0.1135 212.0 759596 0.1155
0.1109 213.0 763179 0.1153
0.1194 214.0 766762 0.1159
0.1149 215.0 770345 0.1153
0.0999 216.0 773928 0.1154
0.1148 217.0 777511 0.1156
0.1149 218.0 781094 0.1154
0.1189 219.0 784677 0.1150
0.1166 220.0 788260 0.1155
0.1162 221.0 791843 0.1149
0.1152 222.0 795426 0.1152
0.1128 223.0 799009 0.1151
0.1072 224.0 802592 0.1151
0.1131 225.0 806175 0.1151
0.1131 226.0 809758 0.1155
0.1136 227.0 813341 0.1150
0.1165 228.0 816924 0.1147
0.1171 229.0 820507 0.1155
0.1132 230.0 824090 0.1151
0.1143 231.0 827673 0.1148
0.1112 232.0 831256 0.1148
0.1171 233.0 834839 0.1150
0.1176 234.0 838422 0.1151
0.1127 235.0 842005 0.1150
0.1174 236.0 845588 0.1148
0.1112 237.0 849171 0.1152
0.1153 238.0 852754 0.1146
0.1164 239.0 856337 0.1151
0.1195 240.0 859920 0.1150
0.1102 241.0 863503 0.1151
0.1097 242.0 867086 0.1150
0.1108 243.0 870669 0.1151
0.1125 244.0 874252 0.1149
0.1179 245.0 877835 0.1149
0.1159 246.0 881418 0.1150
0.115 247.0 885001 0.1147
0.1166 248.0 888584 0.1154
0.1113 249.0 892167 0.1147
0.1145 250.0 895750 0.1147
0.1135 251.0 899333 0.1146
0.1106 252.0 902916 0.1145
0.1115 253.0 906499 0.1150
0.1134 254.0 910082 0.1146
0.1207 255.0 913665 0.1147
0.1176 256.0 917248 0.1151
0.1159 257.0 920831 0.1152
0.1145 258.0 924414 0.1147
0.1123 259.0 927997 0.1147
0.1199 260.0 931580 0.1146
0.1132 261.0 935163 0.1143
0.1203 262.0 938746 0.1151
0.117 263.0 942329 0.1150
0.1096 264.0 945912 0.1147
0.1236 265.0 949495 0.1145
0.1203 266.0 953078 0.1145
0.1146 267.0 956661 0.1145
0.1153 268.0 960244 0.1143
0.1203 269.0 963827 0.1147
0.1096 270.0 967410 0.1151
0.1131 271.0 970993 0.1147
0.1161 272.0 974576 0.1144
0.1136 273.0 978159 0.1148
0.1106 274.0 981742 0.1146
0.1118 275.0 985325 0.1148
0.1168 276.0 988908 0.1145
0.1212 277.0 992491 0.1145
0.1183 278.0 996074 0.1147
0.1212 279.0 999657 0.1144
0.115 280.0 1003240 0.1144
0.1127 281.0 1006823 0.1147
0.1186 282.0 1010406 0.1146
0.1117 283.0 1013989 0.1145
0.1105 284.0 1017572 0.1143
0.1126 285.0 1021155 0.1142
0.1115 286.0 1024738 0.1145
0.1165 287.0 1028321 0.1144
0.1175 288.0 1031904 0.1143
0.1194 289.0 1035487 0.1140
0.1138 290.0 1039070 0.1144
0.1128 291.0 1042653 0.1148
0.1164 292.0 1046236 0.1144
0.116 293.0 1049819 0.1147
0.1112 294.0 1053402 0.1146
0.1121 295.0 1056985 0.1143
0.1203 296.0 1060568 0.1146
0.1117 297.0 1064151 0.1142
0.1139 298.0 1067734 0.1142
0.1149 299.0 1071317 0.1149
0.1149 300.0 1074900 0.1143
0.1136 301.0 1078483 0.1146
0.1113 302.0 1082066 0.1144
0.1133 303.0 1085649 0.1144
0.1112 304.0 1089232 0.1142
0.1159 305.0 1092815 0.1142
0.1167 306.0 1096398 0.1150
0.1109 307.0 1099981 0.1140
0.1201 308.0 1103564 0.1143
0.1088 309.0 1107147 0.1146
0.1148 310.0 1110730 0.1143
0.1185 311.0 1114313 0.1145
0.1176 312.0 1117896 0.1144
0.1209 313.0 1121479 0.1144
0.1092 314.0 1125062 0.1141
0.1158 315.0 1128645 0.1146
0.1122 316.0 1132228 0.1144
0.1155 317.0 1135811 0.1145
0.1119 318.0 1139394 0.1143
0.115 319.0 1142977 0.1138
0.1175 320.0 1146560 0.1143
0.1195 321.0 1150143 0.1144
0.1108 322.0 1153726 0.1145
0.1179 323.0 1157309 0.1142
0.1123 324.0 1160892 0.1141
0.1134 325.0 1164475 0.1142
0.1102 326.0 1168058 0.1144
0.114 327.0 1171641 0.1145
0.1168 328.0 1175224 0.1143
0.1152 329.0 1178807 0.1144
0.1188 330.0 1182390 0.1147
0.1201 331.0 1185973 0.1138
0.1099 332.0 1189556 0.1143
0.1141 333.0 1193139 0.1144
0.1114 334.0 1196722 0.1140
0.1117 335.0 1200305 0.1140
0.1109 336.0 1203888 0.1143
0.1161 337.0 1207471 0.1142
0.1147 338.0 1211054 0.1140
0.1189 339.0 1214637 0.1143
0.1171 340.0 1218220 0.1138
0.1127 341.0 1221803 0.1141
0.1173 342.0 1225386 0.1143
0.1159 343.0 1228969 0.1139
0.1123 344.0 1232552 0.1142
0.111 345.0 1236135 0.1142
0.1114 346.0 1239718 0.1141
0.1124 347.0 1243301 0.1141
0.1181 348.0 1246884 0.1142
0.1154 349.0 1250467 0.1144
0.1175 350.0 1254050 0.1146
0.1146 351.0 1257633 0.1146
0.1126 352.0 1261216 0.1141
0.1172 353.0 1264799 0.1141
0.1135 354.0 1268382 0.1145
0.1111 355.0 1271965 0.1140
0.1113 356.0 1275548 0.1144
0.1105 357.0 1279131 0.1144
0.1156 358.0 1282714 0.1140
0.1084 359.0 1286297 0.1142
0.1119 360.0 1289880 0.1141
0.1143 361.0 1293463 0.1141
0.1158 362.0 1297046 0.1141
0.1148 363.0 1300629 0.1143
0.1177 364.0 1304212 0.1141
0.1155 365.0 1307795 0.1143
0.109 366.0 1311378 0.1140
0.1143 367.0 1314961 0.1141
0.1135 368.0 1318544 0.1145
0.1147 369.0 1322127 0.1142
0.1164 370.0 1325710 0.1140
0.1171 371.0 1329293 0.1142
0.1158 372.0 1332876 0.1144
0.1168 373.0 1336459 0.1142
0.1159 374.0 1340042 0.1143
0.1193 375.0 1343625 0.1139
0.115 376.0 1347208 0.1139
0.1194 377.0 1350791 0.1141
0.1158 378.0 1354374 0.1143
0.1213 379.0 1357957 0.1142
0.1114 380.0 1361540 0.1139
0.1136 381.0 1365123 0.1144
0.1095 382.0 1368706 0.1144
0.1079 383.0 1372289 0.1141
0.1111 384.0 1375872 0.1142
0.1183 385.0 1379455 0.1140
0.1219 386.0 1383038 0.1144
0.109 387.0 1386621 0.1141
0.1118 388.0 1390204 0.1142
0.1139 389.0 1393787 0.1144
0.1148 390.0 1397370 0.1143
0.1127 391.0 1400953 0.1141
0.113 392.0 1404536 0.1141
0.1127 393.0 1408119 0.1140
0.1151 394.0 1411702 0.1143
0.1142 395.0 1415285 0.1147
0.1152 396.0 1418868 0.1142
0.1124 397.0 1422451 0.1137
0.1099 398.0 1426034 0.1141
0.1172 399.0 1429617 0.1145
0.1147 400.0 1433200 0.1142

Framework versions

  • Transformers 4.39.0.dev0
  • Pytorch 2.2.1+cu121
  • Datasets 2.18.0
  • Tokenizers 0.15.2
Downloads last month
1
Safetensors
Model size
112M params
Tensor type
F32
·
Inference API
Unable to determine this model’s pipeline type. Check the docs .

Model tree for jaypratap/vit-pretraining-2024_03_25

Finetuned
(5)
this model