seamless_turkish

This model is a fine-tuned version of facebook/seamless-m4t-v2-large on the common_voice_17_0 dataset. It achieves the following results on the evaluation set:

• Loss: 0.2392

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 1
• eval_batch_size: 1
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 3.0
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss
5.5858	0.0215	1000	1.0859
1.6883	0.0431	2000	0.9220
1.3121	0.0646	3000	0.7605
0.9259	0.0862	4000	0.5180
0.6594	0.1077	5000	0.3576
0.4965	0.1293	6000	0.3311
0.4696	0.1508	7000	0.3133
0.4464	0.1724	8000	0.3030
0.4097	0.1939	9000	0.3005
0.4476	0.2155	10000	0.2926
0.4244	0.2370	11000	0.2897
0.4148	0.2586	12000	0.2891
0.389	0.2801	13000	0.2854
0.3815	0.3017	14000	0.2859
0.3892	0.3232	15000	0.2832
0.3469	0.3448	16000	0.2874
0.3817	0.3663	17000	0.2816
0.362	0.3879	18000	0.2803
0.3667	0.4094	19000	0.2778
0.3779	0.4310	20000	0.2837
0.3684	0.4525	21000	0.2747
0.3363	0.4741	22000	0.2737
0.3451	0.4956	23000	0.2732
0.3347	0.5172	24000	0.2712
0.3686	0.5387	25000	0.2689
0.3681	0.5603	26000	0.2692
0.3252	0.5818	27000	0.2684
0.3296	0.6034	28000	0.2676
0.3292	0.6249	29000	0.2686
0.3407	0.6465	30000	0.2663
0.3606	0.6680	31000	0.2634
0.3057	0.6896	32000	0.2611
0.3182	0.7111	33000	0.2641
0.329	0.7327	34000	0.2626
0.3028	0.7542	35000	0.2604
0.3131	0.7758	36000	0.2630
0.322	0.7973	37000	0.2606
0.3428	0.8189	38000	0.2574
0.2972	0.8404	39000	0.2566
0.3144	0.8620	40000	0.2581
0.3118	0.8835	41000	0.2581
0.3112	0.9051	42000	0.2562
0.3318	0.9266	43000	0.2547
0.3034	0.9482	44000	0.2569
0.2872	0.9697	45000	0.2564
0.3063	0.9913	46000	0.2560
0.2705	1.0128	47000	0.2595
0.2867	1.0344	48000	0.2552
0.2806	1.0559	49000	0.2558
0.2623	1.0775	50000	0.2543
0.2867	1.0990	51000	0.2540
0.2754	1.1206	52000	0.2541
0.2872	1.1421	53000	0.2533
0.2731	1.1637	54000	0.2532
0.2648	1.1852	55000	0.2527
0.2779	1.2068	56000	0.2511
0.2485	1.2283	57000	0.2523
0.2551	1.2499	58000	0.2522
0.2856	1.2714	59000	0.2524
0.2696	1.2930	60000	0.2507
0.2587	1.3145	61000	0.2510
0.2373	1.3361	62000	0.2506
0.2719	1.3576	63000	0.2502
0.2516	1.3792	64000	0.2484
0.2623	1.4007	65000	0.2470
0.2548	1.4223	66000	0.2466
0.2993	1.4438	67000	0.2480
0.2676	1.4654	68000	0.2478
0.2518	1.4869	69000	0.2475
0.2536	1.5085	70000	0.2478
0.2764	1.5300	71000	0.2477
0.2606	1.5516	72000	0.2482
0.2657	1.5731	73000	0.2454
0.2877	1.5947	74000	0.2457
0.2769	1.6162	75000	0.2464
0.2628	1.6378	76000	0.2466
0.2554	1.6593	77000	0.2474
0.247	1.6809	78000	0.2469
0.2882	1.7024	79000	0.2457
0.2574	1.7240	80000	0.2449
0.2536	1.7455	81000	0.2450
0.2608	1.7671	82000	0.2446
0.2726	1.7886	83000	0.2433
0.2779	1.8101	84000	0.2443
0.2294	1.8317	85000	0.2450
0.2488	1.8532	86000	0.2427
0.2646	1.8748	87000	0.2429
0.2802	1.8963	88000	0.2441
0.2655	1.9179	89000	0.2420
0.2441	1.9394	90000	0.2420
0.26	1.9610	91000	0.2416
0.2239	1.9825	92000	0.2417
0.2601	2.0041	93000	0.2415
0.2208	2.0256	94000	0.2418
0.2309	2.0472	95000	0.2439
0.2541	2.0687	96000	0.2424
0.2288	2.0903	97000	0.2423
0.2102	2.1118	98000	0.2418
0.2288	2.1334	99000	0.2426
0.2429	2.1549	100000	0.2425
0.2123	2.1765	101000	0.2425
0.2396	2.1980	102000	0.2408
0.2249	2.2196	103000	0.2412
0.2053	2.2411	104000	0.2429
0.2055	2.2627	105000	0.2421
0.1957	2.2842	106000	0.2407
0.2444	2.3058	107000	0.2414
0.1988	2.3273	108000	0.2417
0.2241	2.3489	109000	0.2428
0.2575	2.3704	110000	0.2418
0.254	2.3920	111000	0.2412
0.2535	2.4135	112000	0.2401
0.234	2.4351	113000	0.2402
0.2387	2.4566	114000	0.2408
0.2406	2.4782	115000	0.2408
0.2145	2.4997	116000	0.2406
0.235	2.5213	117000	0.2401
0.226	2.5428	118000	0.2403
0.2241	2.5644	119000	0.2399
0.2411	2.5859	120000	0.2396
0.2495	2.6075	121000	0.2390
0.2244	2.6290	122000	0.2396
0.2306	2.6506	123000	0.2401
0.242	2.6721	124000	0.2404
0.233	2.6937	125000	0.2398
0.1819	2.7152	126000	0.2406
0.2267	2.7368	127000	0.2402
0.2227	2.7583	128000	0.2395
0.2155	2.7799	129000	0.2396
0.2369	2.8014	130000	0.2395
0.1982	2.8230	131000	0.2397
0.2245	2.8445	132000	0.2398
0.238	2.8661	133000	0.2394
0.2503	2.8876	134000	0.2392
0.2533	2.9092	135000	0.2388
0.236	2.9307	136000	0.2391
0.2404	2.9523	137000	0.2392
0.2374	2.9738	138000	0.2392
0.199	2.9954	139000	0.2392

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0+cu121
• Datasets 2.18.0
• Tokenizers 0.19.1