Update finetunning.py

finetunning.py

@@ -39,10 +39,10 @@ dataset = load_dataset("Aniemore/resd")
 
 # Функція для токенізації данних
 def tokenize_function(examples):
-    return tokenizer(examples["text"], truncation=True, padding="max_length", max_length=512)
+    return tokenizer(examples["speech"], truncation=True, padding="max_length", max_length=512)
 
 # Токенізация датасету
-tokenized_dataset = dataset.map(tokenize_function, batched=True, remove_columns=dataset.column_names)
+tokenized_dataset = dataset.map(tokenize_function, batched=True, remove_columns=["name", "path", "emotion", "speech"])
 
 # Створення data collator
 data_collator = DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False)