Машинное обучение ruRoberta-large для классификации текстовых рекламных объявлений

import pandas as pd
from sklearn.model_selection import train_test_split
from transformers import RobertaTokenizer, RobertaForSequenceClassification, Trainer, TrainingArguments
import torch
 
# Путь к сохраненной модели и токенизатору
model_path = "C:/dz/git_rurobert-large/ruRoberta-large"  # Здесь используется ранее обученная модель, можно заменить на другую
 
# Загрузка данных
file_path = 'fixed_final2.csv'
df = pd.read_csv(file_path, delimiter=';')
 
# Объединение заголовка и текста в одну строку и добавление меток
df['full_text'] = df['Заголовок'] + '. ' + df['Текст']
df['label'] = df['is_selling']  # Предполагается, что у вас есть столбец "Метка" с значениями 0 или 1
 
# Разделение на обучающую и тестовую выборки
train_texts, val_texts, train_labels, val_labels = train_test_split(df['full_text'], df['label'], test_size=0.1)
 
# Токенизация данных
tokenizer = RobertaTokenizer.from_pretrained(model_path)
 
def tokenize_function(texts):
    return tokenizer(texts, padding="max_length", truncation=True, max_length=128)
 
train_encodings = tokenize_function(train_texts.tolist())
val_encodings = tokenize_function(val_texts.tolist())
 
# Создание PyTorch Dataset
class AdDataset(torch.utils.data.Dataset):
    def __init__(self, encodings, labels):
        self.encodings = encodings
        self.labels = labels
 
    def __getitem__(self, idx):
        item = {key: torch.tensor(val[idx]) for key, val in self.encodings.items()}
        item['labels'] = torch.tensor(self.labels[idx])
        return item
 
    def __len__(self):
        return len(self.labels)
 
train_dataset = AdDataset(train_encodings, train_labels.tolist())
val_dataset = AdDataset(val_encodings, val_labels.tolist())
 
# Настройка модели и обучения
model = RobertaForSequenceClassification.from_pretrained(model_path, num_labels=2)
 
training_args = TrainingArguments(
    output_dir="./results1",
    evaluation_strategy="epoch",
    learning_rate=2e-5,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    num_train_epochs=100,
    weight_decay=0.01,
)
 
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=val_dataset,
)
 
# Запуск обучения
trainer.train()
 
# Сохранение обученной модели
model.save_pretrained("./fine_tuned_classifier1")
tokenizer.save_pretrained("./fine_tuned_classifier1")