Как работает функция train_test_split?

@Sh@dow777 · Регистрация: 10.12.2013

Студворк — интернет-сервис помощи студентам

Привет всем.

Пытаюсь реализовать полную кросс-валидацию. Написал такой код:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
import numpy as np
import math
from sklearn import svm
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.model_selection import cross_val_score
 
iris = datasets.load_iris()
clf = svm.SVC(kernel='linear', C=1)
 
def fullCV():
    k = 1
    L = len(iris.data)
    N = math.factorial(L) / (math.factorial(k) * math.factorial(L - k))
    N = int(N)
    
    scores = np.zeros((N,))
 
    for i in range(N):
        X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.01, random_state=250)
 
        clf.fit(X_train, y_train)
 
        y_pred = clf.predict(X_test)
 
        sum = 0
 
        for j in range(len(X_test)):
            if y_pred[j] != y_test[j]:
                sum += 1
 
        Q = sum / len(X_test)
        
        scores[i] = Q
        
    print('Full cross validation:')
    print(scores)
    
    print('\nMean score:')
    print(scores.mean(), '\n')

По идее, функция train_test_split при каждом проходе цикла должна формировать различные выборки из-за random_state. Но каждый раз выборки получаются одни и те же. То есть, к примеру, если N = 150 и test_size = 0.01, то формируются 150 одинаковых массивов X_test и y_test.

Где тут моя ошибка? Как это исправить?

@ТабуретY · 09.05.2018, 14:39

длина X_test и y_test 148, а вы задаете random_state=250, уменьшите random_state раз в 10 и все пойдет

@Garry Galler · 09.05.2018, 14:45

random_state : int, RandomState instance or None, optional (default=None)

If int, random_state is the seed used by the random number generator; If RandomState instance, random_state is the random number generator; If None, the random number generator is the RandomState instance used by np.random.

Коротко: если указываете число в random_state - генератор будет всегда выдавать одно и тоже состояние на одно и тоже число. Это нужно для точной фиксации результатов работы модели.
Если указывает None - генератор будет инициализироваться случайным значением и конечное состояние не будет детерминированным. Выборки будут случайными, а модель выдавать разные результаты.

Новые блоги и статьи Все статьи Все блоги /
Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных через динамический список в справочнике Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .	Функция заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .
Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .

@ТабуретY 1741 / 913 / 480 Регистрация: 05.12.2013 Сообщений: 3,074
	09.05.2018, 14:39
	длина X_test и y_test 148, а вы задаете random_state=250, уменьшите random_state раз в 10 и все пойдет 0