Обучение модели машинного обучения

@Ace23000 · Регистрация: 26.05.2014

Студворк — интернет-сервис помощи студентам

Здравствуйте, только недавно начал работать с питоном, помогите пожалуйста разобраться с кодом.
В коде описано обучение модели, и судя по описанию задания должна быть использована метрика auc roc, но по литературе которую я читал, кодится она по другому.
Может тут какой то другой способ описан? Или другая метрика?
Может пожалуйста, кто-нибудь пояснить особенно эти части :
Что это за параметры? Это и есть реализация метрики? И почему потом опять практически тот же код повторяется с другими параметрами?

Python
1
2
3
4
5
6
7
8
    param = {}
    param['max_depth'] = dep
    param['booster'] = 'gbtree'
    param['objective'] = 'binary:logistic' # Особенно этот параметр
    param['eval_metric'] = 'auc'
    param['eta'] = et
    param['subsample'] = 0.6
    numround = tree

И еще вопросы по этой части кода что здесь происходит для меня не понятно, и почему закоменченно
( + clf.predict_proba(X_send)[:,1])/2)
и что она значит?

Python
1
2
3
4
5
X_send = X.drop(data_gender.index)
result = pd.DataFrame(X_send.index, columns=['customer_id'])
pred_xg = bst.predict(xgboost.DMatrix(X_send))
result['gender'] = (pred_xg)# + clf.predict_proba(X_send)[:,1])/2
result.to_csv('xgboost.csv', index=False)

Весь код с обучением модели из анаконды:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
X_with_gender = X_with_gender.reset_index()
X_with_gender = X_with_gender.loc[Y.index].set_index('customer_id')
for itr, ite in ShuffleSplit(len(X_with_gender), n_iter=1, train_size=0.8, test_size=0.2, random_state=0):
    pass
X_train = X_with_gender.iloc[itr]
Y_train = Y.iloc[itr]
 
X_test = X_with_gender.iloc[ite]
Y_test = Y.iloc[ite]
depth = range(2,4)
eta = np.arange(1,2)*0.1
trees = [500]
 
Xdatatrain = xgboost.DMatrix(data = X_train, label = Y_train)
Xdatatest = xgboost.DMatrix(data = X_test, label = Y_test)
watchlist = [(Xdatatrain, 'train'), (Xdatatest, 'eval')]       
 
for dep, et, tree in itertools.product(depth,eta,trees):
    print(dep,et)
    param = {}
    param['max_depth'] = dep
    param['booster'] = 'gbtree'
    param['objective'] = 'binary:logistic'
    param['eval_metric'] = 'auc'
    param['eta'] = et
    param['subsample'] = 0.6
    numround = tree
    
    plst = list(param.items())
    bst = xgboost.train(plst, Xdatatrain, numround, evals = watchlist, verbose_eval = 100)
 
Xdatatrain = xgboost.DMatrix(data = X_train, label = Y_train)
Xdatatest = xgboost.DMatrix(data = X_test, label = Y_test)
watchlist = [(Xdatatrain, 'train'), (Xdatatest, 'eval')]       
 
dep = 3
et = 0.1
tree = 500
param = {}
param['max_depth'] = dep
param['booster'] = 'gbtree'
param['objective'] = 'binary:logistic'
param['eval_metric'] = 'auc'
param['eta'] = et
param['subsample'] = 0.6
numround = tree
 
plst = list(param.items())
bst = xgboost.train(plst, Xdatatrain, numround, evals = watchlist, verbose_eval = 100)
 
X_send = X.drop(data_gender.index)
result = pd.DataFrame(X_send.index, columns=['customer_id'])
pred_xg = bst.predict(xgboost.DMatrix(X_send))
 
result['gender'] = (pred_xg)# + clf.predict_proba(X_send)[:,1])/2
result.to_csv('xgboost.csv', index=False)

Заранее спасибо откликнувшимся.

Добавлено через 5 минут
И что значит этот вывод? после параметров

2 0.1
[0] train-auc:0.707053 eval-auc:0.697472
[100] train-auc:0.875129 eval-auc:0.845698
[200] train-auc:0.899427 eval-auc:0.858246
[300] train-auc:0.912292 eval-auc:0.862312
[400] train-auc:0.921577 eval-auc:0.865114
3 0.1
[0] train-auc:0.746775 eval-auc:0.723888
[100] train-auc:0.901465 eval-auc:0.856273
[200] train-auc:0.927802 eval-auc:0.8637
[300] train-auc:0.943926 eval-auc:0.86462
[400] train-auc:0.95607 eval-auc:0.864978

Новые блоги и статьи Все статьи Все блоги /
Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ