Pandas, дублирование/удаление случайных строк по правилам

@Jefe · Регистрация: 05.06.2013

Студворк — интернет-сервис помощи студентам

Привет, есть некоторые данные, допустим они выглядят так:
есть 3 юзера, у каждого из них есть 2 типа, у каждого типа 10 каких-то значений, на выходе 60 строк.

Python
1
2
3
4
5
6
7
8
9
10
11
import random
import pandas as pd
 
data = []
for v1 in range(3):
    for v2 in range(2):
        for v3 in range(10):
            data.append([f'user_{v1}', f'type_{v2}', random.randrange(0, 50)])
 
data_df = pd.DataFrame(data, columns=['user_name', 'user_type', 'user_value'])
data_df

есть ещё некоторые правила, допустим они генерируются так:
для каждого юзера и его типа указано некоторое целое число от -5 до 10

Python
1
2
3
4
5
6
7
changes = []
for v1 in range(3):
    for v2 in range(2):
        changes.append([f'user_{v1}', f'type_{v2}', random.randrange(-5, 10)])
 
changes_df = pd.DataFrame(changes, columns=['user_name', 'user_type', 'change'])
changes_df

Задача:
Если число в правилах положительное необходимо размножить N случайных строк для этого пользователя и типа.
(пример: есть 10 строк для пользователя user_0 и типа type_0, в правилах пришло число 3, необходимо случайным образом выбрать 3 строки из 10 и сделать из их дубликаты в этом же датафрейме, что бы было 13 строк для пользователя user_0 и типа type_0, 3 из них будут повторятся)

Если число в правилах отрицательное необходимо удалить N случайных строк для этого пользователя и типа.
(пример: есть 10 строк для пользователя user_0 и типа type_0, в правилах пришло число -4, необходимо случайным образом выбрать 4 строки из 10 и удалить их в этом же датафрейме, что бы было 6 строк для пользователя user_0 и типа type_0)

Пробую делать так:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
temp = data_df.copy()
for index, row in changes_df.iterrows():
    user_name = row['user_name']
    user_type = row['user_type']
    change = int(row['change'])
    condition = (temp['user_name'] == user_name) & (temp['user_type'] == user_type)
 
    if change > 0:
        for n in range(change):
            temp = pd.concat([temp, temp[condition].sample(1)])
    elif change < 0:
        for n in range(abs(change)):
            temp.drop(temp[condition].index[random.randrange(len(temp[condition]))], inplace = True)
temp

Удаление вроде как работает, разве что выдаётся варнинг:
UserWarning: Boolean Series key will be reindexed to match DataFrame index.

А вот на добавлении падает уже другая ошибка и строки дублироваться отказываются:
ValueError: cannot reindex from a duplicate axis

Что я делаю не так и как это должно выглядеть, что бы строки правильно выбрасывались(без варнингов) и добавлялись?

@Gdez · 24.03.2022, 14:07

Jefe,

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
import random
import pandas as pd
 
data = []
for v1 in range(3):
    for v2 in range(2):
        for v3 in range(10):
            data.append([f'user_{v1}', f'type_{v2}', random.randrange(0, 50)])
 
data_df = pd.DataFrame(data, columns=['user_name', 'user_type', 'user_value'])
print(data_df)
 
changes = []
for v1 in range(3):
    for v2 in range(2):
        changes.append([f'user_{v1}', f'type_{v2}', random.randrange(-5, 10)])
 
changes_df = pd.DataFrame(changes, columns=['user_name', 'user_type', 'change'])
print(changes_df)
 
 
##################################################
data_df['id'] = data_df[['user_name', 'user_type']].apply(lambda x: x[0] + '_' + x[1], axis=1)
changes_df['id'] = changes_df[['user_name', 'user_type']].apply(lambda x: x[0] + '_' + x[1], axis=1)
 
for i in range(len(changes_df)):
    id = changes_df.loc[i, 'id']
    cnt = changes_df.loc[i, 'change']
    if cnt < 0:
        data_df[data_df.id==id] = data_df[data_df.id==id].drop(data_df[data_df.id==id].sample(abs(cnt)).index)
    elif cnt > 0:
        data_df = pd.concat([data_df, data_df[data_df.id==id].sample(cnt)], axis=0)
 
data_df = data_df[~data_df.id.isna()].sort_values(by='id').drop('id',axis=1)
with pd.option_context('display.max_rows', None, 'display.max_columns', None):
    print(data_df)
##################################################

@Jefe · 24.03.2022, 14:38 **[ТС]**

Gdez, спасибо, разобрал твой код и понял ключевые моменты, где я пандасом неправильно пользовался

Новые блоги и статьи Все статьи Все блоги /
Настройки VS Code Loafer 13.04.2026 { "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .	Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .	Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .
Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .

@Jefe 311 / 271 / 118 Регистрация: 05.06.2013 Сообщений: 868
	24.03.2022, 14:38 [ТС]
	Gdez, спасибо, разобрал твой код и понял ключевые моменты, где я пандасом неправильно пользовался 0

Pandas, дублирование/удаление случайных строк по правилам

Решение