Оптимизировать запрос с df.loc[]

@tesdrv · Регистрация: 08.05.2021

Студворк — интернет-сервис помощи студентам

Здравствуйте.

Задача: отфильтровать повторные действия пользователя из данных в датафрейме.

Так получаю пользователей и время их повторных действий

Code
1
2
3
4
5
6
7
8
9
10
11
gr = multi_session[['uid', 'timestamp']].sort_values('timestamp').groupby('uid')['timestamp'].apply(list).str[1:]
 
uid
d2fc057fef61         [2020-12-01 14:38:54.617 UTC]
491ac30c41db       [2020-12-03 07:33:09.927 UTC]
997ce84c0393       [2020-12-07 09:33:49.533 UTC]
da453053c6b4       [2020-11-28 16:29:54.266 UTC]
c96ba54b33d5       [2020-11-29 11:53:21.416 UTC]
948a7816ae36       [2020-11-30 15:07:38.821 UTC, 2020-12-03 03:33...
941d02d7608d       [2020-12-10 10:48:16.865 UTC]
fdb0f4d2aef0          [2020-12-01 19:23:40.317 UTC, 2020-12-06 12:35...

Далее хочу им проставить метку.

Так получается, но очень медленно (фильтрация всех данных на каждой итерации)

Code
1
2
for i,v in gr.items():
    data.loc[(data.uid==i)&(data.timestamp.isin(v)), 'group'] = 'retr'

Думал, что можно предварительно выделить подобласть subset = data[data.uid.isin(multi_session.uid.unique() )] и обработать в цикле её, но выдает ошибку:
A value is trying to be set on a copy of a slice from a DataFrame. Try using .loc[row_indexer,col_indexer] = value instead

Как можно векторизовать или оптимизировать этот запрос?

@Gdez · 08.05.2021, 15:36

tesdrv, Может так?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import pandas as pd
import numpy as np
import datetime as DT
 
np.random.seed(10)
data = pd.DataFrame(np.random.randint(1, 5, 25) ,columns = ['uid'])
date1, date2 = DT.datetime(2020, 1, 1), DT.datetime(2020, 1, 25)
data['timestamp'] = pd.date_range(date1, date2).strftime('%d-%m-%Y').tolist()
 
 
gr = data[['uid', 'timestamp']].groupby('uid')['timestamp'].apply(list).str[1:]
 
###############################################
data['group'] = data.uid.map(gr)
data.group = np.where(data.apply(lambda x :  x.timestamp in x.group,1), 'retr', '')
###############################################
 
data

@tesdrv · 09.05.2021, 07:12 **[ТС]**

Спасибо.

Новые блоги и статьи Все статьи Все блоги /
Видеокарта простаивает ночами? Вот 4 проекта, которые загрузят её наукой Programma_Boinc 10.04.2026 Видеокарта простаивает ночами? Вот 4 проекта, которые загрузят её наукой Если на Windows стоит дискретная NVIDIA или AMD — можно отдать её вычислительную мощность реальным исследованиям. . . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .

@tesdrv 0 / 0 / 0 Регистрация: 08.05.2021 Сообщений: 2
	09.05.2021, 07:12 [ТС]
	Спасибо. 0