Как минимизировать алгоритмическую сложность запроса к данным?

@tupsupuste · Регистрация: 03.03.2022

Студворк — интернет-сервис помощи студентам

Изучаю питон и не могу разобраться.

Вот примерный датасет

Python
1
2
3
4
5
import pandas as pd 
 
df = pd.DataFrame({'Name':['tom', 'bob', 'bob', 'jack', 'jack', 'jack'], 'Date':["01.02.2022", "02.02.2022", "03.02.2022", "01.02.2022", "03.02.2022", "05.02.2022"]})
# На самом деле, данные считываются из CSV файла
# Для упрощения, только даты, без времени

В нем список "транзакций".

Задачи следующие:
1. Вывести количество клиентов

Я решаю это так

Code
1
2
customers = df.Name.unique()
num_clients = len(customers)

2. Для каждого из клиента вывести длительность между первой и последней транзакцией

Тут вообще не могу представить, как это сделать правильно. В голову лезут циклы, но работа с циклами и pandas ощущается совсем неправильным.

Возникают вопросы:

Как сделать запрос к данным, если их может быть тысячи или даже миллионы?
Как можно оптимизировать запросы по памяти или времени выполнения?
Можно такое сделать в SQL?

Будет ещё один вопрос касательно выбора по условию, но для начала хочется с этим разобраться.

@Gdez · 03.03.2022, 22:53

tupsupuste,

2. Для каждого из клиента вывести длительность между первой и последней транзакцией

Как вариант:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import pandas as pd
import numpy as np
 
df = pd.DataFrame({'Name':['tom', 'bob', 'bob', 'jack', 'jack', 'jack'], 'Date':["01.02.2022", "02.02.2022", "03.02.2022", "01.02.2022", "03.02.2022", "05.02.2022"]})
 
df.Date = pd.to_datetime(df.Date, format='%d.%m.%Y')
df['id'] = df.groupby('Name').cumcount() + 1
print(df)
 
df1 = df.set_index(['Name', 'id'])
df1 = df1.unstack(level=-1)
df1.fillna(method = 'ffill', axis=0, inplace=True)
df1.fillna(method = 'ffill', axis=1, inplace=True)
print(df1)
 
df1['time'] = (df1.iloc[:,-1] - df1.iloc[:,0]).dt.days
df1 = df1.time
print(df1)

@tupsupuste · 04.03.2022, 11:21 **[ТС]**

Gdez, Спасибо большое, что откликнулись. Наверное я неточно объяснил суть. Сейчас постараюсь расписать подробнее.

В данном примере есть 3 клиента: tom, bob, jack.
tom был клиентом только один день - 01.02.2022
bob - два дня 02.02.2022 и 03.02.2022
jack - три дня, но не сподряд 01.02.2022, 03.02.2022, 05.02.2022

Что я ожидаю получить в этом случае:
tom 1
bob 2
jack 5

У jack 4 потому что самая ранняя транзакция у него первого числа, а последняя - пятого. По сути, алгоритм

Python
1
customer.date.max()-customer.date.min() + 1 # Можно и без +1, это не так важно

для каждого клиента тут будет работать. Но вопрос и заключается в том, как сделать это правильно. Если я буду получать всех customer через цикл и добавлять к результирующему dataframe, я чувствую, что это совсем неправильно.

@Gdez · 04.03.2022, 11:22

tupsupuste, в принципе без проблем - "перепиши" 16-ю строчку через np.where, где "обрисуй все условия либо явно, либо через функцию...

@tupsupuste · 04.03.2022, 12:12 **[ТС]**

Gdez, ещё большее спасибо, что не написали просто ответ кодом

У меня цель не получить результат, а научиться решать такого рода задачи. Вдохновленный вашим кодом, я получил вот что

Python
1
2
3
4
5
6
7
8
9
10
import pandas as pd
import numpy as np
 
df = pd.DataFrame({'Name':['tom', 'bob', 'bob', 'jack', 'jack', 'jack'], 'Date':["01.02.2022", "02.02.2022", "03.02.2022", "01.02.2022", "03.02.2022", "05.02.2022"]})
 
df.Date = pd.to_datetime(df.Date, format='%d.%m.%Y')
 
mins = df.groupby("Name").min()
maxes = df.groupby("Name").max()
diff = maxes.Date - mins.Date

Возникает вопрос. Как можно объединить 8, 9 и 10 строки в один groupby?

@Gdez · 04.03.2022, 12:57

tupsupuste,

Python
1
2
3
4
5
6
7
8
9
10
11
12
import pandas as pd
import numpy as np
 
df = pd.DataFrame({'Name':['tom', 'bob', 'bob', 'jack', 'jack', 'jack'], 'Date':["01.02.2022", "02.02.2022", "03.02.2022", "01.02.2022", "03.02.2022", "05.02.2022"]})
 
df.Date = pd.to_datetime(df.Date, format='%d.%m.%Y')
 
#mins = df.groupby("Name").min().Date
#maxes = df.groupby("Name").max().Date
#maxes.Date - mins.Date
diff = df.groupby("Name").max().Date - df.groupby("Name").min().Date
print(diff)

Добавлено через 1 минуту
tupsupuste, тоже посмотри

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import pandas as pd
import numpy as np
 
df = pd.DataFrame({'Name':['tom', 'bob', 'bob', 'jack', 'jack', 'jack'], 'Date':["01.02.2022", "02.02.2022", "03.02.2022", "01.02.2022", "03.02.2022", "05.02.2022"]})
 
df.Date = pd.to_datetime(df.Date, format='%d.%m.%Y')
df['id'] = df.groupby('Name').cumcount() + 1
print(df)
 
df1 = df.set_index(['Name', 'id'])
df1 = df1.unstack(level=-1)
 
df1['time1'] = (df1.max(axis=1) - df1.min(axis=1)).dt.days
df1['time2'] = df1.Date.count(axis=1)
df1['res'] = np.where(df1.time1 < df1.time2, df1.time2, df1.time1)
print(df1)
 
df1 = df1.res
print(df1)

@tupsupuste · 04.03.2022, 13:17 **[ТС]**

Сообщение от Gdez

diff = df.groupby("Name").max().Date - df.groupby("Name").min().Date
print(diff)

но тут два groupby остается

По вашему ответу задумку понял, и я опять ввел в заблуждение, когда объяснял:

tom 1
bob 2
jack 4

Тут у jack должно быть не 4, а 5.

Поправив немного, получилось следующее:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
import pandas as pd
import numpy as np
 
df = pd.DataFrame({'Name':['tom', 'bob', 'bob', 'jack', 'jack', 'jack'], 'Date':["01.02.2022", "02.02.2022", "03.02.2022", "01.02.2022", "03.02.2022", "05.02.2022"]})
 
df.Date = pd.to_datetime(df.Date, format='%d.%m.%Y')
df['id'] = df.groupby('Name').cumcount() + 1
print(df)
 
df1 = df.set_index(['Name', 'id'])
df1 = df1.unstack(level=-1)
 
result = (df1.max(axis=1) - df1.min(axis=1)).dt.days + 1
print(result)

@Gdez · 04.03.2022, 13:37

tupsupuste, почитай

Новые блоги и статьи Все статьи Все блоги /
Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.	Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .	Настройки VS Code Loafer 13.04.2026 { "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .	Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .
Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .

@Gdez 8851 / 4502 / 1864 Регистрация: 27.03.2020 Сообщений: 7,317
	04.03.2022, 11:22
	tupsupuste, в принципе без проблем - "перепиши" 16-ю строчку через np.where, где "обрисуй все условия либо явно, либо через функцию... 0