Форум программистов, компьютерный форум, киберфорум
Python
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.73/11: Рейтинг темы: голосов - 11, средняя оценка - 4.73
363 / 334 / 38
Регистрация: 29.03.2011
Сообщений: 838

Отфильтровать из array только значения, входящие в одну из groups. Оптимизация кода

24.03.2014, 12:40. Показов 2090. Ответов 15
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Python
1
2
3
4
5
6
7
8
9
10
11
12
#!/usr/bin/env python
list_in = ['123149012', '123492479', '123470134', ... ]
groups = [ (123000000, 123499999), (567000000, 567800000), ... ]
 
def check_range(list_in, groups):
    result = []
    for var in list_in:
        for (p_min, p_max) in groups:
            if p_min <= long(var) <= p_max:
                result.append(var)
                break
    return result
Логику написал за минуту, работает как нужно, но очень медленно.
Есть у кого идеи, как бы это оптимизировать? (прикидывал с map или filter, так сразу не получается)

Суть: нужно отфильтровать из array только значения, входящие в одну из groups.
Числа все большие, приходят строками (20-30 знаков), их много (сотни тысяч), групп также около сотни, не пересекаются.
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
24.03.2014, 12:40
Ответы с готовыми решениями:

Вывести только одну строку если значения повторяются
Привет, форумчане! Есть таблица с повторяющимися значениями (например, Вася) в поле users. Как в запросе получить только одну строчку...

Присвоить значения переменных в массив Array (class Array в Turbo C++)
Здравствуйте!!! Изучаю help в Turbo C++ 3.1 дошел до класса Array: main() { //при подключение соответствующих библиотек и...

При выборе значения в ComboBox выводить только одну выбранную строку в DataGridView
Нужно при выборе значения в combobox выводило только одну выбранную строчу в datagridview. Думал может через запрос. private void...

15
3258 / 2060 / 351
Регистрация: 24.11.2012
Сообщений: 4,909
24.03.2014, 14:45
Первая мысля: а можно сделать не полный перебор всех групп, а бинарный поиск по ним?
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
24.03.2014, 14:45
Попробуй за место родных списков использовать numpy
0
Эксперт Python
 Аватар для dondublon
4652 / 2072 / 366
Регистрация: 17.03.2012
Сообщений: 10,182
Записей в блоге: 6
24.03.2014, 15:42
Присоединяюсь к совету использовать numpy.
Правда, с ним немного поучиться работать надо.
Примерно так:
Python
1
2
3
4
5
6
7
import numpy as np
list_in = np.array(['123149012', '123492479', '123470134', ... ])
groups_min = np.array([ 123000000, 567000000,  ... ])
groups_max = np.array([ 123499999, 567800000), ... ])
 
idx_need = np.logical_and(groups_min <= list_in, list_in <= groups_max)
print list_in[idx_need]

Да, кстати, почему в list_in - текст?
Не обратил внимания. Сначала надо в числа конвертануть, подозреваю, именно на это куча времени и тратится.
0
363 / 334 / 38
Регистрация: 29.03.2011
Сообщений: 838
24.03.2014, 22:48  [ТС]
tsar925, dondublon, numpy юзать тут не хочу, это сильно прибавит зависимостей.
На вход приходит набор строк, я их разбиваю по разделителю в массив, потом обрабатываю.
На данный момент выглядит вот так (к числу добавился № группы):
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
#!/usr/bin/env python
list_in = ['123149012', '123492479', '123470134', ... ]
groups = [ (123, 123000000, 123499999), (567, 567000000, 567800000), ... ]
 
def check_range(list_in, groups):
    result = []
    for var in list_in:
        p = long(var)
        for (p_name, p_min, p_max) in groups:
            if p_min <= p <= p_max:
                result.append( (var, p_name) )
                break
    return result
Стало значительно быстрее. Хочу как-то в функциональном виде переписать, но как-то в голове не укладывается.
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
24.03.2014, 23:35
Наше дело предложить, а уж как поступать дело ваше.
0
224 / 209 / 63
Регистрация: 26.05.2011
Сообщений: 363
25.03.2014, 05:52
Цитата Сообщение от sKotenok Посмотреть сообщение
Хочу как-то в функциональном виде переписать
Как вариант:
Python
1
2
3
4
5
6
7
8
9
def check_range(list_in, groups):
    for var in list_in:
        p = int(var)
        for p_name, p_min, p_max in groups:
            if p_min <= p <= p_max:
                yield var, p_name
                break
 
result = tuple(check_range(list_in, groups))
1
Эксперт Python
 Аватар для dondublon
4652 / 2072 / 366
Регистрация: 17.03.2012
Сообщений: 10,182
Записей в блоге: 6
25.03.2014, 07:04
sKotenok, зависимостей прибавит не сильно, ему больше ничего не нужно.
Использование numpy - естественный способ, чтобы сделать обработку чисел быстро. Не хотите - как хотите.
0
 Аватар для ilnurgi
141 / 141 / 38
Регистрация: 20.02.2012
Сообщений: 597
25.03.2014, 08:36
Цитата Сообщение от sKotenok Посмотреть сообщение
Стало значительно быстрее.
а за счет чего? что-то не вижу отличии от первого поста

а если использовать вложенные генераторы списков?
0
Эксперт Python
 Аватар для dondublon
4652 / 2072 / 366
Регистрация: 17.03.2012
Сообщений: 10,182
Записей в блоге: 6
25.03.2014, 08:43
Цитата Сообщение от ilnurgi Посмотреть сообщение
а за счет чего? что-то не вижу отличии от первого поста
Видимо, потому что конвертация в число вынесена из внутреннего цикла.

Цитата Сообщение от sKotenok Посмотреть сообщение
Хочу как-то в функциональном виде переписать,
Функциональный подход в принципе медленнее, т. к. дальше от железа. Тут не тот случай.
1
 Аватар для ilnurgi
141 / 141 / 38
Регистрация: 20.02.2012
Сообщений: 597
25.03.2014, 09:18
Цитата Сообщение от dondublon Посмотреть сообщение
Видимо, потому что конвертация в число вынесена из внутреннего цикла.
точно. не заметил
0
2838 / 1647 / 254
Регистрация: 03.12.2007
Сообщений: 4,222
26.03.2014, 16:41
Так как групп мало, а чисел много, то, может быть, лучше один раз преобразовать числа в группах в строки, чем кучу строк в числа?
0
 Аватар для ilnurgi
141 / 141 / 38
Регистрация: 20.02.2012
Сообщений: 597
27.03.2014, 07:14
Somebody, а как потом вхождение в промежуток проверить?
0
2838 / 1647 / 254
Регистрация: 03.12.2007
Сообщений: 4,222
27.03.2014, 09:50
Так же почти - надо только функцию сравнения свою сделать, которая сравнивает строки как числа.
0
 Аватар для ilnurgi
141 / 141 / 38
Регистрация: 20.02.2012
Сообщений: 597
27.03.2014, 09:55
Цитата Сообщение от Somebody Посмотреть сообщение
которая сравнивает строки как числа.
что-то мне в голову не приходит как это сделать. расскажите пожалуйста. или примерчиком. можно псевдокод
0
2838 / 1647 / 254
Регистрация: 03.12.2007
Сообщений: 4,222
27.03.2014, 10:53
Python
1
len(lhs) < len(rhs) or len(lhs) == len(rhs) and lhs < rhs
Добавлено через 48 секунд
(Если у чисел нет нулей в начале.)

Добавлено через 49 минут
Попробовал - нет, так получилось только медленнее.
1
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
27.03.2014, 10:53
Помогаю со студенческими работами здесь

Нужно при выборе значения в ComboBox выводило только одну выбранную строчу в DataGridView
Нужно при выборе значения в combobox выводило только одну выбранную строчу в datagridview. Думал может через запрос. private void...

Оптимизация методом Ньютона (нахождение точки минимума). Оптимизация кода
MATLAB только начал осваивать. Попытался реализовать нахождение точки минимума методом Ньютона для функции 2*X12 - X1*X2 + 3*X22 -...

Какой из способов сэмплирования правильный: sample(flat(groups) vs flat(sample(groups)
Всем салют! Представим, что у нас имеется приложение которое манипулирует группами объектов. Каждая группа, может содержать от 0 до N...

Отфильтровать только цифры
Напишите программу, которая принимает строку с символами произвольной природы и с помощь использования списочных выражений выводит только...

Отфильтровать значения
День добрый. подскажите какими средствами можно реализовать в Эксель следующую потребность: первый лист содержит два столбца: товар...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
16
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL3_image
8Observer8 27.01.2026
Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
Влияние грибов на сукцессию
anaschu 26.01.2026
Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru