Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16

Найти все слова в тексте содержащие одинаковую часть

19.09.2019, 16:18. Показов 5102. Ответов 19
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Есть текстовый файл, много много слов

Точно знаю, что в текстовом файле встречается упоминание одного файла - image.jpg -
но есть маленькая деталь

в файле нужно найти все упоминания.

Например, в файле упоминание может встречаться

_src="/upload/old/cn6.jpg"_ где "_" = пробел

или

_000/u77/6/0/roga-bez-pasporta-picture-normal.jpg\nsmall:_ где _ (доска) = пробел

или

_target="_blank">https://site.ru/upload/users/photos/medium/cn6.jpg</a>"_


из этого всего, в функции мне нужно возвращать путь -
или upload/old/cn6.jpg
или 000/u77/6/0/roga-bez-pasporta-picture-normal.jpg
или upload/users/photos/medium/cn6.jpg

чтобы потом копировать файл и сохранять по этому пути

Ниже, простой функцией, я могу найти, есть файл в базе или нет

Python
1
2
3
4
5
6
7
def find_file_link(file_name):
    """ Получаем ссылку на файл в базе
    """
    with open(base) as f:
        for line in f:
            find_all = re.findall(file_name, line)
            print(find_all)
а нужно вернуть
путь или несколько путей, если файл встречается несколько раз
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
19.09.2019, 16:18
Ответы с готовыми решениями:

Найти в данном тексте все слова, содержащие от 2-х до 4-х гласных букв
2.Вся обработка текста должна быть основана на регулярных выражениях. Найти в данном тексте все слова, содержащие от 2-х до 4-х...

В данном тексте найти все слова, содержащие заданную подстроку s
Подскажите, пожалуйста, есть ли функция или метод для поиска строки, содержащей введенную подстроку?

Найти все слова содержащие заданный символ и встречающиеся в тексте не менее 2 раз
Помогите, пожалуйста, решить эту задачу. Нужно написать программу по обработке строк, со строкой следует работать как с массивом типа char,...

19
102 / 75 / 38
Регистрация: 08.11.2017
Сообщений: 272
19.09.2019, 16:49
IRIP, и в чём вопрос?
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
19.09.2019, 18:51  [ТС]
Цитата Сообщение от kratorr Посмотреть сообщение
вопрос
в том, как в функции вернуть
список путей,
0
5037 / 1064 / 149
Регистрация: 29.01.2013
Сообщений: 6,217
20.09.2019, 09:55
IRIP, так мы же недавно помогали вам решить похожую задачу, или я что-то путаю?
0
20.09.2019, 10:00

Не по теме:

Alli_Lupin, не путаешь, причем понятнее его задания не становятся, наоборот...

0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
20.09.2019, 10:30  [ТС]
Цитата Сообщение от Alli_Lupin Посмотреть сообщение
или я что-то путаю
в том задании, метод решения был - найти все расширения картинок в базе данных - и вывести их списком.
потом сравнить с имеющимися и ...

а в этом задании - не нужно искать по расширениям. Это другой подход.
здесь уже есть конкретная картинка с именем и расширением
и нужно выдрать из базы все ее упоминания
от пробела до пробела

это совершенно другой подход
0
5037 / 1064 / 149
Регистрация: 29.01.2013
Сообщений: 6,217
20.09.2019, 10:31
IRIP, вы не поверите. Пичаль в том, что поиск выполняется одинаково что там, что там.
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
20.09.2019, 10:43  [ТС]
Alli_Lupin, я верю, но вера, в данном случае верит, что на форуме найдутся специалисты, которые ОБЪЯСНЯТ решение задачи.

Интересно решение без лямбд
0
5037 / 1064 / 149
Регистрация: 29.01.2013
Сообщений: 6,217
20.09.2019, 10:58
IRIP, алгоритм примерно такой: ищите подстроку ".jpg" или с другим расширением, парсим эту строку, находим " до и после расширения, копируем подстроку. По факту надо 2 цикла и 2 условия.
0
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7390 / 4817 / 1246
Регистрация: 30.03.2015
Сообщений: 13,667
Записей в блоге: 29
20.09.2019, 11:07
Цитата Сообщение от IRIP Посмотреть сообщение
Интересно решение без лямбд
а что такое лямбда? анонимная функция! бери решение с ними и преврати все лябды в обычные функции - профит
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
20.09.2019, 11:18  [ТС]
Alli_Lupin,

Алгоритм примерно такой мне виделся:

1. Получили название файла
2. Ищем все строки содержащие это "слово"
3. Вырезаем слово содержащее искомое "слово" от пробела до пробела
4. Добавляем его в list
5. Возвращаем лист в ответе функции

Добавлено через 10 минут
Цитата Сообщение от Welemir1 Посмотреть сообщение
анонимная функция
лямбда это не функция, на сколько я понимаю, она не имеет веса и не занимает постоянной памяти
но должны быть и другие решения?
0
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7390 / 4817 / 1246
Регистрация: 30.03.2015
Сообщений: 13,667
Записей в блоге: 29
20.09.2019, 12:05
Цитата Сообщение от IRIP Посмотреть сообщение
лямбда это не функция, на сколько я понимаю
идем, учим матчасть
0
5037 / 1064 / 149
Регистрация: 29.01.2013
Сообщений: 6,217
20.09.2019, 12:12
IRIP, ну вот, вы всё знаете, так что вас останавливает?
0
 Аватар для Damenikx
955 / 341 / 114
Регистрация: 04.08.2018
Сообщений: 2,533
20.09.2019, 12:16
IRIP, лямбда это инструкция.

Добавлено через 50 секунд
IRIP, но по сути своей является анонимной функцией. Поэтому её можно считать за функцию
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
20.09.2019, 15:18  [ТС]
Цитата Сообщение от Damenikx Посмотреть сообщение
лямбда это инструкция
С этим согласен.

Наглядно иллюстрирует объем выполняемой работы, вот этот код

Python
1
2
3
4
5
6
7
8
9
10
11
12
def find_file_link(file_name):
    """ Получаем ссылку на файл в базе
    """
    with open(base) as read_file:
        for line in read_file:
            for word in line.split():
                if file_name in line.split():
                    print('Найдено в строке: ', line)
                    time.sleep(3)
                else:
                    print('Не найдено в строке')
                    continue
причем в "не найдено" каждый раз будет перебрано 200 000 строк
а файлов больше 100 000
и на поиск каждого вхождения будет проведено

200000*100000=20.000.000.000 операций

Добавлено через 1 минуту
Цитата Сообщение от Alli_Lupin Посмотреть сообщение
что вас останавливает?
Производительность и скорость решения задачи
0
5037 / 1064 / 149
Регистрация: 29.01.2013
Сообщений: 6,217
20.09.2019, 15:34
IRIP, подобные задачи надо распараллеливать. С параллельностью в пайтоне грустно.
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
20.09.2019, 15:52  [ТС]
Alli_Lupin, не обязательно распараллеливать наверно

должны быть решения. Я по другому пути изначально и пошел, потому что думал сначала получить список таких файлов
а затем из него выбирать

но это оказалось еще дольше, совершает больше операций, чем предложенный в этой теме вариант

Возможно, нужно напрямую к базе данных обращаться... и там искать...
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
20.09.2019, 22:18  [ТС]
в общем, нужно более изящное решение
чтобы не искать каждую фразу в файле ...

а если напрямую к базе данных подключиться?
(нужно искать по всем таблицам всей базы данных)
это ускорит процесс?
0
5037 / 1064 / 149
Регистрация: 29.01.2013
Сообщений: 6,217
21.09.2019, 16:03
IRIP, нужно именно распараллеливать. Системы многоядерные, производительность повысится в разы.
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
24.09.2019, 18:02  [ТС]
Вот решение написал

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
import os
import re
import time
 
base = 'base.sql'
path_old = '/home/old/files/'
path_new = '/home/new/files/'
 
ext = ['.jpeg', '.jpg', '.gif', '.png', '.bmp']
delete = 0
 
all_files_in_base = []
 
 
def get_element_in_line(line):
    list_line = line.split(' ')
    for x in ext:
        for y in list_line:
            if x in y:
                y = y.replace('src=\\"', '').replace('\\"', '').replace('SRC=\\"', '').replace('href=\"', '').replace('\"', '').replace(
                    '\\nsmall:', '').replace('\\nbig:', '').replace('href=', '').replace('https://dezerit.org.ua', '').replace('&quot;', '').replace('&amp;', '').replace('#8217', '').replace('&gt', '').replace(';/&', '').replace('<br', '').replace('/>', '').replace('\n', '').replace('\r', '').replace('.jpgv1', '.jpg').replace('?imgmax800', '')
                y = re.sub(r"['<>,\=]", '', y)
                print(y)
                return y
            else:
                continue
 
 
with open(base) as fp:
    for line in iter(fp.readline, ''):
        for x in ext:
            if x in line:
                # print(type(x))
                all_files_in_base.append(get_element_in_line(line))
                # time.sleep(1)
            else:
                continue
в итоге, возвращает список файлов в list

с ним потом можно делать все, что нужно
функция работает очень шустро (на сколько я могу судить)
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
24.09.2019, 18:02
Помогаю со студенческими работами здесь

Найти в данном тексте все слова, содержащие наибольшее количество гласных латинских букв (a, e, i, o, u)
Дан текст. Найти все слова, содержащие наибольшее количество гласных латинских букв (a, e, i, o, u).

Найти в тексте слова, содержащие не менее трех букв из первого слова
Надо сделать две последних лабы, но конспекты где-то потерял. Вот условия:

Если все слова в тексте имеют одинаковую длину, вывести слово "ДЛИНА"
Если все слова в тексте имеют одинаковую длину, вывести слово &quot;ДЛИНА&quot;.

Найти в тексте слова, содержащие не менее трех букв из последнего слова текста
В текстовом файле input.txt записан русский текст. Найти в тексте слова, содержащие не менее трех букв из последнего слова текста, записать...

Текстовые файлы: Найти в тексте слова, содержащие не менее трех букв из последнего слова текста
В текстовом файле записан русский текст. Найти в тексте слова, содержащие не менее трех букв из последнего слова текста, записать их...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Опции темы

Новые блоги и статьи
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru