Внести и извлечь элменты в массиве

@wena77 · Регистрация: 15.06.2015

Студворк — интернет-сервис помощи студентам

вот такой участок части кода (это не весь), но проблема вылазит тут:

Python
1
2
3
4
5
6
7
8
9
10
11
12
             
done_array = []
.....................
 
       for normal_ending in cursor.execute("SELECT flex FROM flexes WHERE type=? AND field2=1", (type)).fetchall():
                            #соединение "основы" и нормального окончания
 
                            word_FINAL = (current_word[:bukva] + ''.join(str(cursor) for cursor in normal_ending))
                            #print(word_FINAL)
                            if cursor.execute('SELECT reestr FROM nom WHERE (reestr=? AND type<>0)', (word_FINAL,)).fetchall():
                                done_array.append(word_FINAL)
                                STOP = True

в результате выполнения этого кода получается такая проблема, что запрос находит несколько подходящих вариантов, НО выбрать надо только тот который повторяется чаще всего для каждого слова:

Кликните здесь для просмотра всего текста

адреса адреса адрес адрес адрес адреса адрес адреса адреса прибути група реагування патруль поліція поліція поліція поліція поліція поліція поліція поліція поліція поліція поліція поліція поліція поліція Бориспільський Бориспільський Бориспільський Бориспільський Бориспільський відділяти відділити відділити відділити відділити відділити відділити відділити відділити відділити відділити відділити відділити відділити відділити відділити відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділити відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ відділ

например: из слов "відділити" и "відділ" нужно чтобы осталось слово "відділ"
изначально на вход поступает текст, затем обрабатывается и вот эти слова уже добавляются в конечный массив, который выводится, но как оставить, чтобы для каждого слова остался только 1 вариант не знаю. пробовал заносить в массив значения только, если новое не равно предыдущему, но не во всех случаях это допустимое решение(

Добавлено через 10 минут
Есть еще ИДЕЯ записать эти слова,которых несколько вариантов во временный массив, посчитать какое чаще повторяется и уже его записывать в финальный массив. Но как это правильно сделать не знаю

vic5710 · 17.04.2018, 14:46

например так - совпадение по 3 начальным символам

Python
1
2
3
4
5
6
7
8
9
>>> from itertools import groupby
>>> import re
>>> doc='''адреса адреса адрес адрес адрес адреса адрес адреса адреса прибути група реагування патруль поліція поліція поліція поліція поліція поліція поліція поліція поліція    поліція  поліція  поліція  поліція  поліція Бориспільський Бориспільський Бориспільський Бориспільський Бориспільський відділяти відділити відділити відділити відділити відділити відділити відділити відділити відділити відділити відділити відділити відділити відділити відділити відділ відділ відділ відділ відділ відділ   відділ відділ   відділ    відділ    відділ    відділ    відділ    відділ    відділ відділ відділ  відділ    відділ    відділ    відділ    відділ    відділ    відділ    відділ    відділ відділ відділ  відділ    відділити відділ відділ    відділ    відділ    відділ    відділ    відділ    відділ відділ відділ  відділ    відділ    відділ    відділ    відділ відділ   відділ    відділ    відділ'''
>>> l = sorted(list(set(re.split('\s+',doc))))
>>> g = groupby(l,key=lambda x: x[:3])
>>>[list(v)[0] for k,v in g]
['Бориспільський', 'адрес', 'відділ', 'група', 'патруль', 'поліція', 'прибути', 'реагування']
>>> 
>>>

Добавлено через 13 часов 39 минут
если нужно учитывать частоту повторения, можно так

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
>>> import re
>>> doc = '''адреса адреса адрес адрес адрес адреса адрес адреса адреса прибути
група реагування патруль поліція поліція поліція поліція поліція поліція
поліція поліція поліція    поліція  поліція  поліція  поліція  поліція 
Бориспільський Бориспільський Бориспільський Бориспільський Бориспільський 
відділяти відділити відділити відділити відділити відділити відділити 
відділити відділити відділити відділити відділити відділити 
відділити відділити відділити відділ відділ відділ відділ 
відділ відділ   відділ відділ   відділ    відділ    відділ    відділ    
відділ    відділ    відділ відділ відділ  відділ    відділ    відділ    відділ    відділ    
відділ    відділ    відділ    відділ відділ відділ  відділ    відділити відділ 
відділ    відділ    відділ    відділ    відділ    відділ    відділ відділ відділ  
відділ    відділ    відділ    відділ    відділ відділ   відділ    відділ    відділ'''
>>> d = {}
>>> for i in re.split('\s+',doc):
    d[i] = d.get(i,0) + 1
 
    
>>> l = sorted(d.items(),key = lambda x: len(x[0]))
>>> d = {}
>>> while True:
    if not l: break
    k = l.pop(0)
    d[k] = [i for i in l if i[0].startswith(k[0])]
    for i in d[k]: l.remove(i)
 
    
>>> for i in d:
    print(sorted([i,*d[i]],key = lambda x: x[1],reverse=True))
 
    
[('адреса', 5), ('адрес', 4)]
[('група', 1)]
[('відділ', 48), ('відділити', 16), ('відділяти', 1)]
[('прибути', 1)]
[('патруль', 1)]
[('поліція', 14)]
[('реагування', 1)]
[('Бориспільський', 5)]

Рыжий Лис · 17.04.2018, 15:23

Может использование GROUP BY (сгруппировать) и LIMIT (ограничить число строк) в sql-запросе поможет?

@wena77 · 17.04.2018, 15:37 **[ТС]**

Спасибо! Натолкнули на новые идеи решения. Возможно я немного не полностью все объяснил. Дело в том что изначально открывается текст .txt по словам добавляется в массив. вот так выглядит сначала:

Кликните здесь для просмотра всего текста

['Одного', 'разу', ',', 'перемальовуючи', 'статуї', 'в', 'Літньому', 'саду', ',', 'Шевченко', 'зустрів', 'земляка', '—', 'художника', 'І.', 'Сошенка', ',', 'який', 'познайомив', 'його', 'з', 'видатними', 'діячами', 'російської', 'й', 'української', 'культур', '(', 'К.', 'Брюлловим', ',', 'В.', 'Григоровичем', ',', 'О.', 'Венеціановим', ',', 'В.', 'Жуковським', ',', 'Є.', 'Гребінкою', ')', '.']

потом после выполнения кода(обработки этого текста) получается такой массив:

Кликните здесь для просмотра всего текста

['Од', 'Од', 'Од', 'Один', 'Один', 'Один', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'разити', 'разити', 'раз', 'раз', 'разити', 'разити', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', ',', 'перемальовувати', 'перемальовувати', 'перемальовувати', 'перемальовувати', 'перемальовувати', 'перемальовувати', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'в', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літний', 'Літний', 'Літний', 'Літний', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'садити', 'садити', 'сад', 'сад', 'садити', 'садити', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', ',', 'Шевченко', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', '—', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'І.', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', ',', 'який', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'він', 'він', 'воно', 'воно', 'й', 'й', 'й', 'з', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'діяч', 'діяч', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'й', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', '(', 'К.', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', ',', 'В.', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', ',', 'О.', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', ',', 'В.', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', ',', 'Є.', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', ')', '.']

так как это текст, много предложений, то слова в массиве могут встречаться в разных предложениях, и надо чтобы в каждом случае выбиралось одно нужное слово, а не вносилось как тут встречается "разити разити разити разити раз раз раз раз раз раз раз раз раз раз раз раз раз раз раз раз РАЗИТИ РАЗИТИ РАЗИТИ раз раз раз раз раз раз "
Извините, если в первый раз неправильно объяснил проблему

Рыжий Лис · 17.04.2018, 15:40

Вместо списка использовать set?

Python
1
2
3
done_array = set()
 
done_array.add(word_FINAL)

@wena77 · 17.04.2018, 15:57 **[ТС]**

Рыжий Лис, не вариант. Если использовать set, то слова добавляются в случайном порядке, проблема 2х слов остается и удаляются ВСЕ одинаковыйе слова в тексте

Рыжий Лис · 17.04.2018, 16:04

Выглядит, как костыль:

Кликните здесь для просмотра всего текста

Python
1
2
3
4
5
6
7
8
ls = ['Од', 'Од', 'Од', 'Один', 'Один', 'Один', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'разити', 'разити', 'раз', 'раз', 'разити', 'разити', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', ',', 'перемальовувати', 'перемальовувати', 'перемальовувати', 'перемальовувати', 'перемальовувати', 'перемальовувати', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'в', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літний', 'Літний', 'Літний', 'Літний', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'садити', 'садити', 'сад', 'сад', 'садити', 'садити', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', ',', 'Шевченко', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', '—', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'І.', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', ',', 'який', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'він', 'він', 'воно', 'воно', 'й', 'й', 'й', 'з', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'діяч', 'діяч', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'й', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', '(', 'К.', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', ',', 'В.', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', ',', 'О.', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', ',', 'В.', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', ',', 'Є.', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', ')', '.']
 
ls2 = [ls[0]]
for i in ls[1:]:
    if ls2[-1] != i:
        ls2.append(i)
 
print(ls2)

@wena77 · 17.04.2018, 16:11 **[ТС]**

эх, спасибо конечно, но такой костыль писал уже( а надо реально решить проблему, поэтому и пришел сюда, что сам уже не знаю как((

vic5710 · 17.04.2018, 17:18

Сообщение от wena77

потом после выполнения кода(обработки этого текста) получается такой массив:

а зачем он нужен?

Python
1
2
3
4
5
6
7
>>> from collections import Counter
>>> doc = '''так как это текст, много предложений, то слова в массиве могут встречаться в разных предложениях, и надо чтобы в каждом случае выбиралось одно нужное слово, а не вносилось как тут встречается "разити разити разити разити раз раз раз раз раз раз раз раз раз раз раз раз раз раз раз раз РАЗИТИ РАЗИТИ РАЗИТИ раз раз раз раз раз раз "
Извините, если в первый раз неправильно объяснил проблему'''
>>> c = Counter(doc.split())
>>> c
Counter({'раз': 23, 'в': 4, 'разити': 3, 'РАЗИТИ': 3, 'как': 2, 'так': 1, 'это': 1, 'текст,': 1, 'много': 1, 'предложений,': 1, 'то': 1, 'слова': 1, 'массиве': 1, 'могут': 1, 'встречаться': 1, 'разных': 1, 'предложениях,': 1, 'и': 1, 'надо': 1, 'чтобы': 1, 'каждом': 1, 'случае': 1, 'выбиралось': 1, 'одно': 1, 'нужное': 1, 'слово,': 1, 'а': 1, 'не': 1, 'вносилось': 1, 'тут': 1, 'встречается': 1, '"разити': 1, '"': 1, 'Извините,': 1, 'если': 1, 'первый': 1, 'неправильно': 1, 'объяснил': 1, 'проблему': 1})
>>>

@Garry Galler · 17.04.2018, 19:53

Сообщение от wena77

если в первый раз неправильно объяснил проблему

Лучше объясните не проблему, а конечный смысл вашего кода. Сверхзадачу.
Возможно, что проблема в неправильном изначальном подходе.
Может быть вам нужны не слова, а их леммы?

@wena77 · 17.04.2018, 20:05 **[ТС]**

да, сверхзадача - лемматизация! сверхзадача работает,но кроме этого момента

@Garry Galler · 17.04.2018, 20:10

Сообщение от wena77

сверхзадача - лемматизация!

В упор не вижу. Лемматизацию делает морфоанализатор или стэммер. У вас они не используются.

@wena77 · 17.04.2018, 20:16 **[ТС]**

а я и не показывал код, где это происходит. нужна помощь только в этом моменте, потому что уже не знаю как решить

@Garry Galler · 17.04.2018, 20:18

Да и потом, лемматизация это всегда лишь подзадача. Средство для чего-то.
Конечная задача какая-то иная. Однако вы желаете ее умолчать?

Добавлено через 2 минуты

Сообщение от wena77

например: из слов "відділити" и "відділ" нужно чтобы осталось слово "відділ"

Вот здесь какой алгоритм выбора слова? Самая короткая префиксная форма слова?

@wena77 · 17.04.2018, 20:43 **[ТС]**

Верить мне или нет - дело Ваше, но задача действительно только лишь лемматизация

Сообщение от Garry Galler

Вот здесь какой алгоритм выбора слова? Самая короткая префиксная форма слова?

просто входящая форма была "відділу"

@Garry Galler · 17.04.2018, 20:52

Если вы хотите получить правильно нормализованное предложение, то использование БД в качестве словаря и дальнейшая попытка построить велосипед на отборе слов по непонятному алгоритму - плохой вариант.
1) Первая ошибка - у вас никак не обрабатываются слова с переносами - они разделяются на два несуществующих слова.
Это нужно обрабатывать и объединять переносы.
2) pymorhpy2 в python, пожалуй, лучший морфоанализатор, умеет работать также и с украинским текстом. Его словаря вполне хватит для ваших предложений.
3) Чтобы привести фамилии к форме единственного числа именительного падежа их можно обрабатывать отдельно - существуют словари фамилий для их вычленения из текста.

Новые блоги и статьи Все статьи Все блоги /
Автоматическое создание документа при проведении другого документа Maks 29.03.2026 Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2. Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники". В. . .	Настройка движения справочника по регистру сведений Maks 29.03.2026 Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .	Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .	Сумматор с применением элементов трёх состояний. Hrethgir 26.03.2026 Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .
Автозаполнение реквизитов при создании документа Maks 26.03.2026 Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .	Команды формы и диалоговое окно Maks 26.03.2026 1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .	Кому нужен AOT? DevAlt 26.03.2026 Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .	Отправка уведомления на почту при создании или изменении элементов справочника Maks 24.03.2026 Программная отправка письма электронной почты на примере типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной записи электронной. . .

Рыжий Лис Просто Лис 5973 / 3735 / 1099 Регистрация: 17.05.2012 Сообщений: 10,791 Записей в блоге: 9
	17.04.2018, 15:23
	Может использование GROUP BY (сгруппировать) и LIMIT (ограничить число строк) в sql-запросе поможет? 0

@wena77 0 / 0 / 0 Регистрация: 15.06.2015 Сообщений: 12
	17.04.2018, 15:37 [ТС]
	Спасибо! Натолкнули на новые идеи решения. Возможно я немного не полностью все объяснил. Дело в том что изначально открывается текст .txt по словам добавляется в массив. вот так выглядит сначала: Кликните здесь для просмотра всего текста ['Одного', 'разу', ',', 'перемальовуючи', 'статуї', 'в', 'Літньому', 'саду', ',', 'Шевченко', 'зустрів', 'земляка', '—', 'художника', 'І.', 'Сошенка', ',', 'який', 'познайомив', 'його', 'з', 'видатними', 'діячами', 'російської', 'й', 'української', 'культур', '(', 'К.', 'Брюлловим', ',', 'В.', 'Григоровичем', ',', 'О.', 'Венеціановим', ',', 'В.', 'Жуковським', ',', 'Є.', 'Гребінкою', ')', '.'] потом после выполнения кода(обработки этого текста) получается такой массив: Кликните здесь для просмотра всего текста ['Од', 'Од', 'Од', 'Один', 'Один', 'Один', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'разити', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'разити', 'разити', 'раз', 'раз', 'разити', 'разити', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', 'раз', ',', 'перемальовувати', 'перемальовувати', 'перемальовувати', 'перемальовувати', 'перемальовувати', 'перемальовувати', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'статуя', 'в', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літний', 'Літний', 'Літний', 'Літний', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'Літній', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'садити', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'садити', 'садити', 'сад', 'сад', 'садити', 'садити', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', 'сад', ',', 'Шевченко', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'зустріти', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', 'земляк', '—', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'художник', 'І.', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', 'Сошенко', ',', 'який', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'познайомити', 'він', 'він', 'воно', 'воно', 'й', 'й', 'й', 'з', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'видатний', 'діяч', 'діяч', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'російський', 'й', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', 'український', '(', 'К.', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', 'Брюллов', ',', 'В.', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', 'Григорович', ',', 'О.', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', 'Венеціанов', ',', 'В.', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', 'Жуковський', ',', 'Є.', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', 'Гребінка', ')', '.'] так как это текст, много предложений, то слова в массиве могут встречаться в разных предложениях, и надо чтобы в каждом случае выбиралось одно нужное слово, а не вносилось как тут встречается "разити разити разити разити раз раз раз раз раз раз раз раз раз раз раз раз раз раз раз раз РАЗИТИ РАЗИТИ РАЗИТИ раз раз раз раз раз раз " Извините, если в первый раз неправильно объяснил проблему 0

@wena77 0 / 0 / 0 Регистрация: 15.06.2015 Сообщений: 12
	17.04.2018, 15:57 [ТС]
	Рыжий Лис, не вариант. Если использовать set, то слова добавляются в случайном порядке, проблема 2х слов остается и удаляются ВСЕ одинаковыйе слова в тексте 0

@wena77 0 / 0 / 0 Регистрация: 15.06.2015 Сообщений: 12
	17.04.2018, 16:11 [ТС]
	эх, спасибо конечно, но такой костыль писал уже( а надо реально решить проблему, поэтому и пришел сюда, что сам уже не знаю как(( 0

@wena77 0 / 0 / 0 Регистрация: 15.06.2015 Сообщений: 12
	17.04.2018, 20:05 [ТС]
	да, сверхзадача - лемматизация! сверхзадача работает,но кроме этого момента 0

@wena77 0 / 0 / 0 Регистрация: 15.06.2015 Сообщений: 12
	17.04.2018, 20:16 [ТС]
	а я и не показывал код, где это происходит. нужна помощь только в этом моменте, потому что уже не знаю как решить 0

@Garry Galler 5438 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	17.04.2018, 20:52
	Если вы хотите получить правильно нормализованное предложение, то использование БД в качестве словаря и дальнейшая попытка построить велосипед на отборе слов по непонятному алгоритму - плохой вариант. 1) Первая ошибка - у вас никак не обрабатываются слова с переносами - они разделяются на два несуществующих слова. Это нужно обрабатывать и объединять переносы. 2) pymorhpy2 в python, пожалуй, лучший морфоанализатор, умеет работать также и с украинским текстом. Его словаря вполне хватит для ваших предложений. 3) Чтобы привести фамилии к форме единственного числа именительного падежа их можно обрабатывать отдельно - существуют словари фамилий для их вычленения из текста. 0