Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
1 / 1 / 1
Регистрация: 14.09.2019
Сообщений: 12

Не получается разделить собранные данные которые собрал многопоточно

08.03.2022, 21:23. Показов 678. Ответов 0
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Я многопоточно собираю все языки на которых программировали определенные пользователи, и когда добавляю в список эти языки, тогда языки от одного пользователя попадают к другому пользователю. Пример(пользователь 1 пишет на языках;(Язык 1, язык 2)) и (пользователь 2 пишет на языках;(Язык 3, язык 4) и должно так же выводить, а выводит (пользователь 1 пишет на языках;(Язык 1, язык 2)) и (пользователь 2 пишет на языках;(Язык 1, язык 2,Язык 3, язык 4) Есть идеи как разделить данные?
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
import multiprocessing
from bs4 import BeautifulSoup
import re
from array import *
from multiprocessing.dummy import Pool
import requests
from urllib.parse import urljoin
import math as m
import fake_useragent
 
url_git = 'https://github.com/'
url_reposit = '?tab=repositories'
star = 'stargazers'
page = '?page='
 
star_user = ['m','MNYudina','Robingood43']    
info_userov = []
 
def search(qi):
    global url_git,url_reposit,reposit_star  
    language_user_star = []
    reposit_star = []
 
    user = fake_useragent.UserAgent().random
    header = {
      'User-Agent': user,
      'upgrade-insecure-requests': '1',
      'cookie': 'mos_id=CllGxlx+PS20pAxcIuDnAgA=; session-cookie=158b36ec3ea4f5484054ad1fd21407333c874ef0fa4f0c8e34387efd5464a1e9500e2277b0367d71a273e5b46fa0869a; NSC_WBS-QUBG-jo-nptsv-WT-443=ffffffff0951e23245525d5f4f58455e445a4a423660; rheftjdd=rheftjddVal; _ym_uid=1552395093355938562; _ym_d=1552395093; _ym_isad=2'
      }
    col_vo_reposit_star = ""
 
    full_url_reposit_star = f'{url_git}{qi}{url_reposit}'
 
    html_github12 = BeautifulSoup(requests.get(full_url_reposit_star, headers = header).text,'lxml')
 
    print(full_url_reposit_star)
 
    f2 = html_github12.find('span',{'class': 'Counter'}).attrs['title']
    col_vo_reposit_star = f2.replace(',', '')
 
    all_page = m.ceil(int(col_vo_reposit_star)/30)
 
    for col_str_reposit_star in  range(all_page):
                    html_github13 = BeautifulSoup(requests.get(full_url_reposit_star, headers = header).text,'lxml')
                    for j in html_github13.find_all('a', {'itemprop': re.compile("name codeRepository.*")}):
                       reposit_star.append(j.get('href'))
                    if col_str_reposit_star == 1:
                        for q in html_github13.findAll('a',{'class': re.compile("btn btn-outline BtnGroup-item.*")}):
                            full_url_reposit_star = q.get("href")
                    else:
                        for z in html_github13.findAll('a',{'class': re.compile("btn btn-outline BtnGroup-item.*")}):
                            full_url_reposit_star = z.get("href")
 
    for i in reposit_star:
                    reposit = urljoin(url_git,i)
         
                    html_github_reposit12 = BeautifulSoup(requests.get(reposit, headers = header).text,'lxml')
 
                    for j in html_github_reposit12.find_all('span', {'class': re.compile("color-fg-default text-bold mr-1.*")}):
                        if j.text not in language_user_star:
                            language_user_star.append(j.text)
 
    info_userov.append([qi,language_user_star])
   
 
 
 
def main():
    x = multiprocessing.cpu_count()
 
    with Pool(x) as p:
        p.map(search, ((check_reposit) for check_reposit in star_user))
 
    print(info_userov)
 
if __name__ == "__main__":
    main()
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
08.03.2022, 21:23
Ответы с готовыми решениями:

Не получается разделить собранные данные с with Pool
Я многопоточно собираю все языки на которых программировали определенные пользователи, и когда добавляю в список эти языки, тогда языки от...

Обновить данные в БД собранные в одном гриде
И как вы собираетесь обновлять данные в представлении, которое создано в базе? Один черт - все что сложнее - "клиент арендовал...

Добавить данные в бд таблицу собранные ботом
Здравствуйте! Пишу бот-опросник на питоне для ТГ. Данные кладу в объект, который я создал ранее. Так же я создал бд с помощью...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
08.03.2022, 21:23
Помогаю со студенческими работами здесь

Преобразовать собранные данные в графический вид в Excel'e (Performance Monitor)
Как можно сохраненный график: открыть в Excel'e и преобразовать в читаемый, графический вид? На данный момент у меня всё выглядит...

Даны три действительных числа x, y, z. Те из них, которые меньше 2, разделить на 45, те которые принадлежат интервалу [4
Даны три действительных числа x, y, z. Те из них, которые меньше 2, разделить на 45, те которые принадлежат интервалу возвести в квадрат,...

Не получается разделить на .h и .cpp
.h class Banner { private: string bannerName; // нименование баннера int numbersShow; // количество показов int...

Не получается разделить слова в строке
Хало! Строка 68-70, после перезаписи, которая происходит, пытаюсь разделить слова с помощью пробела, присваивая напрямую, но это не...

Не получается разделить массив на гуруппы
Есть числовой массив(задается),нужно разделить на кол-во групп(тоже задается),знаю что функцией array_chunk(); но в реале ничего не...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL3_image
8Observer8 27.01.2026
Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru