Форум программистов, компьютерный форум, киберфорум
Базы данных
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.50/4: Рейтинг темы: голосов - 4, средняя оценка - 4.50
35 / 0 / 0
Регистрация: 28.01.2017
Сообщений: 8

Сбор информации на сайтах

18.07.2019, 12:32. Показов 932. Ответов 3
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Я не являюсь программистом, но передо мной встала задача собрать базу данных из информации в интернете.
Имеются вот такие базы научных статей: https://cyberleninka.ru/articl... pedagogika
https://elibrary.ru/query_results.asp?pagenum=4
Нужно собрать из этих запросов информацию о названии статьи, авторе и годе издания. (при этом чтобы меня не заблокировали на сайте, т.к. сайт нужен не последний раз=) Более 100 000 результатов запроса, поэтому вряд ли смогу сделать такой сбор информации вручную...
Дополнительно спрошу: есть ли способ пользоваться похожими алгоритмами сбора информации на других сайтах?
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
18.07.2019, 12:32
Ответы с готовыми решениями:

Сбор информации из нескольких таблиц в один документ Word
Здравтсуйте. Появилась необходимость создать базу данных абонентов ЖКХ. Есть таблица Абоненты, где представлена сводная информация (фио,...

Сбор информации из ВК
Доброго времени суток. Нам нужна Ваша огромная помощь. Требуется составить программу для сбора информации со страниц в Вконтакте. В...

Сбор информации о пользователе
Как узнать какую информацию конкретный сайт собирает о пользователе? Допустим все разрешения включены. Считывается ли информация о железе...

3
 Аватар для pincet
1654 / 1153 / 173
Регистрация: 23.07.2010
Сообщений: 6,910
18.07.2019, 13:52
это https://cyberleninka.ru/policy.html читал уже?
0
35 / 0 / 0
Регистрация: 28.01.2017
Сообщений: 8
18.07.2019, 15:29  [ТС]
Так я же не планирую собирать личную информацию о пользователях, только информацию о статьях. которые и так находятся в открытом доступе, с этой целью сайт и создавался. Это не нарушает правил пользования сайтом: я мог бы и вручную собрать всю нужную информацию, просто хочется сократить время и сделать это автоматически, если такое возможно.
0
1317 / 536 / 67
Регистрация: 16.01.2013
Сообщений: 4,106
18.07.2019, 17:48
ЮрийТ, раньше очень популярен был Граббинг и фреймы

HTML5
1
<iframe width="600" height="600” src=”https://google.com/" name="iframe" scrolling="au to"> </iframe>
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
18.07.2019, 17:48
Помогаю со студенческими работами здесь

Сбор информации из сети
Никто никогда не задумывался над вопросом как собрать список email-адресов или мобильных номеров людей своего города. Почему написал в...

Грузоперевозки - Сбор информации
Получил оффлайновый заказ. Нужно продвигать сайт. Тематика, предположительно, грузоперевозки. Конкретно речь идет о неформальном...

Сбор системной информации
Как курсовой проект по c++ придумал сделать программу, которая мониторит удаленный компьютер и посылает клиенту информацию о нем. По работе...

Сбор информации с Excel
Здравствуйте! Помогите советом или макросом, т.к. сам в этом ноль. Имеется некоторое количество .xls, (в разных папках) структура...

Сбор информации о сети
Добрый вечер! Есть такой вопросик. Если до конца не понимаешь топологию локальной сети (могу назвать полностью ее компоненты:...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
Установка Emscripten SDK (emsdk) и CMake на Windows для сборки C и C++ приложений в WebAssembly (Wasm)
8Observer8 30.01.2026
Чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. Система контроля версиями Git. . .
Подключение Box2D v3 к SDL3 для Android: физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image
8Observer8 27.01.2026
Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
Влияние грибов на сукцессию
anaschu 26.01.2026
Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android
8Observer8 26.01.2026
Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru