Сбор информации на сайтах

@ЮрийТ · Регистрация: 28.01.2017

Студворк — интернет-сервис помощи студентам

Я не являюсь программистом, но передо мной встала задача собрать базу данных из информации в интернете.
Имеются вот такие базы научных статей: https://cyberleninka.ru/articl... pedagogika
https://elibrary.ru/query_results.asp?pagenum=4
Нужно собрать из этих запросов информацию о названии статьи, авторе и годе издания. (при этом чтобы меня не заблокировали на сайте, т.к. сайт нужен не последний раз=) Более 100 000 результатов запроса, поэтому вряд ли смогу сделать такой сбор информации вручную...
Дополнительно спрошу: есть ли способ пользоваться похожими алгоритмами сбора информации на других сайтах?

@pincet · 18.07.2019, 13:52

это https://cyberleninka.ru/policy.html читал уже?

@ЮрийТ · 18.07.2019, 15:29 **[ТС]**

Так я же не планирую собирать личную информацию о пользователях, только информацию о статьях. которые и так находятся в открытом доступе, с этой целью сайт и создавался. Это не нарушает правил пользования сайтом: я мог бы и вручную собрать всю нужную информацию, просто хочется сократить время и сделать это автоматически, если такое возможно.

@evgenii3000 · 18.07.2019, 17:48

ЮрийТ, раньше очень популярен был Граббинг и фреймы

HTML5
1
<iframe width="600" height="600” src=”https://google.com/" name="iframe" scrolling="au to"> </iframe>

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	Установка Emscripten SDK (emsdk) и CMake на Windows для сборки C и C++ приложений в WebAssembly (Wasm) 8Observer8 30.01.2026 Чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. Система контроля версиями Git. . .	Подключение Box2D v3 к SDL3 для Android: физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	Влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .

@ЮрийТ 35 / 0 / 0 Регистрация: 28.01.2017 Сообщений: 8

	Сбор информации на сайтах 18.07.2019, 12:32. Показов 932. Ответов 3 Метки нет (Все метки) Я не являюсь программистом, но передо мной встала задача собрать базу данных из информации в интернете. Имеются вот такие базы научных статей: https://cyberleninka.ru/articl... pedagogika https://elibrary.ru/query_results.asp?pagenum=4 Нужно собрать из этих запросов информацию о названии статьи, авторе и годе издания. (при этом чтобы меня не заблокировали на сайте, т.к. сайт нужен не последний раз=) Более 100 000 результатов запроса, поэтому вряд ли смогу сделать такой сбор информации вручную... Дополнительно спрошу: есть ли способ пользоваться похожими алгоритмами сбора информации на других сайтах? 0

@pincet 1654 / 1153 / 173 Регистрация: 23.07.2010 Сообщений: 6,910
	18.07.2019, 13:52
	это https://cyberleninka.ru/policy.html читал уже? 0

@ЮрийТ 35 / 0 / 0 Регистрация: 28.01.2017 Сообщений: 8
	18.07.2019, 15:29 [ТС]
	Так я же не планирую собирать личную информацию о пользователях, только информацию о статьях. которые и так находятся в открытом доступе, с этой целью сайт и создавался. Это не нарушает правил пользования сайтом: я мог бы и вручную собрать всю нужную информацию, просто хочется сократить время и сделать это автоматически, если такое возможно. 0