Форум программистов, компьютерный форум, киберфорум
PHP: сети
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
 
Рейтинг 4.73/15: Рейтинг темы: голосов - 15, средняя оценка - 4.73
0 / 0 / 2
Регистрация: 07.09.2013
Сообщений: 41

Как полностью загрузить весь подгружаемый список на сайте?

10.03.2014, 16:54. Показов 3175. Ответов 20
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Как полностью загрузить весь подгружаемый список на сайте?
Например на этой странице.
http://www.kinopoisk.ru/film/229996/cast/
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
10.03.2014, 16:54
Ответы с готовыми решениями:

Как загрузить страницу полностью?
function get($url) { $res = curl_init(); curl_setopt($res, CURLOPT_URL, $url); curl_setopt($res, CURLOPT_RETURNTRANSFER, 1); ...

Линейные списки: Представить каждую строку как список слов, а весь текст-как список строк
В текстовом файле находятся строки текста,разбитого на отдельные слова.Слова отделяются знаками припинания или пробелами.Представить каждую...

Как загрузить интернет канал полностью - 20Мб/с
Приветствую Уважаемые. МОй провайдер, заявляет от скорости 20мб/с Однако все замеры показывают 4Мб/с. Они мне чешут, что у меня 20...

20
Автор FAQ
 Аватар для insideone
3687 / 964 / 114
Регистрация: 10.01.2010
Сообщений: 2,550
10.03.2014, 17:33
JavaScript
1
2
3
4
5
$(window).scroll(function(){
 if ($(window).scrollTop() == $(document).height() - $(window).height()){
  // ваш ajax-запрос здесь
 }
});
0
0 / 0 / 2
Регистрация: 07.09.2013
Сообщений: 41
10.03.2014, 18:16  [ТС]
а както без ajax запроса, я его незнаю.
0
Автор FAQ
 Аватар для insideone
3687 / 964 / 114
Регистрация: 10.01.2010
Сообщений: 2,550
10.03.2014, 18:20
Показывайте на странице все товары, но разделите их на блоки-страницы. По умолчанию показана только 1 страница, в месте "// ваш ajax-запрос здесь" делается .show для следующего блока-страницы
0
0 / 0 / 2
Регистрация: 07.09.2013
Сообщений: 41
10.03.2014, 18:32  [ТС]
Нужно получить весь HTML код, автоматически подгружаемой страницы.
Этой страницы.
http://www.kinopoisk.ru/film/229996/cast/
ajax я незнаю.
php только начинаю учить.
0
Автор FAQ
 Аватар для insideone
3687 / 964 / 114
Регистрация: 10.01.2010
Сообщений: 2,550
10.03.2014, 22:42
curl-ом загружаете страницу http://www.kinopoisk.ru/film/229996/cast/ парсите что нужно
в html-коде страницы будет такая вставка js-кода:
JavaScript
1
var xsrftoken = '802250a34dbbf3e82e79a051a66433d9';$.ajaxSetup({data: {'token': xsrftoken}});
Для сбора последующих "страниц" нужно обращаться к той же странице но

Отправляя POST-ом
token:802250a34dbbf3e82e79a051a66433d9
start_list:100

Ну и для остальных соответственно просто start_list увеличивается
0
0 / 0 / 2
Регистрация: 07.09.2013
Сообщений: 41
11.03.2014, 22:14  [ТС]
неполучается зделать помогите разобраться.
то что получилось но неработает.
PHP
1
2
3
4
5
6
7
8
9
   if( $curl = curl_init() ) {
     curl_setopt($curl, CURLOPT_URL, 'http://www.kinopoisk.ru/film/229996/cast/');
     curl_setopt($curl, CURLOPT_RETURNTRANSFER,true);
     curl_setopt($curl, CURLOPT_POST, true);
     curl_setopt($curl, CURLOPT_POSTFIELDS, "token:802250a34dbbf3e82e79a051a66433d9");
     $out = curl_exec($curl);
     echo $out;
     curl_close($curl);
   }
Добавлено через 13 часов 46 минут
там нечего больше здалать нельзя?

Добавлено через 3 часа 11 минут
объясните почму неработает?

Добавлено через 57 минут
ктото видит мои сообщения?

Добавлено через 38 минут
ну напишите что небудь
0
Автор FAQ
 Аватар для insideone
3687 / 964 / 114
Регистрация: 10.01.2010
Сообщений: 2,550
11.03.2014, 23:55
CURLOPT_POSTFIELDS надо передавать массив, почитайте в документации
token - постонно меняется, 802250a34dbbf3e82e79a051a66433d9 я привёл для примера. Нужно брать его каждый раз при загрузке страницы
0
0 / 0 / 2
Регистрация: 07.09.2013
Сообщений: 41
13.03.2014, 05:14  [ТС]
я немогу сохранить хотябы с 100-й по 200-ю страницу.
непойму куда что писать.
напишите пожалуйста, там же недолго писать, хотябы что куда вписывать.
в описании я нечего непонял.
0
13.03.2014, 22:47

Не по теме:

Про "недолго писать" не согласен, в подобном парсинге можно закопаться и на пару часов, там могут быть и другие подводные камни

0
0 / 0 / 2
Регистрация: 07.09.2013
Сообщений: 41
16.03.2014, 18:10  [ТС]
мне нужно чтоб хотябы один раз загрузилась страница с сотой по двух сотую запись, а дальше я сам смогу разобраться.

Добавлено через 10 часов 57 минут
я немогу правильно написать запрос CURLOPT_POSTFIELDS, помогите кто небудь, или некто незнает?
так неработает.
curl_setopt($curl, CURLOPT_POSTFIELDS, 'token:802250a34dbbf3e82e79a051a66433d9' , 'start_list:100');

Добавлено через 13 часов 52 минуты
ктото читает мои сообщения?
0
Автор FAQ
 Аватар для insideone
3687 / 964 / 114
Регистрация: 10.01.2010
Сообщений: 2,550
16.03.2014, 21:51
Лучший ответ Сообщение было отмечено koksacs как решение

Решение

В CURLOPT_POSTFIELDS нужно передавать массив или url-закодированную сторку
С массивом будет так:
PHP
1
2
3
4
curl_setopt($curl, CURLOPT_POSTFIELDS, array(
 'token' => '802250a34dbbf3e82e79a051a66433d9',
 'start_list => '100',
));
Но !!! значение 802250a34dbbf3e82e79a051a66433d9 взято для примера. Реально оно меняется каждый раз. Нужно сначала загрузить оригинальную страницу, спарсить с неё токен, и подставить его во второй запрос
1
0 / 0 / 2
Регистрация: 07.09.2013
Сообщений: 41
17.03.2014, 21:24  [ТС]
спасибо наконецто заработало
0
0 / 0 / 0
Регистрация: 30.01.2016
Сообщений: 4
30.01.2016, 21:50
Извините что врываюсь сюда с улицы . Программирую на HARBOUR . Понадобилось использовать LIBCURL . С обычными запросами вроде как разобрался . Сейчас вот мучаюсь с передачей в режиме POST .
Есть сайт . Туда нужно сгенерировать запрос с несколькими параметрами ( Поле тип Валюты , поле - Артикул ) Никак не могу создать правильную строку для POST . Совершенно новая для меня тема
Сможет тут кто-нибудь помочь ?
0
Эксперт PHP
3899 / 3237 / 1353
Регистрация: 01.08.2012
Сообщений: 10,909
30.01.2016, 22:06
VitalyXXL, по идее строки что GET, что POST одинаковые:
param1=value1&param2=value2&param3=value 3
0
0 / 0 / 0
Регистрация: 30.01.2016
Сообщений: 4
30.01.2016, 22:17
Да в том-то и дело что по аналогии с запросами на другие сайты (где GET - запросы ) - не работает .
LIBCURL возвращает 1 байт информации судя по содержимому записанному в файл ) - то есть что-то с запросом не так .
Может быть есть какая-то хитрость при запросе именно этого сайта(заноза этакая!) .
Как видите я только зарегистрировался на этом ресурсе ..... потому как помочь мне - писателю на CLIPPER/HARBOUR .... в общем-то и некому ) Пока в личку не могу писать ( ждать пару дней -я новичек )

Сюда - в тему можно сбрасывать URL-сайта для парсинга для примера ?
0
0 / 0 / 0
Регистрация: 02.02.2016
Сообщений: 10
02.02.2016, 21:18
insideone, привет. Помоги пожалуйста с кодом. Я не силен в php? но по моему там в закрывающей фигурной скобке дело, а куда ее поставить, где она должна стоять я не знаю... Помоги пожалуйста!

Добавлено через 1 минуту
Jodah, привет. Помоги пожалуйста с кодом. Я не силен в php? но по моему там в закрывающей фигурной скобке дело, а куда ее поставить, где она должна стоять я не знаю... Помоги пожалуйста!
0
Эксперт PHP
3899 / 3237 / 1353
Регистрация: 01.08.2012
Сообщений: 10,909
02.02.2016, 23:27
matrixsize, вы прямо всё делаете, чтобы вам помогли... код не показали, проблему нормально не описали, да ещё и спамите.
0
0 / 0 / 0
Регистрация: 02.02.2016
Сообщений: 10
03.02.2016, 00:06
Jodah, извиняюсь! С авторизацией была проблема...
Ошибка в 12 строке с двумя знаками "){" Не пойму, где должна стоять закрывающая фигурная скобка...
PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
<?php
header ('Content-Type: text/html; charset=UTF-8');
if (
    isset ($_GET['order']) &&
    isset ($_GET['phone']) &&
    isset ($_GET['order_status']) &&
    isset ($_GET['merchant_price']) &&
    isset ($_GET['paytouser']) &&
    isset ($_GET['time']) &&
    isset ($_GET['sign']) &&
    isset ($_GET['user_id'])
    ){
    $secret_key = "Секретный ключ";
 
 $order_id = $_GET['order_id'];
 $order = $_$_GET['order'];
 $phone = $_$_GET['phone'];
 $order_status = $_$_GET['order_status'];
 $merchant_price = $_$_GET['merchat_price'];
 $paytouser = $_$GET['paytouser'];
 $time = date("d.m.Y H:i:s:", $G_ET['time']);
 $sign = $_$_GET['sign'];
 
 $truesign = md5 ($order.$phone.$merchant_price.$secret_key);
 if ($sign == $truesign) {    
 if ($order_status == 'success'){    
    $lnk = mysql_connect("db02.hostline.ru","имя пользователя","пароль"); //Указать логин и пароль к БД
           mysql_select_db ("имя базы", $lnk); //BDTABLE - указать название базы
           mysql_query ("SET NAMES utf-8");
           
 $user_id = $_GET['user_id'];
 #Узнаем баланс пользователя
 $sql = "SELECT 'balance_rub' FROM 'vii_users' WHERE 'user_id' = '{$user_id}' LIMIT 0,1";
 $res = mysql_query($sql);
 $_GET['e'] = $eee;
 echo $_GET['e'];
 $temp = array();
 while ($row=mysql_fetch_array($res)) { array_push($temp, $row); }
 #Если пользователь не найден то останавливаем скрипт
 if (!isset ($temp[0]['balance_rub'])) {echo "error:Пользователь не найден"; die;}
 #Новый баланс пользователя:
 $newbalance = $round($merchant_price + $temp[0]['balance_rub']);
 #Записываем новый баланс:
 $sql = "UPDATE 'vii_users' SET 'balance_rub' = '{$newbalance}' WHERE 'user_id' = '{$user_id}'";
 $res = mysql_query($sql);
 #mysql нам больше не нужна, закрываем соединение
 mysql_close($lnk);
 echo "Ok"; 
 }
 }else{
    echo "error(sign)";
    die;    
 }
 else{
    echo "error(count(".count($_GET)."))";
    die;
 }
?>
0
Эксперт PHP
3899 / 3237 / 1353
Регистрация: 01.08.2012
Сообщений: 10,909
03.02.2016, 00:14
matrixsize, для начала - isset может принимать несколько значений:
PHP
1
isset($_GET['order'], $_GET['phone'], $_GET['order_status'])
Цитата Сообщение от matrixsize Посмотреть сообщение
где должна стоять закрывающая фигурная скобка
Я думаю, в самом конце скрипта. Хотя я бы иначе сделал:

PHP
1
2
3
4
if(!isset($_GET['order'], $_GET['phone'] ... ))
    die('Заполнены не все данные');
 
// А дальше остальной код
А вообще приучитесь к нормальному форматированию кода (отступы слева), тогда таких проблем не будет.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
03.02.2016, 00:14
Помогаю со студенческими работами здесь

Как получить весь URL path и загрузить его в код?
Привет Уважаемые форумчане. Пытаюсь построить свой HTTPSERVER и застрял на самом важном, никак не могу загрузить URL в код. ...

Как запустить видео на весь экран на стронем сайте
Делаю программу с помощью которой можно смотреть онлайн ТВ. нашел ссылки на каналы, знаю как переадресовать на сайт. но не могу понять как...

Как заставить Яндекс стереть инфу о сайте (весь кеш)
Добрый вечер. Сайт находится в бане уже почти полгода. Всё бы ничего, забыл бы про него, но... он в ЯК и тиц 80 (хотя упал немного, но...

А вот как бы мне загрузить данные в БД на сайте, используя Excel?
Задача - накормить БД свежим прайс-листом через веб-интерфейс используя Excel. Типа, нажимаем кнопку -&gt; открывается лист Excell -&gt;...

Как вывести весь список конкатенации?
На русском слов 8 может Но мне нужно на английском как полный список с цифрой вывести? Var s,x,y,a:string; i:integer; Begin ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru