Переделайте парсинг

@vasyakrn · Регистрация: 26.01.2013

Студворк — интернет-сервис помощи студентам

Суть парсинга спарсить с Твитеера количиство твиттов, читателей и читаемих определенних людей. На сколько я понял парсинг парсит сначало в ТХТ файл а потом в базу. Нужно сделать так чтоб перед тем как парсинг спарсит в базу поудалять пробели. Для етого в нете нашел такой код:

PHP
1
2
$str='строка с пробелами'
str_replace(' ','',$str);

Помогите такой код внедрить в парсинг

Добавлено через 1 час 5 минут
К сожелению отблагодарить нечем. Могу только дать инвайт на 2ip.ru(там у вас исчезнет капча и появятся ип-шпион, и др.)

@sMockingbird · 12.07.2013, 13:09

Код парсинга покажите свой)

@vasyakrn · 12.07.2013, 13:45 **[ТС]**

Код парсинга

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
<?php
 
 
define( "DOCROOT", dirname(__FILE__) ."/" );
 
include_once( DOCROOT ."includes/functions.class.php" );
include_once( "includes/dbconfig.php" );
 
 
class ParseTwitt{
 
      var $start_url = "https://twitter.com/";
      var $auth_url = "https://twitter.com/sessions";
      var $table = "dle_post";
 
 
      function __construct(){
            $this->funcs = new Functions;
            $this->config = $this->funcs->getConfig( 'general' );
            if( !$this->config['username'] OR !$this->config['passwd'] ) {
                  die( "Заполните данные для авторизации на twitter.com" );
            }
            if( !intval($this->config['time_auth']) OR (time() - intval($this->config['time_auth'])) > 3600 ){
                  if( !$this->auth() ){
                        $this->logs( "Неправильные данные для доступа в твиттер" );
                        $this->auth_status = FALSE;
                  }else{
                        $this->config['time_auth'] = time();
                        $this->funcs->saveConfig( "general", $this->config );
                        $this->auth_status = TRUE;
                  }
            }else{
                  $this->auth_status = TRUE;
            }
      }
 
 
      function auth( $redirect_url="/" ){
            $page = $this->funcs->url_open( $this->start_url );
            if( stripos($page, 'name="session[password]"') === FALSE ) return TRUE;
            $post_data = "session[username_or_email]=". rawurlencode($this->config['username']) ."&session[password]=". rawurlencode($this->config['passwd']);
            preg_match( '#<input type="hidden" value="(.[^"]+?)" name="authenticity_token"/>#', $page, $auth_token );
            $post_data .= "&authenticity_token=". rawurlencode($auth_token[1]) ."&redirect_after_login=". rawurlencode($redirect_url) ."&scribe_log=";
            $post_data .= "&remember_me=1";
            $page = $this->funcs->url_open( $this->auth_url, array("post_data" => $post_data) );
            if( stripos($page, 'name="session[password]"') === FALSE ) return TRUE;
      }
 
 
      function parseTwitts( $page ){
            if( !$page ) return;
            preg_match( '#data-element-term="tweet_stats" data-nav=\'profile\'>\s{0,200}<strong>(.[^>]+?)</strong>#', $page, $value );
            if( !$value ) return;
            return trim( $value[1] );
      }
 
 
      function parseFollowing( $page ){
            if( !$page ) return;
            preg_match( '#data-element-term="following_stats" data-nav=\'following\'>\s{0,200}<strong>(.[^>]+?)</strong>#', $page, $value );
            if( !$value ) return;
            return trim( $value[1] );
      }
 
 
      function parseFollowers( $page ){
            if( !$page ) return;
            preg_match( '#data-element-term="follower_stats" data-nav=\'followers\'>\s{0,200}<strong>(.[^>]+?)</strong>#', $page, $value );
            if( !$value ) return;
            return trim( $value[1] );
      }
 
 
      function parseAvatar( $page ){
            if( !$page ) return;
            preg_match( '#<a href="(.[^"]+?)" class="profile-picture media-thumbnail"#', $page, $value );
            if( !$value ) return;
            return $value[1];
      }
 
 
      function getInfo( $page ){
            if( !$page ) return;
            $info = array();
            $info['twitts'] = $this->parseTwitts( $page );
            $info['following'] = $this->parseFollowing( $page );
            $info['followers'] = $this->parseFollowers( $page );
            $info['link_img_profile'] = $this->parseAvatar( $page );
            return $info;
      }
 
 
      function getLoginsTwitt(){
            $resource = mysql_query( "SELECT `id`, `twitter_login` FROM `". $this->table ."` WHERE `twitter_login` != '';" );
            return $resource;
      }
 
 
      function fetchArray( $resource ){
            return mysql_fetch_array( $resource );
      }
 
 
      function updateInfoTwitt( $info, $id ){
            if( !$info OR !$id ) return;
            mysql_query( "UPDATE `". $this->table ."` SET
                `twitter_twitts` = '". $info['twitts'] ."',
                `twitter_following` = '". $info['following'] ."',
                `twitter_followers` = '". $info['followers'] ."',
                `twitter_pic` = '". mysql_real_escape_string($info['link_img_profile']) ."'
                WHERE `id` = '". $id ."'
            ;" ) or die(mysql_error());
      }
 
 
      function updater(){
            if( !$this->auth_status ) $this->funcs->logs( "Ошибка авторизации" );
            $resource = $this->getLoginsTwitt();
            while( $row = $this->fetchArray($resource) ){
                  $twitter_login = $row['twitter_login'];
                  if( !$twitter_login ) continue;
                  $page = $this->funcs->url_open( $this->start_url . $twitter_login );
                  $info = $this->getInfo( $page );
//                   var_dump( $info, $row );continue;
                  $this->updateInfoTwitt( $info, $row['id'] );
                  sleep( 3 );
            }
      }
 
 
}
 
 
$p = new ParseTwitt;
$p->updater();
 
?>

Добавлено через 27 минут
Нашел подобную функцию в парсинге. Как ее включить?

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
      // удаляет пробелы в строке
 
      function delTwoSpaces( $string ){
 
            $string = trim( $string );
 
            while( TRUE ){
 
                  if( strpos($string, " ") === FALSE ) break;
 
                  $string = str_replace( " ", "", $string );
 
            }
 
            return $string;
 
      }

@Vas-e-na · 12.07.2013, 17:23

а может проще:

PHP
1
mb_eregi_replace('\s+', '', $string);

@Bobinho · 12.07.2013, 17:29

Сообщение от vasyakrn

Код парсинга

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
<?php
 
 
define( "DOCROOT", dirname(__FILE__) ."/" );
 
include_once( DOCROOT ."includes/functions.class.php" );
include_once( "includes/dbconfig.php" );
 
 
class ParseTwitt{
 
      var $start_url = "https://twitter.com/";
      var $auth_url = "https://twitter.com/sessions";
      var $table = "dle_post";
 
 
      function __construct(){
            $this->funcs = new Functions;
            $this->config = $this->funcs->getConfig( 'general' );
            if( !$this->config['username'] OR !$this->config['passwd'] ) {
                  die( "Заполните данные для авторизации на twitter.com" );
            }
            if( !intval($this->config['time_auth']) OR (time() - intval($this->config['time_auth'])) > 3600 ){
                  if( !$this->auth() ){
                        $this->logs( "Неправильные данные для доступа в твиттер" );
                        $this->auth_status = FALSE;
                  }else{
                        $this->config['time_auth'] = time();
                        $this->funcs->saveConfig( "general", $this->config );
                        $this->auth_status = TRUE;
                  }
            }else{
                  $this->auth_status = TRUE;
            }
      }
 
 
      function auth( $redirect_url="/" ){
            $page = $this->funcs->url_open( $this->start_url );
            if( stripos($page, 'name="session[password]"') === FALSE ) return TRUE;
            $post_data = "session[username_or_email]=". rawurlencode($this->config['username']) ."&session[password]=". rawurlencode($this->config['passwd']);
            preg_match( '#<input type="hidden" value="(.[^"]+?)" name="authenticity_token"/>#', $page, $auth_token );
            $post_data .= "&authenticity_token=". rawurlencode($auth_token[1]) ."&redirect_after_login=". rawurlencode($redirect_url) ."&scribe_log=";
            $post_data .= "&remember_me=1";
            $page = $this->funcs->url_open( $this->auth_url, array("post_data" => $post_data) );
            if( stripos($page, 'name="session[password]"') === FALSE ) return TRUE;
      }
 
 
      function parseTwitts( $page ){
            if( !$page ) return;
            preg_match( '#data-element-term="tweet_stats" data-nav=\'profile\'>\s{0,200}<strong>(.[^>]+?)</strong>#', $page, $value );
            if( !$value ) return;
            return trim( $value[1] );
      }
 
 
      function parseFollowing( $page ){
            if( !$page ) return;
            preg_match( '#data-element-term="following_stats" data-nav=\'following\'>\s{0,200}<strong>(.[^>]+?)</strong>#', $page, $value );
            if( !$value ) return;
            return trim( $value[1] );
      }
 
 
      function parseFollowers( $page ){
            if( !$page ) return;
            preg_match( '#data-element-term="follower_stats" data-nav=\'followers\'>\s{0,200}<strong>(.[^>]+?)</strong>#', $page, $value );
            if( !$value ) return;
            return trim( $value[1] );
      }
 
 
      function parseAvatar( $page ){
            if( !$page ) return;
            preg_match( '#<a href="(.[^"]+?)" class="profile-picture media-thumbnail"#', $page, $value );
            if( !$value ) return;
            return $value[1];
      }
 
 
      function getInfo( $page ){
            if( !$page ) return;
            $info = array();
            $info['twitts'] = $this->parseTwitts( $page );
            $info['following'] = $this->parseFollowing( $page );
            $info['followers'] = $this->parseFollowers( $page );
            $info['link_img_profile'] = $this->parseAvatar( $page );
            return $info;
      }
 
 
      function getLoginsTwitt(){
            $resource = mysql_query( "SELECT `id`, `twitter_login` FROM `". $this->table ."` WHERE `twitter_login` != '';" );
            return $resource;
      }
 
 
      function fetchArray( $resource ){
            return mysql_fetch_array( $resource );
      }
 
 
      function updateInfoTwitt( $info, $id ){
            if( !$info OR !$id ) return;
            mysql_query( "UPDATE `". $this->table ."` SET
                `twitter_twitts` = '". $info['twitts'] ."',
                `twitter_following` = '". $info['following'] ."',
                `twitter_followers` = '". $info['followers'] ."',
                `twitter_pic` = '". mysql_real_escape_string($info['link_img_profile']) ."'
                WHERE `id` = '". $id ."'
            ;" ) or die(mysql_error());
      }
 
 
      function updater(){
            if( !$this->auth_status ) $this->funcs->logs( "Ошибка авторизации" );
            $resource = $this->getLoginsTwitt();
            while( $row = $this->fetchArray($resource) ){
                  $twitter_login = $row['twitter_login'];
                  if( !$twitter_login ) continue;
                  $page = $this->funcs->url_open( $this->start_url . $twitter_login );
                  $info = $this->getInfo( $page );
//                   var_dump( $info, $row );continue;
                  $this->updateInfoTwitt( $info, $row['id'] );
                  sleep( 3 );
            }
      }
 
 
}
 
 
$p = new ParseTwitt;
$p->updater();
 
?>

Можно в функцию getInfo добавить цикл

PHP
1
2
3
4
5
6
7
8
9
10
function getInfo( $page ){
            if( !$page ) return;
            $info = array();
            $info['twitts'] = $this->parseTwitts( $page );
            $info['following'] = $this->parseFollowing( $page );
            $info['followers'] = $this->parseFollowers( $page );
            $info['link_img_profile'] = $this->parseAvatar( $page );
            foreach($info as $key=>$value) $info[$key] = str_replace(" ", "", $value);
            return $info;
      }

@vasyakrn · 12.07.2013, 19:39 **[ТС]**

Сообщение от Bobinho

Можно в функцию getInfo добавить цикл

PHP
1
2
3
4
5
6
7
8
9
10
function getInfo( $page ){
            if( !$page ) return;
            $info = array();
            $info['twitts'] = $this->parseTwitts( $page );
            $info['following'] = $this->parseFollowing( $page );
            $info['followers'] = $this->parseFollowers( $page );
            $info['link_img_profile'] = $this->parseAvatar( $page );
            foreach($info as $key=>$value) $info[$key] = str_replace(" ", "", $value);
            return $info;
      }

Не роботаєт.

Возможно нужно делать изминения здесь

PHP
1
2
3
4
5
6
7
8
9
10
function updateInfoTwitt( $info, $id ){
if( !$info OR !$id ) return;
mysql_query( "UPDATE `". $this->table ."` SET
`twitter_twitts` = '". *****$info['twitts']******* ."',
`twitter_following` = '". $info['following'] ."',
`twitter_followers` = '". $info['followers'] ."',
`twitter_pic` = '". mysql_real_escape_string($info['link_img_profile']) ."'
WHERE `id` = '". $id ."'
;" ) or die(mysql_error());
}

или здесь

PHP
1
2
3
4
5
6
7
8
9
function getInfo( $page ){
if( !$page ) return;
$info = array();
$info['twitts'] = ******$this->parseTwitts( $page );*********
$info['following'] = $this->parseFollowing( $page );
$info['followers'] = $this->parseFollowers( $page );
$info['link_img_profile'] = $this->parseAvatar( $page );
return $info;
}

Добавлено через 1 час 23 минуты
Уже переделал. Помог мне один человек и просил не говорить его имя. Справился со второго раза. Вконце сказал что там возможно не бьили пробели. Вот каким кодом сделал

PHP
1
2
3
4
5
6
7
8
9
10
      function updateInfoTwitt( $info, $id ){
            if( !$info OR !$id ) return;
            mysql_query( "UPDATE `". $this->table ."` SET
                `twitter_twitts` = '". preg_replace("#\D#", '', $info['twitts'])  ."',
                `twitter_following` = '". preg_replace("#\D#", '', $info['following']) ."',
                `twitter_followers` = '". preg_replace("#\D#", '', $info['followers']) ."',
                `twitter_pic` = '". mysql_real_escape_string($info['link_img_profile']) ."'
                WHERE `id` = '". $id ."'
            ;" ) or die(mysql_error());
      }

Новые блоги и статьи Все статьи Все блоги /
Подключение Box2D v3 к SDL3 для Android: физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
Влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .

@sMockingbird 284 / 283 / 73 Регистрация: 06.05.2013 Сообщений: 1,613
	12.07.2013, 13:09
	Код парсинга покажите свой) 0