Достать с сайта чистый текст

@simply_denis · Регистрация: 31.12.2009

Вот нужно достать с сайтов чистый текст.
т.е без тегов, без комментариев, без содержания <head> и <noindex>

У меня сейчас две проблемы, как то не корректно вытаскивает текст. использую:

PHP

function strip_html_tags( $text )
{
    $text = preg_replace(
        array(
            // Remove invisible content
            '@<noindex[^>]*?>.*?</noindex>@siu',
            '@<head[^>]*?>.*?</head>@siu',
            '@<style[^>]*?>.*?</style>@siu',
            '@<script[^>]*?.*?</script>@siu',
            '@<object[^>]*?.*?</object>@siu',
            '@<embed[^>]*?.*?</embed>@siu',
            '@<applet[^>]*?.*?</applet>@siu',
            '@<noframes[^>]*?.*?</noframes>@siu',
            '@<noscript[^>]*?.*?</noscript>@siu',
            '@<noembed[^>]*?.*?</noembed>@siu',
 
            // Add line breaks before & after blocks
            '@<((br)|(hr))@iu',
            '@</?((address)|(blockquote)|(center)|(del))@iu',
            '@</?((div)|(h[1-9])|(ins)|(isindex)|(p)|(pre))@iu',
            '@</?((dir)|(dl)|(dt)|(dd)|(li)|(menu)|(ol)|(ul))@iu',
            '@</?((table)|(th)|(td)|(caption))@iu',
            '@</?((form)|(button)|(fieldset)|(legend)|(input))@iu',
            '@</?((label)|(select)|(optgroup)|(option)|(textarea))@iu',
            '@</?((frameset)|(frame)|(iframe))@iu',
        ),
        array(
            ' ', ' ', ' ', ' ', ' ', ' ', ' ', ' ', ' ',
            "\n\$0", "\n\$0", "\n\$0", "\n\$0", "\n\$0", "\n\$0",
            "\n\$0", "\n\$0",
        ),
        $text );
 
    // Remove all remaining tags and comments and return.
    return strip_tags( $text );
}

и проблема с file_get_contents и кодировками.

использую такую функцию:

PHP

function file_get_contents_utf8($fn) {
     $content = file_get_contents($fn);
      return mb_convert_encoding($content, 'UTF-8','auto');
}

но это только для utf8 а нужно и для других тоже...хотя бы 1251.

общая цель просмотреть сайт, так как его видит яндекс.

@unsektor · 13.02.2011, 14:27

А не проще использовать базовую функцию?

PHP

1	strip_tags($text);

а для кодировки попробуйте

PHP

1	iconv("UTF-8", [ISO-8859-1], $text);

P.S.: в квадратных скобках, кодировка, которая вам нужна

@simply_denis · 13.02.2011, 14:41 **[ТС]**

Сообщение от unsektor

А не проще использовать базовую функцию?

PHP

1	strip_tags($text);

а для кодировки попробуйте

PHP

1	iconv("UTF-8", [ISO-8859-1], $text);

P.S.: в квадратных скобках, кодировка, которая вам нужна

базовая функция не справляется.

iconv - как определить какая кодировка мне нужна? т.е какая кодировка на сайте?

@unsektor · 13.02.2011, 14:58

Сообщение от simply_denis

iconv - как определить какая кодировка мне нужна? т.е какая кодировка на сайте?

Если веб-сайт находится на веб-сервере, обычно кодировка передается заголовком
Примерно вот так:

Код

Content-type: text/html;charset=utf-8

Добавлено через 5 минут
Как его получить одно дело, как обработать - другое.

Допустим имеется заголовок

PHP

<?php
    ...
    
    $str = "Content-type: text/html;charset=utf-8";
    
    // Выражение preg
    
    if (preg_match("~Content\-type\: (.*?)\;charset\=(.*?)~U", $str, $arg))
        {
            // $arg[1]  [=] text/html;
            // $arg[2]  [=] utf-8;
            
            $content    =   iconv($arg[2], "cp1251", $data)
            
        }
        
    ...
?>

@simply_denis · 13.02.2011, 15:23 **[ТС]**

а вот как достать загаловки. За это спасибо!

Код

$url = 'http://www.example.com';

print_r(get_headers($url));

print_r(get_headers($url, 1));

а что делать с тегами???

@unsektor · 13.02.2011, 20:28

PHP

<?php 
// $document на выходе должен содержать HTML-документ. 
// Необходимо удалить все HTML-теги, секции javascript, 
// пробельные символы. Также необходимо заменить некоторые 
// HTML-сущности на их эквивалент. 
 
$search = array ("'<script[^>]*?>.*?</script>'si",  // Вырезает javaScript 
                 "'<[\/\!]*?[^<>]*?>'si",           // Вырезает HTML-теги 
                 "'([\r\n])[\s]+'",                 // Вырезает пробельные символы 
                 "'&(quot|#34);'i",                 // Заменяет HTML-сущности 
                 "'&(amp|#38);'i", 
                 "'&(lt|#60);'i", 
                 "'&(gt|#62);'i", 
                 "'&(nbsp|#160);'i", 
                 "'&(iexcl|#161);'i", 
                 "'&(cent|#162);'i", 
                 "'&(pound|#163);'i", 
                 "'&(copy|#169);'i", 
                 "'&#(\d+);'e");                    // интерпретировать как php-код 
 
$replace = array ("", 
                  "", 
                  "\\1", 
                  "\"", 
                  "&", 
                  "<", 
                  ">", 
                  " ", 
                  chr(161), 
                  chr(162), 
                  chr(163), 
                  chr(169), 
                  "chr(\\1)"); 
 
$text = preg_replace($search, $replace, $document); 
?>

Добавлено через 10 секунд
Попробуйте ...

@simply_denis 35 / 30 / 2 Регистрация: 31.12.2009 Сообщений: 349
	13.02.2011, 15:23 [ТС]	5
	а вот как достать загаловки. За это спасибо! Код $url = 'http://www.example.com'; print_r(get_headers($url)); print_r(get_headers($url, 1)); а что делать с тегами??? 0

Опции темы