Создание индексатора для поисковика

Кароч я делаю в нашей локальной сети поисковик на пхп, он состоит из 2 частей
Индексатора , который индексирует все папки и файлы на фтп серверах, и самого поисковика, который уже ищет информацию в фалах индексации. Проблема в следующем. Если очень большой фтп сервер, то он не индексируется целиком, он выполнен на рекурсивной основе, запускается функция, которая находит папку на серве, запускается этаже функция но уже для этой папки и тд,
я уже и увеличи обьем памяти под скрипт и время выполнения но хз
если хотите могу выожить код
ПОМОГИТЕ!!!!!!!!!!

0

Попробуй запустить индексирующий скрипт без сервера; если это локальная сеть, то проблем быть не должно.

0

А если в фоне запускать, то снимается ограничение на время выполнения скрипта.

0

Сколько всего файлов, которые неоходимо индексировать?

0

2crumb:кол-во файлов на каждом сервере различно, на одном фтп может быть 2 гига ресурсов, на другом у нас аж 350 гигов

0

вообще рекурсиdysq метод определения папок и файлов на серверах он работате на 100%, не нужно ли увеличивать кол-во памяти под скрипт?
и что значит запускать на фоне?

0

Про фоновый режим уже обсуждали : http://relib.com/forums/topic.asp?id=826361

>не нужно ли увеличивать кол-во памяти под скрипт?
Так увелич, и посмотри, в чем проблемы то.

Как скрипт валится, какие ошибки вылазят?

0

В том то идело что ошибок нет, он начинает работу, заканчивает всё вроде нормально, но обьем информации который он определил намного меньше то что реально на сервере лежит
выкладываю код профункции которая все это делает

//файл индексации
$indexfile=fopen('files/database.dat','a+');

//индексирование папок на сервере
function indexdir($ftp,$ip,$port,$indexfile,$dir, $stat)
{
$elements_in_dir=ftp_rawlist($ftp,$dir);

$i=0;
while (@$elements_in_dir[$i]):
//если найденное - файл
if (substr($elements_in_dir[$i],0,1)=='-')
{
//размер фала
$f_size=ftp_size($ftp,$dir.'/'.substr($elements_in_dir[$i],55,99));
if ($f_size<1000) {$size=$f_size.' байт';}
if ($f_size>=1000 && $f_size<1000000) {$size=round($f_size/1000).' Кбайт';}
if ($f_size>=1000000 && $f_size<1000000000) {$size=round($f_size/1000000).' Мбайт';}

$stat[0]++;

$stat[2]=$stat[2]+$f_size;
fwrite($indexfile,'ftp://'.$ip.':'.$port.$dir.'/'.substr($elements_in_dir[$i].'<size>'.$size.'
',55,99));
}
//папка
if (substr($elements_in_dir[$i],0,1)=='d' && substr($elements_in_dir[$i],55,99)!='.' && substr($elements_in_dir[$i],55,99)!='..')
{
echo '<font color=E2F3FE size=2>............</font><font color=black>ftp://'.$ip.':'.$port.$dir.'/'.substr($elements_in_dir[$i],55,99).'</font>
';
$stat[1]++;
fwrite($indexfile,'ftp://'.$ip.':'.$port.$dir.'/'.substr($elements_in_dir[$i].'
',55,99));
$stat=indexdir($ftp,$ip,$port,$indexfile ,$dir.'/'.substr($elements_in_dir[$i],55,99),$stat);
}

$i++;
endwhile;
return($stat);
}

0

i=0;
while (@$elements_in_dir[$i])
if (substr($elements_in_dir[$i],0,1)=='-')

Циклы у тебя какие-то бесконечные, странно что работает.

ничего бесконечного, он заканчивается, когда больше элеметнов в массиве нету

0

Нет с циклами нормально, недосмотрел.
Но файлы ипапки обычно разделяются так (php.net):
<?

function cutspaces($str){
while(substr($str,0,1)==' '){$str=substr($str,1);}
return $str;}


$folders=array();
$files=array();
for($i=0;$i<sizeof($list);$i++){
list($permissions,$next)=split(' ',$list[$i],2);
list($num,$next)=split(' ',cutspaces($next),2);
list($owner,$next)=split(' ',cutspaces($next),2);
list($group,$next)=split(' ',cutspaces($next),2);
list($size,$next)=split(' ',cutspaces($next),2);
list($month,$next)=split(' ',cutspaces($next),2);
list($day,$next)=split(' ',cutspaces($next),2);
list($year_time,$filename)=split(' ',cutspaces($next),2);
if($filename!='.' && $filename!='..'){
if(substr($permissions,0,1)=='d'){
$folders[]=$filename;
} else {
$files[]=$filename;}}}
sort($folders);
sort($files);
?>

Не понятно, фтп с огромным кол-вом папок полноссть не индексируются, а большие фтп но с меньшим кол-вом папок спок. Мож из за рекурсии?

0

Если ты говоришь, что скрипт НОРМАЛЬНО завершается в любом случае, то посмотри какие файлы не проиндексировались, может что-то не так с ними.

Веди лог индексации каждого файла, может такм что-то вылезет.

0

Предлагаю воспользоваться моим готовым поисковиком.
http://mt.boston.ru

Все проблемы там давно решены, всё написано на PHP, при желании можно доработать.

Если будете дорабатывать - готов оказывать 'посильную техническую поддержку' - у самого времени не хватает. Хочется столько всего сделать, но нет времени.

Если есть желание всё же написать свой поисковик и индексатор - можно посмотреть, как это сделано у меня. Там весь код с комментариями.