Быстрый поиск в БД

@paha444 · Регистрация: 04.08.2013

Author24 — интернет-сервис помощи студентам

Всем привет. Столкнулся с проблемой поиска в таблице с большим кол-вом записей.
Дело в том, то у меня есть парсер который я написал на PHP который парсит данные из XML файла, а потом обновляет данные в БД. На данный момент уже набралось около 57тыс. записей в таблице. И вот я начинаю парсить из XML и там тоже около 50тыс., т.е я беру прохожусь построчно :

PHP

         $reader = new XMLReader();
         $reader->open('update_xml/SiteData2.xml');
 
         while ($reader->read()) {
             if ($reader->name == "Apartment") {
               //  echo '<p>'.$reader->getAttribute("kvnumber").'</p>';
 
 
                  $building_id = (int)$reader->getAttribute("buildingid");
                  $apartment_id = (int)$reader->getAttribute("id");
              
 
                   $rooms = $reader->getAttribute("rooms");
                   $flatfloor = $reader->getAttribute("flatfloor");
                   $facing = $reader->getAttribute("decoration");

Но при проходе по строке в XML файле мне нужно обратится в БД и посмотреть, если такой записи нет тогда вставить новую, если есть то обновить в ней данные.
Я в цикл который выше добавил сначала

PHP

              $sql3 = "SELECT sub_object_id FROM `#__sub_objects` 
                       WHERE `apartment_id` = '$apartment_id'";
              $db->setQuery($sql3);
              $sub_object_id = $db->loadResult();

Раньше когда записей было не много, то это срабатывало, а сейчас нет. скрипт просто подвисает.
Я решил искать не в БД а в массиве, я обращаюсь только один раз и получаю все данные и пишу их в глобальную переменную до цикла который выше:

PHP

1
2
3

              $sql3 = "SELECT sub_object_id,apartment_id FROM `#__sub_objects`";
              $db->setQuery($sql3);
              $this->sub_objects = $db->loadAssocList();

а потом уже с помощью функции в цикле который выше ищу:

PHP

1	$sub_object_id = $this->search_sub_object_id($apartment_id);

это сама функция поиска в многомерном массиве

PHP

function search_sub_object_id($val){
      
               foreach ($this->sub_objects as $key => $value)
                   {
                   if (array_search ($val, $value))
                        {
                        return ($value['sub_object_id']);
                        }   
                   }
}

но оно все равно подвисает, да и память грузит нехило. Посоветуйте что нибудь. Скорее всего нужно оптимизировать как нибудь БД.

	03.11.2015, 16:59