Регулярка на проверку скобок

preg_match('/\[([^\(]*)\]/');

function test($code) {
    return (bool) preg_match(
        '/
            ^
            (?P<code>
                (?:
                    \\[ (?&code)? \\]
                    #          -^-
                    # если скобки не могут быть пустыми,
                    # то квантификатор "?" надо убрать
                |
                    \\( (?&code)? \\)
                    #          -^-
                    # аналогично про пустые скобки
                |
                    \\{ (?&code)? \\}
                    #          -^-
                    # аналогично про пустые скобки
                |
                    # простой текст
                    [^ \\[ \\] () {} ]++
                )++
            )?
            #^-
            # если вся строка не может быть пустой,
            # то квантификатор "?" надо убрать
            $
        /x',
        $code
    );
}

foreach (
    array(
        "a(b{c[d]}e[(f)g]h)i",
        "a(b{c[d]}e[(f",
        "a(b{c[d]}e[(f}g]h)i",
        "a(b{c[d]}e[(f)g]h)i])",
        "a[]b",
        "",
    )
    as $i => $string
) {
    echo $i, ': ', $string, '   '
        , (test($string))
            ? '+ok'
            : '-fail'
        , PHP_EOL
    ;
}

function validate($code) {
    $stack = array();
    $pair = array(
        '(' => ')',
        '[' => ']',
        '{' => '}',
    );
 
    $code = (string) $code;
 
    /* если пустая строка недопустима
    if ("" == $code) {
        throw new Exception("Пустая строка");
    }
    # */
 
    $len = strlen($code);
 
    for ($i = 0; $i < $len; $i++) {
        $ch = $code[$i];
        switch ($ch) {
            case '(':
            case '[':
            case '{':
                array_push($stack, $pair[$ch]);
            break;
 
            case ')':
            case ']':
            case '}':
                if (!$stack) {
                    throw new Exception('Закрывающая "' . $ch . '", когда нечего закрывать');
                }
 
                if ($ch != end($stack)) {
                    throw new Exception('Ожидалось "' . end($stack) . '", но внезапно "' . $ch . '"');
                }
 
                array_pop($stack);
        }
    }
 
    if ($stack) {
        throw new Exception('В конце остались незакрыты: "' . join('", "', array_reverse($stack)) . '"');
    }
 
    return true;
}

foreach (
    array(
        "a(b{c[d]}e[{f}g]h)i",
        "a(b{c[d]}e[{f",
        "a(b{c[d]}e[{f)g]h)i",
        "a(b{c[d]}e[{f}g]h)i])",
        "a[]b",
        "",
    )
    as $i => $string
) {
    try {
        echo $i, ': ', $string, '   ';
        validate($string);
        echo '+ok', PHP_EOL;
    }
    catch (Exception $e) {
        echo '-fail: ', $e->getMessage(), PHP_EOL;
    };
}

function checkBrackets($sString = null)
{
    //первая проверка на то, что данные были переданы, и строка не пустая
    //в этом варианте возвращаем true, так как проблем с дужками нету :)
    if(is_null($sString) || $sString == '')
        return true;
    
    //инициализируем скобки которые будем проверять    
    $aSkobki = array('(', ')', '[', ']');
    
    //получаем длину строки для её обхода.
    //а так же чтобы не проверять прямо в цикле. Дольше будет выполняться.
    $iLength = strlen($sString);
    //инициализируем переменную для строки скобок
    $sSkobki = '';
    for($i = 0; $i < $iLength; $i++)
    {
        if(in_array($sString[$i], $aSkobki))
            $sSkobki .= $sString[$i];
    }
    //чистим память
    unset($sString);
    //получаем длину строки чтобы обойти её всю и очистить.
    //такой вариант не очень хорош, но по условии нужна была одна функция.
    //если бы можно несколько функций, то создал бы рекурсивную функцию для чистки строки
    $iLength = strlen($sSkobki);
    //чистим строку
    for($i = 0; $i < $iLength; $i++)
        $sSkobki = str_replace(array('[]', '()'), array('', ''), $sSkobki);
 
    //возвращаем результат
    if(strlen($sSkobki) == 0)
        return true;
    else
        return false;
}