Линейная регрессия и стохастический градиентный спуск¶

def stochastic_gradient_descent(X, y, w_init, eta=1e-2, max_iter=1e4,
                                min_weight_dist=1e-8, seed=42, verbose=False):
    # Инициализируем расстояние между векторами весов на соседних
    # итерациях большим числом. 
    weight_dist = np.inf
    # Инициализируем вектор весов
    w = w_init
    # Сюда будем записывать ошибки на каждой итерации
    errors = []
    # Счетчик итераций
    iter_num = 0
    # Будем порождать псевдослучайные числа 
    # (номер объекта, который будет менять веса), а для воспроизводимости
    # этой последовательности псевдослучайных чисел используем seed.
    np.random.seed(seed)
   # print np.lialg.norm([1,2,3,4])
    #print norm([1,2,3,4])
    
    
    # Основной цикл
    while weight_dist > min_weight_dist and iter_num < max_iter:
        # порождаем псевдослучайный 
        # индекс объекта обучающей выборки
        random_ind = np.random.randint(X.shape[0])
        
        old_w = w
        w = stochastic_gradient_step(X, y, w, random_ind, eta=eta)
        a = w - old_w
        print old_w
        weight_dist = np.linalg.norm(a)
        print  (weight_dist) 
        print np.linalg.norm(w)
        errors.append(mserror(y, np.dot(X, w)))
        iter_num += 1
       
        if iter_num % 10000 == 0 and verbose:
            print "Iteration: ", iter_num
        
    return w, errors