Интеллектуальный анализ данных средствами SciPy. Использование sklearn для решение задач машинного обучения

Оформить решение каждой задачи в виде функций, хранящихся в отдельных модулях (в 1-й задаче решения каждого пункта должны соответствовать отдельным модулям, расположенных в подкаталогах директории task1). Объединить эти модули в пакет модулей labwork4 и импортировать его в главный скрипт. Для решения 2-й и 3-й задач использовать средства библиотеки scikit-learn (предварительно ознакомиться с соответствующими алгоритмами). Наборы данных, если это не указано отдельно, загружать из sklearn.datasets.
Во втором задании:
 написать функцию для возможности разбить выборку на обучающую и тестовую (в заданном
отношении);
 провести предварительную обработку данных (pre-processing);
 вычислить погрешность метода на обучающей и тестовой выборках;
 выполнить кросс-валидацию.
В 3-й задаче провести уменьшение размерности данных до 2-х измерений с помощью PCA и визуализировать разбиение полученных данных на кластеры на диаграмме в 2D.

ЗАДАЧИ
1. С помощью numpy и matplotlib выполнить следующие задачи:
a. Сформировать массив p – случайную перестановку чисел от 21 до 620. «Переформатировать» массив p в массив A размерности 5*3*40 .
b. Разбить массив А на 5 матриц одинаковой размерности: B1, …, B5. Вычесть от всех элементов первого столбца матрицы В2 наименьший элемент последнего столбца матрицы В5 Заменить элементы второй и третьей строк матрицы B3 их квадратами.
c. Вычислить сумму элементов каждой строки матрицы B3, которые больше 40% от максимального элемента этой строчки.
d. Изобразить на графике точки (x, y), где х пробегают элементы 1-го столбца матрицы B4,
y – элементы 2-го столбца матрицы. Разбить все точки на 3 категории в зависимости
от суммы их координат (предварительно разбить диапазон сумм координат на 3 уровня
длиной промежутка). Изобразите точки каждой категории отдельным цветом.

2. Предусматривать целевой показатель набора данных Diabetes dataset с использованием SGD (SGD Regressor).

3. Провести кластеризацию набора данных по 2-му заданию с использованием DBSCAN.

0