Метод соседства для пользователей в совместной фильтрации

Формат csv можно прочитать с помощью функции genfromtxt из модуля numpy:

x = np.genfromtxt('ratings.csv', delimiter=',', skip_header=1, dtype=(int, int, float, int))
или с помощью pandas.read_csv.
Необходимо реализовать алгоритм kNN в виде метода соседства пользователей при совместной фильтрации в следующем виде:

Реализовать функцию sim(ci,cj) для определения сходства пользователей по следующей формуле:
sim(ci,cj)=∑k∈Sijrikrjk∑k∈Sijr2ik⋅∑k∈Sij r2jk−−−−−−−−−−−−−−−−−√
Здесь Sij — это множество элементов, оцененных пользователями i и j, rik — рейтинг, поставленный пользователем i для элемента k.
Если число фильмов, которые оценили оба пользователя ci и cj, меньше параметра t, считать sim(ci,cj) = 0.
Для каждого пользователя найти множество C' из k ближайших к нему пользователей по этой метрике.
Заполнить все неизвестные рейтинги по формуле агрегирования рейтингов:
r^ik=1N∑cj∈C′rjk
Если для данного элемента среди k ближайших соседей ни один не оценил данный элемент, то нужно найти одного ближайшего пользователя j, который оценил этот элемент и взять неизвестный рейтинг r^ik равным рейтингу rjk, поставленному пользователем j.
Необходимо разбить всю выборку данных на обучающее множество и проверочное множество. В данной задачи для повторяемости результатов необходимо каждую десятую запись из изначального множества поместить в проверочное, остальные оставить в обучающем множестве. Для проверочного множества оценить качество работы рекомендательной системы с помощью метрики MAE по формуле MAE=∑|r^ik−rik| суммой по всем рейтингам проверочного множества.

0