Автокодировщик для поиска аномальных числовых последовательностей

@Grossadmsn · Регистрация: 13.04.2021

Студворк — интернет-сервис помощи студентам

Добрый день!
Есть последовательность чисел в несколько строк, представленная в CSV файле.

Code
1
2
202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11
202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 33 22 11

Хочу обучить модельку с использованием автокодировщика искать ошибку реконструкции в других таких строковых последовательностях.

Code
1
2
202 32 22 13 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11
202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 12

Идея состоит в следующем, автокодировщик учится реконструировать каждую строку и пытается реконструировать строки проверочного файла.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
import numpy as np
import tensorflow as tf
from tensorflow.keras import layers, models
import pandas as pd
# Load datasets
loadNormalData = "train.csv"
loadTestData = "test.csv"
normalData=pd.read_csv(loadNormalData)
testData=pd.read_csv(loadTestData)
print(normalData)
# Создание модели автокодировщика для обнаружения аномалий в числовых последовательностях
def build_autoencoder_model(input_dim):
    input_seq = layers.Input(shape=(input_dim,))
    encoded = layers.Dense(16, activation='relu')(input_seq)  # Размерность скрытого слоя можно настраивать
    decoded = layers.Dense(input_dim, activation='sigmoid')(encoded)
    autoencoder = models.Model(input_seq, decoded)
    autoencoder.compile(optimizer='adam', loss='mean_squared_error')
    return autoencoder
input_dim = 32  # Пример: входные данные содержат 32 признаков
# Обучение модели на нормальных данных
autoencoder = build_autoencoder_model(input_dim)
autoencoder.fit(normalData, epochs=15, batch_size=32)
# Определение порога для обнаружения аномалий
decoded_data = autoencoder.predict(normalData)
mse = np.mean(np.power(normalData - decoded_data, 2), axis=1)
threshold = np.percentile(mse, 1)  # Пример: порог на уровне 100-го процентиля
# Оценка и обнаружение аномалий
decoded_normal_data = autoencoder.predict(testData)
mse_normal = np.mean(np.power(testData - decoded_normal_data, 2), axis=1)
anomalies_normal = testData[mse_normal > threshold]
decoded_anomalous_data = autoencoder.predict(test_anomalous_data)
mse_anomalous = np.mean(np.power(test_anomalous_data - decoded_anomalous_data, 2), axis=1)
anomalies_anomalous = test_anomalous_data[mse_anomalous > threshold]
if (anomalies_anomalous == True)
    print("Anomaly detection")

Столкнулся со следующей проблемой:

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
(base) qwerty@mk:~/proj/AE$ python3 AE.py
2023-12-07 17:59:33.344304: I tensorflow/core/platform/cpu_feature_guard.cc:182] This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations.
To enable the following instructions: AVX2 FMA, in other operations, rebuild TensorFlow with the appropriate compiler flags.
  202 32 22 13 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11 202 32 22 11
0  202 32 22 11 202 32 22 11 202 32 22 11 202 32 ...                                                     
Epoch 1/15
Traceback (most recent call last):
  File "/home/qwerty/proj/AE/AE.py", line 22, in <module>
    autoencoder.fit(normalData, epochs=15, batch_size=32)
  File "/home/qwerty/miniconda3/lib/python3.11/site-packages/keras/src/utils/traceback_utils.py", line 70, in error_handler
    raise e.with_traceback(filtered_tb) from None
  File "/tmp/__autograph_generated_fileqibotr3o.py", line 15, in tf__train_function
    retval_ = ag__.converted_call(ag__.ld(step_function), (ag__.ld(self), ag__.ld(iterator)), None, fscope)
    ^^^^^
ValueError: in user code:
 
    File "/home/qwerty/miniconda3/lib/python3.11/site-packages/keras/src/engine/training.py", line 1401, in train_function  *
        return step_function(self, iterator)
    File "/home/qwerty/miniconda3/lib/python3.11/site-packages/keras/src/engine/training.py", line 1384, in step_function  **
        outputs = model.distribute_strategy.run(run_step, args=(data,))
    File "/home/qwerty/miniconda3/lib/python3.11/site-packages/keras/src/engine/training.py", line 1373, in run_step  **
        outputs = model.train_step(data)
    File "/home/qwerty/miniconda3/lib/python3.11/site-packages/keras/src/engine/training.py", line 1150, in train_step
        y_pred = self(x, training=True)
    File "/home/qwerty/miniconda3/lib/python3.11/site-packages/keras/src/utils/traceback_utils.py", line 70, in error_handler
        raise e.with_traceback(filtered_tb) from None
    File "/home/qwerty/miniconda3/lib/python3.11/site-packages/keras/src/engine/input_spec.py", line 280, in assert_input_compatibility
        raise ValueError(
 
    ValueError: Exception encountered when calling layer 'model' (type Functional).
    
    Input 0 of layer "dense" is incompatible with the layer: expected axis -1 of input shape to have value 32, but received input with shape (None, 1)
    
    Call arguments received by layer 'model' (type Functional):
    • inputs=tf.Tensor(shape=(None, 1), dtype=string)
    • training=True
    • mask=None
 
(base) qwerty@mk:~/proj/AE$

Прошу помощи в доведении до ума данной программы.

Новые блоги и статьи Все статьи Все блоги /
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .	Использование значений реквизитов справочника в документе, с определенными условиями и правами Maks 07.04.2026 1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .	Доступность команды формы по условию Maks 07.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .