Разделить датасет

@MConst · Регистрация: 16.04.2022

Студворк — интернет-сервис помощи студентам

Здравствуйте!

Есть такой код

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import numpy as np
import tensorflow as tf
 
data = np.arange(1,1001,1)
data = np.expand_dims(data, axis=1)
data = np.hstack([data, data + 100])
 
data = np.array(data, dtype=np.float32)
ds = tf.keras.utils.timeseries_dataset_from_array(
    data=data,
    targets=None,
    sequence_length=7,
    sequence_stride=1,
    shuffle=True,
    batch_size=32,
)

Нужно разбить датасет типа

Python
1
2
3
4
n = data.shape[0]
train_data = data[0:int(n*0.7)]
val_data = data[int(n*0.7):int(n*0.9)]
test_data = data[int(n*0.9):]

Скажите, как правильно разделить датасет?

@MConst · 11.06.2024, 22:45 **[ТС]**

написал так

Python
1
2
3
4
5
6
7
8
9
10
11
12
ds_size = data.shape[0]
 
train_split = 0.7
val_split = 0.2
test_split = 0.1
 
train_size = int(train_split * ds_size)
val_size = int(val_split * ds_size)
 
train_ds = ds.take(train_size)    
val_ds = ds.skip(train_size).take(val_size)
test_ds = ds.skip(train_size).skip(val_size)

Только возникает другой вопрос

Python
1
2
3
4
5
6
mean = tf.math.reduce_mean(ds, axis=0)
std = tf.math.reduce_std(ds, axis=0)
 
train_ds = (train_ds - mean) / std
val_ds = (val_ds - mean) / std
test_ds = (test_ds - mean) / std

Для нормализации как правильно написать для датасета?

@Red white socks · 12.06.2024, 08:22

Сообщение от MConst

Скажите, как правильно разделить датасет?

Вам нужно в качестве train брать именно первые 70% строк или все-таки произвольные?

Сообщение от MConst

Для нормализации как правильно написать для датасета?

Почему нельзя в начале нормализовать весь датасет, а потом разделить

@MConst · 12.06.2024, 14:36 **[ТС]**

Сообщение от Red white socks

Вам нужно в качестве train брать именно первые 70% строк или все-таки произвольные?

Следует учесть, что в tf.keras.utils.timeseries_dataset_from_a rray задано shuffle=True, поэтому первые 70%.

А если произвольные, то как бы можно было написать?

Новые блоги и статьи Все статьи Все блоги /
Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .
Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .	SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .	SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .