Форум программистов, компьютерный форум, киберфорум
Java для начинающих
Форум программистов и сисадминов Киберфорум > Форум программистов > Java > Java для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.75/4: Рейтинг темы: голосов - 4, средняя оценка - 4.75
0 / 0 / 0
Регистрация: 28.02.2016
Сообщений: 11

Исключение при трансформировании данных из категории до унитарного кода (0,1)

03.11.2019, 13:16. Показов 785. Ответов 4
Метки java, нейросети (Все метки)
Студворк — интернет-сервис помощи студентам
Здравствуйте делаю нейросеть на Java з помощью библиотеки Deeplearning4j. Но возникла проблема, есть данные которые Нейросеть должна учить, но в ней есть текст который мне нужно заменить на 0 и 1, а конкретно нужно заменить текст в категориях в которых есть только текст. Вот код:
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.datavec.api.records.reader.RecordReader;
import org.datavec.api.records.reader.impl.csv.CSVRecordReader;
import org.datavec.api.transform.TransformProcess;
import org.datavec.api.transform.schema.Schema;
import org.datavec.api.writable.Writable;
import org.datavec.spark.transform.SparkTransformExecutor;
import org.datavec.spark.transform.misc.StringToWritablesFunction;
import org.datavec.spark.transform.misc.WritablesToStringFunction;
 
import java.util.List;
 
public class Recordtransform {
    public static void main(String[] args) throws Exception {
        String filename = "train.csv";
        SparkConf conf = new SparkConf();
        conf.setMaster("local[*]");
        conf.setAppName("DataVec Example");
        JavaSparkContext sc = new JavaSparkContext(conf);
        JavaRDD<String> stringData = sc.textFile(filename);
 
        //Take out empty lines.
        RecordReader rr = new CSVRecordReader();
        JavaRDD<List<Writable>> parsedInputData = stringData.filter((x) -> !x.isEmpty()).map(new StringToWritablesFunction(rr));
 
        List<String> inputDataCollected = stringData.collect();
        System.out.println("\n\n---- Original Data ----");
        for(String s : inputDataCollected) System.out.println("'" + s + "'");
 
 
        JavaRDD<String> processedAsString = parsedInputData.map(new WritablesToStringFunction(","));
        List<String> inputDataParsed = processedAsString.collect();
        System.out.println("\n\n---- Parsed Data ----");
        for(String s : inputDataParsed) System.out.println("'" + s + "'");
 
 Schema schema = new Schema.Builder()
                .addColumnInteger("Id")
                .addColumnInteger("BsmtFinSF2")
        .addColumnsInteger("MSSubClass","LotFrontage", "LotArea","MasVnrArea", "OverallQual", "OverallCond",
                "YearBuilt", "YearRemodAdd", "BsmtFinSF1",
                "BsmtUnfSF", "TotalBsmtSF", "1stFlrSF",
                "2ndFlrSF", "LowQualFinSF", "GrLivArea", "BsmtFullBath", "BsmtHalfBath",
                "FullBath", "HalfBath",  "KitchenAbvGr", "TotRmsAbvGrd",
                "Fireplaces", "GarageCars", "GarageArea", "WoodDeckSF", "OpenPorchSF", "EnclosedPorch",
                "3SsnPorch", "ScreenPorch",
                "PoolArea", "MiscVal", "MoSold", "YrSold","SalePrice")
        .addColumnCategorical("MSZoning","A", "C", "FV", "I", "RH", "RL", "RP", "RM")
                .addColumnCategorical("Street","Pave","Grvl")
                .addColumnCategorical("Alley","Pave","Grvl","NA")
                .addColumnCategorical("LotShape","  Reg", "IR1", " IR2", " IR3")
                .addColumnCategorical("LandContour","Lvl" , " Bnk" , "  HLS" , " Low")
                .addColumnCategorical("Utilities","  AllPub"," NoSewr"," NoSeWa"," ELO")
                .addColumnCategorical("LandSlope"," Gtl","Mod","Sev")
                .addColumnCategorical("Exterior1st","  AsbShng","AsphShn"," BrkComm","BrkFace","CBlock","CemntBd","HdBoard","ImStucc", "MetalSd","Other","Plywood","PreCast"," Stone",
                        "Stucco","VinylSd","Wd Sdng"," WdShing")
                .addColumnCategorical("Exterior2nd","AsbShng","AsphShn","BrkComm"," BrkFace","CBlock","CemntBd",
                        "HdBoard","ImStucc","MetalSd","Other","Plywood","PreCast","Stone", "Stucco","VinylSd","Wd Sdng" ,
                        "WdShing")
                .addColumnCategorical("BsmtExposure","Gd","Av","Mn","No","NA")
                .addColumnCategorical("BsmtFinType1","GLQ","ALQ","BLQ","Rec","LwQ","Unf","NA")
                .addColumnCategorical("BsmtFinType2","GLQ","ALQ","BLQ","Rec","LwQ","Unf","NA")
                .addColumnCategorical("Heating","Floor","GasA","GasW","Grav","OthW","Wall")
                .addColumnCategorical("KitchenQual","Ex","Gd","TA","Fa","Po")
                .addColumnCategorical("Functional","Typ","Min1","Min2","Mod","Maj1","Maj2","Sev","Sal")
                .addColumnCategorical("GarageCond","Ex","Gd","TA","Fa","Po","NA")
                .addColumnCategorical("PavedDrive","Y","P","N")
                .addColumnCategorical("PoolQC","Ex","Gd","TA","Fa","NA")
                .addColumnCategorical("Fence"," GdPrv","MnPrv","GdWo","MnWw"," NA")
                .addColumnCategorical("SaleCondition","Normal","Abnorml","AdjLand","Alloca","Family","Partial")
                .addColumnCategorical("LotConfig","Inside","Corner","CulDSac","FR2","FR3")
                .addColumnCategorical("LandSlope","Gtl","Mod","Sev")
                .addColumnCategorical("Neighborhood"," Blmngtn","Corner","BrDale","BrkSide","ClearCr","CollgCr","Crawfor",
                        "Edwards","Gilbert","IDOTRR","MeadowV","Mitchel","Names","NoRidge","NPkVill","NridgHt","NWAmes","OldTown","SWISU",
                        "Sawyer","SawyerW","Somerst","StoneBr","Timber","Veenker")
                .addColumnCategorical("Condition1","Artery"," Feedr","Norm","RRNn","RRAn","PosN","PosA","RRNe","RRAe")
                .addColumnCategorical("Condition2","Artery"," Feedr","Norm","RRNn","RRAn","PosN","PosA","RRNe","RRAe")
                .addColumnCategorical("BldgType","1Fam","2FmCon","Duplx","TwnhsE","TwnhsI")
                .addColumnCategorical("HouseStyle","1Story","1.5Fin","1.5Unf","2Story","2.5Unf","SFoyer","SLvl")
                .addColumnCategorical("RoofStyle",  " Flat","Gable","Gambrel","Hip","Mansard","Shed")
                .addColumnCategorical("MasVnrType", "BrkCmn","BrkFace","CBlock","None","Stone")
                .addColumnCategorical("ExterQual","Ex","Gd","TA","Fa","Roll","Po")
                .addColumnCategorical("ExterCond","Ex","Gd","TA","Fa","Roll","Po")
                .addColumnCategorical("Foundation","BrkTil","CompShg","CBlock","PConc","Slab","Stone","Wood")
                .addColumnCategorical("BsmtQual","Ex","Gd","TA","Fa","Po","NA")
                .addColumnCategorical("BsmtCond","Ex","Gd","TA","Fa","Po","NA")
                .addColumnCategorical("Heating","Floor","GasA","GasW","OthW","Wall")
                .addColumnCategorical("HeatingQC","Ex","Gd","TA","Fa","Po")
                .addColumnCategorical("CentralAir","N","Y")
                .addColumnCategorical("FireplaceQu","Ex","Gd","TA","Fa","Po","NA")
                .addColumnCategorical("GarageType","2Types","Attchd","Basment","BuiltIn","CarPort","Detchd","NA")
                .addColumnCategorical("GarageFinish","Fin","RFn","Unf","NA")
                .addColumnCategorical("GarageQual","Ex","Gd","TA","Fa","Po","NA")
                .addColumnCategorical("MiscFeature","Elev","Gar2","Othr","Shed","TenC","NA")
                .addColumnCategorical("SaleType","WD","CWD","VWD","New","Con","ConLw","ConLI","ConLD","Oth")
                .addColumnCategorical("RoofMatl","ClyTile","CompShg","Membran"," Metal","Roll","Tar&Grv",
                        "WdShake","WdShngl")
                .addColumnCategorical("Electrical","SBrkr","FuseA","FuseF","FuseP","Mix")
 .build();
 
// трансформация категорий
 TransformProcess tp = new TransformProcess.Builder(schema)
                //.stringToCategorical()
 
                .categoricalToOneHot("MSZoning","Street","Alley","LotConfig","LotShape","LandContour","RoofMatl",
                        "BsmtCond",
                        "Utilities","LandSlope", "Neighborhood", "Condition1", "Condition2", "BldgType",
                        "HouseStyle", "RoofStyle",  "Exterior1st", "Exterior2nd", "MasVnrType", "ExterQual",
                        "ExterCond", "Foundation", "BsmtQual", "BsmtExposure",
                        "BsmtFinType1", "BsmtFinType2", "Heating", "HeatingQC", "CentralAir",  "KitchenQual",
                        "Functional", "FireplaceQu", "GarageType",
                        "GarageFinish", "GarageQual", "GarageCond", "PavedDrive", "PoolQC", "Fence",
                        "MiscFeature", "SaleType", "SaleCondition","Electrical")
 
 
                .build();
  Schema outputSchema = tp.getFinalSchema();
        System.out.println(outputSchema);
        JavaRDD<List<Writable>> processedData = SparkTransformExecutor.execute(parsedInputData, tp);
 
        // This is where we print the final result (which you would save to a text file.
        processedAsString = processedData.map(new WritablesToStringFunction(","));
        inputDataParsed = processedAsString.collect();
        System.out.println("\n\n---- Parsed and filtered data ----");
        for(String s : inputDataParsed) System.out.println(s);
Вот фрагмент csv файла:




Сейчас при запуске у меня следующее исключение:
Java
1

java.lang.IllegalStateException: Cannot convert categorical value to one-hot: input value ("BsmtFinSF2") is not in the list of known categories (state names/categories: [A, C, FV, I, RH, RL, RP, RM])
вместо "BsmtFinSF2") иногда бывает ("0")
Кто с такой проблемой сталкивался, подскажите как решить, или укажите на ошибки может что-то не так написал.
Спасибо.
Миниатюры
Исключение при трансформировании данных из категории до унитарного кода (0,1)   Исключение при трансформировании данных из категории до унитарного кода (0,1)  
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
 03.11.2019, 13:16
Ответы с готовыми решениями:

При запуске программы вылетает исключение, при отладке кода его нет
Всем привет! Есть такой код. public class Solution { public static void main(String... args) throws IOException { try...

Не отлавливаемое исключение при использовании неуправляемого кода
Пытаюсь получить параметры ключа реестра через вызов RegEnumValue Импортировал так public static extern int RegEnumValueA( ...

При выборе новой категории динамические элементы ,которые появились при выборе предыдущей категории ''скрылись'
Как сделать чтобы при выборе новой категории динамические элементы ,которые появились при выборе предыдущей категории ''скрылись'' ...

4
Эксперт Java
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
03.11.2019, 20:49
Ты понимаешь, что в исключении написано? Судя по всему неправильно данные читаются (ну или сами данные кривые)
1
0 / 0 / 0
Регистрация: 28.02.2016
Сообщений: 11
03.11.2019, 21:53  [ТС]
xoraxax, Объясни, как мне правильно считать данные и конвертировать их.
0
Эксперт Java
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
03.11.2019, 23:29
Я с этой фигней не работал, читай документацию, разбирайся. Открой свои данные, поищи где там BsmtFinSF2
0
0 / 0 / 0
Регистрация: 28.02.2016
Сообщений: 11
04.11.2019, 09:58  [ТС]
xoraxax, Спасибо, что отписал буду сам разбираться.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
 04.11.2019, 09:58
Помогаю со студенческими работами здесь

Код в представлении генерирует ссылки на категории товаров: при щелчке по категории идёт 404 ошибка
плин Добавлено через 14 секунд Этот код в представлении генерирует ссылки на категории товаров как я понимаю @foreach (var p in...

Исключение при выборке данных DataGrid
Почему то не работает выборка, выдает ошибку: SqlException &quot;Дополнительные сведения: Недопустимое имя объекта &quot;CLIENTS&quot;.&quot; ...

Непонятное исключение при вставке в базу данных
Проблема заключается в следующем, вылазит при попытке вставки в БД, используя MS SQL 2008 Express, в Visual Studio, вылазит предупреждение...

Ошибка при вводе данных *Исключение не обработано*
Здравствуйте при написании кода возникли ошибки с scanf. #include &lt;stdio.h&gt; #include &lt;conio.h&gt; struct book { char...

Исключение при изменении (редактировании данных) таблицы в БД
в бд 3 таблицы, таблицы новостей сущности у них идентичные один из них: namespace WebApplication6.Models { public class...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
5
Ответ Создать тему
Новые блоги и статьи
Как я обхитрил таблицу Word
Alexander-7 21.03.2026
Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .
Krabik - рыболовный бот для WoW 3.3.5a
AmbA 21.03.2026
без регистрации и смс. Это не торговля, приложение не содержит рекламы. Выполняет свою непосредственную задачу - автоматизацию рыбалки в WoW - и ничего более. Однако если админы будут против -. . .
Программный отбор значений справочника
Maks 21.03.2026
Установка программного отбора значений справочника "Сотрудники" из модуля формы документа. В качестве фильтра для отбора служит предопределенное значение перечислений. Процедура. . .
Переходник USB-CAN-GPIO
Eddy_Em 20.03.2026
Достаточно давно на работе возникла необходимость в переходнике CAN-USB с гальваноразвязкой, оный и был разработан. Однако, все меня терзала совесть, что аж 48-ногий МК используется так тупо: просто. . .
Оттенки серого
Argus19 18.03.2026
Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .
SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++
8Observer8 17.03.2026
Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip
 Символические и жёсткие ссылки в Linux.
algri14 15.03.2026
Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .
[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора
ФедосеевПавел 14.03.2026
Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Поддержать - Реклама - Условия использования - Обратная связь
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru