@cortl

В спектрометр загружают исследуемый образец (на данный момент пищевая продукция). Он выдаёт спектр затухания инфракрасного излучения для данного образца. По большому количеству таких спектров и известному для каждого образца химическому составу определяются коэффициенты линии регрессии, методом наименьших квадратов.

Затем в спектрометре снимают спектры неизвестных образцов и без проведения химического анализа, используя только коэффициенты регрессии, определяют химический состав образцов.

Всё работает вполне удовлетворительно.


Требуется решить ту же задачу нейронной сетью.
Какую нейронную сеть использовать предпочтительней?

Задача минимум:
После обучения нейронной сети передаётся спектр и она по нему определяет показатели: жир, белок, влажность.

Задача максимум:
Дополнительно обучить сеть выявлять фальсификат продукта.


Пример спектров полученных с прибора и показатели определённые в лаборатории для образцов (сухое молоко):
data.rar
Здесь: EData - эталон, OData - образец.


Наобум выбрал два спектра и изобразил их

Миниатюры

 

Вложения

data.rar (598.0 Кб, 10 просмотров)

0

@vlasovsv26

предположу что можно и обычным перцептроном (задача минимум - это на выходном слое 3 нейрона), но нужно преобразовать данные..... если надумаю как, напишу

Добавлено через 12 минут
а хотя невнимательно прочитал, вам надо определять сколько жира, белка и влаги?

0

@cortl

vlasovsv26, на первом этапе да. А за тем фантазия ни чем не ограничена - любые вещества, любые характеристики.

0

@cortl

Отчёт. Кратко.

Написана программа на C#. Включает: множественную линейную регрессию (млр) моего изготовления и многослойный персептрон (mlp) из Alglib с одним скрытым слоем из пяти нейронов. Проведён их сравнительный анализ.

Вывод: Mlp работает лучше, хотя и не всегда правильно обучается.
Сравнительная таблица одного из набора данных (для mlp приведён наиболее характерный результат, хотя в отдельных случаях он может быть хуже млр):

Способ определения жира в сметане_____| млр | mlp |
-----------------------------------------------------------------------------------
Корреляция__________________________| 0,975 | 0,998 |
СКО_________________________________| 0,981 | 0,211 |
Средняя ошибка, %____________________| 0,787 | 0,166 |
Средняя относительная ошибка, %_______| 4,72 | 1,05 |

Mlp, конечно, было проще - он получил в своё распоряжение все 256 точек спектра.
Млр ограничена пятью точками, которое она "выбрала" с наилучшей корреляцией.

0

@dya4k-off

А не краткий отчёт можно?

0

@cortl

Некраткий отчёт , но уже не по сметане, а по сливочному маслу.

Результаты по МЛР:


Результаты по НС:


Программа осуществляет автопоиск длин волн по корреляции или СКО:





Для МЛР и НС можно посмотреть тренд результата:


В программе присутствуют вкладки (вроде всё интуитивно понятно, если что - метод научного тыка и документация помогут):






В заключении хочу сказать, что определить фальсификат подобных продуктов (сметана, сливочное масло, прочая бодяжная биота, продающаяся в магазинах) достаточно сложно, так как натуральный продукт я так и не смог получить для исследований. Хорошо, что по результатам работ стало понятно, что без него никак и в дальнейшей работе это будет аргументом.

0

@Nick07

Лет так 20 назад делали аналогичную работу. Если брать математическую сторону, возможны проблемы с мультиколлениарностью.
Понимание физики спектроскопии здорово облегчают проблемы с программированием.
Основные проблемы - градуировка, т.е. контрольные образцы, их аттестация.
Впрочем, как и для нейронной сетки.

0

@Excalibur921

Зачем менять то, что работает итак?
Вообще ценность такого анализа лично мне сомнительна. Спектры вероятно сильно гуляют от температуры, размера частиц суспензий\эмульсий, даже процентного состава смеси.

Может можно даже взять несколько растворов неорганики и подобрать чтобы по спектру как натуральная сметана =)).

0

@Nick07

Работать то работает, только как???

В этом весь смысл
Имеете полное право. Только хим анализ требует часы, а спектроскопия - секунды. При приемке в портах ( я имею ввиду не сметану) каждый час - десятки тысяч долл.
На молочных заводах приемка 90 % продукции была в ночное время и именно в тот час
, когда спектральные приборы не работали, догадайтесь почему.

Это все есть, только погрешность большая.

0

@cortl

Работает и продаётся, да только улучшений ещё много можно сделать и в приборе, и в программе, и в методах измерений.

Конечно. По этому существует пробоподготовка:
Образцы выдерживаются при определённой температуре, в идеальном случае в термостате.
Если вещество (продукт) твёрдое определённый фракционный состав получают размалыванием в мельнице (при строго определённых скорости и времени), которая поставляется в комплекте со спектрометром, ПО и калибровкой.
Жидкие вещества гомогенизируются.
Если необходимо исследовать вещество в растворителе - ни чего не мешает добиться определённой концентрации вещества в растворе взвешиванием.

В калибровке из отчёта была подобная ситуация. Был такой образец который маслом назвать ни у кого язык не повернулся кроме производителя (маргариновый запах, гадкий вкус, значительное несоответствие заявленной и фактической жирности), однако он достаточно близко лёг к среднеарифметическому (среди магазинных образцов) спектру предполагаемого сливочного масла. Такая ситуация стала возможной по причине неидеальности спектрометра - диапазон регистрируемого излучения ограничен приёмным элементом и лампой. Видимо производители пищевой продукции также не дремлют и подделывают продукт проверяя его спектр поглощения/отражения.

Самая большая неудача данной калибровки в отсутствии среди образцов действительно натурального сливочного масла, т.е. не было таких образцов: подоили коровку -> молоко -> сливки -> масло. Вернее один был, но это на словах и я не придаю этому значения.

Предполагаю, что дополнительная печаль в том, что даже натуральные образцы могут отличаться значительно в зависимости от породы скотины, кормов, условий содержания и климата.

0