Работа с аргументами близкими к inf

@SKY_SHY · Регистрация: 15.10.2015

Студворк — интернет-сервис помощи студентам

Привет! Использую numpy для вычисления y через функцию активации (гиперболический тангенс)
https://ru.wikipedia.org/wiki/... 0%B8%D0%B8

Python
1
(np.exp(1003.0393178669181)+np.exp(-1003.0393178669181) / np.exp(1003.0393178669181)-np.exp(-1003.0393178669181))

С большими числами получается nan - и дальше нейронная сеть просто выдает неадекватные результаты.

@dondublon · 18.01.2017, 16:19

На офигенных значениях гиперболический тангенс, очевидно, стремится к единице.
Что вы, собственно, хотели? Ну, обработаете вы nan, но от единицы th всё равно не отличите, слишком близок.

Добавлено через 3 минуты
Опытным путём:

Code
1
2
3
4
th(18)
1.0000000000000004
th(19)
1.0

То есть, после 20 (двадцати, Карл!) уже всё. Какая тысяча, вы что?
Я там, правда, использовал родной питоновский exp, не numpy, но, уверен, это погоды не делает.

@SKY_SHY · 19.01.2017, 10:15 **[ТС]**

Numpy мне позволил обработать и 300 и 500, а 1000 не может. Есть еще библиотека bigfloat только она не работает, потому что требует установки MPFR library

@dondublon · 19.01.2017, 10:19

Сообщение от SKY_SHY

Numpy мне позволил обработать и 300 и 500,

Я в восхищении!

Я помощью numpy заюзал самый точный тип, float128, тогда у меня слилось с единицей на 23 (против 19).
Узнать бы ещё, зачем пытаться пробить лбом эту стену.

@SKY_SHY · 19.01.2017, 10:21 **[ТС]**

error

raise OSError(_locate_error_message)

OSError: Failed to find the MPFR library. Please ensure that the MPFR library
is installed on your system and is in the library search path. You
may need to set LD_LIBRARY_PATH (or DYLD_LIBRARY_PATH on OS X) for
this.

Вопрос в том что как ее поставить на Windows 7 - инструкции только для unix систем

http://www.mpfr.org/mpfr-curre... lling-MPFR

Я же вам говорю, у меня получается переполнение при большом результате, который я подаю в np.exp -или тогда при таком пороге сделать так чтобы возвращалась -1 или 1 - в зависимости от результата.

@dondublon · 19.01.2017, 11:37

Сообщение от SKY_SHY

Я же вам говорю, у меня получается переполнение при большом результате, который я подаю в np.exp -или тогда при таком пороге сделать так чтобы возвращалась -1 или 1 - в зависимости от результата.

А, ну если так - то дело простое.
Просто проверить аргумент, если больше порога - то берём 1(-1), если нет - вычисляем, как полагается.

@SKY_SHY · 19.01.2017, 12:09 **[ТС]**

Ладно, пожалуй так и сделаю. Но если кому-то нужна библиотека bigfloat, то можно использовать ее.

@grizlik78 · 24.01.2017, 12:40

Ну и, в конце концов, в numpy есть готовые гиперболические функции, в том числе tanh.

@dondublon · 24.01.2017, 13:06

grizlik78, проблему это не решает, увы.

@grizlik78 · 24.01.2017, 14:29

Мне казалось, что проблема в вычислении тангенса от большого аргумента, где должна получаться единица, а получается nan.

Code
1
2
3
4
In [1]: import numpy as np
 
In [2]: np.tanh(1000000000)
Out[2]: 1.0

Проблема в чём-то другом?

@dondublon · 24.01.2017, 14:50

grizlik78, я описал во втором посте. Слишком близко к 1 в итоге получается.

@grizlik78 · 24.01.2017, 14:57

Да это-то понятно. Но точность в 15 знаков на практике нигде и не требуется. Тем более в функции активации, где и двух знаков точности обычно достаточно. Так что проблема именно в вычислении тангенса через экспоненты, которые дают бесконечности. Ну да ладно, проблема, как я понимаю, решена.

@VTsaregorodtsev · 15.02.2017, 22:34

Сообщение от SKY_SHY

Numpy мне позволил обработать и 300 и 500, а 1000 не может.

Дык, exp() переполняется при аргументе более 700 (цифру пишу по памяти) по модулю - результат уже не лезет в дабл-точность.

Соответственно, или аппроксимируйте tanh рациональной аппроксимацией
tanh(x)~~sign(x)*(1-1/(1+|x|+x^2+1.41645*x^4)),
или жёстко правьте свои мозги. Ибо на практике нейросеткам хватает и вычислений в одинарной точности (а там аргумент у exp() не должен превосходить 87 по модулю), и даже FP16 ("нового", на видеокартах используемого формата половинного размера - у интел-совместимых процессоров только у АМД начиная с Piledriver'овского ядра есть команды VCVTPS2PH/VCVTPH2PS конверсии в этот половинный формат, но и только (команд для вычислений - по прежнему нет)).

Новые блоги и статьи Все статьи Все блоги /
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .

@SKY_SHY 2 / 2 / 1 Регистрация: 15.10.2015 Сообщений: 173
	19.01.2017, 10:15 [ТС]
	Numpy мне позволил обработать и 300 и 500, а 1000 не может. Есть еще библиотека bigfloat только она не работает, потому что требует установки MPFR library 0

@SKY_SHY 2 / 2 / 1 Регистрация: 15.10.2015 Сообщений: 173
	19.01.2017, 10:21 [ТС]
	error raise OSError(_locate_error_message) OSError: Failed to find the MPFR library. Please ensure that the MPFR library is installed on your system and is in the library search path. You may need to set LD_LIBRARY_PATH (or DYLD_LIBRARY_PATH on OS X) for this. Вопрос в том что как ее поставить на Windows 7 - инструкции только для unix систем http://www.mpfr.org/mpfr-curre... lling-MPFR Я же вам говорю, у меня получается переполнение при большом результате, который я подаю в np.exp -или тогда при таком пороге сделать так чтобы возвращалась -1 или 1 - в зависимости от результата. 0

@SKY_SHY 2 / 2 / 1 Регистрация: 15.10.2015 Сообщений: 173
	19.01.2017, 12:09 [ТС]
	Ладно, пожалуй так и сделаю. Но если кому-то нужна библиотека bigfloat, то можно использовать ее. 0

@grizlik78 2382 / 1666 / 279 Регистрация: 29.05.2011 Сообщений: 3,402
	24.01.2017, 12:40
	Ну и, в конце концов, в numpy есть готовые гиперболические функции, в том числе `tanh`. 1

@dondublon 4652 / 2072 / 366 Регистрация: 17.03.2012 Сообщений: 10,181 Записей в блоге: 6
	24.01.2017, 13:06
	grizlik78, проблему это не решает, увы. 1

@dondublon 4652 / 2072 / 366 Регистрация: 17.03.2012 Сообщений: 10,181 Записей в блоге: 6
	24.01.2017, 14:50
	grizlik78, я описал во втором посте. Слишком близко к 1 в итоге получается. 0

@grizlik78 2382 / 1666 / 279 Регистрация: 29.05.2011 Сообщений: 3,402
	24.01.2017, 14:57
	Да это-то понятно. Но точность в 15 знаков на практике нигде и не требуется. Тем более в функции активации, где и двух знаков точности обычно достаточно. Так что проблема именно в вычислении тангенса через экспоненты, которые дают бесконечности. Ну да ладно, проблема, как я понимаю, решена. 0