|
5 / 5 / 0
Регистрация: 07.04.2010
Сообщений: 328
|
|
Глюки VB - точность вычислений (Single, Double)03.07.2010, 08:41. Показов 7827. Ответов 14
Метки нет (Все метки)
Знатоки VB, подскажите, пожалуйста. Периодически возникает проблема когда работаешь со переменными типа SINGLE или DOUBLE при вычислении значений, например A=B/2-C/4, где переменные A,B,C одного из вышеуказанных типов при значениях B=3.6 и C=7.2 математически получается А=3.6/2-7.2/4=0, но VB выдает А=0.00000000000000068764 и или аналогичный бред и последующее сравнение значения А с нулем не выполняется. При пошаговом выполнении (debug) VB четко показывает, что B=3.6 и C=7.2 без каких либо долей, но результат 0.00000000000000068764 !!!!!!!!! ПОЧЕМУ ?????
0
|
|
| 03.07.2010, 08:41 | |
|
Ответы с готовыми решениями:
14
Глюки VB 2 - точность вычислений (Single, Double) Точность вычислений у double Точность вычислений в double (Обрезание числа) |
|
6644 / 1511 / 169
Регистрация: 09.01.2010
Сообщений: 4,298
|
|
| 03.07.2010, 09:25 | |
|
покажите фрагмент кода
0
|
|
|
11525 / 3812 / 683
Регистрация: 13.02.2009
Сообщений: 11,229
|
||||||
| 03.07.2010, 12:34 | ||||||
|
при просмотре при пошаговом выполнении a = 0
0
|
||||||
|
6644 / 1511 / 169
Регистрация: 09.01.2010
Сообщений: 4,298
|
|
| 03.07.2010, 12:51 | |
|
а должно быть сколько
0
|
|
|
11525 / 3812 / 683
Регистрация: 13.02.2009
Сообщений: 11,229
|
||
| 03.07.2010, 12:52 | ||
|
У автора
0
|
||
|
6644 / 1511 / 169
Регистрация: 09.01.2010
Сообщений: 4,298
|
|
| 03.07.2010, 13:01 | |
|
у автора кажется 21 знак (0.00000000000000068764), это какой же тип допускает такое количество, если масштабируемое целое не поддерживается
0
|
|
|
11525 / 3812 / 683
Регистрация: 13.02.2009
Сообщений: 11,229
|
|||
| 03.07.2010, 13:10 | |||
|
например такое:
Сразу дополню(а то не все любят читать справку)
0
|
|||
|
6644 / 1511 / 169
Регистрация: 09.01.2010
Сообщений: 4,298
|
|
| 03.07.2010, 13:51 | |
|
вот так или как , что б в результатирующей было 28 зн.
Dim a As Variant a = CDec(1 / 3) Label1 = a ну и речь идет о результате типа SINGLE или DOUBLE
0
|
|
|
5 / 5 / 0
Регистрация: 07.04.2010
Сообщений: 328
|
|||||||||||||||||||||
| 05.07.2010, 06:09 [ТС] | |||||||||||||||||||||
|
помещаю код
объявление переменных :
В выше указанном коде при пошаговом выполнении переменные и элементы массива имеют конкретные значения заданные пользователем. Точность этих чисел не более двух знаков после запятой. При пошаговом выполнении программы на этой строке кода деббагер дает именно те значения, что ввел пользователь и расчет на калькуляторе дает результат ноль, но VB!!!!, чтоб меня, дает кучу нулей после запятой и еще какие-нибудь цифры и проверка =0 не срабатывает, приходиться тупа писать вышеуказанный код по другому, чтобы обойти этот глюк :
Добавлено через 33 минуты ЕЩЕ КОРОЧЕ !!!!!!!! Запусьтите у себе вот этот код:
0
|
|||||||||||||||||||||
|
5 / 5 / 0
Регистрация: 07.04.2010
Сообщений: 328
|
|
| 05.07.2010, 06:15 [ТС] | |
|
Смотрите на картинке (вложение), что показывает VB !!
0
|
|
|
11525 / 3812 / 683
Регистрация: 13.02.2009
Сообщений: 11,229
|
|
| 05.07.2010, 07:05 | |
|
Dim na As Single убери As Single
оставь просто Dim na почему я не всегда объявляю тип переменных...
0
|
|
|
5 / 5 / 0
Регистрация: 07.04.2010
Сообщений: 328
|
||
| 05.07.2010, 08:22 [ТС] | ||
|
Тем более, что это ничего не дает, сообщение все равно не появляется ???
0
|
||
|
11525 / 3812 / 683
Регистрация: 13.02.2009
Сообщений: 11,229
|
|||||||||||
| 05.07.2010, 08:59 | |||||||||||
|
Да действительно глюк
А я проверил только первую строчку: Debug.Print na / 2 - nl4 - nl5, f(iprod, 20) / 2000 В дебаггере 0,3 0,3 А когда написал вторую Debug.Print na / 2 - nl4 - nl5 - f(iprod, 20) / 2000 В дебаггере -5,55111512312578E-17 но эти 0,3 не одинаковые. Даже
помогло только :
0
|
|||||||||||
|
5 / 5 / 0
Регистрация: 07.04.2010
Сообщений: 328
|
||||||
| 05.07.2010, 09:29 [ТС] | ||||||
|
Так тоже можно. Но ведь этот вопрос надо решить глобально, чтоб каждый раз не мудохаться. В чем собака зарыта ??? Это ГЛЮК или что-то делаем не так ????? И главное это глюк скрытый, он появляется только при тщательной отладке, а если его не обнаружить, то прога может работать некорректно - неприятно очень !!!
Добавлено через 17 минут
0
|
||||||
|
6644 / 1511 / 169
Регистрация: 09.01.2010
Сообщений: 4,298
|
||||||
| 05.07.2010, 11:26 | ||||||
|
в результате операций , проводимых с переменными этого типа, могут возникать ошибки округления
как вариант, 1. округлять результат до приемлемой точности (Alex77755 выше предлагал) 2 или (что в принципе то же самое) сравнивать не с 0 , а с , например, 0,000001 3 использовать FormatNumber
0
|
||||||
| 05.07.2010, 11:26 | |
|
Помогаю со студенческими работами здесь
15
Точность Single точность вычислений Точность вычислений Точность вычислений Точность вычислений 10^30 - 10^(-30) Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога
Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
|
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
|
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога
В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
|
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога
Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
|
|
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога
Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
|
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога
Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
|
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования.
Часть библиотеки BedvitCOM
Использованы. . .
|
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога
SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
|