Вопросы по теме 'rounding-error'
Ошибка Ruby Float Round Error?
Я получаю следующую ошибку округления , когда пытаюсь выполнить модульное тестирование класса ниже:
class TypeTotal
attr_reader :cr_amount, :dr_amount,
:cr_count, :dr_count
def initialize()...
708 просмотров
schedule
13.06.2023
Rails 3 Ошибка округления с плавающей запятой
Запуск рубина 1.8.7.
(1,005 * 100).Результат раунда: 100
(1,006 * 100).Результат раунда: 101
Результат 100.5.раунда: 101
(1,005 * 100) результат: 100,5
Что здесь происходит? Может ли кто-нибудь попробовать это в последней версии...
215 просмотров
schedule
22.11.2022
Ошибка округления с линейным градиентом SVG в Chrome?
В последнее время я вижу некоторые проблемы с Chrome для отображения линейного градиента SVG. Взгляните на этот SVG ниже:
<!DOCTYPE html>
<html lang="en" xmlns="http://www.w3.org/1999/xhtml">
<body>
<svg>
<g>...
850 просмотров
schedule
05.10.2023
Как вычислить числа с произвольно высокой точностью?
Я написал простую программу на Фортране для вычисления константы Гаусса:
program main
implicit none
integer :: i, nit
double precision :: u0, v0, ut, vt
nit=60
u0=1.d0
v0=sqrt(2.d0)
print *,1.d0/u0,1.d0/v0
do i=1,nit
ut=sqrt(u0*v0)...
1730 просмотров
schedule
23.05.2023
Как я могу избежать смещения внутри пола при наведении мыши на малых скоростях?
У меня есть простой алгоритм для объекта, который следует за указателем мыши с заданной максимальной скоростью в Java. Суть алгоритма такова:
// Set up displacement trackers for later.
// (These are used in another part of the algorithm, which...
103 просмотров
schedule
14.02.2023
c ++ ошибка вычитания с плавающей запятой и абсолютные значения
Насколько я понимаю, при вычитании двух чисел double с двойной точностью в С ++ они сначала преобразуются в значащую величину, начиная с единицы, умноженной на 2, в степени экспоненты. Тогда можно получить ошибку, если вычитаемые числа имеют...
4155 просмотров
schedule
13.02.2023
Суммарная функция Ошибка округления в r?
У меня есть кадр данных из 16968 строк (причины точности будут разъяснены ниже). Я проверяю, действительно ли текущая переменная (data$Ob) считает каждую строку в последовательном порядке (данные $Ob первой строки равны 1... данные последней строки...
1310 просмотров
schedule
04.04.2023
Cocos2d, iOS, Objective-C: ошибка с плавающей запятой
Я проверил это на пустом проекте и не происходит .
Как видите, новое значение становится 2.98023e-08 , когда я вычитаю значение bossPercentage. Это происходит, только если bossPercentage равно 0,2f, а значение previous равно 0,2f....
138 просмотров
schedule
31.07.2023
ошибки округления javascript nodejs
я хочу, чтобы все было точно и складывалось точно, и я не могу допустить, чтобы в сумме было меньше пенни.
var buy_amount = 132.32000000; //amount in bitcoin
var buy_amount_satoshi = buy_amount*100000000; //amount in...
1490 просмотров
schedule
20.06.2022
Числовая ошибка Matlab и как получить правильный ответ
Я каким-то образом получаю следующее выражение в Matlab (R2014a на W7, 64b)
1/1034591578977116160000*prod(1:19)*(29576428208904825-17729494921579950*k - 20479697577410832*k^2 + 13867226524449248*k^3 - 836937224095392*k^4 - 869194297188672*k^5 +...
136 просмотров
schedule
09.03.2023
Наибольшая возможная ошибка округления при вычислении чисел с плавающей запятой
Я разрабатываю критичный ко времени алгоритм на Java и поэтому не использую BigDecimal . Чтобы обработать ошибки округления, я вместо этого установил верхнюю границу ошибки, ниже которой разные числа с плавающей запятой считаются точно такими же....
1279 просмотров
schedule
18.08.2022
Избегайте ошибки округления при ручном синтаксическом анализе double
Я хотел реализовать простой парсер для двойных значений (просто для удовольствия). Однако я заметил, что при обработке десятичного сдвига я получаю ошибки округления при умножении значения на 10.
Мне интересно, как double.Parse гарантирует, что...
98 просмотров
schedule
04.03.2022
SSE округляет в меньшую сторону, когда следует округлять в большую сторону
Я работаю над приложением, которое преобразует выборки с плавающей запятой в диапазоне от -1,0 до 1,0 в знаковые 16-битные, чтобы обеспечить точность вывода оптимизированных (SSE) подпрограмм. Я написал набор тестов, которые запускают...
1642 просмотров
schedule
18.04.2023
Арифметическое кодирование Java — поиск диапазонов символов
Я пытаюсь воссоздать реализацию арифметического кодирования на Java, как описано в этой ссылке, в разделе «Арифметическое кодирование: как это работает»: ссылка
Я нахожусь в точке, где отдельным символам нужно присвоить диапазон вдоль линии...
642 просмотров
schedule
20.12.2023
Как сравнить дату в структуре сущностей, чтобы избежать ошибок округления?
У меня есть значение .NET DateTime, которое я записываю в поле «datetime» базы данных SQL Server (и, поверьте мне, я ЖЕЛАТЕЛЬНО, мы просто использовали «datetime2 (7)», которое точно соответствует точности DateTime .NET, но это не так) .
В любом...
1439 просмотров
schedule
05.02.2023
Хаотический маятник, проявляющий хаотическое поведение при одинаковых начальных условиях
Мой первый пост на Stack Overflow, так что терпите меня. Я построил модель хаотического двойного маятника на питоне, используя библиотеку физики pymunk, которая, в свою очередь, использует библиотеку C chipmunk. Маятник, будучи хаотичным, проявляет...
373 просмотров
schedule
27.08.2022
Различные результаты округления в Java 6 и Java 8
Я переписываю старую программу Java 6, написанную для выполнения некоторых научных вычислений на Java 8, и застрял в этой ситуации, когда я получаю разные результаты для операции округления.
Java 6 округляет ввод, например 0.499999999999999999994...
736 просмотров
schedule
12.06.2022
Плавающая точка и предотвращение ошибок округления
Широко известно, что пользователи с плавающей запятой должны остерегаться ошибок округления. Например, 1.0/3*3 == 1 оценивается как false практически во всех современных языках программирования. Что еще более удивительно для неспециалистов,...
232 просмотров
schedule
22.06.2022
Как я могу проверить ошибку машинной точности при изменении значения переменной `c`?
Я следую Обзору вычислительной физики Ландау и решаю эту задачу (часть b):
Я написал код для создания 4 решений ниже. Я смущен тем, что автор хочет, чтобы я сделал здесь.
При тестировании на наличие ошибок вычитания это так же...
155 просмотров
schedule
28.11.2022
Результат изменения порядка умножения. Почему?
В настоящее время мы экспериментируем с числами с плавающей запятой и столкнулись с программой на Фортране, где не смогли понять, что происходит.
program test
a=0.1
print*, a * .1 * 10.
print*, .1 * a * 10.
print*, .1 * 10. * a
end program test...
71 просмотров
schedule
08.02.2023
