странная арифметика со swi-прологом

Ответ, который вы получите от SWI, правильный.
Во многих языках программирования и практически во всех системах Prolog реализации с плавающей запятой основаны на двоичной системе (radix = 2). Число 5.3 не может быть представлено точно в этой системе, поэтому выбрано некоторое приближение. Вычитание особенно хорошо подходит для выявления таких неточностей.

?- X is 5.3-5-0.3.
X = -1.6653345369377348e-16.

Пока вы используете числа, которые являются суммой степеней двойки (включая 2 ^-1, 2 ^-2, ...), вы получите точные результаты, как насколько это позволяет точность поплавков:

?- X is 5.000244140625-5-0.000244140625.
X = 0.0.

Что должны делать ISO-совместимые системы Prolog должны - это гарантировать, что при записи числа с плавающей запятой с опцией записи quoted(true) число с плавающей запятой записывается таким образом, чтобы его можно было точно прочитать.

Что касается вашего второго вопроса: (//)/2 определяется только для целых чисел. Если вы хотите преобразовать число с плавающей запятой в целое число, у вас есть в ISO Prolog обычные функции LIA-1:

floor/1, truncate/1, round/1, ceiling/1.

?- X is round(5.3).
X = 5.

Однако я бы предпочел использовать (div)/2 вместо (//)/2. Значение (//)/2 больше не поддерживается LIA-1: 2012 (стандарт ISO / IEC 10967-1: 2012) по уважительной причине. См. это и этот ответ для подробностей.

По поводу этой строки:

X is (5.3-5)*100//60.

Предикат // - это целочисленное деление, и вы работаете с числами с плавающей запятой. Вы можете сделать это:

X is round((5.3-5)*100/60).

Or

X is round((5.3-5)*100)//60.

Конечно, в обоих этих случаях вы получите 0, потому что это примерно 0.3, если бы вы выполняли операции с плавающей запятой. Так что неясно, действительно ли вы это хотели.

Другие интересные варианты:

?- X is (5.3-5)*100/ 60.
X = 0.4999999999999997.

?- X is float(round((5.3-5)*100) rdiv 60).
X = 0.5.

Это связано с арифметикой с плавающей запятой, которая (почти ^*) всегда несовершенна. Компьютеры работают в двоичном формате, но люди в основном работают с базой 10. Это вносит некоторую неточность здесь и там; насколько велика неточность, зависит от того, как работает рассматриваемое оборудование и (иногда) программное обеспечение. Но главное в том, что вы не можете точно предсказать, какие будут ошибки, только то, что они будут.

В результате нельзя ожидать, что 5.3-5 будет точно 0.3; вам нужно вместо этого проверить, действительно ли он близок (например, в пределах 0,00000000000001). Когда вы получаете результаты, как во втором примере, вам необходимо явно преобразовать в целое число, прежде чем использовать результат. Вы можете узнать больше в этом ответе.

[сноска:] В комментариях ниже я добавлю эту арифметику, используя числа с плавающей запятой, которые являются степенью двойки (то есть 2 ^ i) или суммой степеней двойки (например, 7 = 4 + 2 + 1) можно точно рассчитать на компьютере. Существует философский аргумент относительно того, действительно ли это «арифметика с плавающей запятой». Но это объясняет, почему, например, большинство языков сообщают, что 2.0 + 1.0 равно 3, а 0.2 + 0.1 - это что-то вроде 0.30000000000000004.