ECMA-262 определяет в 11.10, что аргументы двоичных побитовых операторов преобразуются с помощью ToInt32. И 9.5, объясняющее ToInt32, говорит в первых двух его пунктах:
Пусть число будет результатом вызова ToNumber на входном аргументе.
Если число NaN, +0, -0, + Inf или -Inf, верните +0.