В соответствии с комментарием в этом ответе ссылки были представлены в основном для поддержки перегрузки операторов, которая цитирует Bjarne Stroustrup:
Ссылки были представлены в первую очередь для поддержки перегрузки оператора. С передает каждый аргумент функции значение, и при прохождении объекта значение будет неэффективным или неприемлемый пользователь может передать указатель. Эта стратегия не работает где используется перегрузка оператора. В В этом случае необходимо, чтобы пользователь не мог ожидается вставить адрес если объекты большие.
Это означает, что перегрузка оператора не может работать с указателем. Но это не ясно объясняет, почему перегрузка оператора указателями не может работать. Почему бы не перегружать работу оператора указателями?
IMO, где используются ссылки, указатели также могут использоваться на своем месте.