Я следую этому уроку: http://nlp.seas.harvard.edu/2018/04/03/attention.html реализовать модель Transformer из статьи "Внимание - все, что вам нужно".
Однако я получаю следующую ошибку: RuntimeError: "exp" не реализован для "torch.LongTensor"
Эта строка в классе PositionalEnconding вызывает ошибку:
div_term = torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model))
Когда он здесь строится:
pe = PositionalEncoding(20, 0)
Есть идеи? Я уже пытался преобразовать это, возможно, в тип Tensor Float, но это не сработало.
Я даже загрузил весь блокнот с сопровождающими файлами, и в первоначальном учебном пособии ошибка, похоже, не устранена.
Есть идеи, что может быть причиной этой ошибки?
Спасибо!