Какая разница?
В моем контексте мне нужно иметь возможность динамически добавлять и удалять объекты. Пользователь нажимает на строки таблицы, которые проверяют и выключают и, таким образом, добавляют или удаляют ссылочный объект из списка.
Удивительно, что массив имеет индексированные элементы, а set не имеет индексов?