Как часть проекта, над которым я работаю, я хотел бы очистить файл, который я генерирую дублирующиеся строки. Однако эти дубликаты часто не встречаются рядом друг с другом. Я придумал способ сделать это на Java (который в основном сделал копию файла, а затем использовал вложенный while-statement для сравнения каждой строки в одном файле с остальной частью другой). Проблема в том, что мой сгенерированный файл довольно большой и тяжелый текст (около 225 тыс. Строк текста и около 40 мегабайт). Я оцениваю, что мой текущий процесс занимает 63 часа! Это определенно неприемлемо.
Мне нужно интегрированное решение для этого. Предпочтительно в Java. Есть идеи? Спасибо!