У меня есть CSV файл 10gb, содержащий некоторую информацию, которую мне нужно использовать.
Поскольку у меня ограниченная память на моем ПК, я не могу прочитать весь файл в памяти в одной партии. Вместо этого я хотел бы итеративно читать только несколько строк этого файла.
Скажем, что на первой итерации я хочу прочитать первые 100, а на втором - от 101 до 200 и т.д.
Есть ли эффективный способ выполнения этой задачи в Python? May Pandas предоставить что-то полезное для этого? Или есть лучшие (с точки зрения памяти и скорости) методы?