Я использую внутренний класс, который является подклассом HashMap. У меня есть String
как ключ и double[]
как значения. Я храню около 200 удвоений за double[]
. Я должен использовать около 700 МБ для хранения ключей, указателей и парных. Тем не менее, анализ памяти показывает, что мне нужно намного больше (чуть больше 2 ГБ).
Используя TIJmp (инструмент профилирования), я увидел, что был char[]
, который использовал почти половину общей памяти. TIJmp сказал, что char[]
пришел от Serializable
и Cloneable
. Значения в нем варьировались от списка шрифтов и путей по умолчанию к сообщениям и одиночным символам.
Каково точное поведение Serializable
в JVM? Сохраняет ли он постоянную копию во все времена, удваивая размер моего объема памяти? Как я могу записать двоичные копии объекта во время выполнения, не превращая JVM в память?
PS: метод, в котором потребление памяти увеличивается больше всего, ниже. Файл имеет около 229 000 строк и 202 поля на строку.
public void readThetas(String filename) throws Exception
{
long t1 = System.currentTimeMillis();
documents = new HashMapX<String,double[]>(); //Document names to indices.
Scanner s = new Scanner(new File(filename));
int docIndex = 0;
if (s.hasNextLine())
System.out.println(s.nextLine()); // Consume useless first line :)
while(s.hasNextLine())
{
String[] fields = s.nextLine().split("\\s+");
String docName = fields[1];
numTopics = fields.length/2-1;
double[] thetas = new double[numTopics];
for (int i=2;i<numTopics;i=i+2)
thetas[Integer.valueOf(fields[i].trim())] = Double.valueOf(fields[i+1].trim());
documents.put(docName,thetas);
docIndex++;
if (docIndex%10000==0)
System.out.print("*"); //progress bar ;)
}
s.close();
long t2 = System.currentTimeMillis();
System.out.println("\nRead file in "+ (t2-t1) +" ms");
}
Oh!, а HashMapX - это внутренний класс, объявленный следующим образом:
public static class HashMapX< K, V> extends HashMap<K,V> {
public V get(Object key, V altVal) {
if (this.containsKey(key))
return this.get(key);
else
return altVal;
}
}