Интересно, есть ли какой-то ресурс в Интернете, где разные версии Sun Java VM сравниваются по скорости.
Что-то вроде временная шкала скорости PyPy было бы оптимальным, потому что меня интересует, сколько было достигнуто за это время.
Кто-нибудь знает о таком проекте?
Я не знаю о таком проекте. Однако вы можете сделать это сами:
Но имейте в виду, что общие контрольные показатели печально известны тем, что они не прогнозируют, как работают реальные приложения. И у бенчмаркинга Java есть уникальные проблемы из-за таких вещей, как загрузка классов, компиляция JIT и настройка и настройка кучи.
Igouy комментирует: "Тесты печально известны тем, что не обязательно являются прогностическими показателями того, как работают реальные приложения. Также реальные приложения не обязательно предсказывают, как работают другие реальные приложения. Кто-то сказал мне, что fasta, k-нуклеотид, обратный -комплекса и regex-dna действительно были тем, что они писали на работе, - для них эти крошечные программы являются" реальными приложениями".
Я не говорю, что тесты никогда не прогностичны. Проблема возникает, когда кто-то берет типичный бенчмарк или набор тестов, а затем использует его/их для прогнозирования того, как будет выполняться конкретное приложение (или, что еще хуже, "все приложения" ). При таком подходе, дело в том, удастся ли бенчмаркинг точно предсказать. Это по существу то, что делает OP.
Лучшим подходом может стать выборка (или запись), которая соответствует тому, что делает приложение. Но даже при таком подходе прогнозируемость зависит от правильного соответствия ключевых характеристик, связанных с характеристиками эталона и реального приложения. И, что наиболее важно, нет никакого способа узнать, правильно ли вы это сделали, до тех пор, пока вы не выполнили свое приложение... к тому времени уже слишком поздно использовать предсказание.
Следовательно, даже если ваш бенчмаркинг, как оказалось, сделал точное предсказание, вы не можете объективно определить априори, может ли предсказание быть точным.
Очевидно, что если "тест" является по существу реальным приложением, вы, вероятно, можете положиться на прогнозы. Но ясно, что не то, что пытается сделать ОП. Кроме того, все еще есть проблемы (например, масштабирование размера задачи), которые могут смешивать прогнозы, если вы не принимаете их во внимание.