Получение hbase-ошибки в сервере региона

 2017-04-29 14:24:14,135 ERROR  [B.fifo.QRpcServer.handler=49,queue=1,port=16020] ipc.RpcServer:
 Unexpected throwable object  java.lang.IllegalStateException: 
 Invalid currTagsLen -32712. Block offset: 3707853, block length: 72841, position: 0 (without header).
         at org.apache.hadoop.hbase.io.hfile.HFileReaderV3$ScannerV3.checkTagsLen(HFileReaderV3.java:226)

Мое приложение обновляет счетчики (с помощью Increments), но я вижу эту проблему. Может ли кто-нибудь сказать мне, что это значит и как его исправить?

hbase(main):008:0> scan 'table-name', {LIMIT=>1,STARTROW=>'ad:event_count:b'}
ROW                                                         COLUMN+CELL                                                                                                    
ERROR: java.io.IOException: java.lang.IllegalStateException: Invalid currTagsLen -32701. Block offset: 272031, block length: 72441, position: 32487 (without header).
    at org.apache.hadoop.hbase.regionserver.HRegion$RegionScannerImpl.handleException(HRegion.java:5607)
    at org.apache.hadoop.hbase.regionserver.HRegion$RegionScannerImpl.<init>(HRegion.java:5579)
    at org.apache.hadoop.hbase.regionserver.HRegion.instantiateRegionScanner(HRegion.java:2627)
    at org.apache.hadoop.hbase.regionserver.HRegion.getScanner(HRegion.java:2613)
    at org.apache.hadoop.hbase.regionserver.HRegion.getScanner(HRegion.java:2595)
    at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:2282)
    at org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.java:32295)

Я не использую никаких тегов. Позвольте мне знать, какая дополнительная информация требуется.

Ответ 1

Было бы полезно разработать следующую информацию: установлены ли все стандартные требования, т.е. ulimit, swappiness? Как выглядит состояние диска? В какой ОС вы работаете? Если ОС основана на RPM, у вас есть прозрачные огромные страницы? У вас есть какие-либо JVM-паузы в журналах регистров сервера?

Я бы начал с установки swappiness на 0. В зависимости от вашей ОС это часто может устранить такие непонятные проблемы, как это.

Кроме того, попробуйте запустить этот script и опубликовать результаты.