Разделить текстовые строки в отсканированном документе

Я пытаюсь найти способ разбить строки текста в сканированном документе, который был адаптивным пороговым. Прямо сейчас я сохраняю значения пикселей документа как unsigned ints от 0 до 255, и я беру среднее количество пикселей в каждой строке, и я разделял линии на диапазоны в зависимости от того, является ли среднее значение пикселей равным больше 250, а затем я принимаю медиану каждого диапазона линий, для которых это выполняется. Однако эти методы иногда терпят неудачу, так как на изображении могут быть черные пятна.

Есть ли более устойчивый к шумам способ выполнения этой задачи?

EDIT: Вот какой код. "warped" - это имя исходного изображения, "разрезы" - это то, где я хочу разбить изображение.

warped = threshold_adaptive(warped, 250, offset = 10)
warped = warped.astype("uint8") * 255

# get areas where we can split image on whitespace to make OCR more accurate
color_level = np.array([np.sum(line) / len(line) for line in warped])
cuts = []
i = 0
while(i < len(color_level)):
    if color_level[i] > 250:
        begin = i
        while(color_level[i] > 250):
            i += 1
        cuts.append((i + begin)/2) # middle of the whitespace region
    else:
        i += 1

ИЗМЕНИТЬ 2: Образец добавлен введите описание изображения здесь

ОТВЕТЫ

Ответ 1

С вашего входного изображения вам нужно сделать текст белым, а фон - черным

введите описание изображения здесь

Затем вам нужно вычислить угол поворота вашего счета. Простой подход - найти minAreaRect всех белых точек (findNonZero), и вы получите:

введите описание изображения здесь

Затем вы можете повернуть свой счет, чтобы текст был горизонтальным:

введите описание изображения здесь

Теперь вы можете вычислить горизонтальную проекцию (reduce). Вы можете взять среднее значение в каждой строке. Примените порог th на гистограмме, чтобы учесть некоторый шум на изображении (здесь я использовал 0, то есть без шума). Линии с только фоном будут иметь значение >0, текстовые строки будут иметь значение 0 в гистограмме. Затем возьмите среднюю координату бина каждой непрерывной последовательности белых бункеров на гистограмме. Это будет координата y ваших линий:

введите описание изображения здесь

Вот код. Это в С++, но поскольку большая часть работы связана с функциями OpenCV, она должна быть легко конвертируемой в Python. По крайней мере, вы можете использовать это как ссылку:

#include <opencv2/opencv.hpp>
using namespace cv;
using namespace std;

int main()
{
    // Read image
    Mat3b img = imread("path_to_image");

    // Binarize image. Text is white, background is black
    Mat1b bin;
    cvtColor(img, bin, COLOR_BGR2GRAY);
    bin = bin < 200;

    // Find all white pixels
    vector<Point> pts;
    findNonZero(bin, pts);

    // Get rotated rect of white pixels
    RotatedRect box = minAreaRect(pts);
    if (box.size.width > box.size.height)
    {
        swap(box.size.width, box.size.height);
        box.angle += 90.f;
    }

    Point2f vertices[4];
    box.points(vertices);

    for (int i = 0; i < 4; ++i)
    {
        line(img, vertices[i], vertices[(i + 1) % 4], Scalar(0, 255, 0));
    }

    // Rotate the image according to the found angle
    Mat1b rotated;
    Mat M = getRotationMatrix2D(box.center, box.angle, 1.0);
    warpAffine(bin, rotated, M, bin.size());

    // Compute horizontal projections
    Mat1f horProj;
    reduce(rotated, horProj, 1, CV_REDUCE_AVG);

    // Remove noise in histogram. White bins identify space lines, black bins identify text lines
    float th = 0;
    Mat1b hist = horProj <= th;

    // Get mean coordinate of white white pixels groups
    vector<int> ycoords;
    int y = 0;
    int count = 0;
    bool isSpace = false;
    for (int i = 0; i < rotated.rows; ++i)
    {
        if (!isSpace)
        {
            if (hist(i))
            {
                isSpace = true;
                count = 1;
                y = i;
            }
        }
        else
        {
            if (!hist(i))
            {
                isSpace = false;
                ycoords.push_back(y / count);
            }
            else
            {
                y += i;
                count++;
            }
        }
    }

    // Draw line as final result
    Mat3b result;
    cvtColor(rotated, result, COLOR_GRAY2BGR);
    for (int i = 0; i < ycoords.size(); ++i)
    {
        line(result, Point(0, ycoords[i]), Point(result.cols, ycoords[i]), Scalar(0, 255, 0));
    }

    return 0;
}

Ответ 2

Основные шаги как @Miki,

  1. прочитать источник
  2. обмолачивают
  3. найти minAreaRect
  4. деформация по вращающейся матрице
  5. найти и нарисовать верхнюю и нижнюю границы

enter image description here

Хотя код в Python:

#!/usr/bin/python3
# 2018.01.16 01:11:49 CST
# 2018.01.16 01:55:01 CST
import cv2
import numpy as np

## (1) read
img = cv2.imread("img02.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

## (2) threshold
th, threshed = cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY_INV|cv2.THRESH_OTSU)

## (3) minAreaRect on the nozeros
pts = cv2.findNonZero(threshed)
ret = cv2.minAreaRect(pts)

(cx,cy), (w,h), ang = ret
if w>h:
    w,h = h,w
    ang += 90

## (4) Find rotated matrix, do rotation
M = cv2.getRotationMatrix2D((cx,cy), ang, 1.0)
rotated = cv2.warpAffine(threshed, M, (img.shape[1], img.shape[0]))

## (5) find and draw the upper and lower boundary of each lines
hist = cv2.reduce(rotated,1, cv2.REDUCE_AVG).reshape(-1)

th = 2
H,W = img.shape[:2]
uppers = [y for y in range(H-1) if hist[y]<=th and hist[y+1]>th]
lowers = [y for y in range(H-1) if hist[y]>th and hist[y+1]<=th]

rotated = cv2.cvtColor(rotated, cv2.COLOR_GRAY2BGR)
for y in uppers:
    cv2.line(rotated, (0,y), (W, y), (255,0,0), 1)

for y in lowers:
    cv2.line(rotated, (0,y), (W, y), (0,255,0), 1)

cv2.imwrite("result.png", rotated)

Наконец, результат:

enter image description here