Източник: Text Finder
Как да се справим с разпределени архиви на изображения за Scalable OCR Search

Как да се справим с разпределени архиви на изображения за Scalable OCR Search

Търсенето и обработката на масивни, разпределени архиви на изображения за текст е предизвикателство за предприятията, правителствата и облачните платформи. Aspose.OCR Image Text Finder за .NET е изграден за мащаб, но правилната архитектура е ключът.

Реални световни проблеми

Архивите могат да се разпространяват по сървъри на файлове, облачно съхранение или отдалечени офиси. еднократните работни места са твърде бавни. Необходими са скалиращи, разпределени работни потоци – без да губят трафик от резултати или одитни записи.

Преглед на решението

Разделяйте архивите си, изпълнявайте паралелни или разпределени работни места на OCR, агрегирайте резултатите и автоматизирайте с инструменти за оркестрация.

Предупреждения

  • Visual Studio 2019 или по-късно
  • .NET 6.0 или по-късно
  • ASPOSE.OCR за .NET от NuGet
  • Инфраструктура за разпределена обработка (VM, контейнери, Azure Batch и т.н.)
PM> Install-Package Aspose.OCR

Стъпка по стъпка изпълнение

Стъпка 1: Оценка на архивите и инфраструктурата

  • Проверка на местоположението за съхранение на изображения (локално / мрежа / облак)
  • Определяне на паралелизираните нужди и границите на хардуера

Стъпка 2: Разделителни изображения за паралелни/разпределени работни места 

string[] allFiles = Directory.GetFiles("/mount/networkshare", "*.png", SearchOption.AllDirectories);
var partitions = allFiles.Select((file, idx) => new { file, idx })
                        .GroupBy(x => x.idx % 4) // 4 worker nodes/jobs
                        .Select(g => g.Select(x => x.file).ToArray())
                        .ToArray();

Стъпка 3: Процесът на разделяне на всяка партиция (може да бъде паралелно) 

RecognitionSettings settings = new RecognitionSettings();
settings.Language = Language.English;
AsposeOcr ocr = new AsposeOcr();
foreach (var file in partitions[workerIndex]) // assign index per worker/job
{
    // OCR and log
}

Стъпка 4: Проследяване и агрегиране на резултатите

  • Съхраняване на записи/резултати в споделен каталог или централна база данни
  • Използване на атомни писма или DB транзакции

Стъпка 5: Оркестрирани и автоматизирани работни места

  • Използвайте Azure Batch, Kubernetes или планирани Windows/Linux услуги
# Example: PowerShell job launcher
foreach ($worker in 0..3) {
    Start-Process "dotnet" "run --workerIndex $worker"
}

Стъпка 6: Преодоляване на грешки и възстановяване

  • Регистриране на грешки отделно по работа/нод
  • Изтегляне на неуспешни файлове автоматично

Стъпка 7: Допълнителен разпределен пример (псеудо-код) 

// Each worker runs this
foreach (var file in myPartition)
{
    try
    {
        // OCR search, save result
    }
    catch (Exception ex)
    {
        File.AppendAllText($"error_log_{workerIndex}.txt", $"{file},{ex.Message}\n");
    }
}
// After jobs finish, aggregate all result logs centrally

Използване на случаи и приложения

Национални / Enterprise Архиви

Процесирайте милиони скенирани документи за седмици, а не за месеци.

Облачно/хибридно съхранение

Непрекъснато OCR съдържание в локално, S3, Azure или мрежово съхранение.

Научни изследвания и правни открития

Скалиране до изпълнение на регулаторни, съдебни или FOIA срокове.

Съвместни предизвикателства и решения

Предизвикателство 1: Нод или мрежови провали

Решение: Автоматично оттегляне, проверка и солидна агрегация на грешки.

Предизвикателство 2: Разпределено записване и събиране на резултати

Решение: Използвайте DB, облак или атомни писма за споделено съхранение.

Предизвикателство 3: Ботленекс в големи комплекти

Решение: Баланс раздели, тониране на настройките на OCR и мониторинг на производителността.

Преглед на изпълнението

  • Мониторинг на използването на ресурсите и скалиране на работниците нагоре / надолу, ако е необходимо
  • Използване на облачни инструменти (Azure Batch, AWS Bath, GCP Dataflow и т.н.) за еластична скала

Най-добрите практики

  • Тест на паралелни работни места на малък набор първо
  • Автоматичен мониторинг, възстановяване и агрегация на записи
  • Защита на всички данни по време на почивка и транзит
  • Резултати от одита и грешки за съответствие

Разширени сценарии

Сценарий 1: Orchestrating Multi-Cloud или Hybrid OCR Jobs

Разпределяне на работни места в пресни и облачни възли в световен мащаб.

Сценарий 2: Интеграция на API/Webhook в реално време

Trigger бач работни места от upstream системи (DMS, имейл, изтегляния).

заключение

ASPOSE.OCR Image Text Finder е готов за най-големите и сложни архиви.С разпределена обработка, автоматизация и солидно управление на грешките, можете да отговаряте на изискванията на съответствие, изследвания или бизнес на всяка мащаб.

See Aspose.OCR за .NET API Референт За по-разпространени примери за работа.

 Български