Как автоматизировать обработку документов при помощи искусственного интеллекта

Сегодня мы расскажем, в чем суть технологии OCR, и как мы использовали ее для повышения точности считывания данных с документов.

Финансовая сфера сейчас активно развивается, поэтому банки, страховые и другие компании из этой области привлекают все больше клиентов. Это влечет за собой увеличение документооборота, вместе с чем растут затраты на бэк-офис, сотрудники которого обрабатывают множество договоров. Чтобы минимизировать затраты на ручной труд и повысить точность внесенных данных, можно делегировать рутинные процессы искусственному интеллекту.

Суть технологии OCR

Optical Character Recognition – технология для оптического распознавания данных. Ее суть сводится к разделению найденного изображения на отдельные поля, из которых система извлекает нужную информацию. Например, в программу загружается скан паспорта. Система в течение секунды выделяет поля с ФИО, датой рождения, номером документа и т. д. Затем программа заносит считанные данные в электронный шаблон договора, заявки, CRM. При этом алгоритм OCR извлекает информацию гораздо быстрее и с меньшей вероятностью ошибки, чем человек.

В реальной жизни OCR можно использовать для:

• автоматического заполнения шаблонов счетов в личном кабинете онлайн-банка;
• считывания банковских карт;
• внесения данных в CRM;
• проверки информации о клиенте в разных источниках;
• моментального считывания информации с паспорта, водительских прав и других личных документов.

Например, разберем схему оформления заявки на кредит при помощи искусственного интеллекта. Вы загружаете скан или фото нужных страниц паспорта. При этом вам не надо ехать в отделение банка и стоять в очередях: подать заявку можно из любого места, где есть ноутбук, телефон или другое устройство с доступом к интернету. Система автоматически считывает данные и отправляет заявку в банк, который обрабатывает ее и дает ответ.

Точность распознавания данных

Одна из первых вариаций OCR была создана в США в 50-х годах 19 века. До разработки алгоритма Dbrain на рынке уже были представлены разные варианты систем для распознавания данных. В большинстве случаев их точность обычно не превышала 85%. Мы проанализировали ошибки и недочеты уже существующих технологий.

Как оказалось, представленные на рынке алгоритмы не могли справиться с обработкой документов, на которых присутствуют засвеченные места, заломы и другие дефекты. Системе зачастую было сложно распознавать фотографии, сделанные на телефон. После анализа основных проблем существующих технологий был разработан алгоритм, обученный считывать информацию даже с документов с визуальными дефектами. Считанный текст прогоняется через программу на основе ИИ, которая исправляет ошибки. Этот принцип напоминает автоисправление в системе Google.

Концепция human-in-the-loop и безопасность данных

После извлечения текста программа передает его на проверку специалистам. Квалифицированные разметчики вручную проверяют точность выполнения задачи системой, указывая на возможные ошибки. В дальнейшем обученная нейросеть может самостоятельно распознавать данные. Симбиоз компьютерной программы и человека позволяет повысить точность считывания информации до 99%. При этом специалист может научить систему распознавать не только печатные, но и рукописные тексты.

Так как мы работаем по концепции human-in-the-loop, нам нужно обеспечить максимальную безопасность передачи данных. С этой целью мы исключили хранение личной информации о клиентах на наших серверах. При считывании данных с документов система размывает фото и предоставляет информацию таким образом, что невозможно определить, к какому человеку она относится. Поля распознаются по-отдельности, шифруются по протоколу HTTPS и отправляются обратно клиенту. На этот процесс система тратит около секунды. Подключается технология через интерфейс REST API, который поддерживается большинством систем.

Что мы получаем в итоге

При обучении нейросети специалистами мы добились возможности распознавать рукописный текст и научили алгоритм ранжировать разные виды документов. Это позволило расширить возможности систем для автоматизации рутинных процессов. Доверяя задачи по обработке данных программе на основе ИИ, можно не бояться за безопасность и точность считанных данных. Технология Dbrain применима в разных сферах. Ранее мы рассказывали о кейсах по разработке мобильных и интернет-платформ для российских банков. В следующих публикациях поделимся другими идеями по использованию алгоритма на основе ИИ.