Платформа Dbrain
Платформа Dbrain
Блокчейн-платформа Dbrain создана для автоматизации процессов по средствам RPA - алгоритм применяется в банковском и финансовых секторах экономики
Read 2 minutes

Значение разметки данных при обучении нейросетей

80% программ на основе искусственного интеллекта составляют загруженные в систему данные. Так как нейросети изначально не умеют анализировать информацию, их обучают люди. Суть машинного обучения сводится к разметке данных специалистами, в процессе которой система запоминает отмеченные ответы и в дальнейшем будет их распознавать самостоятельно.

Image for post

Принцип разметки картинок

Процесс обучения нейросетей имеет сходство с тем, как родители учат своего ребенка различать предметы, животных, цвета и т. п. Детям гораздо проще показать фото кота или собаки, чем долго объяснять их различия. По этому же принципу происходит обучение нейросетей:

  1. В систему загружаются данные, которые программа должна запомнить.
  2. Разметчики отмечают каждый отдельный элемент из массива информации (изображение на картинке, графические/буквенные символы и т. д.).
  3. Система запоминает отмеченные данные.
  4. Если программа выдает ошибку, разметчик указывает на нее и исправляет неточности. Так происходит до тех пор, пока нейросеть не будет выдавать результат с нужной точностью (в случае с алгоритмом Dbrain мы добивались этого показателя не ниже 99%).

В разработке программ на основе ИИ разметка данных считается наиболее трудоемким процессом, на который уходит много времени. Чтобы сэкономить ресурсы, мы при создании алгоритма Dbrain придерживались концепции human-in-the-loop. Задействование специалистов для разметки данных позволяет изобретать сверхточные программы, за считанные секунды распознающие лица людей, считывающие информацию с документов, определяющие злокачественные опухоли и т. п.

Кто участвует в процессе разметки данных

Заказчики. Массивы данных для обработки загружают клиенты, для которых мы создаем программы по автоматизации процессов. Заказчик выбирает, по какому принципу исполнители должны размечать предоставленную информацию: классифицировать, сегментировать, вводить текст.

Исполнители. В случае с Dbrain эту роль играют простые пользователи интернета, которых мы привлекаем на платформу для разметки картинок. Разметчики получают оплату за обработку информации, размер которой зависит от правильности выполнения заданий и их сложности. Например, если необходимо работать со сложными тематиками (китайскими иероглифами, медицинскими понятиями и т. п.), мы привлекаем специалистов из нужной сферы. В среднем, чек за 1 час работы составляет около $3.

Разработчики программ. Качество работы исполнителей оценивает алгоритм, который автоматически определяет затраченное на разметку время и правильность выполнения задачи. Затем результаты обработки данных внедряются в программы на основе ИИ.

Пример нашего кейса: молочная ферма

Один из интересных кейсов, над которым нам довелось поработать, - создание нейросети для мониторинга здоровья коров на молочной ферме. Так, для получения молока высокого качества фермерам нужно отслеживать состояние животных и вовремя выявлять проблемы. Так как людям сложно уследить за всеми коровами на ферме, мы создали автоматизированную программу, предварительно разметив более 140 тыс. изображений.

В первую очередь разметчики обводили коров на картинках, чтобы нейросеть научилась отличать их от других животных. Затем определяли количество объектов, их действия (стоит, лежит, ест и т. д.).

Image for post

В результате была разработана система, которая по видео распознает отклонения в поведении коров от нормы. Программа подает сигнал, если животное мало ест или слишком долго лежит. На основе визуального анализа нейросеть также способна прогнозировать состояние каждой отдельно взятой коровы на ближайшее будущее.

Заключение

Сервис для разметки картинок создавался исключительно для подготовки данных для обучения нейронных сетей. Это позволило нам обрабатывать информацию максимально быстро, точно и с минимальной тратой времени и финансов.

6 views
Add
More
Платформа Dbrain
Блокчейн-платформа Dbrain создана для автоматизации процессов по средствам RPA - алгоритм применяется в банковском и финансовых секторах экономики
Follow