ScaleSense: удосконалений метод автоматичного визначення масштабу лінійки на зображеннях для вирішення завдання оцінювання геометричних розмірів певних об'єктів

Abstract

Виявлення відповідності пікселів реальним одиницям на зображенні є важливим кроком для подальшого аналізу геометричних характеристик об'єктів. Запропоновано удосконалений ітераційний метод для автоматичного визначення масштабу лінійки на зображенні, який базується на розпізнаванні цифр. Розроблено та протестовано отримані результати на зображеннях із біомедичної сфери. Встановлено можливість застосування методу і до інших галузей, зокрема тих, які згадані у проаналізованих схожих дослідженнях – криміналістиці, ветеринарії, музейній справі тощо. Проаналізовано першу версію методу та встановлено і виправлено деякі важливі недоліки в його алгоритмах, що зокрема дало змогу ефективніше опрацьовувати зображення із лінійками, що містять двоцифрові числа. Навчено та інтегровано у метод нову версію моделі для розпізнавання цифр – YOLOv7, що дало змогу виправити проблеми із оберненими зображеннями. Збільшено кількість опрацьованих методом зображень до 90 %. Досліджено альтернативні методи групування тестових сегментів, що є фінальним кроком методу. Опрацьовано експериментальні дані при застосуванні різних методів групування (кластеризація DBSCAN (англ. Density-Based Spatial Clustering of Applications With Noise), медіана, модифікований z-критерій та міжквартильний розмах) та похибки, порівняно із вручну виміряними значеннями. Отримано медіану похибки 4,2-4,4 %, у разі використання медіани та кластеризації методом DBSCAN, а при окремих конфігураціях методу DBSCAN – 3,1-3,7 %. Розроблено вебсторінку з демонстраційною версією методу для залучення більшої кількості даних та практичного використання методу у вирішенні реальних завдань. Надано можливість вибору одного з чотирьох методів групування та їх параметрів (для DBSCAN) та зображення для тестування методу. Реалізовано візуалізацію випадкового тестового сегменту на завантаженому зображенні для зручнішого суб'єктивного оцінювання отриманого результату користувачем. Запропоновано: провести додаткове навчання моделей виявлення цифр; реалізувати підтримку опрацювання чисел, з будь-якою кількістю цифрових символів; врахувати деякі з підходів, використаних в аналогічних методах; реалізувати REST API для виклику методу.