ADVERSARIAL LEARNING IN IMAGE SEGMENTATION

Abstract

В статье рассматриваются методы нейронных сетей для сегментации изображений транспортных средств. Метод. Использовалось 3 нейронных сети: сверточная нейронная сеть (CNN), специализированные глубокие сверточные сети (TDCNN), сеть CowOut/CowMix, а также генеративно-состязательная сеть (GAN). В качестве объектов исследования были выбраны изображения автомобилей, автобусов, мотоциклов и велосипедов. Для обучения использовали разное количество изображений из выборки: от 30 до 300. Результаты работы.Все испытуемые модели показывают высокий процент эффективности. Значения показателей значительно увеличиваются с ростом количества данных для обучения во всех случаях. Минимальные результаты наблюдались при использовании типичной модели CNN и других нейронных сетей, тогда как генеративно-состязательная была наиболее результативной. В конечном итоге, показатели для классов «автомобиль», «автобус», «велосипед» и «мотоцикл» соответственно: IoU = 70,9%, 71,2%, 65,7%, 70,4%; dice = 96,0%, 97,3%, 94,7%, 96,7%; precision = 85,2%, 85,4%, 78,9%, 82,4%; specificity = 79,5%, 79,2%, 68,9%, 75,2%; accuracy = 80,3%, 80,3%, 75,3%, 79,7%. Выводы. Таким образом, применение состязательной сети является эффективным методом сегментации изображений транспортных средств, особенно автомобилей и автобосув, что может быть использовано в машинном зрении. This article discusses different methods of vehicle image segmentation based on neural network. A total of four neural networks were employed: the Convolutional Neural Network (CNN), the Tailored Deep Convolutional Neural Network (TDCNN), the CowOut/CowMix Network, and the Generative Adversarial Network (GAN). The dataset contained images of cars, buses, motorcycles and bicycles. The training datasets comprised 30 to 300 images. All models under testing show high efficiency. As the training data size increased, the values of the indicators also increased significantly; this is true for all cases. The typical CNN model and other neural networks performed poorer than the GAN model, which proved to be the most effective. For the datasets “car”, “bus”, “bicycle” and “motorcycle”, the following indicators were obtained: IoU = 70.9%, 71.2%, 65.7%, and 70.4%; dice = 96.0%, 97.3%, 94.7%, and 96.7%; precision = 85.2%, 85.4%, 78.9%, and 82.4%; specificity = 79.5%, 79.2%, 68.9%, and 75.2%; accuracy = 80.3%, 80.3%, 75.3%, and 79.7%, respectively. Based on the research, adversarial training is an effective method to segment out vehicles, especially cars and trucks, which can be used in machine vision.