Сегментация объектов с функцией дообучения

Рассматриваются способы расширения набора распознаваемых классов объектов для задачи их сегментирования, где необходимо построить маску объекта, а также узнать его класс. Для первой задачи использованы методы, не зависящие от классов предметов и являющиеся наиболее устойчивыми к изменениям формы; для второй задачи проанализированы методы, основанные на итеративном обучении (iterative learning), и методы метрического обучения (metric learning). Второй подход выбран в качестве основного, и для него протестированы различные архитектуры нейронных сетей. Проведена классификация объектов с использованием алгоритма k ближайших соседей. В качестве набора данных для обучения нейронной сети использован набор COIL-100, а после обученная модель протестирована на собственном наборе данных. Проведенные эксперименты показывают, что используемый метод позволяет обрабатывать 7-8 изображений в секунду на видеокарте GTX 1050 ti с 4 Гбайт видеопамяти с точностью классификации в 99 %.

1. Krizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks // Advances in Neural Information Processing Systems / Ed.: F. Pereira, C. J. C. Burges, L. Bottou, K. Q. Weinberger. Curran Associates Inc., 2012. Vol. 25. P. 1097—1105.

2. Deep Residual Learning for Image Recognition / Kaiming He, Xi-Angyu Zhang, Shaoqing Ren, Jian Sun // CoRR. 2015. Vol. ab-s/1512.03385. [Электронный ресурс]: http://arxiv.org/abs/1512.03385.

3. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications / A. G. Howard, Menglong Zhu, Bo Chen et al. // CoRR. 2017. Vol. abs/1704.04861. [Электронный ресурс]: http://arxiv.org/abs/1704.04861.

4. Mask R-CNN / Kaiming He, G. Gkioxari, P. Doll ar, R. B. Girshick // CoRR. 2017. Vol. abs/1703.06870. [Электронный ресурс]: http://arxiv.org/abs/1703.06870.

5. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks / Shaoqing Ren, Kaiming He, R. Girshick, Jian Sun // Advances in Neural Information Processing Systems / Ed.: C. Cortes, N. Lawrence, D. Lee et al. Curran Associates Inc., 2015. Vol. 28. P. 91—99. [Электронный ресурс]: https://proceedings.neurips.cc/paper/2015/file/14bfa6bb14875e45bba028a21ed38046-Paper.pdf.15.

6. Kirkpatrick J., Pascanu R., Rabinowitz N. et al. Overcoming catastrophic forgetting in neural networks // Proc. of the National Academy of Sciences. 2017. N 114(13). P. 3521—3526.

7. Zenke F., Poole B., Ganguli S. Continual Learning Through Synaptic Intelligence // Proc. of the 34th Intern. Conf. on Machine Learning. Sydney, Australia. 2017. Vol. 70. P. 3987—3995,

8. Lomonaco V., Maltoni D. CORe50: A New Dataset and Benchmark for Continuous Object Recognition // Proc. of the 1st Annual Conf. on Robot Learning. PMLR. 2017. Vol. 78. P. 17—26.

9. Progressive Neural Networks / A. A. Rusu, N. C. Rabinowitz, G. Desjardins, H. Soyer, J. Kirkpatrick, K. Kavukcuoglu, R. Pascanu, R. Hadsell. // arXiv preprint arXiv:1606.04671, 2016.

10. Hayes T. L., Cahill N. D., Kanan C. Memory Efficient Experience Replay for Streaming Learning // arXiv preprint arXiv:1809.05922, 2018.

11. Rebuffi S. A., Kolesnikov A., Sperl G., Lampert C. H. iCaRL: Incremental Classifier and Representation Learning // IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Honolulu, Hawaii. 2017.

12. Hoffer E., Nir A. Deep metric learning using Triplet network // Intern. Workshop on Similarity-Based Pattern Recognition. Springer, Cham, 2015.

13. Columbia Object Image Library (COIL-100) / S. A. Nene, S. K. Nayar, H. Murase. // Tech. Report CUCS-006-96. 1996. February.

14. Wu Yuxin. Detectron2, 2019. [Электронный ресурс]: https://github.com/facebookresearch/detectron2.

15. Pytorch: An Imperative Style, High-Performance Deep Learning Library / A. Paszke, S. Gross, F. Massa et al. // Advancesin Neural Information Processing Systems 32 / Ed.: H. Wallach,H. Larochelle, A. Beygelzimer et al. Curran Associates Inc., 2019. P. 8024—8035.

16. Musgrave K. ., Belongie S., Lim S.-N. Pytorch metric learning // arXiv preprint, arXiv:2008.09164, 2020.