Методы слияния гиперспектральных и мультиспектральных изображений на основе попиксельных спектральных преобразований и цикловой согласованности
Министерство науки и высшего образования Российской Федерации, Отбор на предоставление грантов в форме субсидий из федерального бюджета на проведение крупных научных проектов по приоритетным направлениям научно-технологического развития, 075-15-2024-557
Ходырев Р.Р.
1, Баженов С.А.
1, Кабанова Т.В.
1, Вражнов Д.А.
1, Кистенев Ю.В.
11Национальный исследовательский Томский государственный университет, Томск, Россия

Email: hodarev.ruslan@mail.ru, bazhenov.stepan1@gmail.com, tvk@bk.ru, vda@iao.ru, yuk@iao.ru
Поступила в редакцию: 5 декабря 2025 г.
В окончательной редакции: 12 января 2026 г.
Принята к печати: 27 марта 2026 г.
Выставление онлайн: 8 июня 2026 г.
Представлены два подхода к слиянию гиперспектральных и мультиспектральных изображений. Первый подход основан на модуле WMatrixGenerator, генерирующем попиксельные матрицы спектрального преобразования с квадратичной коррекцией. Второй подход использует архитектуру HSIMSICycleGAN с цикловой согласованностью и физически мотивированными потерями. Экспериментальная оценка показала конкурентоспособность предложенных методов по метрикам PSNR, SSIM, SAM и ERGAS на наборе данных Real HSI/MSI/PAN. Методы работают на парных наблюдениях гиперспектральных и мультиспектральных изображениях одной сцены, но не требуют эталонных данных высокого пространственного разрешения. Ключевые слова: слияние изображений, гиперспектральные изображения, мультиспектральные изображения, глубокое обучение, неотрицательные наименьшие квадраты, CycleGAN, дистанционное зондирование, нейронные сети.
- Hyperspectral Data Exploitation: Theory and Applications, ed. by C.I. Chang (John Wiley \& Sons, 2007). DOI: 10.1002/9780470124628.ch3
- T. Adao, J. Hruv ska, L. Padua, J. Bessa, E. Peres, R. Morais, J.J. Sousa. Remote Sensing, 9 (11), 1110 (2017). DOI: 10.3390/rs9111110
- G. Avola, A. Matese, E. Riggi. Remote Sensing, 15 (7), 1917 (2023). DOI: 10.3390/rs15071917
- S. Du, Y. Zou, Z. Wang, X. Li, Y. Li, C. Shang, Q. Shen. arXiv:2412.04802, (2024). DOI: 10.48550/arXiv.2412.04802
- J. Yang, L. Xiao, Y.-Q. Zhao, J.C.-W. Chan. IEEE Transactions on Neural Networks and Learning Systems, 35 (9), 13017-13031 (2024). DOI: 10.1109/TNNLS.2023.3266038
- J. Liu, Z. Wu, L. Xiao, X.-J. Wu. IEEE Transactions on Geoscience and Remote Sensing, 60, 1-12 (2021). DOI: 10.1109/TGRS.2022.3143156
- K. Zheng, L. Gao, W. Liao, D. Hong, B. Zhang, X. Cui. IEEE Transactions on Neural Networks and Learning Systems, 59 (3), 2487-2502 (2021). DOI: 10.1109/TGRS.2020.3006534
- J. Yao, D. Hong, J. Chanussot, D. Meng, X. Zhu, Z. Xu. European Conference on Computer Vision (Cham: Springer International Publishing, 2020), p. 208-224. DOI: 10.1007/978-3-030-58526-6_13
- Y. Qu, H. Qi, C. Kwan. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2511-2520 (2018). DOI: 10.48550/arXiv.1904.12175
- S. Li, R. Dian, L. Fang, J.M. Bioucas-Dias. IEEE Transactions on Image Processing, 2018. DOI: 10.1109/TIP.2018.2836307
- M. Simoes, J. Bioucas-Dias, L.B. Almeida, J. Chanussot. IEEE Transactions on Geoscience and Remote Sensing, 2015. DOI: 10.1109/TGRS.2014.2375320
- W. Dong, F. Fu, G. Shi, X. Cao, J. Wu, G. Li, X. Li. IEEE Transactions on Image Processing, 2016. DOI: 10.1109/TIP.2016.2542360
- J. Yang, L. Xiao, Y. Zhao, J.C.-W. Chan. IEEE Transactions on Neural Networks and Learning Systems. 35 (9), 13017-13031 (2023). DOI: 10.1109/TNNLS.2023.3266038
- B. Li, X. Wang, H. Xu. arXiv:2409.06705, 2024. DOI: 10.48550/arXiv.2409.06705
- H. Wang, Y. Xu, Z. Wu, Z. Wei. IEEE Transactions on Neural Networks and Learning Systems, 2024. DOI: 10.1109/TNNLS.2024.3457781
- K. Yang, M. Bai, T. Lu. arXiv preprint arXiv:2407.05279, 2024. DOI: 10.48550/arXiv.2407.05279
- L. Wald. Data Fusion: Definitions and Architectures: Fusion of Images of Different Spatial Resolutions (Presses des MINES, 2002)
- R.A. Schowengerdt. Remote Sensing: Models and Methods for Image Processing, 3rd ed. (Academic Press, London, 2006)
- A. Hore, D. Ziou. 20th International Conference on Pattern Recognition. IEEE, 2366-2369 (2010). DOI: 10.1109/ICPR.2010.579
- Z. Wang, A.C. Bovik, H.R. Sheikh, E.P. Simoncelli. IEEE Transactions on Image Processing, 13 (4), 600-612 (2004). DOI: 10.1109/TIP.2003.819861
- R.H. Yuhas, A.F.H. Goetz, J.W. Boardman. JPL, Summaries of the Third Annual JPL Airborne Geoscience Workshop, vol. 1: AVIRIS Workshop (1992)
- K. Kolikov, G. Krastev, Y. Epitropov, D. Hristozov. Chemometrics and Intelligent Laboratory Systems, 102 (1), 15-19 (2010). DOI: 10.1016/j.chemolab.2010.03.001
- G.H. Golub, C.F. Van Loan. Matrix Computations, 4th ed. (Baltimore, MD, 2013). DOI: 10.56021/9781421407944
- G. Strang. Introduction to Linear Algebra (Wellesley-Cambridge Press, 2022). DOI: 10.1137/1.9781733146678
- K. He, X. Zhang, S. Ren, J. Sun. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), p. 770-778 (2016). DOI: 10.1109/CVPR.2016.90
- J.-Y. Zhu, T. Park, P. Isola, A. Efros. Proceedings of the IEEE International Conference on Computer Vision, 2223-2232 (2017). DOI: 10.1109/ICCV.2017.244
- Z. Salahuddin, H.C. Woodruff, A. Chatterjee, P. Lambin. Computers in Biology and Medicine, 140, 105111 (2022). DOI: 10.1016/j.compbiomed.2021.105111
- M. Yako. Optical Review, 1-13 (2025). DOI: 10.1007/s10043-025-01001-x
- M.M. Antony, C.S.S. Sandeep, H.-T. Lim, M.V. Matham. J. Biomedical Photonics \& Engineering, 9 (3), 030304 (2023). DOI: 10.18287/JBPE23.09.030304
- I.A. Bratchenko, V.P. Sherendak, O.O. Myakinin, D.N. Artemyev, A.A. Moryatov, E. Borisova, L. Avramov, L.A. Zherdeva, A.E. Orlov, S.V. Kozlov, V.P. Zakharov J. Biomedical Photonics \& Engineering, 4 (1), 5-12 (2018). DOI: 10.18287/JBPE17.04.010301
- B.V. Grechkin, V.O. Vinokurov, Y.A. Khristoforova, I.A. Matveeva. J. Biomedical Photonics \& Engineering, 9 (4), 50-55 (2023). DOI: 10.18287/JBPE23.09.040304
- I.A. Bratchenko, O.O. Myakinin, V.P. Sherendak, P.N. Volkhin, Y.A. Khristoforova, L.A. Bratchenko, D.N. Artemyev, A.A. Moryatov, O.V. Polschikova, A.S. Machikhin, V.E. Pozhar, S.V. Kozlov, V.P. Zakharov. J. Biomedical Photonics \& Engineering, 4 (4), 040301 (2018). DOI: 10.18287/JBPE18.04.040301
- Z. Lai, Y. Fu, J. Zhang. IEEE Transactions on Neural Networks and Learning Systems, 2024. DOI: 10.1109/TNNLS.2023.3340561
Подсчитывается количество просмотров абстрактов ("html" на диаграммах) и полных версий статей ("pdf"). Просмотры с одинаковых IP-адресов засчитываются, если происходят с интервалом не менее 2-х часов.
Дата начала обработки статистических данных - 27 января 2016 г.