Российские исследователи из «Сколтеха» научили нейросеть распознавать облака, их тени и снежные участки на спутниковых снимках. Такой подход не потребует дополнительного участия человека в аннотировании данных, а точность распознавания сложных погодных структур на изображениях повысится. 

Авторы предложили подход под названием CSIA — Climate Structures Inpainting Augmentations. Принцип его работы заключается в следующем: нейросеть добавляет на исходные снимки реалистичные климатические фрагменты в те области, где такие явления отсутствуют, что искусственно увеличивает объём тренировочных данных. «Мы искусственно расширяем выборку и учим нейросеть не путаться, когда ей встречаются редкие или сложные для сегментации явления. Наш метод помогает моделям точнее понимать геометрию и оптику климатических объектов, что особенно важно при анализе больших регионов и редких погодных феноменов», — комментирует руководитель исследовательской группы в Центре ИИ Сколтеха Светлана Илларионова.

Работа открывает возможности для более точной сегментации в самых разных сферах применения — от климатического мониторинга обширных регионов до экологических проектов и задач сельского хозяйства. Так, например, разработка позволяет даже для северных регионов, где часто отмечается облачная погода, эффективно анализировать лесной массив, его характеристики и изменения, учитывая влияние климатических структур на изображениях. Исследователи планируют продолжить развитие метода, адаптируя его к другим типам данных дистанционного зондирования и внедряя дополнительные механизмы генерации с учётом сезонных и погодных изменений.