Где берет погоду Яндекс?
Яндекс Погода получает данные с метеостанций и спутников. Чтобы повысить точность прогноза, сервис использует подробные данные от Яндекс Карт о типе подстилающей поверхности. Сервис строит собственный прогноз по прогностической модели.
Откуда берут данные о погоде?
Насколько их прогнозы точны? Данные они берут из метеорологических агентств, в основном американских и европейских.
Как Яндекс предсказывает погоду?
Спутники размещаются на геостационарной орбите и фотографируют Землю из космоса — на их снимках видны зоны облачности. По данным с радаров и спутников составляется карта осадков. Это краткосрочный прогноз, с помощью которого можно с точностью до минут понять, когда начнётся и когда закончится дождь.
Как Яндекс определяет дождь?
Яндекс Погода рассчитывает прогноз осадков на основании данных, которые поступают с метеорадаров и спутника. Данные метеостанций для этого не подходят, так как они обновляются недостаточно часто и не всегда точны: станции покрывают территории неравномерно и находятся на большом расстоянии друг от друга.
Откуда берет данные Gismeteo?
Сейчас «ГИС Метео» собирает метеоданные через Всемирную метеорологическую организацию, со спутников и радиолокационных инструментов, через другие источники. С помощью комплекса и разработанных в компании математических моделей метеорологи могут наносить эти данные на карты и строить прогнозы.
Почему яндекс погода ошибается?
Для расчета прогноза погоды ученые моделируют состояние атмосферы, которое постоянно меняется. Поскольку учесть каждое изменение невозможно, метеорологи упрощают прогностические модели. Метеорологические явления очень неустойчивы, поэтому даже небольшая ошибка в измерениях может привести к неточному прогнозу.
Как часто ошибается прогноз погоды?
Точность прогнозов погоды на сутки превышает 95%. На языке метеорологов она называется оправдываемостью. Но как бы ни относился синоптик к своему труду, он обязательно получит официальную оценку. Для каждого прогноза рассчитывается оправдываемость в процентах от сотни, и эти данные затем обобщаются и анализируются.
Откуда Яндекс берет новости?
Все новости мы получаем от партнёров. Их материалы Новости не публикуют у себя целиком, а используют только фрагменты сообщений и заголовки. На сегодняшний день у Яндекс. Новостей около 6000 партнёров.
Как метеостанция определяет погоду?
Домашние метеостанции показывают температуру в помещении, температуру вне помещения, измеряют влажность, атмосферное давление и исходя из обработки процессором полученных данных формируют прогноз погоды на сутки. Работают как от электрической сети, так и от сменных элементов питания.
Какая погрешность в прогнозе погоды?
Какова точность современных прогнозов погоды? Как известно, лучше всего оправдываются краткосрочные прогнозы погоды, составленные с наименьшей заблаговременностью. Так, по информации Росгидромета, прогноз погоды на сутки оправдывается, в среднем, на 96%, а вот уже на месяц — на 78%.
Почему Яндекс Погода занимает много места?
Потому что есть криптовалюта, для майнинга которой нужно МЕСТО. Вот Яндекс и майнит на устройствах пользователей. Есть файловый менеджер от Гугла «Files by Google». Там есть встроенная чистилка мусора.
Как Яндекс узнает об аварии?
Компьютерная система сервиса анализирует координаты, скорость и вектор движения, а также проверяет, соответствует ли трек ситуации на участке. На основании этого строится карта загруженности дорог, где пользователь видит схему обобщенных данных на карте в виде красных, желтых и зеленых участков дорог.
Как Яндекс определяет регион?
Местоположение определяется автоматически по IP-адресу. Если вы не хотите, чтобы Яндекс использовал эти данные, то вручную укажите любой город в настройках Яндекса.
Чей прогноз погоды самый точный?
- Гисметео 19.25%
- Погода яндекс 15.06%
- rp5. 9.62%
- Синоптик 6.69%
- Форека 27.62%
- Метеоинфо 2.93%
- Ventusky. 9.62%
- Weather. 2.51%
Кто владелец Гисметео?
Сайт предоставляет API для профессиональных метеорологов. Владелец ресурса — компания «Мэп Мейкер».
В каком приложении самая точная погода?
Максимально информативное погодное приложение. AccuWeather расскажет вам не только о том, что происходит или будет происходить за окном, но даже сообщит, например, показатель точки росы.
Почему синоптики постоянно врут?
Синоптик обозревает карты погоды (синоптические карты), на которых видны перемещения областей низкого и высокого атмосферного давления, циклонов и антициклонов, зон тёплого воздуха и холодного воздуха, осадки, а также сезон ураганов и ветров.
Можно ли верить прогнозу погоды на месяц?
Данные о погоде на месяц вперед нельзя считать достоверными. Точную информацию можно получить только на семь дней, рассказала в разговоре с Nation News климатолог, доктор географических наук, действительный член Русского географического общества Нина Зайцева.
Как работает карта осадков Яндекс?
Снимки радаров и спутника загружаются в две свёрточные нейронные сети. Обе сети независимо друг от друга прогнозируют осадки: Анализируют последовательность снимков и совмещают их с прогнозом погоды, рассчитанным с помощью технологии Meteum. Предсказывают, куда переместятся области осадков и как изменится их форма.
Кто дает информацию о погоде?
Метеоролог — специалист по погоде, наблюдатель и исследователь атмосферных явлений.
Кто отслеживает погоду?
Это сеть метеорологических, гидрологических и агрометеорологических станций и постов, где ведутся наблюдения за всеми процессами, которые происходят на земле, в воздухе и воде.
Как получать данные о погоде на нашей планете и делают её прогноз?
Метеорологических станций. Они оборудованы приборами для изучения погоды. Прогнозы погоды делают с помощью современных компьютеров. На их основе метеорологи составляют кары прогнозы погоды.
Каким прибором определяют погоду?
Правильным является ответ в) барометр — с древнегреческого переводится «тяжесть измеряю». Барометр, созданный для измерения атмосферного давления, способен предсказывать погоду.
Теперь и на карте: как работает новая «Яндекс.Погода»
Интервью с руководителем самого популярного погодного сервиса в России.
30 ноября «Яндекс» запустил новую версию своего погодного сервиса. Теперь прогнозы по ветрам, температуре и давлению можно смотреть не только в виде табличных данных, но и в виде интерактивной карты всего мира. В таком виде прогноз даётся на ближайшие 36 часов, а ещё можно посмотреть данные о прошлом на такую же глубину (к примеру, в Москве).
TJ поговорил с руководителем «Яндекс.Погоды» Дмитрием Соломенцевым о новой версии сервиса, методах расчёта прогнозов, проблемах погодных приложений на смартфонах и оповещений от МЧС.
Дмитрий Соломенцев: Два года назад мы запустили в «Яндекс.Погоде» свой собственный прогноз погоды — это был первый релиз нашей технологии «Метеум». Потом запустили карту осадков, которая с точностью до минуты помогает понять, где пойдет дождь. Теперь мы презентуем глобальный прогноз, который делаем с помощью другого инструмента.
Раньше погоду в России всегда потребляли в табличном виде. В Европе и Америке — наоборот: у них всегда погодные карты. Им гораздо удобнее смотреть на картах, куда, например, пойдёт ураган Ирма и какие регионы затронет. Мы пошли в эту сторону и решили попробовать дать людям возможность потреблять погоду на карте.
Самые популярные слои — осадки, температура воздуха, направление ветра и давление — и будут основной частью этого релиза. Карты температуры воздуха, направления ветра и давления теперь стали глобальными из-за изменений, которые мы внесли в этот сервис. Эти червяки, которые движутся на карте, показывают, куда дует ветер. Цветовая шкала показывает, какова сила ветра в любой точке.
Когда наводишь на одного из червяков, он показывает вектор?
Это вектор, приведённый к основным направлениям. То есть у этого вектора не может быть угла 357°, у него всего восемь градаций: например, западный или северо-западный.
То есть у вас недостаточно данных, чтобы показать точное направление — или вы просто берёте чужие данные, и такой информации там нет?
Нет, данные мы формируем сами, но люди так привыкли потреблять информацию — в том числе привыкли, что направление ветра обычно имеет формат «ветер северо-западный». А ещё в новой версии «Яндекс.Погоды» можно кликнуть на карту и для любой точки увидеть там всплывающую иконку с текущей погодой.
Смысл этого запуска состоит в том, чтобы дать людям по-другому посмотреть на погоду. Карты — это отличный способ узнавать, что творится в других регионах. Например, «погода в Московской области» — достаточно большой и частотный пласт запросов. Московская область большая, и людей интересует, какая погода в Москве или в Солнечногорске. Отличное решение — увидеть карту и посмотреть эти всплывающие иконки в районе тех мест, которые людям больше всего интересны.
То есть карта всегда показывает актуальные данные?
Да, все данные настоящие. Раньше погода рассчитывалась по запросу: человек приходил на сервис, мы показывали для него погоду, рассчитывали в «Матрикснет». Теперь мы храним это в предрасчитанном виде и имеем возможность обновлять данные благодаря тому, что мы построили цепочку, которая позволяет собирать все факторы воедино.
Это как индекс поиска в «Матрикснете»: один фактор меняется, и вы пересчитываете?
Да. Все релевантные таблицы своевременно обновляются, а дальше работает сервис, который по этим таблицам умеет искать, отдавать точечные запросы и нарезать из них плитку, из которой строится карта погоды.
Что за градация снизу идёт с шагом в три часа?
Это шкала времени. У нас есть 36 часов в прошлое и столько же в будущее, и мы можем посмотреть, как день сменяет ночь, где становится холоднее или теплее.
Этот сценарий мы прорабатывали в основном потому, что мы видим, как люди пользуются картой осадков: они очень часто смотрят в прошлое. Им почему-то интересно, как события развивались. Поэтому мы решили сделать аналогично для всех остальных параметров.
Есть идеи, почему люди интересуются прошлым на карте осадков?
У нас есть прогноз, но у каждого своя собственная интуиция. Пользователи могут прокручивать назад, чтобы понять, верить нашему прогнозу или нет.
Данные для прошлого — это то, какая погода была на самом деле, или ваш прогноз? Храните ли вы для архива информацию о том, какая погода в итоге была «на самом деле»?
Не совсем. То, что ты видишь в «Яндекс.Погоде», это данные на непрерывной регулярной сетке. Но наблюдения о погоде — это куча разнородных разреженных данных. Это метеостанции, расположенные примерно в тех местах, где на карте сервиса торчат иконки воздушных шаров, а тут вот спутник пролетел и что-то снял. Все эти данные к нам поступают с задержкой. Мы начинаем подсчитывать прогноз не с текущего момента, а с прошлого.
То есть в какой-то момент на ленте из прошлого могут быть еще не получены полные данные?
Да. Любые данные, которые отображаются на сервисе — это лучшая на данный момент комбинация всех данных и прогнозов. Нужна модель, чтобы размазать эти данные по миру. Там, где есть метеостанция, мы показываем факт, то есть, скорее всего, как было на самом деле.
У всех станций разный период обновления. Какая-то станция может опоздать на полчаса — это хороший вариант. Иногда может опоздать на 3-5 часов.
У вас есть собственные станции?
Нет, у нас собственных нет. Все данные мы покупаем у разных провайдеров. Наблюдение — это непростая штука, и у нас нет такой экспертизы. Мы не можем правильно установить станцию, точнее, мы знаем, как установить её по ГОСТу, но для этого надо нанять человека, который будет обслуживать станцию и правильно снимать наблюдения. Это не наша область экспертизы.
Мы собираем все возможные данные, которые можно достать из открытых источников или купить по контракту, как, например, спутниковые данные. На основе нашей метеорологической экспертизы делаем модели атмосферы, которые прогнозирует погоду, и потом эти модели попадают в алгоритм машинного обучения. Эта цепочка и есть наша добавленная ценность.
Мы покупаем данные радаров. На карте осадков ты видишь кружочки, и в центре этого кружочка стоит радар. Это большой строительный объект размером с четырёхэтажный дом. Он смотрит вокруг себя в атмосферу на 250 километров. Расстояние зависит от рельефа. Эти данные мы покупаем. Дальше мы обучаем свёрточную нейронную сеть, показывая ей эти данные, то есть несколько последовательных снимков. Она прогнозирует, что будет в будущем.
Почему радар смотрит в атмосферу? Изучает, есть или нет облака?
Он выявляет наличие капелек размером выше 100 микрон. Дальше мы должны делать сами аналитику — там облака или из облаков что-то капает. Самый тривиальный способ: если радар зафиксировал много капелек, то, скорее всего, там выпадают осадки. Метеорологический радар работает точно так же, как авиационный: он делает сканирование по кругу и по отражённому сигналу понимает, есть там капли или нет.
А сколько таких радаров в Москве?
В Москве — два: один в Шереметьево, другой во Внуково. Это понятно, потому что авиации точные данные об осадках нужнее всего. Мы же сделали сервис для людей.
Карта осадков была дико популярна летом во времена сильных дождей и ураганов. Кстати, сервис «Яндекс.Погода» равномерно популярен с учётом сезонности и вообще самый популярный в России сервис по погоде.
Да, но не единственный.
Это хорошо, что не единственный. Карта осадков — это то, на что люди сильно обращают внимание летом. Может, будут обращать внимание и зимой, если будут сильные снегопады.
Это пример того, как мы берем чужие данные, покупаем и делаем с ними что-то хорошее, что приносит людям пользу.
Насколько я понял, теперь «Яндекс.Погода» будет показывать прогнозы для всего мира — и вот эти карты в первую очередь заточены для зарубежных пользователей. Какой у них паттерн потребления прогнозов и будет ли каким-то образом он актуален для нас?
В первую очередь мы выкатываем это для российских пользователей. Почему я сказал про зарубежных? Потому что есть значимая разница в том, как они смотрят погоду и как это делаем мы.
В России есть частотные поисковые запросы, например, «погода в Тверской области», «где сейчас тепло», «где на выходных не будет осадков». Люди задают эти вопросы для того, чтобы принять решение, например, куда поехать на выходных. Есть запрос на то, чтобы узнать погоду в нескольких местах сразу. Если пользоваться текстовым интерфейсом, то сначала ты зайдёшь на одну страницу, потом включишь другой город, перейдёшь на другую страницу. Это долго и ужасно неудобно. Карта сразу даёт визуальный ответ на этот запрос. Сразу становится просто и понятно.
Если говорить про ситуации типа «Я хочу решить, что мне делать на выходных» — это планирование с горизонтом в три-четыре дня. На таком горизонте уже низкая точность прогноза.
Это правда. Низкая точность прогноза нивелируется продуктовыми требованиями. Если мы говорим про карту осадков, то её горизонт два часа, зато она даёт точность до 10 минут. Пользователю вряд ли надо знать, какая погода будет в Твери в 14:10 субботы, ему просто в целом нужно понимать картину на выходные.
Прогнозировать, будет ли дождь в выходные в Твери, значительно проще, чем будет ли дождь в Твери в 14:10 часов через четыре дня. Это загрубление условий задачи.
То есть если у тебя запрос общего характера, то и точные данные тебе ни к чему.
Не то, чтобы не точные, скорее, не такие детальные цифры. Но на ближайшие сутки у нас есть прогноз на каждый час.
Но это не на 100% точный прогноз. Какая точность у карты осадков?
Если говорить про пространственное разрешение, там почти 1 километр.
Осадки «Яндекс.Погода» прогнозирует на карте только на 2 часа вперёд, но с шагом по 10 минут
Но ведь из карты осадков, да и из прогноза температуры — я про продукт в целом — никак не понятно, что у сервиса есть определённая погрешность, что эта погода наступит не со 100% вероятностью.
Действительно, для того, чтобы управлять ожиданиями, мы планируем добавить в прогноз такие величины, как вероятность осадков. Наступление осадков у нас сейчас на сервисе показано иконкой. К иконке осадков мы будем добавлять вероятность — цифру, например, 40%. Человек понимает, что возможен дождь, он получает больше информации для принятия решений.
Показать, что прогноз становится менее точным, сложно визуально и, кроме того, кажется, что наши пользователи и так об этом знают. И, конечно, много ресурсов брошены на то, чтобы сделать точный прогноз.
Возвращаясь к паттернам. Существуют частотные запросы и есть спрос на визуальные карты, при этом есть паттерн зайти в раздел «Москва. Погода на сегодня» и довольствоваться этой информацией. Возможно, вы хотите сделать так, чтобы этот паттерн сменился — те же запросы показывают на необходимость в таком продукте с картой.
Да, безусловно. Но дело не в том, что аудитория меняется, а в том, что мы начинаем охватывать новые сегменты аудитории, которым нашего обычного прогноза недостаточно.
70% нашей аудитории достаточно посмотреть текущую погоду, погоду на вечер или утро. Людям, о которых я говорил чуть раньше, этого недостаточно. Мы улучшаем сценарий для них. Не то, чтобы мы принципиально меняем использование сервиса погоды, хотя это было бы крутой амбициозной целью.
Надо всегда начинать с малого, поэтому мы просто предлагаем людям, которым сейчас неудобно, сделать чуть удобнее. В эту категорию попадают спортсмены, вид спорта которых связан с ветром. Это виндсерфинг, парусный спорт, парашютизм, парапланеризм. Для этих спортсменов ветровая карта просто необходима, и сейчас они находят другие специализированные ресурсы, которыми пользуются. А оперативный прогноз погоды смотрят у нас. Это хороший шанс показать им, что мы тоже это умеем, и они могут оставаться у нас на сервисе.
Зачем мне знать, где сейчас бьет молния?
С одной стороны молнии — это опасность, и хорошо бы знать, не бьют ли они где-то далеко от тебя, с другой — прикольно наблюдать такие вещи на карте. (показывает) В этой синей зоне очень сильные осадки. Когда люди смотрят прогноз, они могут понять, несёт этот фронт с собой грозовую активность или нет. Это позволяет принимать решения, хотя я не буду утверждать, что это 100% утилитарная штука.
Как регистрируются удары молнии? Радаром?
Очень похожей штукой на радар, но не совсем. Это гораздо более дешёвые сенсоры, которые установлены на Земле. Эти сенсоры регистрируют электромагнитную вспышку, которая возникает в момент разряда молнии. По Земле расставлена сеть этих датчиков — они определяют с помощью триангуляции примерное место удара.
Что ещё есть в новом сервисе?
Для людей, чьё самочувствие зависит от погоды, мы сделали карту давления, чтобы они могли понимать, когда к ним придет область пониженного или повышенного давления, и как долго она там пробудет. С помощью карт можно также смотреть на давление, которое наложено на направление ветра — циклоны и антициклоны. Но это уже совсем специальная история.
Интерактивная карта изменения давления
Метеозависимые — это, как я понимаю, пожилые люди, которые любят измерять давление в миллиметрах ртутного столба, и для них информация цифрами более понятна.
Сотрудница «Яндекса» Залина Богазова: Вообще доказательная медицина отрицает то, что существует такой диагноз. Есть разные категории людей и состояний, которые действительно могут быть связаны с погодой, но это разные вещи, а не одна какая-то большая метеозависимость. Вот для этих людей этот сервис и делается.
Дмитрий Соломенцев: Астрология, луна в Козероге, все дела.
Ага, то есть «Яндекс.Гороскопы». (смеётся)
Напрасно смеётесь. Один раз был фидбек: мы временно убрали лунную фазу в приложении «Яндекс.Погода», после этого нам написало несколько девушек: «Как нам определять, когда идти стричься?» Тогда я и узнал, что от фазы луны зависит то, с какой скоростью растут волосы.
Если возвращаться к теме погодных карт, то основное, что мы хотим изменить с текущим релизом — это дать другой способ потребления погоды тем, у кого пока что не было такой возможности. Кстати, эти карты стали возможны благодаря технологии «переваривания» погоды до того, как к нам придут пользователи, а именно по триггеру обновления данных.
Вот сейчас я ничего не понял. Пользователи же всегда приходят на готовый прогноз?
Раньше мы рассчитывали прогноз прямо для каждого конкретного пользователя. Как это происходило? Приходя на сервис, человек приносит с собой пользовательские данные, например, широту и долготу с помощью GPS. Мы объединяем с этими данными другие, например, прогноз погоды с помощью модели 1-2-3-4, и составляем длинный вектор. Этот вектор приходит на вход к «Матрикснету», и «Матрикснет» отдает прогноз как поисковый запрос.
Сейчас мы офлайновые факторы держим предрасчитанными. Это позволяет нам нарезать глобальную карту. Раньше это было бы слишком накладно по ресурсам. Короткий момент применения «Матрикснета», который происходит очень часто, сильно задействует процессоры на серверах. Сейчас благодаря предрасчёту погоды офлайн мы от него избавились и теперь можем давать карты и рассчитывать глобальный прогноз.
На чём рассчитывается офлайновая погода? Это большой объем данных, который нужно держать в кэше. Его же надо постоянно рассчитывать?
Это сложная техническая задача. У нас есть несколько провайдеров данных: они дают глобальные прогнозы погоды, сделанные разными поставщиками — европейским, американским, канадским метеорологическим агентствами. У нас есть своя модель, которую мы считаем поверх этих моделей. Это позволяет увеличить пространственное разрешение. Их размер ячейки от 20-30 километров, наш размер — 2 на 2 километра: в густонаселённых районах мы всегда используем свою модель. И все эти данные приходят с некоторыми интервалами.
Как это происходит на низком уровне: накопился объём данных, который поможет увеличить точность, пришли новые спутники и станции, эти модели пересчитались. Мы их к себе загрузили — посчитали свою модель. Дальше нужно обновить погодное состояние. Это всё попадает в длинный процесс, который подготавливает факторы для формулы машинного обучения и дальше применяет эту формулу. Всё это позволяет нам делить область на регионы, проводить расчёты, которые раньше мы не могли проводить. Потом, как я уже сказал, все складывается в сервис с наиболее актуальными данными. И благодаря тому, как этот сервис реализован, прогноз погоды отдаётся практически без всяких задержек.
Вы оговорились, что вы не делаете станции, не занимаетесь производством, не в курсе, как это устроено. То есть b2b тут вообще не рассматриваете?
Мы в курсе, как это устроено, просто не занимаемся производством: b2b в погоде может быть достаточно разный. У нас уже сейчас есть несколько запросов о том, как эти данные можно использовать. Первый запрос исходит из самого «Яндекса»: это погодные и гиперлокальные данные для рекламных кампаний. Очевидно, что некоторые баннеры лучше кликаются в жару, а некоторые в холод.
К этому можно подойти с двух сторон. С одной стороны, правильно показывать баннеры, учитывая текущую погоду в ранжировании. другой стороны — можно, например, дать клиентам возможность настраивать свои рекламные кампании под определённые погодные условия.
Но «Яндекс.Директ» пока не позволяет это делать?
Мы сейчас находимся в режиме закрытого теста с несколькими компаниями и агентствами для того, чтобы определить финальную функциональность настройки рекламных кампаний по погоде. Есть хардкорный b2b — например, авиация: это уже не про нас. А вот сельское хозяйство — это более близкий нам сектор.
Авиация всё-таки связана с безопасностью: вы же не будете 100% гарантии давать.
Никто не даёт 100% гарантии.
Авиационные радары дают 100% гарантию.
Нет. Во-первых, радары, как и все остальные железки, не умеют прогнозировать. Второе — у них есть погрешности наблюдений, не бывает идеальных приборов. Тут что-то могло отразиться от облака, а могло от высокого здания…
Я, скорее, имею в виду 100% ответственность. Поставщики данных, от которых зависит жизнь людей, несут высокую ответственность. На основе них делаются выводы, лететь самолету или нет. Вы же не будете брать на себя такую ответственность.
Неправда. Это тонкая история. Сейчас мы обращались к тем данным, которые влияют на жизнь людей на земле, а для авиации нужны немного другие данные. В частности, все самолеты несут в себе метеоприборы. Это крупнейшая сеть наблюдений, которые меряют метеопараметры. Мы не смотрели на эти данные, и сходу наша технология не может быть адаптирована для того, чтобы предсказывать эти параметры.
А использовать данные от таких самолётов?
Использовать можно, но насколько это релевантно для людей, которые ходят по земле, не очень понятно. И авиация это очень закрытый рынок, на котором находится игроки уровня, например, «Росгидромета», у которого свои радары.
А из сельского хозяйства ребята к нам уже обращались. Есть несколько компаний, которые предоставляют услуги для сельхозпроизводителей и больших агрохолдингов. Им прогноз погоды очень интересен: особенно им интересно то, что у нас есть радары, что мы можем прогнозировать накопленное количество миллиметров осадков, что мы можем брать станции, которые они сами себе покупают и устанавливают, и уточнять для этих станций прогноз. Это в целом хорошая штука, но пока что мы совсем не тратили ресурсы на выход на этот рынок.
А за что такие компании готовы платить? Вот у них есть метеостанция: допустим, они хотят, чтобы вы на основе их данных смогли спрогнозировать по вашей модели погоду на неделю вперед. А у вас, скажем, 18 источников от крупнейших компаний и данных больше — почему бы им просто не посмотреть вашу погоду бесплатно?
Имеется в виду не замена, а дополнение. Часто агрокультурные поля находятся в зонах, где частота данных не очень, поэтому добавление одной метеостанции в хорошем месте может дать большую пользу. Второе — они хотят готовый сервис. Да, сейчас они именно так и работают: открывают сайты и смотрят погоду. Но чтобы им сделать процесс более удобным, нужно ввести определенные триггеры: сила ветра, отсутствие осадков и уровень нужной температуры. Это благоприятные условия, например, для удобрений. Условно, человеку нужно раскрасить календарь — когда можно сажать, когда нельзя — и периодически оповещать его о том, что что-то меняется.
Виджет «Яндекс.Погоды» на Android, стандартное погодное приложение на Apple Watch, карта осадков в приложении «Яндекс.Погоды» на iOS
Давайте поговорим о вашем приложении. У меня вот есть боль из-за того, что на iOS по умолчанию отображается погода, которую они берут с американского The Weather Channel. Вроде нормальный источник, но для России, очевидно, не актуальный. Я вижу сильные расхождения между тем, что дает The Weather Channel и «Яндекс.Погода». На андроиде я заменил приложение погоды на«Яндекс.Погоду», там даже виджет в уведомлениях есть, но на iOS «Яндекс.Погода» не интегрируется с часами.
Многие пользователи говорят нам про часы. Это примерно именно то, над чем мы работаем сейчас. Мы посчитали у себя внутри затраты на разработку хорошего качественного приложения под носимые устройства и поняли, что затраты могут не окупиться. С другой стороны, есть push-уведомления, которые гораздо дешевле разработать, будут транслироваться везде — в Apple Watch, Android Wear. Именно на пуши мы делали свою ставку: так мы можем напрямую обратиться к пользователю, но мы стараемся выдерживать баланс, не надоедая людям.
И какие уведомления в основном посылаете?
Основных класса два. Первый — МЧС. Мы транслируем опасности от МЧС, которые после летнего урагана стали приходить каждый день. Второй — уведомления о резкой смене погоды, например, начало осадков после долгого их отсутствия.
Это, наверное, не в ручном режиме происходит? Мы вот в редакции часто отправляем уведомления руками, когда происходит что-то необычное.
Единственное, что мы отправляем вручную, это оповещения от МЧС, с которыми не удалось наладить ИТ-систему. Мы просто смотрим на их сайт и дальше уведомляем. Всё остальное автоматически.
Мы сейчас тестируем уведомления с картой осадков, например, «Через 10 минут пойдёт дождь» или «Дождь закончится через 30 минут». В среду примерно мы начинаем оповещать о погоде на выходных, когда уверены в прогнозе.
Здесь хрупкий баланс, надо понимать, когда отправлять и не отправлять уведомление. Это машина с большим количеством настроек, и с ней мы аккуратно экспериментируем. Мы стараемся вовлекать людей, но скорее смотрим на какие-то долгосрочные метрики, потому что хорошее уведомление в нашем понимании не должно заставлять человека открывать приложение. Уведомление должно содержать примерно всю информацию, это повышает лояльность. Человек помнит, что «Яндекс.Погода» оказалась полезной и вовремя предупредила.
Вы говорили про то, что ваш сервис — самый посещаемый в России. Но это статистика по десктопу. Что насчёт мобильных приложений?
В мобильном приложении у нас народа меньше, чем в десктопе. Мобильный интернет моложе в смысле аудитории и, как следствие, там есть люди, жизнь которых мало зависит от погоды.
Десктопная аудитория у нас постарше. Им нужно знать погоду на выходные, у них у всех есть дачи. В десктопе у нас стабильная состоявшаяся аудитория. В мобильной версии сайта похожая ситуация — она по размерам составляет треть аудитории десктопа. В наших приложениях аудитория растёт с тех пор, как мы их обновили два года назад вместе с запуском «Метеума». Растут органически. Сейчас в Google Play по погодным приложениям мы топ-1 в России, но могу ошибаться.
Эти приложения стали популярными во многом это из-за того, что у нас есть почасовой прогноз и карта осадков, которой в таком виде ни у кого нет. Мы это заметили на метриках в начале этого лета. Сейчас стараемся визуально улучшить приложение, потому что до этого оно было очень простое. Станет более симпатичным.
Почему МЧС так часто лажают? По чьим данным они работают?
Они используют данные Росгидромета. Почему у них часто ложное срабатывание системы предупреждений — потому что у них задача перебдеть. Это правильная для них стратегия. Ценность предупреждений, безусловно, падает, но они не могут не предупредить. Почему они часто ошибаются — вопрос не ко мне. Прогнозирование опасных явлений и обычной погоды — это два разных типа науки.
Мы у себя в «Метеуме» можем не увидеть ураган, потому что мы никогда такому не обучались. Они происходят редко, особенно в центральной части России, и мы специально не выделяем их из всей массы погодных событий.
Странно: молнии вы выделяете, а ураганы нет.
Молнии мы определяем с помощью измерений, а ураганы или торнадо нужно прогнозировать. Мы стараемся давать пользователю информацию для принятия каждодневных решений. Росгидромет и МЧС обладают той инфраструктурой, которой мы не обладаем: самолёты, радары, выездные пункты. Часть из этих данных мы получаем, но далеко не все. Обладая только всеми этими данными, а может ещё большим количеством, можно начинать хорошо предсказывать опасные явления. Но это не та задача, которую мы ставим перед собой как сервис.
То есть вы не ставите такой задачи и не имеете технической возможности предупреждать пользователей об опасных явлениях? Вы можете сказать, что дождь закончится через 10 минут, а предсказать сильный ветер не сможете?
Сильный ветер сможем, а ураган в прямом понимании этого слова нет.
Если повторится та ситуация, которая была летом 2017 года — вы сможете предупредить пользователей об этом?
Мы прогнозировали в тот день очень сильный ветер, до 28 м/с — это примерно то, что и было зафиксировано. Но сказать об этом что-то определённое, например, «Надвигается ураган», нельзя, потому что мы не можем такие образования отследить у себя в модели. Мы точно спрогнозировали сильный ветер, но с чем он был связан, мы сказать не могли и в тот день не слали предупреждений об этом. Мы работаем над тем, чтобы слать пуши по большему количеству параметров, чем сейчас.
Вы бы хотели предупреждать пользователей о таких вещах, но вы не можете. Тут заметно какое-то расхождение: вы не хотите брать на себя ответственность?
Область предупреждений о ЧС очень зарегулирована — их может подать только МЧС. Всё, что даёт МЧС, транслируем дословно и без изменений. Но если у нас в прогнозе появился сильный ветер с порывами 28 м/с — то почему бы об этом не предупредить.
Ситуация с участившимися уведомлениями от МЧС перерастёт в то, что к ним будет меньше доверия на протяжении следующих месяцев, и к следующему сезону дождей доверие упадёт до уровня, когда на оповещение никто реагировать не будет. Возможно, они сделают выводы, и перестанут так часто слать и в какой-то момент может произойти повторная ситуация. В этом случае хочется, чтобы кто-то всё-таки это предупреждение послал. Будет ли этим источником «Яндекс» — в этом вопрос.
Все прогнозы ошибаются. Какими бы совершенными технологии не были, и сколько бы средств изменений не было, все прогнозы ошибаются. Если нужно понять, что произойдёт в Москве в течение нескольких часов, то надо зайти на нашу карту, в том числе осадков, смотреть и понимать, что будет.
Ну хорошо. Вот если у вас с МЧС не получается… Я знаю, что «Яндекс» хорошо работает с московскими городскими службами. Если погодные данные отдаются через подобные структуры, то можно предупреждать их, например, что машинам городских служб надо выехать и провести работу по предотвращению потопов.
Ничего по этому поводу сказать не могу. Да, мы хотели бы это делать, и есть интерес с определённой стороны, но пока никакой конкретной реализации нет.
Пока нет, но технически и теоретически реализуемо?
Вполне. Коммунальные службы — это те, кому мы можем помочь. Прогнозировать обильный снегопад мы можем. Или гололедицу — это бизнес-логика поверх погодных данных. Гололёд определяется наличием осадков на протяжении предыдущих суток, влажностью, ветром, температурой. Всё это прогнозируется, собирается в формулу, и она говорит, будет гололедица или нет.
А в других своих сервисах используются эти погодные данные?
Да, например, в «Яндекс.Навигаторе» они есть.
С их помощью прогнозируются пробки?
Нет, там это пока не используется, насколько я знаю. Мы планируем внедрить погоду во многие места. Кажется, она релевантна на «Яндекс.Картах», но сейчас главное усилие сосредоточено на том, чтобы внедрить погоду в рекламные продукты.
Яндекс Метеум: как работает система прогнозирования погоды с точностью до дома
26 ноября компания Яндекс анонсировала новую технологию Метеум. С ее помощью Яндекс.Погода сможет самостоятельно прогнозировать погоду, а не полагаться на данные других сервисов, как это было раньше. Чтобы постоянно оставаться максимально актуальным и точным, прогноз будет рассчитываться отдельно для каждой запрашиваемого местоположения, и пересчитываться в режиме реального времени.
Чтобы понять, чем отличается новая технология Метеум от классических, нужно представлять, как в настоящее время устроен мир погодных моделей. Сейчас существует несколько основных моделей, которые применяются для краткосрочного прогнозирования погоды. Среди основных — модель с открытым исходным кодом WRF и модель GFS. Обе технологии имеют несколько различный вектор развития. Краткий принцип прогнозирования погоды рассмотрим на примере WRF.
Классическая метеорология
По своей сути модель WRF — это open-source программа, написанная на Фортране, которая отражает накопленные знания ученых о физике, динамике, атмосфере и, соответственно, о погоде. Данная модель создана, чтобы описывать сложную динамическую систему, которой является атмосфера Земли. Принцип работы данной модели можно разделить на две условные составляющие: прогнозирование физики и динамики. Физические модули WRF следят за теплом, которое поглощается и выделяется атмосферой, а также за образованием осадков в определенном месте и в определенное время. К динамической информации относится образование циклонов, роза ветров, движение воздушных масс и т.д.
.jpg)
На рисунке изображен срез сетки модели атмосферы. Результаты физических расчетов нагрева и охлаждения атмосферы отображены цветом ячеек. Стрелки демонстрируют перемещение воздушных масс. За физическую составляющую отвечает набор полуэмпирических моделей, за динамику — усовершенствованная версия уравнения Эйлера. Именно в решении этого уравнения и заключается основная сложность прогнозирования погоды, а точнее, в правильном параметризировании процессов, влияющих на атмосферу извне. К таким процессам относится солнечная радиация, тепловое излучение почвы, парниковые газы и т.д. И это лишь малая часть того, что стоит учесть при прогнозировании погоды.
Это была бы невыполнимая задача, если бы не накопленный опыт человечества в сфере наблюдения метеоусловий. Для этого были созданы такие вещи, как метеостанции, спутниковые спектрометры, радары, лидары и многое другое. Для того чтобы добиться требуемой точности прогнозирования, требуется использовать 10000 метеостанций по всему миру, 80 метеорологических спутников и около 1500 станций радиологического зондирования. Поэтому данные о наблюдениях за состоянием атмосферы, полученные в одно мгновение, представляют собой терабайты информации стационарных измерений, радарных сканирований и фотографий со спутников.
Система Метеум
Система расчетных областей численной модели в Метеуме спроектирована таким образом, чтобы покрывать территорию прогнозирования двумя способами: на сетке с крупным разрешением (6×6 км.) и на сетке с мелким разрешением (2×2 км.). На рисунке изображено начальное расположение расчетных областей. Красный — внешний домен с сеткой 6×6 км., синие — вложенные области с разрешением 2×2 км. По словам компании, это базовое расположение областей, в дальнейшем спектр покрытия системы будет постоянно расширяться.
Эти сетки взаимодействуют друг с другом, передавая необходимую погодную информацию. Для того чтобы обработать и хранить параметры атмосферы, необходимы огромные вычислительные мощности. Ежедневно на кластеры Яндекса поступает более 10Тб прогнозов, а для того, чтобы спрогнозировать погоду на 48 часов с необходимой точностью детализации требуется более 6 часов обработки.
Система получения и обработки данных для расчета модели, и их совмещения в алгоритм ассимиляции — это сложный процесс, состоящий из многих звеньев. Так что не будем вдаваться в подробности, а лучше поговорим про машинное обучение, которое и стало главной изюминкой системы Метеум.
Машинное обучение
Основной расчетной моделью на кластерах Яндекса является WRF. Помимо этого, система получает прогнозы для 1200 городов по всему миру, сделанные компанией Foreca. Более подробная информация о состоянии атмосферы поступает в Метеум из американской модели GFS, которая, к слову, считается одной из самых точных моделей в мире и имеет разрешение в 0,25°. Данные этих моделей о разной метеорологической обстановке позволяют системе более точно подобрать корректировки к прогнозу и правильно выбрать исходные данные.
Следует учесть, что большинство прогнозов искажают некоторые параметры. Допустим, завышают количество выпавших осадков или занижают температуру в черте города. Человеку просто невозможно определить такое множество закономерностей, а вот для машинного обучения — это вполне осуществимая задача. Для определения взаимосвязи между прогнозами моделей и реальной погодной обстановкой в Метеуме используется популярный алгоритм машинного обучения Матрикснет.
Матрикснет принимает архивы обработанных прогнозов от моделей и сравнивает их с реальной метеорологической обстановкой, которая представляет собой наблюдения тысяч метеорологических станций, спутников и радаров. В результате всех сверок получается конечная формула корректировки прогноза погоды, который и является оптимальным в конкретное время.
К сожалению, некоторые участки отдаленных территорий не могут предоставить достаточную информацию о параметрах атмосферы, по причине того, что метеоизмерения там крайне редки. Поэтому для построения гиперлокального прогноза Метеум использует большой объем данных, косвенно указывающих на погодную обстановку в этих районах.
В Метеуме будут использоваться данные с барометров, установленных в обычных телефонах граждан. Конечно, их измерения не так точны, но они распределены там, где живут люди.
Как работает Метеум
Как писалось ранее, отличительная особенность Метеума — это непрерывный расчет прогноза погоды в режиме реального времени. Каждый раз, когда пользователь обращается к сервису, информация с различных погодных моделей поступает в систему. Прогнозы WRF и GFS находятся на специальном микросервисе, весят около 60 Гб и обновляются каждую минуту. Объемы и частота обновления прогноза от Foreca значительно ниже.
Далее, все эти данные вместе с реальной метеорологической обстановкой, полученной от метеостанций, отправляются Матрикснет, где составляется общий прогноз погоды. Все те процессы, которые были описаны выше, происходят всякий раз, когда пользователь заходит в Яндекс.Погоду. Делая запрос, он посылаете в Метеум свои географические координаты, а система анализирует фактическую метеорологическую обстановку, тип подстилающей поверхности и составляет собственный прогноз погоды для конкретного местоположения пользователя.
Итог
По собственным оценкам компании (независимых измерений пока не проводилось), сейчас система Метеум предоставляет самый точный прогноз погоды. Например, температурный прогноз Метеума ошибается на 35% меньше, чем у ближайших конкурентов системы.
Подписывайтесь на наш нескучный канал в Telegram, чтобы ничего не пропустить.
Приметы XXI века: как работает сервис «Яндекс.Погода»
Сегодня в мире действует больше 10 000 метеостанций и 1500 радаров, собираются данные с высотных атмосферных зондов и более чем 80 метеоспутников, работающих на орбите. Но главными предсказателями погоды выступают наши знания о физике протекающих в атмосфере процессов. Их обобщают сложные математические модели — такие, как система WRF (Weather Research and Forecasting), которую развивает американский Национальный центр исследований атмосферы, или GFS (Global Forecast System) Национального управления океанических и атмосферных исследований. Существует несколько десятков таких программ, позволяющих моделировать состояние атмосферы на основе собранных метеоданных. По большому счету, термометры и другие инструменты нужны им лишь для того, чтобы сверять и корректировать начальные и граничные условия и результаты своих расчетов. Расчетов всегда приблизительных, но все равно исключительно трудных.
Добиваясь все большего разрешения, вплоть до километра, эти модели становятся все требовательнее к вычислительным ресурсам. Если взглянуть на список самых мощных суперкомпьютеров, в нем обязательно будет несколько машин, связанных с моделированием ядерных взрывов, поведения плазмы — и погоды. «Так накапливается большой архив данных по предсказаниям разных моделей, и в них можно поискать тонкие различия между сделанными прогнозами, — говорит метеоролог Дмитрий Соломенцев. — Это как раз тот момент, когда в игру вступает машинное обучение. Машинный интеллект легко обнаруживает закономерности, ускользающие от нашего взгляда, и позволяет уточнить применимость разных моделей. Скажем, он замечает, что если показания давления у нас такие-то, то лучше применить такую-то модель, слегка понизив температуру, которую она дает в результате, и это будет самый точный прогноз. Подобных нюансов система находит очень много».
Жизнь человека всегда зависела от погоды, и «народная мудрость» накопила сотни примет, позволяющих предсказывать ее на несколько часов, а иногда и месяцев вперед. И если зависимость «помыть машину – всегда к дождю» проверить непросто, то многие другие приметы вполне поддаются статистике. «На Самсона дождь – семь недель то ж» легко перевести на формальный язык: «Если 27 июня идет дождь, то осадков между 28 июня и 15 августа больше среднего» – и проверить справедливость этого утверждения по данным многолетних архивов. Отобрав дюжину таких примет, в «Яндексе» испытали их метеорологической статистикой и выяснили: они не работают. Бóльшая часть вообще сбывается меньше чем в половине случаев, так что понимать их лучше с точностью до наоборот.
Обсуждение применения искусственного интеллекта для предсказаний погоды ведется уже много лет. В январе 2016 года корпорация IBM приобрела одного из крупнейших поставщиков метеоуслуг — компанию The Weather, намереваясь объединить ее огромный архив данных с мощью своей системы искусственного интеллекта Watson. Но еще за полгода до них свою технологию «Метеум» представила команда Дмитрия Соломенцева: сегодня прогнозы сервиса «Яндекс.Погода» создаются с учетом рекомендаций, которые выдает технология машинного обучения MatrixNet. «Если мы зайдем сейчас посмотреть погоду, система получит наши координаты, возьмет прогнозы разных моделей (которые обновляются четыре раза в сутки), выберет самый подходящий, пересчитает и выдаст ответ в режиме реального времени», — объясняет Дмитрий Соломенцев.