Солнечное затмение и российские астросайты
29.03.2006 20:40 | Е. Б. Родичев/ГАИШ, Москва

К сожалению, погода не дала возможности увидеть солнечное затмение 29 марта 2006 года во многих местах средней полосы России. В Москве, под плотной облачностью, даже в момент максимальной фазы затмения (в 15:15 MSD) лишь еле заметно потемнело.

• >> Солнечное затмение и российские астросайты   (Е. Б. Родичев/ГАИШ, Москва, 29.03.2006 20:40, 9.4 КБайт, ответов: 2) К сожалению, погода не дала возможности увидеть солнечное затмение 29 марта 2006 года во многих местах средней полосы России. В Москве, под плотной облачностью, даже в момент максимальной фазы затмения (в 15:15 MSD) лишь еле заметно потемнело. По-видимому, это явилось дополнительным стимулом для многих - использовать интернет, чтобы не остаться совсем в стороне от редкого астрономического события.

  Опыт показывает, что нагрузки, возникающие на ведущие интернет-сайты во время каких-то особых событий, становятся через два-четыре года типичными для большинства ведущих сайтов данного направления. Причем это справедливо как для сайтов широкой направленности, так и для специализированных сайтов.

  Таким образом, анализ нагрузки, возникающей в такие моменты, представляет значительный интерес для прогнозирования условий, в которых сайты данной группы будут реально функционировать в близком будущем. При этом важны не только обобщенные характеристики нагрузки (посещаемости), но и более детальные характеристики, такие, как соотношения средних/пиковых нагрузок, требования к полосе пропускания каналов связи и т.п.

  В связи с этим представляется интересным "по горячим следам" оценить количественно и качественно степень всплеска активности пользователей, и возникшие при этом нагрузки на российские астросайты и их каналы связи. Возможно, такая информация окажется полезной для специалистов, занимающихся проектированием, созданием и развитием астросайтов Рунета.

  Нагрузка на Астронет заметно выросла еще за день до затмения. Уже 28 марта было зарегистрировано более 18 тыс. уникальных IP, при типичных суточных значениях 7-9 тысяч. 29 марта, в день затмения, количество уникальных IP превысило 37 тыс., что в четыре раза выше обычного уровня.

  

  Приведенный рисунок дает достаточно наглядное представление о пике посещаемости, связанным с солнечным затмением (данный рисунок взят из стандартной статистики Астронета).

  Перейдем к более детальному анализу особенностей пиковой нагрузки. Ниже в таблице представлены некоторые ключевые нагрузочные характеристики сайта Астронет с разбивкой по часам за 29 марта. Одной из особенностей архитектуры сайта является то, что html-документы и картинки (images) выдаются разными серверами. В связи с этим в таблице приведены раздельные данные по нагрузкам на html и image серверы.

            
        ------------ html ----------------       ------------ images -------------         
   t,    Hits      Avg      Peak   Peak/Avg       Hits      Avg      Peak   Peak/Avg        
  MSD  per hour hits/sec  hits/sec  ratio       per hour hits/sec hits/sec  ratio        
   00    8263      2.3        8      3.5         19559      5.4       38      7.0        
   01    5408      1.5        9      6.0         12045      3.3       61     18.2        
   02    5717      1.6        7      4.4          7089      2.0       29     14.7        
   03    5179      1.4        8      5.6          4206      1.2       20     17.1        
   04    5067      1.4        6      4.3          4147      1.2       49     42.5        
   05    5194      1.4        8      5.5          4251      1.2       21     17.8        
   06    5751      1.6        7      4.4          7498      2.1       24     11.5        
   07    7283      2.0        9      4.4         14372      4.0       30      7.5        
   08   10086      2.8       16      5.7         19953      5.5       43      7.8        
   09   12070      3.4       12      3.6         32843      9.1       50      5.5        
   10   13398      3.7       14      3.8         40540     11.3       86      7.6        
   11   15024      4.2       14      3.4         49121     13.6       58      4.3        
   12   16071      4.5       20      4.5         56185     15.6       66      4.2        
   13   19587      5.4       23      4.2         75030     20.8       96      4.6        
   14   31786      8.8       22      2.5        131727     36.6      109      3.0        
   15   32472      9.0       24      2.7        118581     32.9       97      2.9        
   16   14230      4.0       20      5.1         44689     12.4       68      5.5        
   17   11579      3.2       16      5.0         30720      8.5      106     12.4        
   18    7800      2.2       17      7.8         19683      5.5       62     11.3        
   19    9184      2.6       17      6.7         21008      5.8       58      9.9        
   

  Ясно прослеживается резкий пик нагрузки в период с 14 до 16 часов московского времени. Среднечасовая суммарная нагрузка (html+images) превысила 40 запросов в секунду, а пиковые секундные нагрузки достигали значений 110-120 запросов в секунду. В эти часы хорошо подтвердилось эмпирическое правило о том, что при проектировании нагрузочной способности сайта можно исходить из отношения пиковой и средней нагрузок, равного трем (т.е., например, если ожидается суточная посещаемость сайта X, то сайт должен без задержек работать с нагрузкой 3*X, при более высокой посещаемости можно уменьшать период осреднения, но не рекомендуется уменьшать коэффициент запаса пиковой нагрузки ниже 3).

  Видно, что отношение максимальных и минимальных среднечасовых нагрузок (пиковые часы по отношению к ночным) для image-сервера в 5-6 раз превышает аналогичную характеристику для сервера, выдающего динамические html-документы. Данный факт позволяет глубже понять те преимущества, которые дает архитектура с раздельными image и html серверами.

  В отмеченные пиковые часы среднечасовая нагрузка на канал связи соответствовала полосе 10-11 Mbit/sec. ГАИШ МГУ подключен к магистральным сетям каналом 100 Mbit/sec, таким образом, поток составлял около 10% от полосы пропускания, что вполне обеспечивало доступ к сайту Астронет в нормальном режиме. Пиковые нагрузки на канал составляли 100 Mbit/sec, что является естественным следствием сетевой топологии (многие пользователи имеют к серверу подключение со сквозной скоростью 100 Mbit/sec).

  Отметим, что в это же пиковое время на Астрофоруме сайта Звездочет было отмечено до 1000 посетителей. Сайт отлично держал нагрузку, субъективно никаких задержек его работы отмечено не было.

  С другой стороны, ни один из тех сайтов, которые пытались организовать прямую трансляцию затмения, не смог выдержать нагрузки. Все такие сайты оказались недоступными задолго до начала пикового времени (за несколько часов), и восстановили работоспособность также лишь через несколько часов после спада пика посещаемости. Причиной, очевидно, явилось то, что ожидаемые нагрузки были оценены со значительными ошибками, или не приняты во внимание.

  Представленные здесь данные позволяют сделать два существенных вывода.

  Во-первых, т.к. посещаемость ведущих сайтов астрорунета растет, представляется целесообразным проектировать для них среднюю нагрузочную способность на уровне не ниже 20-30 запросов в секунду, и пиковую - до 60-90 запросов в секунду. Исходя из сегодняшних оценок, приведенных здесь, можно спрогнозировать, что через достаточно короткое время (1-3 года) такие нагрузки станут типичными.

  Второй вывод - для сайтов, организующих on-line трансляции популярных астрономических событий, по-видимому, необходимо исходить из значительно более высоких значений. Представляется, что нагрузочная способность должна быть на уровне 100-200 запросов в секунду в среднем, и 300-600 в пике. При этом полосы пропускания в 10 Mbit/sec будет недостаточно, необходимая полоса составит порядка 25-50 Mbit/sec.

  Из приведенных оценок, в частности, можно сделать вывод, что достаточно масштабный российский проект трансляции затмения, предпринятый САО РАН совместно с целым рядом других организаций (см. Web-трансляция Солнечного затмения) оказался неработоспособным именно из-за применения неудачной методики оценки необходимой нагрузочной способности. Использованная в проекте полоса пропускания канала (2 Mbit/sec) в 12-25 раз меньше по сравнению с оценками, вытекающими из приведенного выше анализа.

  В заключение важно подчеркнуть, что наблюдаемый 29 марта 2006 года беспрецедентный всплеск посещаемости однозначно показывает как значительно возросшее значение российских астросайтов в целом, так и заметное увеличение интереса к астрономии в российском интернет-сообществе.

• Re: Солнечное затмение и российские астросайты   ( Гость, 30.03.2006 9:40, 2.3 КБайт, ответов: 1)

  Отличная статья, превосходный анализ!

  Пара дополнений и критических замечаний. Первый всплеск интереса такого рода к астрономическим сайтамбыл отмечен во время солнечного затмения (тоже!) в 1998 г. Тогда посещаемость сайтов по астрономии была еще довольно низкой. Тем не менее, на тех астросайтах, где _было_ упоминание о затмении, был резкий скачок посещаемости. Причем гораздо более резкий, чем сейчас. Например, сайты Московского планетария и Путеводитель астронома на тот момент были в пятерке лучших российских астросайтов по посещаемости. У Планетария было примерно 20-30 уникальных посетителей среднем в день, у Путеводителя - 20. В день затмения - у Планетария было 1050 посетителей, у Путеводителя - 980. Статистика - по счетчикам Рамблера. То есть был скачок в 30-50 раз! Еще факт. В то время лучшие сайты рунета имели посещаемость 10-15 тыс. в сутки. Итого - 10% от пиковой нагрузки лучших сайтов.

  Что сейчас? Скачка в 30-40 раз - нет. Я тоже пробежался по счетчикам, и увидел, что у самых популярных астросайтов был скачок в 3-8 раз, не больше! Это - понятно, почему - сайтов стало на два порядка больше, они "растягивают аудиторию". Однако, что интересно - процентное отношение к посещаемости лучших сайтов рунета (по посещаемости, конечно ) у лучших астросайтов (Астронет, Астрогалактика) - осталось тем же! Действительно, на некоторые их страницы был поток посетителей примерно в 20 тыс. за сутки. Между тем сегодня пиковая нагрузка по публичным счетчикам у наиболее посещаемых сайтов рунета лежит в районе 100-200 тыс. Налицо - отличная повторяемость.

  Замечу, что налицо - влияние телевизионной рекламы в чистом виде на посещаемость, между прочим. И в 98 г, и сейчас - про затмение говорили очень много по телевизору. И - стоит упомянуть в телевизоре про астрономическое явление (замечал связь с Леонидами, наапример) - сразу скачок посещаемости у сайтов. Но порядок скачка зависит от интересности явления и массированности освещения по телевидению. Он бывает от 2 до 10 раз, как правило. Не больше. Времена 50-ти кратных скачков прошли, увы.... Кстати, не надо забывать, что часть аудитории утекает на "обычные" сайты. Конкурировать в такие дни надо и с ними - это особое примечание для всех астросайтов.

  Самодуров Владимир

• Re[2]: Солнечное затмение и российские астросайты   ( Гость, 30.03.2006 21:49, 113 Байт)

  Где можно найти календарь солнечныхи лунныхзатмений на период 2000-2050 гг? Никак не могу найти на сайте.