Мир энциклопедий

Особенности сетевой инфраструктуры Википедии

• 4 декабря 2014
• просмотров 3356
• комментариев 4

Онлайн-энциклопедия «Википедия» (Wikipedia) — один из самых посещаемых ресурсов мира. На сайт заходит полмиллиарда человек в месяц. Получается, что каждую секунду идет нагрузка в 200 запросов. Само собой, все это требует достаточно производительной сетевой инфраструктуры, рациональной организации структурных элементов дата-центра. Стоит также помнить, что Википедия существует на пожертвования, поэтому инженерная команда очень ограничена в возможностях.

Именно поэтому главной задачей работников дата-центра Википедии является постоянная оптимизация производительности оборудования и программного обеспечения, а также организация беспроблемного кэширования. Особенностью работы сайта является необычная страница, сообщающая о недоступности Википедии. Если сервера перегружены, то отдается заглушка, на которой размещена информация о возможностях внесения пожертвований на счет Википедии. Здесь нет критически важных бизнес-процессов, поэтому работники инженерной команды сайта могут позволить себе более спокойно реагировать на простои оборудования.

Руководство инженерной службы Википедии даже шутит, что чем больше простоев случается, тем больше пожертвований получает онлайн-энциклопедия. При этом сам ресурс размещается на ограниченном количестве серверов в городах Ашберн, Амстердам, Сан-Франциско и Тампа. Понятно, что на пожертвования нельзя построить дата-центр, подобный тем, что строят Facebook и Google. Тем не менее, помещения ЦОД-ов Wikipedia вполне отвечают общепринятым стандартам. Несмотря на простои, которые все же иногда случаются, сам ресурс доступен практически 99,99% времени.

Сетевая инфраструктура проектов Фонда Викимедиа (Wikimedia Foundation)

А это — уже солидное достижение команды поддержки, поскольку на Википедии зарегистрировано более 23 миллионов пользователей, только англоязычная версия ресурса насчитывает около 34 миллионов страниц. Эти страницы получают 8,8 миллионов просмотров в час. А расположено на страницах 4,7 миллиона статей. У ресурса есть интерактивная статистика, где можно посмотреть подробную информацию о нагрузке.

В 2001 году, когда энциклопедия только создавалась, она работала только с одним сервером. Через 7 лет, в 2008 году, серверная инфраструктура ресурса включала 200 серверов для обработки приложений, 20 серверов для хранения и обработки данных, плюс 70 кэш-серверов. Сейчас общее количество серверов выросло до 885, и продолжает увеличиваться. В качестве ПО здесь используется программное обеспечение MediaWiki. Что касается серверных систем, используются Squid, PHP, Memcached. Более подробную информацию о принципе функционирования ЦОД-ов Wiki можно просмотреть здесь.

Как итог — высоконагруженный сайт с минимальными затратами и небольшим количеством оборудования работает без особых проблем.

• Теги
• data center
• network infrastructure
• Wikimedia Foundation
• Wikipedia
• Вики
• Википедия
• Фонд Викимедиа
• ЦОД
• дата-центр
• сетевая инфраструктура

• Ссылка на источник в интернете http://data247.ru/2014/12/04/osobennosti-setevoj-infras...

Комментарии

• YA_HELEN 10 декабря 2014Ссылка на комментарий

  Любопытно.
  В качестве саморекламы Вики-проекта эта статья — идеальна. За исключением того, что практически на всем ее протяжении проходит тезис:
  

  Стоит также помнить, что Википедия существует на пожертвования...
  
  ...чем больше простоев случается, тем больше пожертвований получает онлайн-энциклопедия.
  

  Хотя в принципе, почему бы и нет. Намёк наверняка будет «правильно» понят в том числе (и желательно) уважаемыми толстосумами, проникшимся опубликованными результатами работы и пожелавшими войти в анналы Вики в категории благотворителей. Идея
  • 0/0
• 
  lisss 10 декабря 2014Ссылка на комментарий

  YA_HELEN пишет:
  

  Стоит также помнить, что Википедия существует на пожертвования ...
  
  ...чем больше простоев случается, тем больше пожертвований получает онлайн-энциклопедия.
  

  Хотя в принципе, почему бы и нет. Намёк наверняка будет «правильно» понят в том числе (и желательно) уважаемыми толстосумами, проникшимся опубликованными результатами работы и пожелавшими войти в анналы Вики в категории благотворителей.

  Кстати, где-то читал статистику, что основная масса пожертвований для Википедии, не превышает 10-ти долларов. Так что о толстосумах тут речь не идет С улыбкой Второго Дурова, который миллион для Вики пожертвует, пока не находится. Но вот что мне непонятно, так это то упрямое желание не размещать рекламу на ресурсе, под предлогом независимости. Ну как повлияет на независимость Вики баннер с памперсами?
  • 0/0
• 
  Елена Четверякова 11 декабря 2014Ссылка на комментарий

  YA_HELEN пишет:
  толстосумами... пожелавшими войти в анналы Вики в категории благотворителей

  А в Вики есть перечисление спонсоров поименно? Иначе зачем же им «проникаться»? Вопрос
  
  

  lisss пишет:
  что мне непонятно, так это то упрямое желание не размещать рекламу на ресурсе, под предлогом независимости

  Возможно, они боятся, что их в эту рекламную трясину затянет Широкая улыбка А то начнется с баннера памперсов, перейдет на контекстную рекламу и пошло-поехало. Если серьезно - то все пользователи энциклопедии Вики, с которыми я общалась, утверждают, что больше всего их привлекает в этом ресурсе именно отсутствие рекламы и безбоязненность нарваться на какой-нибудь злобный вирус.
  Я бы предложила организаторам Вики брать небольшую плату за первую правку от пользователя. Постоянных народных редакторов это бы не отпугнуло, а некую массу, которая правит «не по делу», а из личных соображений — поубавило, да и копеечку бы зарабатывали. Идея
  • 0/0
• Роман Троцкий 12 декабря 2014Ссылка на комментарий

  Знаете, разбираться в том, за какие пожертвования была написана или сейчас пишется какая-то из энциклопедий — неблагодарное занятие. У наших тоже источники такие, что заставляют подозревать тенденциозность изложения. Каждый ведь по себе судит...
  • 0/0
• На форуме