Wikimedia Quarto/2/tech/Ru

Техническое развитие

Большая часть этой статьи написана Джеймсом Дейем (James Day); часть о парижских серверах в значительной степени принадлежит Давиду Моннио (David Monniaux).
Информация о наших серверах может быть всегда найдена на странице Серверы фонда «Викимедиа». Разработчики трудятся в двух основных направлениях: обслуживание серверов и развитие программного обеспечения MediaWiki, которое также используется во многих вики-проектах, не связанных с фондом Викимедиа. Большинство разработчиков (хотя и не все, по их предпочтениям) перечислены здесь. Им можно выразить признательность, оставив несколько записей с благодарностями, или даже оказать финансовую поддержку. Спасибо!
До сих пор все разработчики работали бесплатно, но в будущем ситуация может измениться, чтобы поддержать наш ошеломительный рост.

Установка кеширующих Squid-серверов во Франции

18 декабря 2004 года на серверной площадке в Обервилье (пригород Парижа) были установлены 3 сервера, по просьбе их дарителя названные bleuenn, chloe и ennael. Для интересующихся техническими характеристиками это промышленные 1U-серверы HP sa1100 с 640 МиБ ОЗУ, 20 Гб ATA жёсткими дисками и 600 МГц процессорами Celeron.

На машинах установлены кеширующие прокси-cерверы Squid. На данной системе будет отработана технология использования кеширующих веб-серверов, расположенных ближе к пользователям чем основные сервера Викимедиа, благодаря чему уменьшится время отклика на запрос. В ходе эксперимента было установлено, что для французских пользователей подключённых через DSL, латентность доступа к новым серверам уменьшилась до 30 мс, тогда как при обращении к основному серверному кластеру во Флориде она составляла около 140 мс. Идея в том, что для пользователей из Европы будут использоваться кэширующие серверы во Франции, благодаря чему время отклика сервера уменьшится на 0,1 секунды. Медиа-файлы кэшируются для всех пользователей, но гипертекстовые страницы кэшируются только для анонимных пользователей, т. к. для зарегистрированных участников страницы генерируются с учётом персональных настроек. Если запрос поступил от зарегистрированного участника, или страницы нет в кеше сервера, для формирования страницы веб-серверу Apache потребуется от 0,2 до 3 секунд, плюс время на обращение к базе данных, которое может составлять 0,05 секунды в случае простых запросов и несколько секунд, если был запрос к категории, — до 100 секунд при обращении к обширному списку наблюдения.

Кэширующее программное обеспечение были установлено в начале января 2005 года, и после отладочного периода начало обслуживать запросы к франко- и англоязычным проектам от пользователей из Бельгии, Франции, Люксембурга, Швейцарии и Великобритании. Система во многом остаётся экспериментальной, ожидается что удастся увеличить её производительность после некоторой дополнительной настройки. Расматривается вопрос об установке подобных систем кеширования в других странах.

Установка дополнительных серверов во Флориде

В октябре были заказаны ещё два ведомых сервера баз данных (двухпроцессорные Opteron, с 6 жёсткими дисками в RAID 0, 4 Гб ОЗУ) и пять веб-серверов под Apache (3 МГц, 1 Гб ОЗУ). Однако поставка новых серверов задерживалась, и существующее оборудование испытывало перегрузки, из-за чего приходилось временами отключать функцию поиска информации.

В ноябре 2004 года обнаружились сбои в работе 5 веб-серверов, на четырёх из которых работало кеширующие ПО Memcached и Squid. Это привело к снижению скорости работы вики-проектов.

В начале декабря были заказаны ещё пять серверов (3 ГГц, 3 Гб ОЗУ). Четыре из них заменят вышедшие из строя кеширующие сервера, пока они каходятся в ремонте, а одна машина (с SATA жёсткими дисками, объединёнными в RAID 0) будет использоваться в экспериментах, в которых предполагается выяснить какую нагрузку смогут выдержать подобные малобюджетные сервера баз данных, кроме того она будет хранить резервную копию базы данных. Новые сервера оборудованы дополнительными устройствами удалённого контроля электропитания и состояния сервера стоимостью 60 долларов. Эти устройства были заказаны, чтобы сравнить их с более простыми средствами удалённого контроля, подобные устройства позволяют сократить время работы специалиста на серверной площадке и снизить затраты на обслуживание.

Далее последует заказ ещё одного мастер-сервера баз данных, который позволит организовать множество серверов баз данных в две группы, каждая из которых будет состоять из мастер-сервера и двух ведомых серверов, и обрабатывать примерно половину от общего числа запросов. Ещё пять веб-серверов запланировано купить в конце квартала, или первые дни следующего квартала, этот заказ будет оплачен из остатка денег полученных в ходе последнего сбора средств (всего было собрано 50 000 долларов). Разделение серверов баз данных на две группы позволит в каждой группе в два раза сократить количество каличество операций записи на диск, что позволит выделить больше ресурсов на обслуживание запросов чтения с диска. Реорганизацию серверов планируется произвести после того, как новый мастер-сервер баз данных подтвердит свою надёжность проработав три месяца в качестве ведомого сервера.

Увеличение трафика

В течение третьего квартала трафик вырос с 400-500 до 800 запросов в секунду. В начале четвёртого квартала он составлял 900 запросов в секунду с пиковыми нагрузками в 1100 запросов, затем стабилизировался на некоторое время. Использование полосы пропускания выросло с 32 мегабит в секунду в начале квартала до 65-75 мегабит в секунду и иногда упиралось в предел 100 мегабит одного исходящего ethernet-соединения. Как временная мера задействовано второе 100 мегабитное соединения, был заказан модуль для установки гигабитного оптоволоконного соединения.