Wikimedia Quarto/2/tech/Pl

Rozwój techniczny

Większość tego raportu została sporządzona przez Jamesa Daya; dużą część fragmentu o komputerach znajdujących się w Paryżu napisał David Monniaux.
Informacje o naszych serwerach można znaleźć w każdej chwili na stronie Wikimedia servers. Działalność developerów dotyczy dwóch głównych dziedzin: administracji serwerami i pracy nad rozwijaniem oprogramowania MediaWiki, które ma również wiele zastosowań niezwiązanych z projektami Wikimedia. Większość developerów jest wymieniona tu (niektórzy wolą pozostać anonimowi). Można im okazać swoją wdzięczność przekazując im podziękowania lub udzielając wsparcia finansowego. Dziękujemy!
Dotychczas wszyscy developerzy pracowali za darmo, ale w przyszłości może to ulec zmianie, ze względu na oszałamiające tempo rozwoju naszych projektów.

Instalacja komputerów buforujących we Francji

18 grudnia 2004, 3 podarowane nam serwery zostały zainstalowane w serwerowni w Aubervilliers na przedmieściach Paryża we Francji. Na życzenie ofiarodawców nazwano je bleuenn, chloe i ennael. Dla lubiących technikalia są to serwery: HP sa1100 1U z 640 Mb RAM-u, 20 Gb dyskami twardymi ATA, i procesorami Celeron 600 MHz.

Maszyny te zostaną wyposażone w oprogramowanie buforujące Squid. Posłużą do treningu metod dodawania buforów sieciowych bliżej użytkowników, celem zmniejszenia opóźnień. Użytkownicy z Francji, posiadający łącze typu DSL, mogą połączyć się z tymi komputerami ze średnim opóźnieniem 30 ms, podczas gdy połączenie z głównym klastrem serwerów Wikimedia na Florydzie zajmuje około 140 ms. Pomysł polega na tym, że użytkownicy z niektórych części Europy będą używali francuskich serwerów Squid, co obniży opóźnienia w dostępie do multimediów (dla wszystkich użytkowników) i tekstu (dla użytkowników anonimowych) o 1/10 sekundy. Użytkownicy zarejestrowani nie zyskają aż tak wiele, ponieważ strony są generowane dla każdego z nich osobno i dlatego nie są buforowane wspólnie dla wielu użytkowników. Jeśli strona nie jest w buforze lub jest przeznaczona dla zarejestrowanego użytkownika, serwery Apache muszą poświęcić 1/5 do 3 i więcej sekund plus dostęp do bazy danych na złożenie strony. Czas dostępu do bazy danych to około 1/20 sekundy dla bardzo prostych rzeczy, ale rośnie dla kategorii, a dla bardzo dużej listy obserwowanych artykułów może wynieść nawet 100 sekund.

Serwery zostały uruchomione na początku stycznia 2005, co rozpoczęło okres eksperymentalny. Od 31 stycznia maszyny te przechowują w buforach zawartość projektów anglo- i francuskojęzycznych dla użytkowników z Belgii, Francji, Luksemburga, Szajcarii i Zjednoczonego Królestwa. Cały system jest nadal w fazie testów i spodziewana jest możliwość wzrostu wydajności buforowania po wprowadzeniu drobnych poprawek. Obecnie rozważana jest możliwość instalacji podobnych klastrów w innych krajach.

Instalacja większej ilości serwerów na Florydzie

W połowie października zamówiono dwie maszyny przeznaczone na podporządkowane (ang. slave) bazy danych, każda z dwoma procesorami Opteron, 6 dyskami w połączonymi w RAID 0 i 4GB RAM. Zamówiono też pięć maszyn o parametrach 5GHz/1GB RAM przeznaczonych na serwery Apache.

Opóźnienia, spowodowane problemami z kompatybilnością, z którymi dostawca musiał się uporać przed wysłaniem serwerów, spowodowały niedostatek mocy baz danych. Skutkiem tego było okresowe wyłączanie funkcji przeszukiwania bazy. Trwało to do początku grudnia. W listopadzie 2004, 5 serwerów WWW, w tym cztery z dużą ilością RAMu (pamięci operacyjnej) używane przez serwery buforujące Memcached lub Squid, uległo awariom. To spowodowało bardzo wolne działanie Wiki.

Na początku grudnia zamówiono pięć serwerów 3GHz/3GB RAM. Na czterech z nich będą uruchomione usługi Squid oraz Memcached przez co z nawiązką zastąpią one uszkodzone komputery, do czasu ich naprawienia. Jedna maszyna, wyposażona w dyski SATA w układzie RAID 0, będzie używana do testów mających na celu sprawdzenie jakie obciążenie mogłyby wytrzymać tego typu tańsze serwery. Ma ona również służyć jako serwer podporządkowany (slave) przechowujący kopie zapasowe bazy danych oraz serwer Apache. Komputery te zostały wyposażone w karty rozszerzające umożliwiające zdalne monitorowanie stanu zasilania i temperatur systemu, za dodatkowe $60 od sztuki. Opcja ta została wybrana przy tym zakupie, by umożliwić porównanie jej efektywności ze zdalnie obsługiwaną listwą zasilającą i innymi bardziej ograniczonymi sposobami monitoringu. Zdalne monitorowanie pozwoli zredukować zapotrzebowanie na pracę w samej serwerowni, co czasem wymaga dodatkowych kosztów i może powodować opóźnienia.

Kolejne zamówienie planowane jest na koniec tego kwartału lub pierwsze dni następnego. Obejmie ono jeden podstawowy (master) serwer bazy danych, dzięki czemu możliwy stanie się podział zespołu serwerów baz danych na dwie grupy, każda złożona z jednego serwera podstawowego i dwóch podporządkowanych. Każda grupa będzie obsługiwała około połowy aktywności projektu. Zamówienie zawiera też pięć dodatkowych serwerów Apache. Zamówienie to zużyje resztę z 50000 dolarów zebranych podczas ostatniej zbiórki pieniędzy. Podział serwerów bazy danych spowoduje, że ilość zapisów na dyskach dla każdego zestawu serwerów baz danych zmniejszy się o połowę, co uwolni zasoby potrzebne do obsługi żądań czytania z bazy. Podział ten ma nastąpić za około trzy miesiące, po tym jak kandydat na serwer podstawowy zdąży udowodnić swoją wiarygodność podczas kilkumiesięcznej pracy w roli serwera poporządkowanego.

Zwiększony ruch i przepustowość

Natężenie ruchu wzrosło podczas trzeciego kwartału ubiegłego roku od 400-500 żądań na sekundę do około 800 na sekundę. Na początku czwartego kwartału wzrastało dalej, często przekraczając 900 żądań na sekundę, a w godzinach szczytu wahając się pomiędzy 1000 a 1100 żądań na sekundę. Później nastąpiła stabilizacja na poziomie 900 i powolny wzrost. Prawdopodobne przyczyny to koniec gwałtownego zainteresowania związanego z początkiem roku szkolnego i zniechęcająco długie okresy oczekiwania na odpowiedź systemu ([1]). Wykorzystanie pasma wzrosło z około 32 megabitów na sekundę na początku kwartału do 43 megabitów na sekundę na końcu. Szczyt dzienny to przeważnie około 65-75 megabitów na sekundę, czasem na krótko osiągana jest wartość 100 megabitów na sekundę, co stanowi limit pojedynczego wychodzącego połączenia eternetowego. W serwerowni na Florydzie tymczasowo skorzystano z podwójnych łącz 100 megabitowych, zastosowano też połączenie za pomocą światłowodów o przepustowości 1 gigabita oraz zamówiono wymagane części.