Wikimedia Cloud

Die WikimediaCloud ist ein Netzwerk neben dem Normalbenutzern zugänglichen Angebot, das für technische Anwendungen zu allen Wikis Daten und eine Plattform für Werkzeuge bereitstellt. Auf diesem Weg können freiwillige Entwickler und hauptamtliche Wikimedia-Mitarbeiter sowie Außenstehende mannigfaltige Direktnutzungen und auch Bearbeitungen der Wiki-Inhalte vornehmen, die nicht über den manuellen interaktiven Webbrowser abgewickelt werden.

Einige wesentliche für manche Wikipedianer sichtbare Komponenten sind:

• Tools (vormals: „Labs Tools“), in der „Toolforge“
• Dumps der Wiki-Datenbanken (bereinigt um nicht-öffentliche Daten)
• BETA-Cluster

Das Netzwerk wurde seit 2017 nach und nach aufgebaut und im Frühjahr 2020 in den produktiven Einsatz überführt.

Der frühere Name „Labs“ für alles war der zunehmenden Differenzierung nicht mehr gewachsen und verdeutlichte die Unterschiede zwischen den Bereichen kaum.^[1]

• Hinzu kommt, dass das Kurzwort „Labs“ die Bedeutung und den Beigeschmack von „Experimentierfeld“ oder „Spielwiese“ hat, während es sich um robuste und langjährig eingeführte dauerhafte Anwendungen und Dienste handelt.
• Unterschiedliche Domains ermöglichen eine stringentere Abgrenzung von Cookies und andere Verbesserungen der Sicherheitsaspekte, und auch die Auslastung bei starker Inanspruchnahme ist besser steuerbar, wenn von vornherein mehrere Server auf unterschiedlichen Domains die Anfragen verarbeiten. Die neue URL-Struktur kennt auch spezifische Subdomains für jede Werkzeugfamilie, wodurch noch trennschärfere Konfigurationen für starke Belastungen ermöglicht werden.

Beim „Toolserver“ wurden Werkzeuge von einer einzelnen Person entwickelt, und auf ihrem Benutzerkonto veröffentlicht. Schied die Person aus dem Toolserver aus, wurden nach sechs Monaten alle Werkzeuge dieses Benutzers aus Sicherheitsgründen abgeschaltet. In manchen Fällen übernahmen andere Benutzer die Programmierung vielgenutzter Hilfsmittel und boten sie unter ihrem Namen weiter an.

Auf den „Labs“, mittlerweile „Cloud“, wird dies anders organisiert:

• Die Arbeitsebene sind beliebig viele thematische Cloud-Projekte.
• Jedes Cloud-Projekt kann beliebig viele Entwickler als Mitglieder aufnehmen. Damit wird zum einen die gemeinschaftliche Entwicklung neuer Werkzeuge erleichtert, zum anderen kann beim Ausscheiden eines Freiwilligen die Wartung, Pflege und Weiterentwicklung durch eingearbeitete Mitglieder des Cloud-Projektes fortgesetzt werden.
• Jedes Cloud-Projekt kann Benutzer als Administratoren gegenüber einfachen Entwicklern definieren.
  • Administratoren haben Zugriff auf alle Ressourcen und Dateien. Sie können entscheiden, welche Entwickler Mitglied im Cloud-Projekt sein sollen, welche Dateien Schreibschutz erhalten, welche Ressourcen zugeordnet werden sollen und andere sicherheitsrelevante Aspekte.
  • Entwickler können Dateien verändern und damit Neuentwicklungen und Erprobungen vornehmen.
  • Jeder kann sich als Mitglied anmelden (mw:Developer access) und muss sich als Entwickler bestätigen lassen. Danach kann man eigene Cloud-Projekte begründen oder sich bestehenden Cloud-Projekten anbieten.
• „Endbenutzer“ sind alle, die ein Produkt eines Cloud-Projektes nutzen.
  • Sie haben in der Regel keine Möglichkeit, Dateien eines Cloud-Projekts zu lesen.
  • Quellcodes werden über das Gerrit-System verwaltet – [[gerrit:]] – dies ist für jeden weltweit einsehbar.
  • Endbenutzer können aufBETA an der Erprobung neuer Techniken mitwirken.
• „Instanzen“ sind technische Einheiten innerhalb eines Cloud-Projekts. Sie entsprechen einervirtuellen Maschine.

Die Cloud-Projekte sind wahlweise:

• „Toolforge“ als Domain für Bots und Werkzeugkästen
• „VPS“ als virtueller Server

Quellcodes sollen öffentlich einsehbar sein; zum einen um Schadwirkungen und andere unerlaubte Praktiken nachvollziehen zu können, wie auch um der Community Mitwirkung durch Patches und andere konkrete Vorschläge zu ermöglcihen. Eine geeignete Quellcode-Lizenz wird angestrebt.

Diese Abkürzung meint „Virtual Private Server“. Freiwillige wie auch hauptberufliche Entwickler, die diesen Weg wählen, betreiben gewissermaßen einen Webserver für sich allein. Physisch ist das allerdings nur eine Anwendung, die auf einem Rechner derWMF läuft. Über Fernsteuerung wird dieser „Server“ kontrolliert und konfiguriert.

Im Unterschied dazu werden alle Werkzeuge der „Toolforge“ auf einem gemeinsamen derartigen VPS betrieben. DieBenutzergruppen zu den Werkzeugen haben jeweils ein von den Angehörigen der Benutzergruppe betriebenes Konto und ein zugehöriges Benutzerverzeichnis.

Nachstehend einige bekannte VPS-Anwendungen:

• petscan – Seitenlisten nach Kriterien
• quarry – Eigene Datenbankauswertungen formulieren
• wdq –Wikidata Query aufwdq.wmcloud.org
• The Wikipedia Library aufwikipedialibrary.wmcloud.org
• xtools – Werkzeugkasten

Die Cloud verwendet in erster Linie die nachfolgenden Domains:

• .wmcloud.org – ab 2020 für die neue Organisation; etwa
  • https://codesearch.wmcloud.org/
  • https://paws.wmcloud.org/
• .toolforge.org – seit 2018; Domain für alle klassischen Werkzeugkästen (die nichtVPS sind)
• .wmflabs.org – seit 2012; alte URL sollen weiterhin unterstützt werden, ansonsten obsolet und sollte nach Funktionsprüfung umgeschrieben werden

Bisher gab es nur eine einzige Subdomaintools.wmflabs.org – über diese mussten sämtliche Zugriffe auf Werkzeuge abgewickelt werden.

• Über.wmcloud.org (bzw..wmflabs.org) hat bereits jedeVPS-Anwendung eine eigene Subdomain.
• In.toolforge.org erhält nunmehr jeder Werkzeugkasten eine eigene Subdomain.

Die Zuweisung eigener Subdomains hat mehrere Vorteile für die Performance:

• Jeder Subdomain kann eine eigene IP-Adresse zugeteilt werden, also jedem Werkzeugkasten.
• Die physischen Server können explizit den Werkzeugkästen zugeteilt werden; also die besonders stark nachfragenden Werkzeuge können einen eigenen Hardware-Server erhalten, oder es teilen sich zwei Werkzeuge eine reale Maschine. Alle selten benutzten oder inzwischen deaktivierten Werkzeuge können auf einem Server für den Rest und die Grundlast abgearbeitet werden.
• Wenn ein Werkzeug immer den identischen physischen Server benutzt und häufig frequentiert ist, dann könnte es auch alsDämon konfiguriert werden und effizienter (permanent) arbeiten, als wenn das Werkzeug auf verschiedensten Maschinen für jede Anfrage neu gestartet wenden muss.

DaCookies üblicherweise pro Subdomain geschrieben werden und unter.toolforge.org jeder Werkzeugkasten eine eigene Subdomain verwendet, können Werkzeuge nicht mehr gegenseitig ihre Cookies mitlesen. Beitools.wmflabs.org teilten sich alle Werkzeuge dieselbe Subdomain und auch alle Cookies.

Eine Pseudo-Interwiki-Verlinkung[[toolforge:]] sollte nicht verwendet werden, weil es die Lastverteilung über die Subdomains unterläuft.

In der Cloud werden auch Datenbanken betrieben, die die Inhalte der echten Wikis abbilden.

• Es handelt sich dabei grundsätzlich um öffentliche Inhalte. Das bedeutet, dass folgende Tabellen und Datensätze der echten Wiki-Datenbanken versteckt werden:
  • Tabellen mit geschützten Benutzerinformationen, wie über die Beobachtungsliste und Konto-Einstellungen, E-Mail-Adresse und dergleichen; die Login-Informationen und die Passwort-Verifikation erfolgen ohnehin über einen separaten Server;
  • Zugriffsdaten, die nurCheckusern zugänglich sein dürfen;
  • Durch Administratoren undOversighter versteckte Eintragungen.
• Einige Datenbanken enthalten außerdem nur die Meta-Informationen, also nur das Versionslog und die Bearbeitungskommentare zu einer Seite, nicht aber die eigentlichen Inhalte; außerdem die Informationen über interne und externe Verlinkungen.
• Um den Zugriff auf die echten Master nicht zu beeinträchtigen, handelt es sich um Replikate auf physisch anderen Servern, welche die geschützten Einzeltabellen schlicht nicht enthalten. Damit ist auch die Gefahr von Sicherheitslecks bei Angriff auf die Replikate minimiert.

DieDumps werden ebenfalls von den Cloud Services bereitgestellt.

Zusätzlich kann jeder Bot, jedes Werkzeug für eigene Zwecke private Datenbanken im eigenen Nutzerbereich anlegen; diese möglicherweise über ein Werkzeug oder allgemein öffentlich machen.

Als „Beta“ ist eine Simulation großer Wiki-Projekte eingerichtet:wikimedia.beta.wmcloud.org

• Hier kann mit Kopien der Original-Seiten, der echten Projekt-Einstellungen und aller Software der momentane Entwicklungsstand der zentralen Software getestet werden, bevor diese (üblicherweise wöchentlich; siehewikitech:Deployments) auf den echten Projekten wirksam wird.
  • β-dewiki bietet den Vorteil, dass alle Seitennamen und Namensräume original in deutscher Sprache verwendet werden können; Vorlagen, Bilder usw. können aus der „echten“dewiki kopiert werden. Auch bestimmte Konfigurationen der echtendewiki stimmen überein; anders ist das auf den englischsprachigentestwikis.
• Die deutschsprachige Wikipedia wirdhier simuliert.

Siehe:Datenschutz.

DieAPI ist Teil jeder (auch privaten) Installation derMediaWiki-Software. Sie ist eine reine Software-Schnittstelle, die von den Entwicklern der sonstigen Wiki-Software integriert mitgeliefert wird.

Hingegen ist die Cloud eine separate Hardware-Infrastruktur, also ein Netzwerk von Servern, und wird den berechtigten Akteuren durch dieWMF zur Verfügung gestellt; außerdem eine Abrufmöglichkeit für bereinigte vollständige öffentliche Wiki-Datenbanken.

Die Abfrage der API dagegen erfolgt über die normale Domain des Wiki-Projektes. Sie verwendet keine zusätzlichen Datenbanken über den normalenHTML-Zugang für Browser hinaus.

Wikitech: Cloud Services Introduction – Technische Infrastruktur (englisch)

• wikitech:Portal:Toolforge,Help:Toolforge (englisch)
• wikitech:Portal:Cloud VPS –virtual private servers (englisch)
• wikitech:Portal:Data Services (englisch)
• wikitech:dumps.wikimedia.org
• wikitech:Portal:Wikitech
• wikitech:Nova Resource:Deployment-prep,Overview
• wikitech:Help:Getting Started

Phabricator – Workboard:#Cloud-Services

1. ↑wikitech:Help:Labs labs labs (englisch)

• Wikipedia:Technik/Cloud