مؤسسة ويكيميديا هي خدمة جديدة مشتركة بين الأقسام تابعة لمؤسسة ويكيميديا متاحة عبر enterprise.wikimedia.com. الهدف من الخدمة هو بناء خدمات لمُعادلي استخدام محتوى ويكيميديا التجاريين بكميات كبيرة. أعلن عن الخدمة في مارس 2021 (blogpost ، WIRED article) وأطلقت في أكتوبر 2021 (خبر صحفي ، مقالة OpenFutures).
ينصب التركيز على المنظمات التي ترغب في إعادة توظيف محتوى ويكيميديا في سياقات أخرى، وتوفير خدمات البيانات على نطاق واسع، بحيث تكون أسرع وأكثر شمولاً وموثوقية وأمانًا. تهدف Wikimedia Enterprise إلى تحسين تجربة المستخدم لقراء ويكيميديا خارج مواقعنا الإلكترونية؛ زيادة الوصول إلى المحتوى وقابلية اكتشافه ؛ وتحسين الوعي وسهولة الإسناد وإمكانية التحقق من قبل المنظمات التي تعيد الاستخدام بيانات مشروع ويكيميديا
هناك عائق كبير جدًا أمام الدخول لاستخدام بيانات ويكيميديا، خارج حالات الاستخدام الشائعة للقراءة أو التحرير. وذلك لأن المحتوى يصعب على الأجهزة تقسيمه وفهمه، مما يؤثر بدوره على مدى وصول بيانات مشروع ويكيميديا إلى ما هو أبعد من نظامنا البيئي، وحجم التأثير الذي يمكن أن تحدثه.
في توصيات استراتيجية الحركة إلى زيادة استدامة حركتناوتحسين تجربة المستخدم هناك توصيات على التوالي: "استكشاف فرص جديدة لكل من توليد الإيرادات ونشر المعرفة مجانًا من خلال الشراكات والدخل المكتسب - على سبيل المثال...بناء واجهات برمجة التطبيقات على مستوى المؤسسة" و"جعل مجموعة واجهة برمجة تطبيقات ويكيميديا أكثر شمولاً وموثوقية وأمانًا وسرعة، بالشراكة مع مستخدمين على نطاق واسع.. .. وتحسين الوعي وسهولة الإسناد وإمكانية التحقق من صحة مستخدمي المحتوى."
ومن المعروف أن بعض الشركات الضخمة تستخدم بيانات مشاريعنا. تدرك تلك الشركات أنه بدون مشاريع ويكيميديا، لن تكون قادرة على تقديم تجربة غنية أو موثوقة لمستخدميها. لقد كان هناك منذ فترة طويلة شعور بين أعضاء المجتمع بأن هذه الشركات يجب أن تفعل المزيد لإعادة الاستثمار في مجتمعات ويكيميديا من أجل الفوائد التي تكتسبها من المحتوى والموارد التي تستخدمها.
أدى هذا إلى فكرة تطوير نهج جديد أكثر استدامة على المدى الطويل ويوفر علاقة أكثر وضوحًا بين ويكيميديا ومستخدمي المؤسسات. من المحتمل أن تأتي معظم الفوائد المالية لويكيميديا من مجموعة صغيرة جدًا من المستخدمين الذين يسعون إلى الربح بشكل كبير، وسوف تعود بالفائدة على حركة ويكيميديا.
ومع تطور هذه الفكرة، أصبح من الواضح أن هناك مسؤولية لإضفاء الطابع الديمقراطي على بياناتنا للمؤسسات التي لا تمتلك موارد هؤلاء المستخدمين الكبار، لضمان تكافؤ الفرص والمساعدة في تعزيز الإنترنت الصحي دون تعزيز الاحتكارات. لا ينبغي أن تقتصر فوائد مثل هذه الخدمة على الشركات الناشئة أو البدائل لعمالقة الإنترنت فحسب، بل يجب أن تشمل أيضًا الجامعات والباحثين الجامعيين؛ المحفوظات والمحفوظات. جنبًا إلى جنب مع حركة ويكيميديا الأوسع.
نظرة عامة
ينصب تركيز ويكيميديا إنتربرايز على الشركات التي تعيد استخدام المحتوى الخاص بنا، عادةً على نطاق واسع - على سبيل المثال، المدمج في الرسوم البيانية المعرفية والبحث والمساعدين الصوتيين والخرائط والتقارير الإخبارية وأدوات المجتمع وتطبيقات الطرف الثالث والدراسات البحثية الكاملة. إن تعزيز مجموعات بيانات ويكيميديا العديدة لوضع هيكل وراء المحتوى غير المنظم الخاص بنا سيسمح لجميع مستخدمي المحتوى لدينا بتلبية متطلباتهم الفردية بينما يقوم أيضًا بإعدادنا لبناء أدوات وخدمات جديدة في المستقبل، متاحة للجميع. يبحث مستخدمو المحتوى الخاص بنا عن ثلاثة مكونات مهمة:
التردد: لقطات حالية منتظمة لمشاريع ويكيميديا
الموثوقية: بنية تحتية يمكن الاعتماد عليها ويمكن الوصول إليها
الجودة : "أفضل مراجعة أخيرة"
إن التركيز على مجموعة التمويل الذاتي من حالات الاستخدام المحددة يسمح لفريق Wikimedia API بالتركيز على المتطوعين والفرق والمنظمات التي تتطلع إلى الوصول إلى مجموعات البيانات الخاصة بنا (والأهم من ذلك التفاعل معها). يتضمن ذلك غالبية أدوات تحرير المجتمع، والتي ستكون خارج نطاق هذه الخدمة. لمزيد من المعلومات حول التحسينات على واجهات برمجة تطبيقات ويكيميديا الحالية، راجع صفحة الخدمة في مبادرة "API Gateway".
أهداف البرنامج:
المحتوى: جعل المزيد من محتوى حركتنا متاحًا بتنسيقات متسقة يمكن قراءتها آليًا، ومتاحة مجانًا لجميع الباحثين وإعادة المستخدمين.
تحميل الموارد: تقليل الحاجة إلى تجريف الموقع عالي الكثافة من خلال إعادة المستخدمين ذوي التردد الأعلى والأعلى حجمًا، والذين يستهدفون حاليًا خوادم الإنتاج لدينا.
جمع التبرعات: توفير طريقة أوضح وأكثر اتساقًا لأكبر المستخدمين لإعادة استثمار الفوائد المشتقة مرة أخرى في الحركة، بدلاً من تقديم تبرعات إيثارية عرضية تختلف في الحجم.
المجتمع
Wikimania 2023 presentation slides
اتصل بـ الفريق إذا كنت ترغب في ترتيب محادثة حول هذه الخدمة مع مجتمعك، في وقت ومنصة برمجية للاجتماعات من اختيارك.
Wikimedia projects are, have always been, and will always remain libre. The principles of free cultural works mean that anyone can use Wikimedia without restriction, including commercially. As a movement, we embrace this. It is why we reject ‘non-commercial’ licenses, as they would limit the kinds of reuse possible. And it is why we consider commercial reuse an important means of distributing knowledge to audiences.
Equally, Wikimedia projects are, have always been, and will always remain gratis. The ability to freely access the knowledge available across all Wikimedia projects has always been core to the mission of the Foundation and the movement. We provide this access not only to individuals visiting our websites but also programmatically to machines so that our content can be repurposed in other environments. The full corpus of Wikimedia content always has been, and will continue to be, made available for reuse in various forms (including but not limited to database dumps, APIs, and scraping) at no cost.
As a result, our content is often repurposed by for-profit organizations that rely on it to support their business models, and which consequently earn revenue from it. Outside of voluntary corporate donations to the Wikimedia Foundation, the movement has never received benefits from any of this revenue through return investment. In acknowledgement of this, under the heading of Increase the sustainability of our movement the Movement Strategy process asked the Wikimedia Foundation to explore, among other things, “enterprise-level APIs...models for enterprise-scale for-profit reusers, taking care to avoid revenue dependencies or other undue external influence in product design and development.” Furthermore, under the heading Improve User Experience, a further recommendation stated, "Make the Wikimedia API suite more comprehensive, reliable, secure, and fast, in partnership with large scale users where that aligns with our mission and principles, to improve the user experience of both our direct and indirect users, increase the reach and discoverability of our content and the potential for data returns, and improve awareness of and ease of attribution and verifiability for content reusers."
The Enterprise project team is developing a new resource aimed at for-profit content reusers, who have product, service, and system requirements that go beyond what we freely provide. Use of this offering will not be required for for-profit content reuse; companies can continue to use the current tools available at no cost. All Enterprise API revenue will unequivocally be used to support the Wikimedia mission—for example, to fund Wikimedia programs or help grow the Wikimedia Endowment.
This project represents a new kind of activity at the Foundation. The project is at a very early stage that should be considered a learning period. We will have successes, we will make mistakes, and we will need to adapt our strategies. The team is committed to listening, engaging, and where possible, integrating the feedback we get on our work. This document is organic and is reflective of the team's current thinking; we are attempting to document as much work as possible in the open. Up until now, our work has been shaped by a series of initial interviews with community members, Wikimedia Foundation Board and staff, researchers, and reusers.
Given the nature of the service, primary decision making for it will rest with the Wikimedia Foundation. We are seeking community input, in particular from the technical community and those who have been involved in the strategy process, throughout the lifetime of the service. Technical feedback has been gathered from colleagues at the Wikimedia Foundation, industry and research partners, technical partners across the movement, and with the broader technical communities via Phabricator. Input into the funding development side of the service will follow a similar pattern. We will continue gathering input via research interviews and focus groups, as well feedback here on Meta as per our principles.
Access
There are several methods to obtain access to the Enterprise API datasets
Realtime API (Batch and Streaming) and daily dump file in NDJSON format through the Enterprise API dedicated product website: enterprise.wikimedia.com.
Free
Creating an account via the Enterprise API product website includes 5,000 on-demand API requests that refresh monthly (including the Structured Contents endpoint) and twice-monthly snapshot API files in NDJSON format at no cost (refreshes on the 2nd and 21st of each month).
Several datasets are available outside of the WME website. An update of the Enterprise API data is provided for all every two weeks on the Wikimedia Dumps site. Several Beta datasets are also available on HuggingFace.
Those who have a non-commercial and mission-relevant use-case, which cannot be fulfilled by existing free-access APIs/dumps etc, can request expanded access to the API service at either reduced cost or no cost depending on usage and application.
Over time, the "API product" being offered will grow and improve. This information is accurate as of September 2024.
Overview
All of our APIs return the same structured JSON (or ND-JSON) response format making it easy to augment one API with another. Three APIs; same data, different retrieval methods:
Retrieve bulk data with the Snapshot API
Receive changes instantly with Realtime API streaming
Retrieve single articles with the On-demand API
API responses include article data such as summary, image, Wikidata QID, license, and more. Also included is data specific to the last revision, such as editor, size of change, and credibility score with revert probability.
On-demand API
Reusers that use an infrastructure reliant on the EventStream platform depend on services like RESTBase to pull HTML from page titles and current revisions to update their products. High-volume reusers have requested a reliable means to gather this data, as well as structures other than HTML when incorporating our content into their KGs and products.
The Wikimedia Enterprise On-demand API allows users to retrieve single articles from any Wikimedia project at anytime.
Make standard HTTP requests to retrieve documents by ID or name from all projects and languages, or use filters to limit response
Request the latest page data anytime to augment your Realtime or Snapshot API data
A wide range of commercial and consolidated schemas under SLAs
Realtime API
High-volume reusers currently rely heavily on the changes that are pushed from our community to update their products in real time, using EventStream APIs to access such changes. High-volume reusers are interested in a service that will allow them to filter the changes they receive to limit their processing, guarantee stable HTTP connections to ensure no data loss, and supply a more useful schema to limit the number of api calls they need to make per event.
The Enterprise Realtime API allows users to stream updates in real-time from any Wikimedia project.
Streaming: Receive streaming updates (firehose) of every change as they occur in real-time
Batch: Download compressed snapshot files of incremental updates every hour
Instant updates for new content, any edits, deletions, and breaking news events including community-curated visibility changes
Filtering of events by Project or Revision Namespace
A wide range of commercial and consolidated schemas under SLAs with guaranteed connections
Snapshot API
For high volume reusers that currently rely on the Wikimedia Dumps to access our information, we have created a solution to ingest Wikimedia content in near real time without excessive API calls (On-demand API) or maintaining hooks into our infrastructure (Realtime).
The Enterprise Snapshot API allows users to retrieve entire Wikimedia projects as a database dump file.
Download a compressed file containing everything in any project, in any language
Article body in HTML as well as Wikitext
Up to a daily snapshots cadence
24-hour JSON, Wikitext, or HTML compressed dumps of "text-based" Wikimedia projects
A hourly update file with revision changes of "text-based" Wikimedia projects
A wide range of commercial and consolidated schemas under SLAs
SLA and Support
Contracted accounts receive 99% SLA and support response time guarantees. All accounts have access to our introductory onboarding resources and help center faqs.
Team
The Wikimedia Foundation staff who work specifically on this project:
Many people from different teams also contribute significantly, including from the WMF Legal, Engineering, Partnerships, Design, Communications teams etc. Additional contract work provided by: PartnerHero provide customer support services; Vuurr are assisting our sales process; and Super Natural Design are the designers of the project website.
All reports and official documents of the LLC are published on a dedicated Wikimedia Enterprise page on the Wikimedia Foundation Governance website. For convenience, annual reports are also linked here:
Initial Wikimedia Foundation Diff blogpost note: media stories listed below are written and published independently and were neither pre-reviewed nor approved by the WMF
Wikitech: Data Services portal – A list of community-facing services that allow for direct access to databases and dumps, as well as web interfaces for querying and programmatic access to data stores.
Enterprise hub – a page for those interested in using the MediaWiki software in corporate contexts.
MediaWiki Stakeholders group – an independent affiliate organisation that advocates for the needs of MediaWiki users outside the Wikimedia Foundation, including for-profit enterprises.
Christopher Petrillo
Stephanie Delbecque
Luvo Dlulisa
Ruairi O'Donnell
