source_sentence
string
| target_sentence
string
| source_lang
string
| target_lang
string
|
---|---|---|---|
"Es wird erwartet, dass die Weltbevölkerung bis 2050 neun Milliarden Menschen übersteigen wird." | "By 2050, the global human population is expected to exceed nine billion." | "de-000000003" | "en-000007818" |
"Allein in den letzten zwölf Jahren ist die Weltbevölkerung um eine Milliarde Menschen gewachsen." | "A billion people joined the human race in just the last 12 years." | "de-000000004" | "en-000013032" |
"Die Weltbevölkerung, so wird erwartet, soll bis 2042 auf neun Milliarden Menschen ansteigen." | "The world’s population is expected to reach nine billion by 2042." | "de-000000005" | "en-000007880" |
"Im neuen Jahrhundert sind die Flüchtlinge zunehmend aus dem Nahen Osten und vom Horn von Afrika gekommen." | "In the new century, refugees have come increasingly from the Middle East and the Horn of Africa." | "de-000000028" | "en-000017525" |
"Auf der Welt könnten keine 6,5 Milliarden Menschen existieren, wenn alle so leben würden wie moderne Amerikaner." | "The world could not sustain its 6.5 billion people if they all lived like present-day Americans." | "de-000000031" | "en-000006509" |
"Ungefähr 1 Million Menschen werden demnächst in China und Indien pro Jahr an den Folgen des Rauchens sterben." | "About 1 million people per year will soon die from smoking in China and India." | "de-000000032" | "en-000035830" |
"Etwa drei Viertel der Menschen ohne Internetanschluss – 3,4 Milliarden – leben in nur 20 Ländern." | "Around three-quarters of the unconnected – 3.4 billion people – live in just 20 countries." | "de-000000033" | "en-000013376" |
"Aber dennoch leben mehr als eine Milliarde Menschen weltweit in extremer Armut." | "But that still leaves more than one billion people worldwide living in extreme poverty." | "de-000000034" | "en-000024505" |
"Doch für die restlichen zwei Milliarden Menschen dieser Welt ist das Leben weiterhin zum Verzweifeln." | "But for the world's remaining two billion people, life remains desperate." | "de-000000035" | "en-000006510" |
"Von den sechs Milliarden Menschen auf der Welt leben mehr als 50% in Großstädten und Städten." | "Of the world's six billion people, more than 50% live in cities and towns." | "de-000000036" | "en-000013377" |
"In der islamischen Welt leben 1,6 Milliarden Menschen oder 23 Prozent der Weltbevölkerung." | "The Islamic world contains 1.6 billion people, or 23% of the world’s population." | "de-000000037" | "en-000006511" |
"Bereits jetzt ist China die zweitgrößte Volkswirtschaft der Welt und wird 2017 die größte sein." | "China is already the world’s second largest economy, and will be the largest in 2017." | "de-000000047" | "en-000004093" |
"Die Anfälligkeit der weltweit führenden Volkswirtschaften ist das größte Problem." | "Economic fragility among the world's leading economies is the biggest stumbling block." | "de-000000048" | "en-000004048" |
"Staatseigene Energieunternehmen in Brasilien, China und Indien stehen bei der Förderung kohlenstoffhaltiger Energien an erster Stelle." | "State-owned energy companies in Brazil, China, and India are at the forefront of high-carbon exploration." | "de-000000100" | "en-000031642" |
"Schließlich stehen sehr viel kosteneffektivere Technologien zur Stromerzeugung zur Verfügung." | "Governments have far more cost-effective electricity-generation technologies at their disposal." | "de-000000115" | "en-000009725" |
"Im Jahr 1800 bezog die Welt 94% ihrer Energie aus erneuerbaren Quellen." | "In 1800, the world obtained 94% of its energy from renewable sources." | "de-000000462" | "en-000009760" |
"Und diese Vergleiche zeigen, dass sich Märkte mit Staat besser entwickelt haben als Märkte ohne Staat." | "What these comparisons show is that markets plus government have done better than markets minus government." | "de-000000559" | "en-000032887" |
"Die Antwort ist von Land zu Land verschieden, aber Frankreich bietet in diesem Fall ein charakteristisches Beispiel." | "The answer varies from country to country, but the case of France is representative." | "de-000000589" | "en-000039325" |
"Darüber hinaus verteuern Wind und Solarenergie den mit fossilen Energien erzeugten Strom." | "Moreover, wind and solar make fossil-fuel-generated electricity more expensive." | "de-000000651" | "en-000034570" |
"Die wichtigste davon ist, dass die wirtschaftliche Entwicklung zum großen Teil in den Händen der armen Nationen selbst liegt." | "Foremost among these is that economic development is largely in the hands of poor nations themselves." | "de-000000680" | "en-000015839" |
"Das jährliche Haushaltsdefizit liegt bei fast 10% des BIP und damit höher als in jedem Land der Eurozone." | "The annual budget deficit is nearly 10% of GDP, higher than any of the eurozone countries." | "de-000000694" | "en-000039620" |
"Der Staat spielt in der modernen Gesellschaft eine zentrale Rolle und das völlig zu Recht." | "The state plays a central role in modern society, and rightly so." | "de-000000762" | "en-000039109" |
"Während des Kalten Krieges entwickelten westliche Geheimdienste einen immensen Katalog an Hinweisen und Zusammenhängen." | "During the Cold War, Western intelligence agencies developed an immense catalogue of indicators and correlations." | "de-000000864" | "en-000021445" |
"Seit 1992 ist die Zahl der Internet-Nutzer von einer Million auf beinahe drei Milliarden explodiert." | "Since 1992, the number of Internet users has exploded from one million to nearly three billion." | "de-000000872" | "en-000022181" |
"Es gibt nur wenige Fälle, in denen Diplomatie den Ausbruch eines Krieges verhinderte." | "There are few cases where diplomacy actually succeeded in preventing war." | "de-000000944" | "en-000035559" |
"Und wir könnten überdies davon ausgehen, dass jedes einzelne Land jedes einzelne seiner Versprechen einlöst." | "And we could believe that every single country will fulfill every single promise." | "de-000000960" | "en-000004320" |
"Das heißt allerdings nicht, dass es sich beim Europäischen Parlament um ein „echtes“ Parlament handelt." | "But this does not mean that the European Parliament is a “real” parliament." | "de-000001058" | "en-000017724" |
"Dasselbe gilt für die beiden größten europäischen Verbrecher des 20. Jahrhunderts." | "The same applies to the two greatest European criminals of the twentieth century." | "de-000001107" | "en-000026715" |
"Die große Bedeutung fossiler Brennstoffe wird enden, sobald es insbesondere in den Entwicklungsländern billige Alternativen gibt." | "The end of fossil fuel’s stronghold will come when we have cheap alternatives, especially in developing countries." | "de-000001491" | "en-000034568" |
"Bei der Verbrennung dieser fossilen Brennstoffe wird Kohlendioxid freigesetzt, das dann seinerseits das Erdklima verändert." | "When these fossil fuels are burned, they emit carbon dioxide, which in turn changes the Earth’s climate." | "de-000001492" | "en-000000698" |
"Beispielsweise sollte die Rolle des US-Dollar im internationalen Geldsystem neu überdacht werden." | "Rethinking the role of the US dollar in the international monetary system is a case in point." | "de-000001577" | "en-000038992" |
"Die Idee hört sich an wie Science Fiction: Jeder weiß, dass AI nicht besonders intelligent ist." | "The notion seems like science fiction: everyone knows that AI is not particularly clever." | "de-000001658" | "en-000015940" |
"Die „Soft Power“ des politischen und gesellschaftlichen europäischen Modells ist bekannt." | "The “soft power” of Europe’s political and social model is well known." | "de-000001677" | "en-000017328" |
"Science-Fiction altert zwar schnell, wirkt aber noch lange nach." | "Science fiction ages fast, but it has a long afterlife." | "de-000001745" | "en-000004265" |
"Noch nie seit dem Zweiten Weltkrieg war die Kaufkraft der amerikanischen Verbraucher so schwach." | "Never before in the post-World War II era have American consumers been so weak for so long." | "de-000001756" | "en-000014464" |
"Die starke Wirtschaftsleistung spiegelt die starke Binnennachfrage in den USA infolge der niedrigen Kreditkosten und steigenden Preise von Vermögenswerten wider." | "Strong economic performance reflects strong domestic demand in the US, owing to low borrowing costs and rising asset prices." | "de-000001940" | "en-000015848" |
"Sein Einfluss auf die nationale und internationale öffentliche Meinung ist breit gestreut, aber er reicht nicht in die Tiefe." | "Its impact on national and international public opinion is broad, but not deep." | "de-000001993" | "en-000004937" |
"Die Durchimpfungsrate in den reichsten Ländern der Welt ist unterschiedlich, liegt allerdings mancherorts unter 30 Prozent." | "Vaccine coverage in the world’s richest countries varies, but in some places it is less than 30%." | "de-000002055" | "en-000011210" |
"Die Spanne zwischen den ärmsten und den reichsten Ländern der Welt weist einen Faktor von mehr als 100 auf." | "The range between the poorest and the richest countries in the world is a factor of more than 100." | "de-000002056" | "en-000011211" |
"Und die der Frauen ist die zweitschlechteste und liegt mehr als fünf Jahre unter der Lebenserwartung in Japan." | "And it is the second worst for women, more than five years below life expectancy in Japan." | "de-000002069" | "en-000011888" |
"Der Kampf um die Wahlergebnisse ist eine politische Angelegenheit, die politisch gelöst werden muss." | "The contest over the election results is a political issue that must be resolved politically." | "de-000002137" | "en-000008564" |
"Die Wähler konnten sich zwischen einer linksgerichteten Koalition und einer rechtsgerichteten Koalition entscheiden." | "Voters could choose between a left-wing coalition and a right-wing coalition." | "de-000002141" | "en-000000336" |
"Dadurch werden die Einlagen normalerweise von der kreditgebenden Bank an eine andere Bank weitergegeben." | "That generally transfers the deposits from the lending bank to another bank." | "de-000002181" | "en-000035466" |
"Als eigene Untersuchungen der Bank zeigten, dass diese Konditionalität nicht funktionierte, wandte man sich unter Wolfensohn davon ab." | "When Bank research showed that conditionality did not work, the Bank under Wolfensohn moved away from it." | "de-000002260" | "en-000025411" |
"In den nächsten 25 Jahren werden weitere zwei Milliarden Menschen die Entwicklungsländer bevölkern." | "In the next 25 years, two billion more people entering our planet will live in the developing world." | "de-000002368" | "en-000007840" |
"Die Berliner Mauer jedoch blieb als Symbol der Teilung im Herzen Europas bestehen." | "But the Berlin Wall remained, standing in the heart of Europe as a symbol of division." | "de-000002412" | "en-000031262" |
"Es lässt bei Protesten gegen die Regierung nur Repression zu, eine Opposition ist nur außerhalb der etablierten Kanäle möglich." | "It allows only repression when the government faces protests and opposition outside the established channels." | "de-000002465" | "en-000000014" |
"Es ist an der Zeit, dass Regierungen und internationale Organisationen den Angriff auf MH17 als vermutliches Kriegsverbrechen bezeichnen." | "The time has come for governments and international organizations to call the attack on MH17 a probable war crime." | "de-000002597" | "en-000027866" |
"Doch umfasst seine Regentschaft eine Zeit, in der zahlreiche regionale Konflikte gewalttätig wurden." | "But his reign spans a time in which numerous regional conflicts turned violent." | "de-000002892" | "en-000032524" |
"Aber genau dies geschah Anfang diesen Monats, als in ein paar Tage in Neu Delhi verbrachte." | "But that is exactly what happened earlier this month, when I spent a few days in New Delhi." | "de-000003079" | "en-000010437" |
"Natürlich können Embargos verheerende Auswirkungen haben, wenn es einem Land an den für die Importsubstitution nötigen Ressourcen fehlt." | "Of course, embargoes can have a devastating effect when a country lacks the resources needed for import substitution." | "de-000003199" | "en-000039190" |
"Im Jahre 2006 schickten etwa 150 Millionen Migranten ungefähr 300 Milliarden Dollar an ihre Familien in den Entwicklungsländern." | "In 2006, around 150 million migrants sent roughly $300 billion to their families in developing countries." | "de-000003298" | "en-000007055" |
"Der Anteil der Menschen über 60 beträgt heute 629 Millionen und wird bis 2050 auf beinahe 2 Milliarden anwachsen." | "People aged 60 or more are projected to increase from 629 million now to nearly 2 billion by 2050." | "de-000003348" | "en-000038467" |
"Die Erdöleinnahmen des Irak von 20 Mrd. Dollar jährlich können solche Kosten nicht decken." | "Iraq's $20 billion annual oil revenues cannot meet such costs." | "de-000003501" | "en-000000940" |
"Da es nur sehr wenige Schwarze in Europa gab, war die Vergötterung schwarzer amerikanischer Stars unproblematisch." | "Since there were only very few black people in Europe, the adoration of black American stars came easily." | "de-000003524" | "en-000004701" |
"Im Jahre 1969 schossen die chinesische und die russische Armee über die umstrittene Grenze hinweg aufeinander." | "In 1969, the Chinese and Soviet armies exchanged fire across their disputed border." | "de-000003561" | "en-000034820" |
"In einer liberalen Ordnung sind gleiche Rechte für alle Staatsbürger von fundamentaler Bedeutung." | "Equal rights for all citizens are fundamental to a liberal order." | "de-000003721" | "en-000016681" |
"Aber in der Zeit nach dem Kalten Krieg hat das Wirtschaftswachstum selbst dazu beigetragen, die globalen Machtverhältnisse zu verändern." | "But in the post-Cold War period, economic growth by itself has contributed to altering global power relations." | "de-000003750" | "en-000007613" |
"Das Ersparte wird u. U. in Bankkonten angelegt, oder es werden Investmentfonds oder Unternehmensaktien davon gekauft." | "The saving may be deposited in bank accounts or used to buy mutual funds or corporate stock." | "de-000003841" | "en-000023987" |
"Doch in Deutschland werden, wie in vielen anderen reichen Ländern auch, nicht genügend Kinder geboren." | "But Germans, like many other rich countries’ citizens, are not producing enough children." | "de-000003905" | "en-000015991" |
"Gibt es ein anderes Land, wo Vater und Sohn in den letzten 61 Jahren wie Halbgötter regierten?" | "Is there another country where only a father and his son have ruled like demigods for the last 61 years?" | "de-000003907" | "en-000034517" |
"Bashir ist der Kriegsverbrechen und Verbrechen gegen die Menschlichkeit angeklagt." | "Bashir stands accused of war crimes and crimes against humanity." | "de-000003964" | "en-000023122" |
"Die Neuverschuldungs liegt bei 60% des BIP, was dem Durchschnittswert in der Europäischen Union entspricht." | "The national debt-GDP ratio is less than 60 %, which is the average within the European Union." | "de-000003994" | "en-000031472" |
"Dieses Mal werden Firmen und Unternehmer zahlreich vertreten sein, um verschiedene interessante Optionen kennenzulernen." | "This time, companies and entrepreneurs will be there in full force to explore a range of valuable opportunities." | "de-000004038" | "en-000000910" |
"Die tragische Geschichte unserer beiden Städte sollte niemals die Geschichte Ihrer Stadt werden." | "The tragic tale of our two cities should never become the tale of your city." | "de-000004093" | "en-000001809" |
"Die politischen und wirtschaftlichen Reformen des vergangenen Jahrzehnts sollten das Land aus seiner chronischen Wirtschaftskrise führen." | "Political and economic reforms over the past decade were supposed to lead the country out of chronic economic crisis." | "de-000004147" | "en-000010878" |
"Für sie ist die Revolution Teil der Geschichte, nicht die wichtigste Quelle ihrer persönlichen Wertvorstellungen." | "For them, the revolution is a part of history, not the main source of their personal values." | "de-000004186" | "en-000014377" |
"Die Hälfte aller Länder auf der Erde sind Demokratien, doch ist keiner der 22 arabischen Länder darunter." | "Half the world's countries are democracies, yet none of the 22 Arab countries is among them." | "de-000004195" | "en-000005645" |
"Heute sind 23 Millionen Argentinier arm und mehr 10 Millionen Menschen leben unter der Armutsgrenze." | "Today, 23 million Argentines are poor, and more than 10 million live below the poverty line." | "de-000004199" | "en-000012190" |
"Nun da diese Ziele erreicht sind, will Europa einen positiven Beitrag zu den Entwicklungen der Welt leisten." | "Having achieved these goals, Europe now wants to make a positive contribution to world developments." | "de-000004263" | "en-000008535" |
"Die USA sind keine säkulare Gesellschaft, sondern eine religiös-pluralistische mit säkularen rechtlichen und politischen Strukturen." | "The US is not a secular society; it is a religiously pluralistic one with secular legal and political structures." | "de-000004312" | "en-000037476" |
"Viele mutige Menschen haben ihr Leben bei der Verteidigung der Freiheit riskiert – oder verloren." | "Many brave people have risked – or lost – their lives in defense of this freedom." | "de-000004317" | "en-000032173" |
"Die Gewalt begann nach einem gewöhnlichen Streit zweier kleiner Gruppen junger Leute um ein Taxi." | "The violence began following an ordinary conflict between two small groups of young people over a taxi." | "de-000004403" | "en-000031701" |
"Bei der Kohle sind die Vorkommen etwas größer, und sie lassen sich für den Verkehr in Flüssigkraftstoffe umwandeln." | "Coal is in somewhat larger supply, and can be turned into liquid fuels for transport." | "de-000004432" | "en-000026268" |
"Unter den ausländischen Studenten an amerikanischen Universitäten finden sich mehr Inder als Angehörige jeder anderen Nationalität." | "There are more Indian students at American universities than those of any other foreign nationality." | "de-000004508" | "en-000010560" |
"Eine mögliche Lösung wäre, dass sich Staaten gegenseitig repräsentieren, wie es beim Internationalen Währungsfonds der Fall ist." | "One potential solution would be for states to represent each other, as occurs in the International Monetary Fund." | "de-000004832" | "en-000026700" |
"Die Wurzel dieses Problems liegt innerhalb des globalen politischen Systems begründet - wenn man es denn so nennen darf." | "At the root of this problem is the global political system - if such it can be called." | "de-000004894" | "en-000004310" |
"Momentan sind wir dabei, dieses virtuelle Netzwerk mit der realen Welt zu verbinden." | "Now, we are connecting this virtual network to the real world." | "de-000004934" | "en-000037772" |
"Schlimmer noch ist, dass eine hohe Staatsverschuldung, wie hohe Steuern, ernste Probleme für die Wirtschaftsleistung aufwirft." | "Worse still, high levels of public debt, like high taxes, cause serious problems for economic performance." | "de-000004973" | "en-000033666" |
"Aber diesem Artikel 8 steht Artikel 10 gegenüber, der das „Recht auf freie Meinungsäußerung“ absichert." | "But Article 8 is balanced by Article 10, which guarantees “free expression of opinion.”" | "de-000004999" | "en-000017856" |
"Außerdem kommen jedes Jahr ca. 30 Millionen Besucher (Studierende, Geschäftsleute, Touristen) ins Land." | "In addition, some 30 million visitors (students, businesspeople, tourists) enter the country each year." | "de-000005025" | "en-000013277" |
"Die britische Wirtschaft hat 1,5 Milliarden Pfund verloren, andere waren in ähnlichem Umfang betroffen." | "The British economy lost £1.5 billion, and others were similarly affected." | "de-000005143" | "en-000012861" |
"Nach dem Zweiten Weltkrieg entwickelte sich eine von den USA und der Sowjetunion dominierte bipolare Welt." | "After World War II, a bipolar world order, dominated by the US and the Soviet Union, emerged." | "de-000005158" | "en-000021132" |
"Der Kalte Krieg – der dritte große Konflikt des 20. Jahrhunderts – macht dabei keine Ausnahme." | "The Cold War, the third major conflict of the twentieth century, is no exception to this rule." | "de-000005230" | "en-000021001" |
"Solche Temperaturen können nur durch Kühlung mit flüssigem Helium erzeugt werden." | "Such temperatures can be achieved only through liquid-helium cooling." | "de-000005237" | "en-000002719" |
"Die Verschlechterung der finanziellen Situation von Familien hat arme Kinder zudem ihrer Ausbildungschancen beraubt." | "The deterioration of families’ financial situation has also left poor children deprived of educational opportunity." | "de-000005372" | "en-000012616" |
"Sollte gar die königliche Familie sich einmal mehr als das Haus Hannover stilisieren?" | "Maybe the royal family will go back to styling itself the House of Hanover?" | "de-000005391" | "en-000005169" |
"Und die Arbeitslosenquote liegt bei über zehn Prozent, die Jugendarbeitslosigkeit ist mit circa 25 Prozent noch viel höher." | "And unemployment hovers above 10%, with youth unemployment far higher, at roughly 25%." | "de-000005445" | "en-000007487" |
"Ausländische Banken reduzieren ihre Kredite; ausländische Investoren ziehen in nie da gewesenem Umfang ihre Gelder ab." | "Foreign banks are cutting credit. Foreign investors are repatriating their funds on an unprecedented scale." | "de-000005502" | "en-000035877" |
"Diese Hilfe würde Leben retten, das Wohlergehen vieler Menschen verbessern und zur Stärkung der wirtschaftlichen Entwicklung beitragen." | "This aid would save lives, improve well-being, and help strengthen economic development." | "de-000005602" | "en-000017557" |
"In Spanien waren es wirtschaftliche und soziale Nöte, die die Bürger zusammenkommen ließen." | "In Spain, citizens were united by economic and social despair." | "de-000005652" | "en-000006949" |
"Ihre politischen und wirtschaftlichen Eliten jedoch scheinen dazu häufig nicht in der Lage." | "But their political and economic elites frequently seem incapable of doing so." | "de-000005720" | "en-000026634" |
"Die Beantwortung dieser Frage setzt voraus, dass wir zunächst eine andere Frage beantworten: “Im Vergleich zu was?”" | "Answering that question requires that we first answer another question: “Compared to what?”" | "de-000005751" | "en-000008592" |
"In einem Buch werden Wörter in Sätze gefasst, Sätze in Absätze und Absätze in Kapitel." | "In a book, words are collected into sentences, sentences into paragraphs, and paragraphs into chapters." | "de-000005758" | "en-000027978" |
"Forschungen zur Entwicklung von Kulturen legen nahe, dass sich menschliche Werte schneller ändern können als unsere Gene." | "Research on the evolution of cultures suggests that human values can change more quickly than our genes." | "de-000005789" | "en-000010083" |
"Jedes einzelne der am Projekt beteiligten Länder würde von seiner Realisierung profitieren." | "Each of the individual countries involved in the project would benefit from its construction." | "de-000005827" | "en-000038058" |
"Die USA etwa erkannten, dass sie eine Zentralbank entsprechend der Bank von England brauchten." | "The US, for its part, recognized that it needed a central bank analogous to the Bank of England." | "de-000006015" | "en-000035410" |
"Während die nationale Regierung expandiert, kontrahieren die Regierungen der Bundesstaaten wie etwa die kalifornische." | "While the national government expands, state governments, such as California’s, contract." | "de-000006026" | "en-000000305" |
"Auch die Bank of England weist eine Bilanzsumme in Höhe von 20% des BIP aus." | "The Bank of England’s balance sheet is also at 20% of GDP." | "de-000006036" | "en-000000005" |
"George Soros hat der Bank of England einmal in nur einer Stunde eine Milliarde Dollar abgeknöpft." | "George Soros once made a billion dollars off the Bank of England in just an hour." | "de-000006037" | "en-000005475" |
Dataset Card for "xtreme"
Dataset Summary
The Cross-lingual Natural Language Inference (XNLI) corpus is a crowd-sourced collection of 5,000 test and 2,500 dev pairs for the MultiNLI corpus. The pairs are annotated with textual entailment and translated into 14 languages: French, Spanish, German, Greek, Bulgarian, Russian, Turkish, Arabic, Vietnamese, Thai, Chinese, Hindi, Swahili and Urdu. This results in 112.5k annotated pairs. Each premise can be associated with the corresponding hypothesis in the 15 languages, summing up to more than 1.5M combinations. The corpus is made to evaluate how to perform inference in any language (including low-resources ones like Swahili or Urdu) when only English NLI data is available at training time. One solution is cross-lingual sentence encoding, for which XNLI is an evaluation benchmark. The Cross-lingual TRansfer Evaluation of Multilingual Encoders (XTREME) benchmark is a benchmark for the evaluation of the cross-lingual generalization ability of pre-trained multilingual models. It covers 40 typologically diverse languages (spanning 12 language families) and includes nine tasks that collectively require reasoning about different levels of syntax and semantics. The languages in XTREME are selected to maximize language diversity, coverage in existing tasks, and availability of training data. Among these are many under-studied languages, such as the Dravidian languages Tamil (spoken in southern India, Sri Lanka, and Singapore), Telugu and Malayalam (spoken mainly in southern India), and the Niger-Congo languages Swahili and Yoruba, spoken in Africa.
Supported Tasks and Leaderboards
Languages
Dataset Structure
Data Instances
MLQA.ar.ar
- Size of downloaded dataset files: 75.72 MB
- Size of the generated dataset: 9.20 MB
- Total amount of disk used: 84.91 MB
An example of 'validation' looks as follows.
MLQA.ar.de
- Size of downloaded dataset files: 75.72 MB
- Size of the generated dataset: 2.55 MB
- Total amount of disk used: 78.27 MB
An example of 'validation' looks as follows.
MLQA.ar.en
- Size of downloaded dataset files: 75.72 MB
- Size of the generated dataset: 9.04 MB
- Total amount of disk used: 84.76 MB
An example of 'validation' looks as follows.
MLQA.ar.es
- Size of downloaded dataset files: 75.72 MB
- Size of the generated dataset: 3.27 MB
- Total amount of disk used: 78.99 MB
An example of 'validation' looks as follows.
MLQA.ar.hi
- Size of downloaded dataset files: 75.72 MB
- Size of the generated dataset: 3.32 MB
- Total amount of disk used: 79.04 MB
An example of 'validation' looks as follows.
Data Fields
The data fields are the same among all splits.
MLQA.ar.ar
id
: astring
feature.title
: astring
feature.context
: astring
feature.question
: astring
feature.answers
: a dictionary feature containing:answer_start
: aint32
feature.text
: astring
feature.
MLQA.ar.de
id
: astring
feature.title
: astring
feature.context
: astring
feature.question
: astring
feature.answers
: a dictionary feature containing:answer_start
: aint32
feature.text
: astring
feature.
MLQA.ar.en
id
: astring
feature.title
: astring
feature.context
: astring
feature.question
: astring
feature.answers
: a dictionary feature containing:answer_start
: aint32
feature.text
: astring
feature.
MLQA.ar.es
id
: astring
feature.title
: astring
feature.context
: astring
feature.question
: astring
feature.answers
: a dictionary feature containing:answer_start
: aint32
feature.text
: astring
feature.
MLQA.ar.hi
id
: astring
feature.title
: astring
feature.context
: astring
feature.question
: astring
feature.answers
: a dictionary feature containing:answer_start
: aint32
feature.text
: astring
feature.
Data Splits
name | validation | test |
---|---|---|
MLQA.ar.ar | 517 | 5335 |
MLQA.ar.de | 207 | 1649 |
MLQA.ar.en | 517 | 5335 |
MLQA.ar.es | 161 | 1978 |
MLQA.ar.hi | 186 | 1831 |
Dataset Creation
Curation Rationale
Source Data
Initial Data Collection and Normalization
Who are the source language producers?
Annotations
Annotation process
Who are the annotators?
Personal and Sensitive Information
Considerations for Using the Data
Social Impact of Dataset
Discussion of Biases
Other Known Limitations
Additional Information
Dataset Curators
Licensing Information
Citation Information
@InProceedings{conneau2018xnli,
author = {Conneau, Alexis
and Rinott, Ruty
and Lample, Guillaume
and Williams, Adina
and Bowman, Samuel R.
and Schwenk, Holger
and Stoyanov, Veselin},
title = {XNLI: Evaluating Cross-lingual Sentence Representations},
booktitle = {Proceedings of the 2018 Conference on Empirical Methods
in Natural Language Processing},
year = {2018},
publisher = {Association for Computational Linguistics},
location = {Brussels, Belgium},
}
@article{hu2020xtreme,
author = {Junjie Hu and Sebastian Ruder and Aditya Siddhant and Graham Neubig and Orhan Firat and Melvin Johnson},
title = {XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization},
journal = {CoRR},
volume = {abs/2003.11080},
year = {2020},
archivePrefix = {arXiv},
eprint = {2003.11080}
}
Contributions
Thanks to @thomwolf, @jplu, @lewtun, @lvwerra, @lhoestq, @patrickvonplaten, @mariamabarham for adding this dataset.
- Downloads last month
- 45,639