08.05.2024
Simona Todesco
DeepL vs Google Translate vs ChatGPT vs Textshuttle
Google Translate and DeepL enjoy widespread use in the world of online translation, and ChatGPT is also increasingly being utilised as a translation tool. So, how are things looking for our Swiss solution? Can Textshuttle keep up with the big names? To answer this question, we conducted a blind test designed to shed light on the question of DeepL versus Google Translate.
Evaluation criteria
In order to level the playing field, we set out a variety of criteria for evaluating the translation tools.
Quality and precision: this is the most important criterion. The precision of the translations and how well they captured the context and nuance of the source language were deciding factors.
Number of languages: language requirements vary on a case-by-case basis. For example, Swiss companies primarily require translations between German, French, Italian and English.
User interface, apps, API: user-friendliness is also key. How easy are the tools to use? For professional translators, it is also worth asking how well the tools can be integrated into their existing processes – through an API interface, for example.
Costs: what costs are associated with the various versions of the tools? Which tool offers the best value for money for the specific needs of different user groups?
Disclaimer: note that it is impossible to evaluate translation quality in an entirely objective manner, since it is highly dependent on subjective factors.
Translation quality
Translation quality is certainly the most important criterion. However, it can be difficult to ascertain. In a competition between the Microsoft, DeepL and ChatGPT translation tools and professional translation experts, the submissions were anonymously evaluated by the jury. Surprisingly, machine translations were partly judged as even better than the work of human translators.
In order to approach the whole thing as objectively as possible, we therefore conducted our own blind test. We had three different sample texts translated from English to German and then presented them to our colleagues who were fluent in these languages. While most of the services provided relatively accurate and convincing translations from German to English, the opposite direction proved more challenging.
Financial text on mortgages and pension funds
1 EN original
Money from your pension fund and pillar 3a may only be withdrawn in advance to buy or convert a home you will occupy yourself. You can fund up to 10% of the property value from your occupational pension fund – half of the required equity amount. You can use pillar 3a to finance the remaining 10%. Additionally, you can withdraw or pledge equity from your occupational and private pension funds.
2 Google Translate
Gelder aus der Pensionskasse und der Säule 3a dürfen nur für den Kauf oder Umbau einer selbst bewohnten Immobilie vorbezogen werden. Sie können bis zu 10 % des Immobilienwerts aus Ihrer betrieblichen Altersvorsorge finanzieren, also die Hälfte des erforderlichen Eigenkapitalbetrags. Die restlichen 10 % können Sie über die Säule 3a finanzieren. Darüber hinaus können Sie Eigenkapital aus Ihrer betrieblichen und privaten Vorsorgekasse beziehen oder verpfänden.
This translation is basically comprehensible but stylistically weak at points. The phrase “selbst bewohnten Immobilie” sounds unnatural, “also” does not work in this context and “betriebliche Altersvorsorge” is less commonly used in Switzerland than “berufliche Vorsorge” for “occupational pension fund”.
3 DeepL
Gelder aus der Pensionskasse und der Säule 3a dürfen nur für den Kauf oder Umbau von selbstbewohntem Wohneigentum vorbezogen werden. Sie können bis zu 10 % des Immobilienwertes aus Ihrer beruflichen Vorsorge finanzieren - die Hälfte des erforderlichen Eigenkapitals. Die restlichen 10% können Sie über die Säule 3a finanzieren. Zusätzlich können Sie Kapital aus Ihrer beruflichen und privaten Vorsorge beziehen oder verpfänden.
This version flows better and uses the more common term “berufliche Vorsorge”. However, the verb “können” is repeated too frequently, a hyphen is used instead of a dash and the addition of “Immobilienwertes” is not accurate.
4 ChatGPT
Gelder aus Ihrer Pensionskasse und Säule 3a dürfen nur im Voraus entnommen werden, um ein Eigenheim zu kaufen oder umzubauen, das Sie selbst bewohnen werden. Sie können bis zu 10% des Immobilienwerts aus Ihrer beruflichen Vorsorge finanzieren – die Hälfte des erforderlichen Eigenkapitalanteils. Sie können Säule 3a nutzen, um die verbleibenden 10% zu finanzieren. Zusätzlich können Sie Eigenkapital aus Ihrer beruflichen und privaten Vorsorge entnehmen oder verpfänden.
This translation is largely accurate, but the definite article “die” is missing before “Säule 3a” (“pillar 3a”), which represents a significant error. Additionally, “im Voraus” is less suitable here than the financial term “Vorbezug” for an advance withdrawal.
5 Textshuttle
Geld aus Ihrer Pensionskasse und der Säule 3a darf nur für den Kauf oder Umbau eines Eigenheims vorbezogen werden. Sie können bis zu 10% des Sachwerts aus Ihrer beruflichen Vorsorge finanzieren – die Hälfte des benötigten Eigenkapitals. Die restlichen 10% können Sie mit der Säule 3a finanzieren. Ausserdem können Sie Kapital aus Ihrer beruflichen und privaten Pensionskasse beziehen oder verpfänden.
This translation is missing the important addition of “selbstbewohnt” (“self-occupied”), which is required for full understanding in this context. Otherwise the translation is clear and largely consistent with the standards required of professional translations.
1 EN Original
On September 23, 2018, the federal decree on cycle paths and footpaths and hiking trails was approved by the people and the cantons with 73.6%. Every 20th cycling accident in Switzerland occurs when overtaking in traffic. In order to increase the safety of cyclists in Switzerland, Pro Velo Switzerland demands that the legal minimum overtaking distance be set at 1.5 meters.
2 Google Translate
Am 23. September 2018 wurde der Bundesbeschluss über Rad- und Fuss- und Wanderwege mit 73,6 % von Volk und Ständen angenommen. Jeder 20. Velounfall in der Schweiz ereignet sich beim Überholen im Straßenverkehr. Um die Sicherheit der Radfahrer in der Schweiz zu erhöhen, fordert Pro Velo Schweiz, dass der gesetzliche Mindestüberholabstand auf 1,5 Meter festgelegt wird.
This text was translated using neural machine translation and demonstrated a few linguistic stumbling blocks. The repeated use of “und” (“and”) in the first sentence is not ideal stylistically, and the second sentence contains grammatical errors. Additionally, the letter “ß” was used instead of “ss” in “Straßenverkehr” and the term “Radwege” was used instead of “Velowege”, representing German rather than Swiss linguistic usage. Finally, the word “Radfahrer” (“cyclist”) is not formulated in a gender-neutral manner.
3 DeepL
Am 23. September 2018 wurde der Bundesbeschluss über Rad- und Fusswege sowie Wanderwege von Volk und Ständen mit 73,6 Prozent angenommen. Jeder 20. Velounfall in der Schweiz ereignet sich beim Überholen im Strassenverkehr. Um die Sicherheit der Velofahrenden in der Schweiz zu erhöhen, fordert Pro Velo Schweiz, dass der gesetzliche Mindestabstand beim Überholen auf 1,5 Meter festgelegt wird.
DeepL’s translation is more fluent, but still uses “Radwege” for “cycle paths” instead of “Velowege”, which is more common in Switzerland. It does, however, use the gender-neutral term “Velofahrende” for “cyclist”.
4 ChatGPT
Am 23. September 2018 wurde das Bundesdekret über Radwege sowie Fuß- und Wanderwege vom Volk und den Kantonen mit 73,6% genehmigt. Jeder 20. Fahrradunfall in der Schweiz geschieht beim Überholen im Verkehr. Um die Sicherheit der Radfahrer in der Schweiz zu erhöhen, fordert Pro Velo Schweiz, dass der gesetzliche Mindestüberholabstand auf 1,5 Meter festgelegt wird.
This version also uses “ß” in “Fußwege”, which is not the Swiss convention, and uses “Radwege” instead of the Swiss “Velowege”. The word “Radfahrer” (“cyclist”) is also once again gender-specific, rather than gender-neutral.
5 Textshuttle
Am 23. September 2018 wurde der Bundesbeschluss über die Velowege, Fusswege und Wanderwege von Volk und Kantonen mit 73,6% gutgeheissen. Jeder 20. Velounfall in der Schweiz passiert beim Überholen im Strassenverkehr. Um die Sicherheit der Velofahrenden in der Schweiz zu erhöhen, fordert Pro Velo Schweiz, dass der gesetzliche Mindestüberholweg auf 1,5 Meter festgelegt wird.
Textshuttle consistently uses the Swiss term “Velowege” for “cycle paths”. However, it unfortunately mistranslates “minimum overtaking distance” as “Mindestüberholweg” rather than the correct “Mindestüberholabstand”.
“I have a dream” speech by Martin Luther King, translated to German
1 EN Original
Let us not wallow in the valley of despair, I say to you today, my friends. And so even though we face the difficulties of today and tomorrow, I still have a dream. It is a dream deeply rooted in the American dream. I have a dream that one day this nation will rise up and live out the true meaning of its creed: "We hold these truths to be self-evident, that all men are created equal."
2 Google Translate
Lasst uns nicht im Tal der Verzweiflung schwelgen, sage ich euch heute, meine Freunde. Und obwohl wir heute und morgen vor den Schwierigkeiten stehen, habe ich immer noch einen Traum. Es ist ein Traum, der tief im amerikanischen Traum verwurzelt ist. Ich träume davon, dass diese Nation eines Tages aufstehen und die wahre Bedeutung ihres Glaubensbekenntnisses leben wird: „Wir halten diese Wahrheiten für selbstverständlich, dass alle Menschen gleich geschaffen sind.“
The neural machine translation gets the basic message across, but there are some linguistic inaccuracies worth noting. The word “wallow”, which carries a negative connotation, was translated as the more positive “schwelgen” (“revel, luxuriate”). Additionally, the phrase “Glaubensbekenntnisse leben” (“live out creeds”) is unusual and sounds strange in German.
3 DeepL
Lasst uns nicht im Tal der Verzweiflung versinken, sage ich euch heute, meine Freunde. Auch wenn wir uns den Schwierigkeiten von heute und morgen stellen müssen, habe ich einen Traum. Es ist ein Traum, der tief mit dem amerikanischen Traum verwurzelt ist. Ich träume davon, dass sich diese Nation eines Tages erheben und die wahre Bedeutung ihres Glaubensbekenntnisses leben wird: "Wir halten diese Wahrheiten für selbstverständlich, dass alle Menschen gleich geschaffen sind."
DeepL once again delivers a more fluent translation here and uses “versinken” for “wallow”, which captures the sense of the word better than “schwelgen”. The use of “auch wenn” (“even if”) improves the flow of the sentence, but “tief mit dem amerikanischen Traum verwurzelt” (“deeply rooted with the American dream”) could be better formulated as “tief im amerikanischen Traum verwurzelt” (“deeply rooted in the American dream”). Just as with Google Translate, “Glaubensbekenntnisse leben” again sounds strange here.
4 ChatGPT
Lasst uns nicht im Tal der Verzweiflung wälzen, sage ich euch heute, meine Freunde. Und so stehen wir zwar den Schwierigkeiten von heute und morgen gegenüber, dennoch habe ich einen Traum. Es ist ein Traum, der tief in dem amerikanischen Traum verwurzelt ist. Ich träume davon, dass diese Nation eines Tages aufstehen und die wahre Bedeutung ihres Glaubensbekenntnisses leben wird: „Wir halten diese Wahrheiten für selbstverständlich, dass alle Menschen gleich erschaffen sind.“
“Wälzen” (“roll”) was used for “wallow” here, which is not ideal because it does not accurately reflect the meaning of the word. Additionally, the phrase “Glaubensbekenntnisse leben” once again disrupts the otherwise solid translation.
5 Textshuttle
Lass uns nicht im Tal der Verzweiflung schwelgen, sage ich euch heute, liebe Freunde. Und so habe ich trotz der Schwierigkeiten von heute und morgen noch einen Traum. Dieser Traum ist tief verwurzelt im amerikanischen Traum. Ich träume davon, dass sich diese Nation eines Tages erheben und die wahre Bedeutung ihres Glaubensbekenntnisses ausleben wird: "Wir halten diese Wahrheiten für selbstverständlich, dass alle Menschen gleich geschaffen sind.”
Textshuttle uses “schwelgen” for “wallow”, thus repeating the error seen with the other tools of using this word in the wrong context. The phrase “Glaubensbekenntnisses ausleben” (“live out creeds”) is also awkward in German. Additionally, we would prefer “Es ist ein Traum” (“It is a dream”) to “Dieser Traum” (“This dream”).
Conclusion:
While ChatGPT and Google Translate demonstrated some weaknesses in our tests, DeepL and Textshuttle largely won us over. These two tools offer a solid foundation, especially for professionals who value tailor-made translations.
At Textshuttle, we even take it a step further: as part of our B2B offerings we make it possible for companies to not only incorporate Swiss writing conventions directly into their texts, but also to convey their unique tone of voice.
Adapting to company jargon, ensuring gender-neutrality, or choosing between formal and informal terms of address – Textshuttle makes it possible. We ensure every translation fits your company image just a bit better. This represents a clear advantage over other tools, which often deliver boiler-plate translations, making it hard to remain “on brand”.
Number of languages
Quality is often more important than quantity, but a large selection of languages makes many processes easier. ChatGPT leads the field in this regard, supporting almost every language spoken in the world, but sometimes at the expense of quality. Google comes in second, with support for over 130 languages. DeepL offers a selection of 29 languages, but with a focus on high-quality translation.
Textshuttle, on the other hand, offers access to five languages in its free version, expanding these offerings to 23 languages in its fee-based version, including local languages such as Swiss German dialect and Romansh that are not offered by the other tools. Languages supported include Chinese, German, English, French and Spanish, among others. Textshuttle thus almost fully covers the range of the most commonly spoken languages in the world, leaving aside only Hindi and Arabic.
Interface, apps and API integration
Web interface
All the tools we examined offer a web interface. But ChatGPT takes notably longer to translate – and sometimes even shuts down.
Apps
DeepL stands out with its desktop apps for Windows and macOS, which are especially helpful when frequently translating large volumes of text. It also offers mobile apps for iOS and Android. Google Translate also offers mobile apps, but no desktop apps, so desktop users have to rely on the web interface.
API integration
All the services provide APIs, but their integration depends greatly on the users’ specific systems. Textshuttle offers a particularly comprehensive palette of integration options, including CAT connectors and an Office add-in. It is also possible to have translations validated by external or in-house translation experts.
Costs
We also took costs into account when comparing DeepL to Google Translate. This was not easy, however, due to the different services included. In general, the tools offer a standard version that is charged on a per-user basis and which has certain limitations. We limited our comparison to each one’s standard versions.
We could not find any B2B prices for Google Translate. It seems that the basic features are available for free.
DeepL
DeepL offers a starter version for EUR 7.49 per month, per user. This package allows translation of five documents per month with a maximum file size of 10MB and offers unlimited text translation.
ChatGPT
ChatGPT costs USD 20 per month, per user. This plan includes unlimited text translation, which makes it attractive for users with high volumes of translations. The advantage here is that ChatGPT offers much more than just translations, of course.
Textshuttle
Textshuttle charges CHF 20 per month, per user. This plan includes up to 10 documents per day with a maximum file size of 10 MB and access to 23 different languages.
It’s just like a good espresso – quality makes all the difference. A carefully selected translation tool facilitates communication with your clients and partners. So next time you are faced with a translation decision, remember: it’s worth investing in the right tool – one that really speaks your language.
More Information
Would you like to benefit from our latest developments and top-quality translations? Talk to our experts and find out how AI Translation is used across organisations and how much your business can save with AI Translation.
Contact us through the contact form. We’ll be in touch.