StorySign, Huawei, Mate 20 Pro

Mit StorySign macht Huawei Bücher in Gebärdensprache lesbar (Werbung)

von Christian

Ein Hersteller von Smartphones will seine Geräte verkaufen, darüber braucht man nicht groß sprechen. Aber man darf es herausstellen, wenn ein solcher Hersteller intern ein Projekt nach vorne treibt, das das Smartphone nicht nur als fähiges Arbeitsgerät oder cooles Lifestyle-Produkt in den Mittelpunkt stellt. Oder als mobile Spielkonsole, Netflix-Player oder Fotoapparat mit drei Kameras. Alles gerade gesagte kann das neue Huawei Mate 20 Pro spielend. Aber mit Hilfe der Huawei-App StorySign kann es noch etwas sehr spezielles mehr.

In dem High-end-Huawei-Smartphone ist vieles verbaut. Unter anderem ist auch eine Künstliche Intelligenz (KI) integriert, die viele Funktion unterstützt. Sie kann Objekte erkennen und den Kameras dabei helfen, die Objekte besser zu fotografieren. Sie kann das Lächeln von einem selbst und Freunden erkennen. Und sie kann speziell dafür vorbereitete Bücher scannen und über die StorySign-App deren Inhalt gehörlosen Menschen vorlesen. Das macht ein von den britischen Animationsexperten Aardman entwickelter Avatar namens Star, der den via KI gescannten Inhalt in Gebärdensprache umwandelt.

Das klingt alles sehr einfach, ist aber eine hochkomplexe Sache. Denn Gebärdensprache ist in jedem Land anders. Sogar innerhalb eines Landes wird es schnell kompliziert. Es gibt schon in Deutschland mehrere Dialekte, wie mir die deutsche Gebärdensprachdolmetscherin Maja Gazzella erklärte. Mark Wheatley, Executive Director der European Union of the Deaf, ergänzte im Interview, dass im EU-Parlament 23 Sprachen gesprochen und übersetzt werden, es dort aber parallel dazu 31 offizielle Gebärdensprachen gibt. Auch Wheatley hat am StorySign-Projekt mitgearbeitet. Und es liegt ihm ebenso am Herzen wie den anderen Beteiligten.

KI muss Schrift- und Gebärdensprache verstehen und in korrekten Kontext bringen

Auch Huawei als finanziell treibende Kraft dahinter ist diese Angelegenheit offenkundig sehr wichtig. Denn sie hatten nicht nur uns nach Lappland eingeladen, um die doch etwas erklärungsbedürftige App vor ihrer Veröffentlichung erleben zu dürfen. Es waren Medien aus ganz Europa anwesend. Und an den Tagen vorher mit uns eine ganze Reihe Familien, in denen gehörlose Kinder mit hörenden Eltern leben oder gehörlose Paare hörenden Kinder bekommen haben. Und in diesen Familien ist das für uns komplett selbstverständliche Vorlesen eines Buches eben keine so ganz einfache Sache. Das Lesenlernen für gehörlose Kinder ist ebenso nicht annähernd so einfach. Es fehlt schlicht der Hörsinn.

Huawei-Marketing-Manager Peter Gauden nennt die Mission seines Arbeitsgebers für das Projekt „eine enorm wichtige“. Man kann das als Marketing-Masche abtun wollen – aber das wäre ebenso ungerecht wie falsch. Huawei investiert in StorySign eine sicherlich relevante Summe Geld, für ein vergleichsweise „kleines Problem“. Allerdings nehmen das wohl allein die meisten Menschen so wahr, die wie wir in unserer Familie selbst nicht davon betroffen sind. Für gehörlose Kinder und Eltern sind das Ergebnis der Forschungen und die App ein riesiger Schritt nach vorne.

Die App und ihre kleine Animations-Heldin namens Star schaffen es, mit Hilfe von Technik und KI eine überraschende Brücke zu schlagen. Die KI im Huawei Mate 20 Pro erkennt den Text im Buch und bringt ihn mit der vorher dazu passend kreierten Gebärdensprache in Verbindung. Die KI muss Schrift- und Gebärdensprache verstehen und in einen korrekten Kontext bringen – das ist die komplexe Aufgabe, wie Gauden erklärt. Natürlich nicht nur in Deutsch, sondern auch in Englisch, Französisch, Italienisch, Spanisch, Niederländisch, Portugiesisch, Irisch, Belgisch-Flämisch und Schweizerdeutsch. Zum Start steht je ein Kinderbuchklassiker aus dem Angebot von Penguin Random House zur Verfügung für jede Gebärdensprache, Nachschub ist bereits in Arbeit. In Deutschland ist es Peter Hase: Ein Guckloch-Abenteuer.

Superheldin Star mit Spezialfähigkeit Gebärdensprache

Das erstaunliche dabei für einen Animations-Experten wie mich (immerhin sehe ich als Videospielredakteur genau so etwas jeden Tag), ist die sehr hohe Qualität der dargestellten Animationen von Star. Und genau ohne diese hohe Qualität würde es auch nicht gehen. Bei Aardman arbeiten sie viele Tage allein an einem Buch mit wenig Text, um den Inhalt mit Hilfe von Motion-Capture und Gebärdesprachen-Übersetzern individuell in Gesten und Mimiken umzuwandeln. Potenziell ist viel mehr möglich, wenn Rechenkraft und finanzielle Unterstützung steigen. Auch das soll die App tun: Möglichkeiten zeigen, Energie freisetzen und dabei Neues erschaffen.

Natürlich könnte man denken, es wäre einfacher, jedes Buch „einfach“ von einem Übersetzer übersetzen zu lassen und ihn dann dabei aufzunehmen. Aber da selbst kleine Unterschiede in Mimik und Gestik die Bedeutung des Inhalts verfälschen können, eignet sich die einmal hochwertig umgesetzte Animation tatsächlich besser. Das bestätigt Mark Wheatley mit eindrücklichen Gesten ebenso. Star-Erfinder Neil Pymer, Creative Director bei Aardman, geht noch etwas weiter und findet, dass Star tatsächlich „eine Superheldin und deren Spezialfähigkeiten eben die Gebärdensprache ist“. Ein ebenso charmantes wie passendes Bild.

In Lappland im hohen Norden hatte Huawei die Vorstellung der App in ein tolles Rahmenprogramm für die Familien verpackt. Gehörlose und Hörende sollten gemeinsam den Weihnachtsmann besuchen und eine Runde im schon ziemlich tiefen Schnee rodeln – zwei Sachen, die gänzlich ohne Sprache für alle gleich beeindruckend sind. Ich war mit dem kleinen Sohn im Schlepptau nach Finnland gereist – allerdings wurde er am Tag nach der Anreise schlicht und ergreifend krank. Vielleicht was Falsches gegessen, wer weiß, aber es ging nix. So verbrachten wir die wenigen Stunden mit Tageslicht bis zur Präsentation der App in unserem Hüttenhotelzimmer tief im finnischen Wald. Und schauten immer wieder mal nach draußen in den Schnee.

Gebannt von diesem einsamen, leisen Land

Kann passieren, gerade wenn man mit Kids reist. Und ist auch keine große Sache. Aber dass der Weihnachtsmann auf dem Weg nach Hause dann noch bei uns an die Zimmertür geklopft hat, das ist irgendwie schon eine große Sache gewesen. Das Team von Huawei hat ihn „einfach“ spontan aus dem Wald mitgenommen. Und irgendwann spätnachmittags klopfte es an der Tür und da stand tatsächlich der Weihnachtsmann. Der Kleine konnte es kaum glauben. Santa Claus hatte sogar ein bisschen exklusive Zeit für den Kleinen im Gepäck und ein kleines Geschenk. Schon verrückt, wie gebannt der Kleine war, den Weihnachtsmann dann doch noch zu sehen. Danach ging es ihm gleich noch ein bisschen besser!

Spätabends war er dann wieder genesen. Und wir sind wir dann doch nochmal schnell in den finnischen Schnee gehüpft, habe eine Runde Nachtrodeln gemacht und uns danach ins warme Bett verzogen. Polarlichter gab es leider keine zu sehen, aber dafür haben wir am nächsten Tag vor der Abreise vom kleinen Flughafen Ivola noch eine lustige Schneeballschlacht veranstaltet. Und sind dann ziemlich gebannt von diesem einsamen, leisen Land wieder zurück ins laute Berlin geflogen.

Dieser Artikel entstand in Kooperation mit Huawei. Einige Bilder genutzt mit freundlicher Genehmigung von Huawei Deutschland. Die Produktbewertungen in diesem Artikel spiegeln unsere persönliche Meinung wider.

Passend zum Thema

Kommentieren