Home / Android-Entwicklung / ML Kit erweitert sich zu NLP mit Spracherkennung und Smart Reply

ML Kit erweitert sich zu NLP mit Spracherkennung und Smart Reply

Gepostet von Christiaan Prins und Max Gubin

Heute kündigen wir die Veröffentlichung von zwei neuen Funktionen für ML Kit an: Spracherkennung und Smart Reply.

Möglicherweise stellen Sie fest, dass sich diese beiden Funktionen von unseren vorhandenen APIs unterscheiden, die alle auf die Bild- / Videoverarbeitung ausgerichtet waren. Unser Ziel mit ML Kit ist es, leistungsstarke, aber einfach zu verwendende APIs anzubieten, um die Leistung von ML unabhängig von der Domäne zu nutzen. Aus diesem Grund freuen wir uns, ML Kit mit Lösungen für Natural Language Processing (NLP) zu erweitern!

NLP ist eine Kategorie von ML, die das Analysieren und Generieren von Text, Sprache und anderen Arten von natürlichen Sprachdaten behandelt. Wir freuen uns, mit zwei APIs zu beginnen: Eine, mit der Sie die Textsprache identifizieren können, und eine, mit der Sie in Chat-Anwendungen Antwortvorschläge generieren können. Beide Funktionen sind vollständig auf dem Gerät verfügbar und stehen in der neuesten Version des ML Kit SDK für iOS (9.0 und höher) und Android (4.1 und höher) zur Verfügung.

Generieren von Antwortvorschlägen basierend auf vorherigen Nachrichten

Eine neue Funktion, die in Messaging-Apps auftaucht, besteht darin, dem Benutzer eine Auswahl vorgeschlagener Antworten bereitzustellen, entweder als Aktionen für eine Benachrichtigung oder in der App selbst. Dies kann einem Benutzer wirklich helfen, schnell zu reagieren, wenn er beschäftigt ist, oder es ist eine praktische Möglichkeit, eine längere Nachricht zu initiieren.

Mit der neuen Smart Reply-API können Sie dies jetzt schnell in Ihren eigenen Apps erreichen. Die API bietet Vorschläge basierend auf den letzten 10 Nachrichten in einer Konversation, funktioniert jedoch weiterhin, wenn nur eine vorherige Nachricht verfügbar ist. Es ist eine zustandslose API, die vollständig auf dem Gerät ausgeführt wird, sodass der Nachrichtenverlauf weder im Speicher gespeichert noch an einen Server gesendet wird.

Die textPlus-App bietet Antwortvorschläge mit Smart Reply.

Wir haben eng mit Partnern wie textPlus zusammengearbeitet, um sicherzustellen, dass Smart Reply für die Hauptsendezeit bereit ist, und sie haben jetzt In-App-Antwortvorschläge mit der neuesten Version ihrer App implementiert (Screenshot oben).

Das Hinzufügen von Smart Reply zu Ihrer eigenen App erfolgt mit einem einfachen Funktionsaufruf (in diesem Beispiel mit Kotlin):














 val smartReply = FirebaseNaturalLanguage.getInstance (). SmartReply
smartReply.suggestReplies (Konversation)
        .addOnSuccessListener {result ->
            if (result.status == SmartReplySuggestionResult.STATUS_NOT_SUPPORTED_LANGUAGE) {
                // Die Sprache der Konversation wird nicht unterstützt
                // Das Ergebnis enthält keine Vorschläge.
            } else if (result.status == SmartReplySuggestionResult.STATUS_SUCCESS) {
                // Task erfolgreich abgeschlossen
                // ...
            }
        }
        .addOnFailureListener {
            // Task mit Ausnahme fehlgeschlagen
            // ...
        } 

Rufen Sie nach dem Initialisieren einer Smart Reply-Instanz suggestReplies mit einer Liste der zuletzt gesendeten Nachrichten auf. Der Rückruf liefert das Ergebnis das eine Liste von Vorschlägen enthält.

Weitere Informationen zur Verwendung der Smart Reply-API finden Sie in der Dokumentation.

Erzähl mir mehr …

Obwohl Sie als Entwickler diese neue API einfach herunterladen und problemlos in Ihre App integrieren können, kann es interessant sein, ein wenig darüber zu verraten, wie sie unter der Haube funktioniert. Das Herzstück von Smart Reply ist ein maschinell erlerntes Modell, das unter Verwendung von TensorFlow Lite ausgeführt wird und eine moderne Architektur auf der Basis von Textcodierung mit Satzteil [1] und Transformer [2] aufweist.

Wie wir jedoch festgestellt haben, als wir mit der Entwicklung der API begannen, ist das zentrale Vorschlagsmodell nicht alles, was erforderlich ist, um eine Lösung bereitzustellen, die Entwickler in ihren Apps verwenden können. Zum Beispiel haben wir ein Modell hinzugefügt, um sensible Themen zu erkennen, damit wir keine Vorschläge als Reaktion auf Profanität oder in Fällen persönlicher Tragödie / Not machen. Außerdem haben wir die Sprachidentifikation aufgenommen, um sicherzustellen, dass keine Vorschläge für Sprachen gemacht werden, für die das Kernmodell nicht trainiert wurde. Die Smart Reply-Funktion wird zuerst mit englischer Unterstützung gestartet.

Identifizieren der Sprache eines Textstücks

Die Sprache einer bestimmten Textzeichenfolge ist eine subtile, aber hilfreiche Information. Viele Apps verfügen über eine sprachabhängige Funktionalität: Sie können sich Funktionen wie Rechtschreibprüfung, Textübersetzung oder Smart Reply vorstellen. Anstatt einen Benutzer aufzufordern, die von ihm verwendete Sprache anzugeben, können Sie unsere neue Sprachidentifizierungs-API verwenden.

ML Kit erkennt Text in 110 verschiedenen Sprachen und benötigt in der Regel nur wenige Wörter, um eine genaue Bestimmung vorzunehmen. Es ist auch schnell und bietet in der Regel eine Antwort innerhalb von 1 bis 2 ms für iOS- und Android-Telefone.

Ähnlich wie bei der Smart Reply-API können Sie die Sprache mit einem Funktionsaufruf identifizieren (in diesem Beispiel mit Kotlin):









 val languageIdentification =
    FirebaseNaturalLanguage.getInstance (). LanguageIdentification
languageIdentification
    .identifyLanguage ("¿Cómo estás?")
    .addOnSuccessListener {identificationLanguage ->
        Log.i (TAG, "Identifizierte Sprache: $ identificationLanguage")
    }
    .addOnFailureListener {e ->
        Log.e (TAG, "Sprachidentifikationsfehler", e)
    } 

Die Funktion identityLanguage nimmt einen Teil eines Textes und ihr Rückruf liefert einen BCP-47-Sprachcode. Kann keine Sprache sicher erkannt werden, gibt ML Kit einen Code von und für unbestimmt zurück. Die Sprachidentifikations-API kann auch eine Liste möglicher Sprachen und ihrer Vertrauenswertes bereitstellen.

Ausführliche Informationen zur Verwendung der Spracherkennungs-API finden Sie in der Dokumentation.

Beginnen Sie noch heute

Wir freuen uns sehr, ML Kit um APIs für natürliche Sprachen zu erweitern. Probieren Sie die beiden neuen NLP-APIs noch heute aus und teilen Sie uns Ihre Meinung mit! Sie können uns jederzeit in unserer Firebase Talk Google-Gruppe erreichen.

Mit dem Wachstum von ML Kit freuen wir uns darauf, weitere APIs und Kategorien hinzuzufügen, mit denen Sie Ihren Benutzern intelligentere Funktionen bieten können. Achten Sie daher auf einige aufregende Ankündigungen des ML-Kits bei Google I / O.

About AndroidWeltEditor

Check Also

An introduction to Android GPU Inspector

If you want your game or app to stand out in the Google Play Store, …

Leave a Reply

Your email address will not be published. Required fields are marked *