taralino

Nlp

In der Computerlinguistik (auf Englisch natural language processing oder kurz NLP) wird Sprache (beispielsweise in Form von Text) algorithmisch verarbeitet.

Das Nlp-Paket bietet einen kleinen Einblick in grundlegende Verfahren der Computerlinguistik: Es können Texte in ihre Wörter bzw. Token zerlegt werden (Tokenisierung), um ein sogenanntes Bag-of-Words zu generieren. Dies ist eine Voraussetzung, um anschließend beliebige Sätze bzw. Texte als Vektor beschreiben sowie algorithmisch verarbeiten zu können.

Übersicht

Das Nlp-Paket stellt folgende Befehle und Funktionen zur Verfügung:

Beispiel

Anhand von drei kurzen Sätzen wird ein Bag-of-Words erstellt. Anschließend wird dieses ausgegeben.

<!DOCTYPE html>
<html>
<head>
  <meta charset="utf-8">
  <meta name="viewport" content="width=device-width, initial-scale=1.0">
  <script src="taralino.js"></script>
</head>
<body>
<script>

// Eingangsdaten
var data = [
{input:"Der Film war einfach unglaublich :( langweilig"},
{input:"Einfach unglaubliche Landschaftsaufnahmen, einfach toll"},
{input:"Einfach nur zum Einschlafen der Film!"}
];

// Initialisierung (Bag-of-Words generieren)
Nlp.init(data);

// Bag-of-Words
var B = Nlp.bag_of_words();

// Ausgabe des Bag-of-Words
for (var k = 0; k < B.length; k++) {
  Console.print(B[k]["word"]);
};

</script>
</body>
</html>

Vorschau Download Kopie speichern