taralino

.vectorize

Die Funktion Nlp.vectorize(s) erwartet folgende (verpflichtende) Argumente:

Argument	Datentyp	Hinweis
s	Zeichenkette	-

Die Zeichenkette bzw. der Satz s wird auf Grundlage des Bag-of-Words vektorisiert (als Vektor kodiert) und entsprechend als Datenfeld von Zahlen (Vektor) zurückgegeben.

Zudem kann folgende Option verwendet werden:

Variable	Datentyp	Hinweis	Default-Wert
method	Zeichenkette	-	tf

Mittels method kann die Art der Vektorisierung gewählt werden. Folgende Möglichkeiten stehen zur Verfügung:

tf	Normierte Vorkommenshäufigkeit (term frequency)
binary	Binäres Vorkommen der Token
tf.idf	Das Tf-idf-Maß

Das Tf-idf-Maß ist dabei als Vorkommenshäufigkeit (term frequency) multipliziert mit der inversen Dokumenthäufigkeit (inverse document frequency) zu verstehen.

Beispiel

Anhand von drei kurzen Sätzen wird ein Bag-of-Words erstellt. Anschließend wird ein Satz vektorisiert.

<!DOCTYPE html>
<html>
<head>
  <meta charset="utf-8">
  <meta name="viewport" content="width=device-width, initial-scale=1.0">
  <script src="taralino.js"></script>
</head>
<body>
<script>

// Eingangsdaten
var data = [
{input:"Der Film war einfach unglaublich :( langweilig"},
{input:"Einfach unglaubliche Landschaftsaufnahmen, einfach toll"},
{input:"Einfach nur zum Einschlafen der Film!"}
];

// Initialisierung (Bag-of-Words generieren)
Nlp.init(data);

// Vektorisierung und Ausgabe
var t = "Einfach unglaubliche Landschaftsaufnahmen, einfach toll";
var v = Nlp.vectorize(t);
Console.print(v);

</script>
</body>
</html>

Vorschau Download Kopie speichern

Beispiel

Das gleiche Beispiel wie zuvor, wobei die Möglichkeiten der Vektorisierung verglichen werden.

<!DOCTYPE html>
<html>
<head>
  <meta charset="utf-8">
  <meta name="viewport" content="width=device-width, initial-scale=1.0">
  <script src="taralino.js"></script>
</head>
<body>
<script>

// Eingangsdaten
var data = [
{input:"Der Film war einfach unglaublich :( langweilig"},
{input:"Einfach unglaubliche Landschaftsaufnahmen, einfach toll"},
{input:"Einfach nur zum Einschlafen der Film!"}
];

// Initialisierung (Bag-of-Words generieren)
Nlp.init(data);

// Vektorisierung
var t = "Einfach unglaubliche Landschaftsaufnahmen, einfach toll";
var x = Nlp.vectorize(t, {method:"tf"});
var y = Nlp.vectorize(t, {method:"binary"});
var z = Nlp.vectorize(t, {method:"tf.idf"});

// Ausgabe
Console.digits(2);
Console.print(x);
Console.print(y);
Console.print(z);

</script>
</body>
</html>

Vorschau Download Kopie speichern