Wiki

Clone wiki

BMCr / Similarity Measures (Applying Language Models)

TF-IDF

tf-idf evaluation

Anwendung von tf-idf Canvas-übergreifend: Betrachtung von bspw. Problem-Feld zweier Canvases.

  • Bei welchen Feldern vermuten wir Ähnlichkeiten zwischen den Canvases (Vergleich des Feldes Kosten sinnnvoll?, Vergleich von unterschiedlichen Feldern sinnvoll?)
  • Prüfen, ob diese Zusammenhänge mit Tf-idf identifizierbar sind

Anwendung von tf-idf innerhalb eines Canvas: Betrachtung von bspw. Problem und Solution.

  • Ähnlichkeiten zwischen unterschiedlichen Feldern (Problem/Solution)
  • Ähnlichkeiten innerhalb eines Feldes
  • Prüfen, ob mit Tf-idf diese Ähnlichkeiten identifiziert werden können

npm-natural

https://www.npmjs.com/package/natural

Speichern der Vergleiche in NoSQL-Datenbank für spätere Abfragen:

  • Vergleich Canvas 1 Feld a mit Canvas 2 Feld a
  • Vergleich Canvas 1 Feld b mit Canvas 2 Feld b
  • Vergleich Canvas n Feld j mit Canvas m Feld j

Verfeinerung

  • Vergleich Canvas: 1 - Feld: Problem - Karte 1 mit Canvas: 2 - Feld: Problem - Karte 1
  • Vergleich Canvas: 1 - Feld: Problem - Karte 1 mit Canvas: 2 - Feld: Problem - Karte 2
  • Vergleich Canvas: 1 - Feld: Problem - Karte 2 mit Canvas: 2 - Feld: Problem - Karte 1

Mögliches Vorgehen für Ermittlung Vorschlagswerte

Z.B. Eingabe Lösung, gesucht wird Solution: Vergleich Problem mit erstem beliebigen Canvas-Feld Problem. Ist eine gewisse Ähnlichkeit vorhanden, Vorschlag der Solution + Solution aller Canvases, welche auf Grund der gespeicherten Vergleichswerte eine gewisse Ähnlichkeit zu gefundener erster Canvas aufweisen.

Implementierte Ermittlung der Vorschlagswerte

Z.B. Eingabe Problem-String, gesucht werden Solution-Vorschläge:

  1. Ähnlichkeitsvergleich Problem-Eingabestring mit allen Problem Canvas-Karten mit tf-idf
  2. Komplette Canvasses mit besten Ergebnissen zwischenspeichernd
  3. Ähnlichkeitsvergleich Problem-Karte mit höchster Übereinstimmung mit allen Solution-Karten der zwischengespeicherten Canvasses mit tf-idf
  4. Ausgabe der Solution-Karten mit bestem Vergleichswert oben. Weitere Solution-Karten absteigend.

Beispiel: Schematischer Ablauf der Implementierung

Gensim

Gensim Implementation

Updated