LevenshteinDist - fonction de script et fonction de graphique

Vue d'ensemble

Ouvrez l'éditeur de chargement de données et ajoutez le script de chargement ci-dessous à un nouvel onglet.

Le script de chargement contient :

• Un champ dans la table de données appelé InputText.

Script de chargement

Example: 
Load * inline [ 
InputText
Sliver
SSiver 
SSiveer 
]; 

Résultats

Chargez les données et ouvrez une feuille. Créez une table et ajoutez ce champ comme dimension :

• InputText

• =LevenshteinDist('Silver', InputText), pour calculer le nombre minimal de modifications d'un seul caractère nécessaires pour remplacer les valeurs de chaîne de InputText par le terme 'Silver'.

La sortie de la fonction LevenshteinDist renvoie le nombre de modifications nécessaires pour remplacer InputText par le texte prévu, 'Silver'. Par exemple, la première ligne nécessite deux modifications pour remplacer le terme 'Sliver' par 'Silver'. La deuxième ligne nécessite trois modifications : 1) Suppression du caractère supplémentaire 'S'. 2) Suppression du caractère supplémentaire 'e'. 3) Insertion d'un nouveau caractère 'l'.

Vue d'ensemble

Cet exemple consolide les noms de produits provenant de différents systèmes. Les noms de produits n'utilisent pas toujours la même orthographe en raison de fautes de frappe, d'abréviations, d'espacements ou d'autres variations. Grâce à la fonction LevenshteinDist, vous pouvez mesurer la similarité entre deux noms de produits et identifier ceux qui font probablement référence au même produit, même si les noms ne sont pas identiques.

Ouvrez l'éditeur de chargement de données et ajoutez le script de chargement ci-dessous à un nouvel onglet.

Le script de chargement contient :

• • ProductA

  • ProductB

Script de chargement

Example:
Load * inline [ 
ProductA, ProductB
Coca Cola 330ml, CocaCola 330 ml
Pepsi 500 ml, Pepsi 500ml
Sprite Zero 600 ml, SpriteZero600ml
Red Bull 250ml, Redbull 250ml
]; 

Résultats

Chargez les données et ouvrez une feuille. Créez une table et ajoutez ces champs comme dimensions :

• ProductA

• ProductB

• =LevenshteinDist(ProductA, ProductB), pour calculer le nombre minimal de modifications d'un seul caractère nécessaires pour remplacer les valeurs de chaîne de ProductB pour qu'elles correspondent à ProductA.

La distance Levenshtein est un type de correspondance approximative largement utilisé dans les correcteurs orthographiques, les systèmes de reconnaissance optique de caractères et les systèmes de correction dans des domaines tels que la gestion des données client, les systèmes d'inventaire et le traitement de documents, dans lesquels on rencontre souvent de légères variations du texte.

Script de chargement

T1:
Load *, recno() as ID;
Load 'Silver' as String_1,* inline [
String_2
Sliver
SSiver
SSiveer ];

T1:
Load *, recno()+3 as ID;
Load 'Gold' as String_1,* inline [
String_2
Bold
Bool
Bond ];

T1:
Load *, recno()+6 as ID;
Load 'Ove' as String_1,* inline [
String_2
Ove
Uve
Üve ];

T1:
Load *, recno()+9 as ID;
Load 'ABC' as String_1,* inline [
String_2
DEFG
abc
ビビビ ];

set nullinterpret = '<NULL>';
T1:
Load *, recno()+12 as ID;
Load 'X' as String_1,* inline [
String_2
''
<NULL>
1 ];

R1:
Load 
ID, 
String_1, 
String_2, 
LevenshteinDist(String_1, String_2) as LevenshteinDistance 
resident T1;

Drop table T1;

Résultat