LevenshteinDist - skript- och diagramfunktion

Översikt

Öppn skriptredigeraren och lägg till laddningsskriptet nedan till en ny flik.

Laddningsskriptet innehåller:

• En datauppsättning som läses in i en datatabell som heter Example.

• Ett fält i datatabellen heter InputText.

Laddningsskript

Example:
Load * inline [
InputText
Sliver
SSiver
SSiveer
];

Resultat

Ladda data och öppna ett ark. Skapa en ny tabell och lägg till det här fältet som en dimension:

• InputText

Skapa följande mått:

• =LevenshteinDist('Silver', InputText), för att beräkna det minsta antalet redigeringar av enstaka tecken som krävs för att förändra strängvärdena för InputText till ordet Silver.

Utdata från funktionen LevenshteinDist ger det antal ändringar som krävs för att förändra InputText till den förväntade texten, Silver. Första raden kräver till exempel två ändringar för att ändra ordet Sliver till Silver. Den andra raden kräver tre ändringar: 1) Ta bort det extra tecknet S. 2) Ta bort det extra tecknet e. 3) Infoga ett nytt tecken l.

Översikt

I detta exempel konsolideras produktnamn från olika system. Produktnamnen har inte alltid samma stavning på grund av skrivfel, förkortningar, utrymme eller andra variationer. Med funktionen LevenshteinDist kan du mäta likheten mellan två produktnamn och identifiera vilka som sannolikt hänvisar till samma produkt, även om namnen inte är identiska.

Öppn skriptredigeraren och lägg till laddningsskriptet nedan till en ny flik.

Laddningsskriptet innehåller:

• En datauppsättning som läses in i en datatabell som heter Example.

• Följande fält i datatabellen:

  • ProductA

  • ProductB

Laddningsskript

Example:
Load * inline [
ProductA, ProductB
Coca Cola 330ml, CocaCola 330 ml
Pepsi 500 ml, Pepsi 500ml
Sprite Zero 600 ml, SpriteZero600ml
Red Bull 250ml, Redbull 250ml
];

Resultat

Ladda data och öppna ett ark. Skapa en ny tabell och lägg till dessa fält som dimensioner:

• ProductA

• ProductB

Skapa följande mått:

• =LevenshteinDist(ProductA, ProductB), för att beräkna det minsta antalet redigeringar av enstaka tecken som krävs för att förändra strängvärdet för ProductB till att matcha ProductA.

Levenshtein-avstånd är en typ av fuzzy matchning som ofta används som en del av stavningskontroller, optisk teckenigenkänning och korrigeringssystem inom områden som kunddatahantering, lagersystem och behandling av dokument, där små variationer i text ofta förekommer.

Laddningsskript

Example:
Load *, recno() as ID;
Load 'Silver' as String_1,* inline [
String_2
Sliver
SSiver
SSiveer ];

Example:
Load *, recno()+3 as ID;
Load 'Gold' as String_1,* inline [
String_2
Bold
Bool
Bond ];

Example:
Load *, recno()+6 as ID;
Load 'Ove' as String_1,* inline [
String_2
Ove
Uve
Üve ];

Example:
Load *, recno()+9 as ID;
Load 'ABC' as String_1,* inline [
String_2
DEFG
abc
ビビビ ];

set nullinterpret = '<NULL>';
Example:
Load *, recno()+12 as ID;
Load 'X' as String_1,* inline [
String_2
''
<NULL>
1 ];

R1:
Load
ID,
String_1,
String_2,
LevenshteinDist(String_1, String_2) as LevenshteinDistance
resident Example;

Drop table Example;