LevenshteinDist — функция скриптa и диаграммы

Обзор

Откройте редактор загрузки данных и добавьте приведенный ниже скрипт загрузки на новую вкладку.

Скрипт загрузки содержит следующее:

• Одно поле в таблице данных называется InputText.

Скрипт загрузки

Example: 
Load * inline [ 
InputText
Sliver
SSiver 
SSiveer 
]; 

Результаты

Загрузите данные и откройте лист. Создайте новую таблицу и добавьте это поле как измерение:

• InputText

• =LevenshteinDist('Silver', InputText), чтобы рассчитать минимальное количество правок одного символа, необходимое для изменения значений строки InputText на слово 'Silver'.

Выход функции LevenshteinDist возвращает число изменений, необходимых для преобразования текста InputText в ожидаемый текст 'Silver'. Например, в первой строке требуется два изменения, чтобы превратить слово 'Sliver' в 'Silver'. Во второй строке необходимо сделать три изменения: 1) удалить лишний символ 'S'; 2) удалить лишний символ 'e'; 3) вставить новый символ 'l'.

Обзор

В этом примере объединены названия продуктов из разных систем. В названиях продуктов не всегда используется одинаковое написание из-за опечаток, сокращений, пробелов и других вариаций. С помощью функции LevenshteinDist можно измерить сходство между двумя названиями продуктов и определить, какие из них, скорее всего, относятся к одному и тому же продукту, даже если названия не идентичны.

Откройте редактор загрузки данных и добавьте приведенный ниже скрипт загрузки на новую вкладку.

Скрипт загрузки содержит следующее:

• • ProductA

  • ProductB

Скрипт загрузки

Example:
Load * inline [ 
ProductA, ProductB
Coca Cola 330ml, CocaCola 330 ml
Pepsi 500 ml, Pepsi 500ml
Sprite Zero 600 ml, SpriteZero600ml
Red Bull 250ml, Redbull 250ml
]; 

Результаты

Загрузите данные и откройте лист. Создайте новую таблицу и добавьте эти поля как измерения:

• ProductA

• ProductB

• =LevenshteinDist(ProductA, ProductB), чтобы рассчитать минимальное количество правок одного символа, необходимое для приведения значений строки ProductB в соответствие с ProductA.

Расстояние Левенштейна ― это тип нечеткого соответствия, который широко используется в программах проверки орфографии, оптического распознавания символов и системах коррекции в таких областях, как управление данными клиентов, инвентаризация и обработка документов, где часто встречаются незначительные отклонения в тексте.

Load script

T1: Load *, recno() as ID; Load 'Silver' as String_1,* inline [ String_2 Sliver SSiver SSiveer ];  T1: Load *, recno()+3 as ID; Load 'Gold' as String_1,* inline [ String_2 Bold Bool Bond ];  T1: Load *, recno()+6 as ID; Load 'Ove' as String_1,* inline [ String_2 Ove Uve Üve ];  T1: Load *, recno()+9 as ID; Load 'ABC' as String_1,* inline [ String_2 DEFG abc ビビビ ];  set nullinterpret = '<NULL>'; T1: Load *, recno()+12 as ID; Load 'X' as String_1,* inline [ String_2 '' <NULL> 1 ];  R1: Load  ID,  String_1,  String_2,  LevenshteinDist(String_1, String_2) as LevenshteinDistance  resident T1;  Drop table T1; 

Result