Articles tagged with: шингл
Яндекс »
Shingle - некая последовательность элементов (слов) в документе. Например, в “a rose is a rose a rose” выделенное курсивом “is a rose” может считаться шинглом.
Идем дальше. w-shingling - это набор уникальных шинглов длины w.
Например, если мы ищем 4-shingling, то из “a rose is a rose is a rose” всего получится шесть последовательностей из 4 элементов:
{ (a,rose,is,a), (rose,is,a,rose), (is,a,rose,is), (a,rose,is,a), (rose,is,a,rose) }.
Убираем дубликаты и получаем искомый 4-shingling:
{ (a,rose,is,a), (rose,is,a,rose), (is,a,rose,is) }
С помощью шинглов оценивают схожесть двух текстов. Для этого сначала находят shinglings для первого текста S(A) и для второго S(B), а …
