Google обяви нов многовекторен алгоритъм за извличане, наречен MUVERA, който ускорява извличането и класирането и подобрява точността. Алгоритъмът може да се използва за търсене, системи за препоръки (като YouTube) и за обработка на естествен език (NLP).
Въпреки че съобщението не посочва изрично, че се използва в търсенето, изследователският документ ясно показва, че MUVERA позволява ефективно многовекторно извличане, което изглежда подходящо за широкомащабни приложения, като намалява проблема до едновекторни MIPS, позволявайки използването на готови системи за извличане (съществуваща инфраструктура) и постигане на по-ниска латентност и използване на паметта.
Вграждане на вектори в търсенето
Вграждането на вектори е многоизмерно представяне на връзките между думи, теми и фрази. То позволява на машините да разбират сходството чрез модели като думи, които се появяват в един и същ контекст, или фрази, които означават едно и също нещо. Думи и фрази, които са свързани, заемат пространства, които са по-близо една до друга.
- Думите „Крал Лир“ ще бъдат близо до фразата „трагедия на Шекспир“.
- Думите „Сън в лятна нощ“ ще заемат място близо до „комедия на Шекспир“.
- Както „Крал Лир“, така и „Сън в лятна нощ“ ще бъдат разположени в пространство, близко до „Шекспир“.
Разстоянията между думи, фрази и понятия (технически мярка за математическо сходство) определят колко тясно свързани са те помежду си. Тези модели позволяват на машината да прави изводи за сходства между тях.
MUVERA решава присъщия проблем на многовекторните вграждания
Изследователският документ за MUVERA посочва, че невронните вграждания са характеристика на извличането на информация от десет години и цитира изследователския документ за многовекторния модел ColBERT от 2020 г. като пробив, но казва, че той страда от затруднение, което го прави по-малко от идеален.
Наскоро, започвайки с основополагащия документ ColBERT, многовекторните модели, които произвеждат набор от вграждания за всяка точка от данни, постигнаха значително по-добри резултати за задачите по извличане на информация. За съжаление, използването на тези модели за извличане на информация е изчислително скъпо поради повишената сложност на многовекторното извличане и оценяване.
Съобщението на Google за MUVERA повтаря тези недостатъци:
… скорошни постижения, особено въвеждането на многовекторни модели като ColBERT, демонстрираха значително подобрена производителност в задачите по извличане на информация. Въпреки че този многовекторен подход повишава точността и позволява извличане на по-подходящи документи, той въвежда значителни изчислителни предизвикателства. По-специално, увеличеният брой вграждания и сложността на оценяването на сходството на многовекторни модели правят извличането значително по-скъпо.
Може ли да бъде наследник на технологията RankEmbed на Google?
Антитръстовото дело на Министерството на правосъдието на САЩ (DOJ) доведе до показания, които разкриха, че един от сигналите, използвани за създаване на страниците с резултати от търсачките (SERP), се нарича RankEmbed, който беше описан така:
RankEmbed е модел с двоен енкодер, който вгражда както заявката, така и документа в пространството за вграждане. Пространството за вграждане отчита семантичните свойства на заявката и документа в допълнение към други сигнали. Извличането и класирането след това са точково произведение (мярка за разстояние в пространството за вграждане)… Изключително бързо; високо качество при често срещани заявки, но може да се представи слабо при дълги заявки…
MUVERA е технически напредък, който адресира ограниченията на производителността и мащабирането на многовекторните системи, които сами по себе си са стъпка напред от моделите с двоен енкодер (като RankEmbed), осигурявайки по-голяма семантична дълбочина и обработка на производителността на дълги заявки.
Пробивът е техника, наречена Fixed Dimensional Encoding (FDE), която разделя пространството за вграждане на секции и комбинира векторите, които попадат във всяка секция, за да създаде един, фиксиран по дължина вектор, което прави търсенето по-бързо от сравняването на множество вектори. Това позволява многовекторните модели да се използват ефективно в мащаб, подобрявайки скоростта на извличане, без да се жертва точността, която идва от по-богатото семантично представяне.
Според съобщението:
За разлика от едновекторните вграждания, многовекторните модели представят всяка точка от данни с набор от вграждания и използват по-сложни функции за сходство, които могат да уловят по-богати връзки между точките от данни.Въпреки че този многовекторен подход повишава точността и позволява извличане на по-подходящи документи, той въвежда значителни изчислителни предизвикателства. По-специално, увеличеният брой вграждания и сложността на оценяването на сходството на многовекторни модели правят извличането значително по-скъпо.В „MUVERA: Многовекторно извличане чрез фиксирани размерни кодировки“ ние въвеждаме нов многовекторен алгоритъм за извличане, предназначен да преодолее разликата в ефективността между едно- и многовекторното извличане….Този нов подход ни позволява да използваме силно оптимизираните MIPS алгоритми за извличане на първоначален набор от кандидати, които след това могат да бъдат прекласирани с точното многовекторно сходство, като по този начин се позволява ефективно многовекторно извличане, без да се жертва точността.
Многовекторните модели могат да предоставят по-точни отговори от моделите с двоен енкодер, но тази точност идва на цената на интензивни изчислителни изисквания. MUVERA решава проблемите със сложността на многовекторните модели, като по този начин създава начин за постигане на по-голяма точност на многовекторните подходи без високите изчислителни изисквания.
Какво означава това за SEO?
MUVERA показва как модерното класиране в търсенето все повече зависи от преценките за сходство, а не от старомодните сигнали за ключови думи, върху които често се фокусират SEO инструментите и SEO специалистите. SEO специалистите и издателите може да пожелаят да пренасочат вниманието си от точното съвпадение на фрази към съгласуване с общия контекст и намерение на заявката.
Например, когато някой търси „велурени якета мъжки среден размер“, система, използваща MUVERA-подобно извличане, е по-вероятно да класира страници, които действително предлагат тези продукти, а не страници, които просто споменават „велурени якета“ и включват думата „среден“ в опит да съответстват на заявката.