Закон финиша Паскаля

Лишь в конце работы мы обычно узнаем, с чего ее нужно было начинать.

Преподаватель: - Ваша фамилия? Студент: - Иванов (улыбается). ...

Microsoft открыл код стандартной библиотеки С++, поставляемой в Visual Studio
Tue, 17 Sep 2019 22:38:43 +0300

Firefox переходит на сокращённый цикл подготовки релизов
Tue, 17 Sep 2019 19:40:35 +0300

Определена дата выпуска CentOS 8.0
Tue, 17 Sep 2019 13:17:28 +0300

Ричард Столлман покинул пост президента Фонда СПО
Tue, 17 Sep 2019 08:03:13 +0300

Эдвард Сноуден дал интервью, в котором поделился мнением о мессенджерах
Tue, 17 Sep 2019 00:56:09 +0300

Проект по добавлению в GCC поддержки распараллеливания процесса компиляции
Sun, 15 Sep 2019 10:09:35 +0300

В Chrome 78 начнутся эксперименты с включением DNS-over-HTTPS
Sat, 14 Sep 2019 20:23:14 +0300

Компания Huawei начала предустановку Deepin Linux на ноутбуки
Fri, 13 Sep 2019 10:05:57 +0300

Выпуск CentOS 8.0 снова откладывается
Fri, 13 Sep 2019 09:58:18 +0300

Доступен Jakarta EE 8, первый выпуск после передачи Java EE проекту Eclipse
Thu, 12 Sep 2019 20:24:02 +0300

Сравнение производительности сетевого драйвера в вариантах на 10 языках программирования
Thu, 12 Sep 2019 10:47:50 +0300

Погиб автор vkd3d и один из ключевых разработчиков Wine
Thu, 12 Sep 2019 08:26:00 +0300

DNS over HTTPS отключен по умолчанию в порте Firefox для OpenBSD
Thu, 12 Sep 2019 02:52:46 +0300

Mozilla тестирует прокси-сервис Private Network для Firefox
Tue, 10 Sep 2019 23:22:42 +0300

В Ubuntu 19.10 будет использована светлая тема оформления и ускорена загрузка
Tue, 10 Sep 2019 21:56:08 +0300

Новости OPENNET
Новости

Компания Microsoft опубликовала исходные тексты библиотеки машинного обучения SPTAG (Space Partition Tree And Graph) с реализацией алгоритма приблизительного поиска ближайшего соседа. Библиотека разработана в исследовательском подразделении Microsoft Research и центре разработки поисковых технологий (Microsoft Search Technology Center). На практике SPTAG применяется в поисковой системе Bing для определения наиболее релевантных результатов с учётом контекста и задания поисковых запросов на естественном языке. Код написан на языке С++ и распространяется под лицензией MIT. Поддерживается сборка для Linux и Windows. Имеется обвязка для языка Python.

Ключевое отличие векторного поиска от поиска по ключевым словам заключается в том, что векторы учитывают смысл и сходство данных, а не только символьные совпадения. Векторы формируются на основе модели машинного обучения, которая учитывает также сопутствующую статистику, уточняющую связи и позволяющую более точно оценить суть запроса (например, учитываются связь запроса с последующими переходами в поисковой выдаче). Несмотря на то, что идеи применения векторных хранилищ в поисковых системах витают уже достаточно давно, на практике их внедрению мешает большая ресурсоёмкость операций с векторами и ограничения в масштабируемости.

Совмещение методов глубинного машинного обучения с алгоритмами приблизительного поиска ближайшего соседа позволило довести производительность и масштабируемость векторных систем до уровня, приемлемого для крупных поисковых систем. Например, в Bing для векторного индекса размером более 150 миллиардов векторов время выборки наиболее релевантных результатов укладывается в 8 мс.

В состав библиотеки включены средства для построения индекса и организации поиска векторов, а также набор инструментов для сопровождения распределённой системы online-поиска, охватывающей очень большие коллекции векторов. Предлагаются следующие модули: index builder для индексации, searcher для поиска с использованием индекса, распределённого в кластере из нескольких узлов, сервер для запуска обработчиков на узлах, Aggregator для объединения нескольких серверов в одно целое и клиент для отправки запросов. Поддерживается включение новых векторов в индекс и удаление векторов на лету.

Библиотека подразумевает, что обрабатываемые и представленные в коллекции данные оформлены в виде связанных векторов, которые можно сравнивать на основе евклидовых (L2) или косинусных расстояний. При поисковом запросе возвращаются векторы, расстояние между которыми и исходным вектором минимально. В SPTAG предоставляется два метода организации векторного пространства: SPTAG-KDT (K-мерное дерево (kd-tree) и граф относительных окрестностей) и SPTAG-BKT (дерево k-средних (k-means tree и граф относительных окрестностей). Первый метод требует меньше ресурсов при работе с индексом, а второй демонстрирует более высокую точность результатов поиска при очень больших коллекциях векторов.

При этом векторный поиск не ограничивается текстом и может применяться к мультимедийной информации и изображениям, а также в системах автоматического формирования рекомендаций. Например, в одном из прототипов на базе фреймворка PyTorch была реализована векторная система для поиска с учётом сходства объектов на изображениях, построенная с использованием данных из нескольких эталонных коллекций с изображениями животных, кошек и собак, которые были преобразованы в наборы векторов. При поступлении входящего изображения для поиска оно преобразуется с использованием модели машинного обучения в вектор, на основе которого при помощи алгоритма SPTAG из индекса выбираются наиболее похожие векторы и как результат возвращаются связанные с ними изображения.

9.0392 70.6040 0.5928 64.1213

НОВОСТИ: Бета-выпуск VirtualBox 6.1 Tue, 17 Sep 2019 13:40:44 +0300

Спустя девять месяцев с момента формирования прошлой значительной ветки компания Oracle представила первый бета-выпуск системы виртуализации VirtualBox 6.1.

???????@Mail.ru Opera Firefox INFOBOX - хостинг Google Chrome