Существует только одна гигантская машина, управляемая пигмеями, и это бюрократия.

49% несчастных случаев происходит после слов: ...

Разработчики из Google предложили разработать свою libc для LLVM
Wed, 26 Jun 2019 12:36:50 +0300

Совет директоров Apache Software Foundation покинули три видных участника
Tue, 25 Jun 2019 21:08:22 +0300

Доступна бета-версия Linux-редакции игрового движка OpenXRay
Tue, 25 Jun 2019 17:35:02 +0300

Утечка BGP-маршрутов привела к массовому нарушению связности в интернете
Tue, 25 Jun 2019 09:41:14 +0300

Представлена плата Raspberry Pi 4
Mon, 24 Jun 2019 23:24:16 +0300

Представлен people.kernel.org, сервис блогов для разработчиков ядра Linux
Mon, 24 Jun 2019 21:58:05 +0300

Canonical пересмотрела планы по прекращению поддержки архитектуры i386 в Ubuntu
Mon, 24 Jun 2019 21:07:39 +0300

Поддержка 32-разрядных библиотек в Ubuntu 19.10+ будет заимствована из Ubuntu 18.04
Sun, 23 Jun 2019 22:07:09 +0300

Инициатива для защиты Linux от патентных претензий преодолела отметку в 3000 участников
Sun, 23 Jun 2019 08:01:16 +0300

Valve отказывается от официальной поддержки Steam в Ubuntu 19.10+
Sat, 22 Jun 2019 17:35:07 +0300

Взлом внутренней сети NASA через плату Raspberry Pi
Sat, 22 Jun 2019 10:24:07 +0300

Проект VKHR развивает систему рендеринга волос в режиме реального времени
Fri, 21 Jun 2019 20:13:25 +0300

Для Firefox развивается режим блокировки виджетов социальных сетей и Firefox Proxy
Fri, 21 Jun 2019 11:50:12 +0300

Началась работа по переводу GNOME Mutter на многопоточную отрисовку
Fri, 21 Jun 2019 11:09:18 +0300

Прекращение поддержки i386 в Ubuntu приведёт к проблемам с поставкой Wine
Fri, 21 Jun 2019 09:02:12 +0300

Новости OPENNET
Новости

Компания Microsoft опубликовала исходные тексты библиотеки машинного обучения SPTAG (Space Partition Tree And Graph) с реализацией алгоритма приблизительного поиска ближайшего соседа. Библиотека разработана в исследовательском подразделении Microsoft Research и центре разработки поисковых технологий (Microsoft Search Technology Center). На практике SPTAG применяется в поисковой системе Bing для определения наиболее релевантных результатов с учётом контекста и задания поисковых запросов на естественном языке. Код написан на языке С++ и распространяется под лицензией MIT. Поддерживается сборка для Linux и Windows. Имеется обвязка для языка Python.

Ключевое отличие векторного поиска от поиска по ключевым словам заключается в том, что векторы учитывают смысл и сходство данных, а не только символьные совпадения. Векторы формируются на основе модели машинного обучения, которая учитывает также сопутствующую статистику, уточняющую связи и позволяющую более точно оценить суть запроса (например, учитываются связь запроса с последующими переходами в поисковой выдаче). Несмотря на то, что идеи применения векторных хранилищ в поисковых системах витают уже достаточно давно, на практике их внедрению мешает большая ресурсоёмкость операций с векторами и ограничения в масштабируемости.

Совмещение методов глубинного машинного обучения с алгоритмами приблизительного поиска ближайшего соседа позволило довести производительность и масштабируемость векторных систем до уровня, приемлемого для крупных поисковых систем. Например, в Bing для векторного индекса размером более 150 миллиардов векторов время выборки наиболее релевантных результатов укладывается в 8 мс.

В состав библиотеки включены средства для построения индекса и организации поиска векторов, а также набор инструментов для сопровождения распределённой системы online-поиска, охватывающей очень большие коллекции векторов. Предлагаются следующие модули: index builder для индексации, searcher для поиска с использованием индекса, распределённого в кластере из нескольких узлов, сервер для запуска обработчиков на узлах, Aggregator для объединения нескольких серверов в одно целое и клиент для отправки запросов. Поддерживается включение новых векторов в индекс и удаление векторов на лету.

Библиотека подразумевает, что обрабатываемые и представленные в коллекции данные оформлены в виде связанных векторов, которые можно сравнивать на основе евклидовых (L2) или косинусных расстояний. При поисковом запросе возвращаются векторы, расстояние между которыми и исходным вектором минимально. В SPTAG предоставляется два метода организации векторного пространства: SPTAG-KDT (K-мерное дерево (kd-tree) и граф относительных окрестностей) и SPTAG-BKT (дерево k-средних (k-means tree и граф относительных окрестностей). Первый метод требует меньше ресурсов при работе с индексом, а второй демонстрирует более высокую точность результатов поиска при очень больших коллекциях векторов.

При этом векторный поиск не ограничивается текстом и может применяться к мультимедийной информации и изображениям, а также в системах автоматического формирования рекомендаций. Например, в одном из прототипов на базе фреймворка PyTorch была реализована векторная система для поиска с учётом сходства объектов на изображениях, построенная с использованием данных из нескольких эталонных коллекций с изображениями животных, кошек и собак, которые были преобразованы в наборы векторов. При поступлении входящего изображения для поиска оно преобразуется с использованием модели машинного обучения в вектор, на основе которого при помощи алгоритма SPTAG из индекса выбираются наиболее похожие векторы и как результат возвращаются связанные с ними изображения.

9.1216 71.3816 0.5846 62.8083

НОВОСТИ: Поддержка 32-разрядных библиотек в Ubuntu 19.10+ будет заимствов ... Sun, 23 Jun 2019 22:07:09 +0300

Стив Лангашек (Steve Langasek) из компании Canonical рассказал о намерении предоставить пользователям будущих выпусков Ubuntu возможность использования библиотек для 32-разрядной архитектуры x86 через заимствование данных библиотек из Ubuntu 18.04. Отмечается, что поддержка библиотек i386 будет продолжена, но будет заморожена на состоянии Ubuntu 18.04.

???????@Mail.ru Opera Firefox INFOBOX - хостинг Google Chrome