Поток богатств теряется в песках расточительности.

Девочки вовочкиного класса договорились, если Вовочка что-нибудь плохое скажет они встают и уходят. ...

Amazon выпустил Corretto, дистрибутив OpenJDK с длительным сроком поддержки
Fri, 16 Nov 2018 21:56:19 +0300

Время поддержки Ubuntu 18.04 увеличено до 10 лет
Thu, 15 Nov 2018 22:28:55 +0300

Представлена новая плата Raspberry Pi 3 Model A+
Thu, 15 Nov 2018 12:31:03 +0300

Подведены итоги выборов технического совета Linux Foundation
Thu, 15 Nov 2018 09:18:07 +0300

Debian запрещает использование в пакетах секции со специфичными для вендоров патчами
Wed, 14 Nov 2018 09:03:34 +0300

В Chrome развивается API для создания полноценных пользовательских приложений
Mon, 12 Nov 2018 23:58:04 +0300

Mozilla тестирует в Firefox две новые возможности: Price Wise и Email Tabs
Mon, 12 Nov 2018 21:15:57 +0300

Red Hat перевёл проект Ceph под покровительство Linux Foundation
Mon, 12 Nov 2018 18:26:46 +0300

HTTP поверх протокола QUIC будет стандартизирован как HTTP/3
Mon, 12 Nov 2018 08:27:27 +0300

Опубликован стандарт параллельного программирования OpenMP 5.0
Fri, 09 Nov 2018 10:49:14 +0300

Свободный проект Manuel Bastioni Laboratory закрывается
Fri, 09 Nov 2018 10:11:44 +0300

Samsung опубликовал Linux-окружение для смартфонов и планшетов с адаптером DeX
Fri, 09 Nov 2018 08:33:53 +0300

GitHub преодолел рубеж в 100 млн репозиториев
Thu, 08 Nov 2018 19:13:13 +0300

В Firefox тестируют поддержку сохранения в облачные хранилища
Thu, 08 Nov 2018 11:32:23 +0300

Пользователи столкнулись с невозможностью установить Linux на новые iMac и MacBook
Wed, 07 Nov 2018 19:57:56 +0300

Новости OPENNET
Новости

Alibaba, одна из крупнейших китайских IT-компаний, открыла исходные тексты распределённой системы доставки файлов Dragonfly, использующей механизмы P2P-коммуникаций для построения сети распространения контента. Система подходит для организации загрузки файлов, создания распределённых кэшей, систем доставки приложений и образов изолированных контейнеров. Код проекта написан на языках Go, Java и Python (в будущем все компоненты планируется переписать на языке Go), и распространяется под лицензией Apache 2.0.

По заявлению разработчиков, в отличие от других похожих систем Dragonfly обеспечивает более высокую эффективность, экономит пропускную способность и гарантирует надёжность до 99.9999%. Отмечается, что Dragonfly является одним из наиболее важных компонентов инфраструктуры компании Alibaba и ежемесячно обслуживает около двух миллиардов загрузок, суммарным размером более 3.4 ПБ. По сравнению с централизованными серверами загрузки контента, Dragonfly позволяет добиться постоянного времени отдачи, не зависящего от числа клиентов, одновременно загружающих данные.

Например, тестовая конфигурация на базе двух 24-ядерных серверов с 64 ГБ ОЗУ и каналом связи в 2000Mb/s при использовании утилиты wget смогла обеспечить отдачу 200-мегабайтного файла не более чем 1200 одновременно подключенным пользователям. Время загрузки файла в пике при этом составляло около 14 минут. При повторении теста с использованием Dragonfly, благодаря применению P2P-механизмов удалось добиться отдачи файла с постоянным временем загрузки в 12 секунд, независимо от числа пользователей, одновременно запрашивающих файл.

Кроме передачи файлов большая ставка делается на применение Dragonfly для оптимизации доставки приложений и образов контейнеров для DevOps-применений. Dragonfly может интегрироваться с различными платформами контейнерной изоляции, не требуя изменения их движков. В том числе Dragonfly отлично интегрируется с системами управления контейнерами Docker и Pouch. По сравнению с традиционными средствами доставки контейнеров Docker, Dragonfly позволяет до 57 раз увеличить пропускную способность и на 99.5% сократить трафик, исходящий от реестра контейнеров.

Базовые компоненты Dragonfly:

  • Supernode - написанный на языке Java менеджер кластера, выполняющий роль P2P-сервера, отвечающего за планирование P2P-задач и создание кэша CDN. Supernode разбивает файл на блоки и определяет какие узлы/клиенты (peer) будут участвовать в доставке этих блоков;
  • Dfdaemon (dfget) - написанный на языке Go процесс для распространения файлов или образов, который работает на стороне клиента (peer) и участвует непосредственно в доставке запрошенных блоков файла. Dfdaemon также может выполнить функции зеркала репозитория или прокси для Docker;
  • Getter - написанный на Python модуль, отвечающий за передачу файлов и организацию совместного доступа к ним.

Основные особенности:

  • Использование P2P-технологии для передачи файлов - каждый клиент Dragonfly является звеном, транслирующим уже полученные данные другим клиентам. Каждый файл разбивается на несколько блоков, которые отдельно передаются между разными узлами (peer). Работа каждого узла P2P-сети обеспечивается отдельным клиентом. Централизованный менеджер кластера имеет информацию о разбивке файлов и о том, какие блоки имеются на каком клиенте, а также осуществляет первичную загрузку файлов из исходного файлового сервера;
  • Возможность интеграции с инструментариями контейнерной изоляции для организации распределённой доставки образов контейнеров;
  • Возможность ограничения суммарной пропускной способности на уровне всего хоста, а не только на уровне отдельных соединений;
  • Работа в форме пассивной сети доставки контента (CDN), позволяющей избежать повторяющихся удаленных загрузок;
  • Гарантированное обеспечение целостности передаваемых файлов, без необходимости дополнительной проверки пользователем контрольных сумм;
  • Оптимальное хранение данных на диске и эффективный ввод/вывод. Например, применяются такие техники, как предварительная проверка дискового пространства, отложенная синхронизация, запись блоков в оптимальном порядке, разбиение операций сетевого чтения и записи на диск;
  • Высокая производительность: система управления кластером (компонент Cluster Manager) замкнут на самом себе и не зависит от внешних СУБД и распределённых кэшей;
  • Автоматическая изоляция сбойных узлов для повышения стабильности всей сети доставки файлов;
  • Отсутствие нагрузки на базовый сервер, который предоставляет исходные файлы - по сути нагрузка на такой сервер сводится к нескольким загрузкам файла менеджером кластера;
  • Поддержка штатных HTTP-заголовков, в том числе возможность подстановки информации об аутентификации через HTTP-заголовки;
  • Эффективное управление нагрузкой на реестр аутентификации (Registry Auth Service);
  • Простая настройка, для начала работы необходимо внести минимальные изменения в конфигурацию. Для развёртывания сети требуется создание сервера с менержером кластера и установка на каждый клиент специального ПО.

65.9931 74.9022 0.5827 9.4987

НОВОСТИ: Подведены итоги выборов технического совета Linux Foundation Thu, 15 Nov 2018 09:18:07 +0300

Организация Linux Foundation подвела итоги выборов нового управляющего технического совета (Technical Advisory Board), состоящего из 10 представителей сообщества разработчиков ядра Linux. Совет представляет в организации интересы сообщества, связанные с ядром Linux, определяет программу будущего развития, решает проблемы, которые негативно влияют на процесс разработки, и разбирают жалобы о нарушении кодекса разработчиков ядра (Code of Conduct).

???????@Mail.ru Opera Firefox INFOBOX - хостинг Google Chrome