Заблуждения, заключающие в себе некоторую долю правды, - самые опасные.

Жена с похмелья спрашивает у закодированного мужа: ...

Для ядра Linux предложен механизм раздельного учёта времени в контейнерах
Thu, 20 Sep 2018 21:37:41 +0300

Oracle передал код GlassFish организации Eclipse Foundation
Thu, 20 Sep 2018 11:04:56 +0300

Компания Canonical продлевает поддержку Ubuntu 14.04 для платных подписчиков
Wed, 19 Sep 2018 23:47:19 +0300

GnuPG признан пригодным для заверения нотариальных актов в штате Вашингтон
Wed, 19 Sep 2018 11:50:18 +0300

В Chrome 70 планируют прекратить отображение "file://" в адресной строке
Wed, 19 Sep 2018 10:36:12 +0300

Проект PostgreSQL принял кодекс поведения разработчиков
Tue, 18 Sep 2018 22:44:54 +0300

Новый сайт русскоязычного сообщества KDE
Tue, 18 Sep 2018 18:53:07 +0300

18 сентября проходит международный день против DRM
Tue, 18 Sep 2018 07:54:59 +0300

Создатели Pale Moon ввели в строй портал проектов на базе XUL
Mon, 17 Sep 2018 10:19:38 +0300

Линус Торвальдс временно отстранился от разработки ядра Linux
Mon, 17 Sep 2018 08:00:33 +0300

Google отменил скрытие поддоменов "www" и "m", но намерен стандартизировать их особый статус
Sun, 16 Sep 2018 09:02:43 +0300

Mozilla тестирует DNS поверх HTTPS и применение GPU для отрисовки
Fri, 14 Sep 2018 11:30:30 +0300

Первый бета-выпуск мобильной платформы /e/, развиваемой создателем Mandrake Linux
Fri, 14 Sep 2018 09:04:05 +0300

Европарламент утвердил новые правила авторского права, вводящие упреждающую фильтрацию контента
Wed, 12 Sep 2018 21:32:30 +0300

В Chrome OS добавлена возможность монтирования сетевых хранилищ Windows
Wed, 12 Sep 2018 10:34:29 +0300

Новости OPENNET
Новости

Alibaba, одна из крупнейших китайских IT-компаний, открыла исходные тексты распределённой системы доставки файлов Dragonfly, использующей механизмы P2P-коммуникаций для построения сети распространения контента. Система подходит для организации загрузки файлов, создания распределённых кэшей, систем доставки приложений и образов изолированных контейнеров. Код проекта написан на языках Go, Java и Python (в будущем все компоненты планируется переписать на языке Go), и распространяется под лицензией Apache 2.0.

По заявлению разработчиков, в отличие от других похожих систем Dragonfly обеспечивает более высокую эффективность, экономит пропускную способность и гарантирует надёжность до 99.9999%. Отмечается, что Dragonfly является одним из наиболее важных компонентов инфраструктуры компании Alibaba и ежемесячно обслуживает около двух миллиардов загрузок, суммарным размером более 3.4 ПБ. По сравнению с централизованными серверами загрузки контента, Dragonfly позволяет добиться постоянного времени отдачи, не зависящего от числа клиентов, одновременно загружающих данные.

Например, тестовая конфигурация на базе двух 24-ядерных серверов с 64 ГБ ОЗУ и каналом связи в 2000Mb/s при использовании утилиты wget смогла обеспечить отдачу 200-мегабайтного файла не более чем 1200 одновременно подключенным пользователям. Время загрузки файла в пике при этом составляло около 14 минут. При повторении теста с использованием Dragonfly, благодаря применению P2P-механизмов удалось добиться отдачи файла с постоянным временем загрузки в 12 секунд, независимо от числа пользователей, одновременно запрашивающих файл.

Кроме передачи файлов большая ставка делается на применение Dragonfly для оптимизации доставки приложений и образов контейнеров для DevOps-применений. Dragonfly может интегрироваться с различными платформами контейнерной изоляции, не требуя изменения их движков. В том числе Dragonfly отлично интегрируется с системами управления контейнерами Docker и Pouch. По сравнению с традиционными средствами доставки контейнеров Docker, Dragonfly позволяет до 57 раз увеличить пропускную способность и на 99.5% сократить трафик, исходящий от реестра контейнеров.

Базовые компоненты Dragonfly:

  • Supernode - написанный на языке Java менеджер кластера, выполняющий роль P2P-сервера, отвечающего за планирование P2P-задач и создание кэша CDN. Supernode разбивает файл на блоки и определяет какие узлы/клиенты (peer) будут участвовать в доставке этих блоков;
  • Dfdaemon (dfget) - написанный на языке Go процесс для распространения файлов или образов, который работает на стороне клиента (peer) и участвует непосредственно в доставке запрошенных блоков файла. Dfdaemon также может выполнить функции зеркала репозитория или прокси для Docker;
  • Getter - написанный на Python модуль, отвечающий за передачу файлов и организацию совместного доступа к ним.

Основные особенности:

  • Использование P2P-технологии для передачи файлов - каждый клиент Dragonfly является звеном, транслирующим уже полученные данные другим клиентам. Каждый файл разбивается на несколько блоков, которые отдельно передаются между разными узлами (peer). Работа каждого узла P2P-сети обеспечивается отдельным клиентом. Централизованный менеджер кластера имеет информацию о разбивке файлов и о том, какие блоки имеются на каком клиенте, а также осуществляет первичную загрузку файлов из исходного файлового сервера;
  • Возможность интеграции с инструментариями контейнерной изоляции для организации распределённой доставки образов контейнеров;
  • Возможность ограничения суммарной пропускной способности на уровне всего хоста, а не только на уровне отдельных соединений;
  • Работа в форме пассивной сети доставки контента (CDN), позволяющей избежать повторяющихся удаленных загрузок;
  • Гарантированное обеспечение целостности передаваемых файлов, без необходимости дополнительной проверки пользователем контрольных сумм;
  • Оптимальное хранение данных на диске и эффективный ввод/вывод. Например, применяются такие техники, как предварительная проверка дискового пространства, отложенная синхронизация, запись блоков в оптимальном порядке, разбиение операций сетевого чтения и записи на диск;
  • Высокая производительность: система управления кластером (компонент Cluster Manager) замкнут на самом себе и не зависит от внешних СУБД и распределённых кэшей;
  • Автоматическая изоляция сбойных узлов для повышения стабильности всей сети доставки файлов;
  • Отсутствие нагрузки на базовый сервер, который предоставляет исходные файлы - по сути нагрузка на такой сервер сводится к нескольким загрузкам файла менеджером кластера;
  • Поддержка штатных HTTP-заголовков, в том числе возможность подстановки информации об аутентификации через HTTP-заголовки;
  • Эффективное управление нагрузкой на реестр аутентификации (Registry Auth Service);
  • Простая настройка, для начала работы необходимо внести минимальные изменения в конфигурацию. Для развёртывания сети требуется создание сервера с менержером кластера и установка на каждый клиент специального ПО.

66.4725 77.7529 0.5922 9.6996

НОВОСТИ: Компания Canonical продлевает поддержку Ubuntu 14.04 для платных ... Wed, 19 Sep 2018 23:47:19 +0300

Компания Canonical предупредила о скором истечении пятилетнего срока выпуска обновлений для Ubuntu 14.04 LTS. Начиная с 30 апреля 2019 года официальная публичная поддержка дистрибутива Ubuntu 14.04 будет прекращена, но для пользователей, которые не успевают перевести свои системы на Ubuntu 16.04 или 18.04, предложена программа ESM (Extended Security Maintenance), в рамках которой будет продолжена публикация обновлений с устранением уязвимостей для ядра и наиболее важных системных пакетов. Доступ к этим обновлениям будет ограничен только для пользователей платной подписки на услуги технической поддержки.

???????@Mail.ru Opera Firefox INFOBOX - хостинг Google Chrome