Теперь используется алгоритм zstd вместо xz для сжатия пакетов

2020-01-04 - Robin Broda (оригинал новости)

Как было объявлено в рассылке, в пятницу, 27 декабря 2019 года, наша схема упаковки пакетов была изменена с xz (.pkg.tar.xz) на zstd (.pkg.tar.zst).

zstd и xz примерно равны в степени сжатия. Пересжатие всех пакетов в zstd с нашими опциями дает увеличение общего размера пакетов на ~ 0,8% для всех наших пакетов вместе взятых, но скорость распаковки для всех пакетов увеличилась на ~ 1300%.

У нас уже есть более 545 zstd-упакованных пакетов в наших репозиториях, и по мере обновления пакетов это будет продолжаться. На данный момент мы не обнаружили никаких проблем, связанных с пользователями, поэтому, похоже, все работает.

Как упаковщик, вы автоматически начнете собирать пакеты .pkg.tar.zst, если вы используете последнюю версию devtools (> u003d 20191227).
Как конечный пользователь, никакого ручного вмешательства не требуется, при условии, что вы прочитали и следили за новостями с конца прошлого года.

Если вы все еще не обновляли архив с 2018 года, надежда не потеряна! Двоичные сборки pacman-static доступны из личного репозитория Eli Schwartz (или прямой ссылки на бинарные файлы), подписанные их ключами доверенных пользователей с помощью которых вы можете выполнить обновление.
Поскольку прошло почти десять дней и в общем-то все уже в курсе, чтобы немного помочь нашим админам и соблюсти формальности -- публикую сообщение выше.
Если кому-то режут глаз эти 1300%.
Это всего лишь значит, что пакеты распаковываются примерно в 14 раз быстрее.
Lupus pilum mutat, non mentem.
vall
скорость распаковки для всех пакетов увеличилась на ~ 1300%.
что то не заметил ..... Недавно проводил эксперимент по сравнению xz и zstd , правда взял небольшую директорию - порядка 50М (около 5000 файлов)
- размер упакованного файла: xz - 18М; zst - 22М
- время упаковки: xz - 25с; zst - меньше (запаздывает реакция нажатия кнопки)
- время распаковки: xz - около 3с; zst - около 1с (нужно сравнивать на файлах значительно большего объема - так как сказывается реакция на нажатие кнопки)

PS - использовал tar, то есть получал файлы - file.tar.xz и file.tar.zst
Ошибки не исчезают с опытом - они просто умнеют
vasek
что то не заметил
Разницу при обновлении теперь видно даже невооруженным глазом.
Aivar
Разницу при обновлении теперь видно даже невооруженным глазом.
а я вот не заметил, возможно и меньше, но уж не настолько, как пишут.
Верю конкретным цифрам - возьми директорию мегов на 100-200 и проверь - запакуй/распакуй.
Ошибки не исчезают с опытом - они просто умнеют
Aivar
Разницу при обновлении теперь видно даже невооруженным глазом.
Смотря на каком железе.
Всё может упереться в скорость записи на носитель и разницы не будет.
А при очень медленном подключении к интернету может быть и хуже суммарно.
Lupus pilum mutat, non mentem.
Вот что я конкретно заметил, так это упаковку (проверял дважды) - примерно в 15 раз
Ошибки не исчезают с опытом - они просто умнеют
Почитал и уточню, всего 19 уровней сжатия, плюс к этому можно разблокировать еще уровни 20+ (максимум будет 22 уровня) …. но по дефолту установлен уровень 3, на котором я и экспериментировал

PS - в одном doc встретил - 22 уровень наиболее эффективный, а уровень -1 самый быстрый, хотя в man уровень -1 что то не видел - может не заметил?
Ошибки не исчезают с опытом - они просто умнеют
Aivar
Разницу при обновлении теперь видно даже невооруженным глазом.
Поддержу тезис коллеги. Сейчас уже привык, но поначалу было впечатление, что в терминале всё как будто дёргалось -- на такой скорости шло обновление пакетов. По сравнению со старым методом распаковки.
 
Зарегистрироваться или войдите чтобы оставить сообщение.