Теперь используется алгоритм zstd вместо xz для сжатия пакетов

vall	# 4 года, 10 месяцев назад
Темы: 45 Сообщения: 1786 Участник с: 28 марта 2017	2020-01-04 - Robin Broda (оригинал новости) Как было объявлено в рассылке , в пятницу, 27 декабря 2019 года, наша схема упаковки пакетов была изменена с xz (.pkg.tar.xz) на zstd (.pkg.tar.zst). zstd и xz примерно равны в степени сжатия. Пересжатие всех пакетов в zstd с нашими опциями дает увеличение общего размера пакетов на ~ 0,8% для всех наших пакетов вместе взятых, но скорость распаковки для всех пакетов увеличилась на ~ 1300%. У нас уже есть более 545 zstd-упакованных пакетов в наших репозиториях, и по мере обновления пакетов это будет продолжаться. На данный момент мы не обнаружили никаких проблем, связанных с пользователями, поэтому, похоже, все работает. Как упаковщик, вы автоматически начнете собирать пакеты .pkg.tar.zst, если вы используете последнюю версию devtools (> u003d 20191227). Как конечный пользователь, никакого ручного вмешательства не требуется, при условии, что вы прочитали и следили за новостями с конца прошлого года. Если вы все еще не обновляли архив с 2018 года, надежда не потеряна! Двоичные сборки pacman-static доступны из личного репозитория Eli Schwartz (или прямой ссылки на бинарные файлы), подписанные их ключами доверенных пользователей с помощью которых вы можете выполнить обновление.

# 4 года, 10 месяцев назад

Сообщения: 1786

Участник с: 28 марта 2017

2020-01-04 - Robin Broda (оригинал новости)

Как было объявлено в рассылке , в пятницу, 27 декабря 2019 года, наша схема упаковки пакетов была изменена с xz (.pkg.tar.xz) на zstd (.pkg.tar.zst).

zstd и xz примерно равны в степени сжатия. Пересжатие всех пакетов в zstd с нашими опциями дает увеличение общего размера пакетов на ~ 0,8% для всех наших пакетов вместе взятых, но скорость распаковки для всех пакетов увеличилась на ~ 1300%.

У нас уже есть более 545 zstd-упакованных пакетов в наших репозиториях, и по мере обновления пакетов это будет продолжаться. На данный момент мы не обнаружили никаких проблем, связанных с пользователями, поэтому, похоже, все работает.

Как упаковщик, вы автоматически начнете собирать пакеты .pkg.tar.zst, если вы используете последнюю версию devtools (> u003d 20191227).
Как конечный пользователь, никакого ручного вмешательства не требуется, при условии, что вы прочитали и следили за новостями с конца прошлого года.

Если вы все еще не обновляли архив с 2018 года, надежда не потеряна! Двоичные сборки pacman-static доступны из личного репозитория Eli Schwartz (или прямой ссылки на бинарные файлы), подписанные их ключами доверенных пользователей с помощью которых вы можете выполнить обновление.

vall	# 4 года, 10 месяцев назад (отредактировано 4 года, 10 месяцев назад)
Темы: 45 Сообщения: 1786 Участник с: 28 марта 2017	Поскольку прошло почти десять дней и в общем-то все уже в курсе, чтобы немного помочь нашим админам и соблюсти формальности -- публикую сообщение выше.

jim945	# 4 года, 10 месяцев назад
Темы: 9 Сообщения: 3180 Участник с: 25 января 2010	Если кому-то режут глаз эти 1300%. Это всего лишь значит, что пакеты распаковываются примерно в 14 раз быстрее. Lupus pilum mutat, non mentem.

vasek	# 4 года, 10 месяцев назад (отредактировано 4 года, 10 месяцев назад)
Темы: 47 Сообщения: 11854 Участник с: 17 февраля 2013	vall скорость распаковки для всех пакетов увеличилась на ~ 1300%. что то не заметил ..... Недавно проводил эксперимент по сравнению xz и zstd , правда взял небольшую директорию - порядка 50М (около 5000 файлов) - размер упакованного файла: xz - 18М; zst - 22М - время упаковки: xz - 25с; zst - меньше 2с (запаздывает реакция нажатия кнопки) - время распаковки: xz - около 3с; zst - около 1с (нужно сравнивать на файлах значительно большего объема - так как сказывается реакция на нажатие кнопки) PS - использовал tar, то есть получал файлы - file.tar.xz и file.tar.zst Ошибки не исчезают с опытом - они просто умнеют

vasek

# 4 года, 10 месяцев назад (отредактировано 4 года, 10 месяцев назад)

Темы: 47

Сообщения: 11854

Участник с: 17 февраля 2013

vall
скорость распаковки для всех пакетов увеличилась на ~ 1300%.

что то не заметил ..... Недавно проводил эксперимент по сравнению xz и zstd , правда взял небольшую директорию - порядка 50М (около 5000 файлов)
- размер упакованного файла: xz - 18М; zst - 22М
- время упаковки: xz - 25с; zst - меньше 2с (запаздывает реакция нажатия кнопки)
- время распаковки: xz - около 3с; zst - около 1с (нужно сравнивать на файлах значительно большего объема - так как сказывается реакция на нажатие кнопки)

PS - использовал tar, то есть получал файлы - file.tar.xz и file.tar.zst

Ошибки не исчезают с опытом - они просто умнеют

Aivar	# 4 года, 10 месяцев назад
Темы: 4 Сообщения: 6897 Участник с: 17 февраля 2011	vasek что то не заметил Разницу при обновлении теперь видно даже невооруженным глазом.

vasek	# 4 года, 10 месяцев назад
Темы: 47 Сообщения: 11854 Участник с: 17 февраля 2013	Aivar Разницу при обновлении теперь видно даже невооруженным глазом. а я вот не заметил, возможно и меньше, но уж не настолько, как пишут. Верю конкретным цифрам - возьми директорию мегов на 100-200 и проверь - запакуй/распакуй. Ошибки не исчезают с опытом - они просто умнеют

vasek

# 4 года, 10 месяцев назад

Темы: 47

Сообщения: 11854

Участник с: 17 февраля 2013

Aivar
Разницу при обновлении теперь видно даже невооруженным глазом.

а я вот не заметил, возможно и меньше, но уж не настолько, как пишут.
Верю конкретным цифрам - возьми директорию мегов на 100-200 и проверь - запакуй/распакуй.

Ошибки не исчезают с опытом - они просто умнеют

jim945	# 4 года, 10 месяцев назад
Темы: 9 Сообщения: 3180 Участник с: 25 января 2010	Aivar Разницу при обновлении теперь видно даже невооруженным глазом. Смотря на каком железе. Всё может упереться в скорость записи на носитель и разницы не будет. А при очень медленном подключении к интернету может быть и хуже суммарно. Lupus pilum mutat, non mentem.

jim945

# 4 года, 10 месяцев назад

Темы: 9

Сообщения: 3180

Участник с: 25 января 2010

Aivar
Разницу при обновлении теперь видно даже невооруженным глазом.

Смотря на каком железе.
Всё может упереться в скорость записи на носитель и разницы не будет.
А при очень медленном подключении к интернету может быть и хуже суммарно.

Lupus pilum mutat, non mentem.

vasek	# 4 года, 10 месяцев назад
Темы: 47 Сообщения: 11854 Участник с: 17 февраля 2013	Вот что я конкретно заметил, так это упаковку (проверял дважды) - примерно в 15 раз Ошибки не исчезают с опытом - они просто умнеют

vasek	# 4 года, 10 месяцев назад
Темы: 47 Сообщения: 11854 Участник с: 17 февраля 2013	Почитал и уточню, всего 19 уровней сжатия, плюс к этому можно разблокировать еще уровни 20+ (максимум будет 22 уровня) …. но по дефолту установлен уровень 3, на котором я и экспериментировал PS - в одном doc встретил - 22 уровень наиболее эффективный, а уровень -1 самый быстрый, хотя в man уровень -1 что то не видел - может не заметил? Ошибки не исчезают с опытом - они просто умнеют

vasek

# 4 года, 10 месяцев назад

Темы: 47

Сообщения: 11854

Участник с: 17 февраля 2013

Почитал и уточню, всего 19 уровней сжатия, плюс к этому можно разблокировать еще уровни 20+ (максимум будет 22 уровня) …. но по дефолту установлен уровень 3, на котором я и экспериментировал

PS - в одном doc встретил - 22 уровень наиболее эффективный, а уровень -1 самый быстрый, хотя в man уровень -1 что то не видел - может не заметил?

Ошибки не исчезают с опытом - они просто умнеют

vall	# 4 года, 10 месяцев назад
Темы: 45 Сообщения: 1786 Участник с: 28 марта 2017	Aivar Разницу при обновлении теперь видно даже невооруженным глазом. Поддержу тезис коллеги. Сейчас уже привык, но поначалу было впечатление, что в терминале всё как будто дёргалось -- на такой скорости шло обновление пакетов. По сравнению со старым методом распаковки.

vall

# 4 года, 10 месяцев назад

Темы: 45

Сообщения: 1786

Участник с: 28 марта 2017

Aivar
Разницу при обновлении теперь видно даже невооруженным глазом.

Поддержу тезис коллеги. Сейчас уже привык, но поначалу было впечатление, что в терминале всё как будто дёргалось -- на такой скорости шло обновление пакетов. По сравнению со старым методом распаковки.