[РЕШЕНО] Сжатие пакетов на всех ядрах

vasek
обычно рекомендуют так
10 ядер 20 потоков
Сборка вообще мухой щас идет :)
https://github.com/warlock90000/awesome
Уточнение - в части сжатия
COMPRESSXZ=(xz -c -z - --threads=N)
не совсем верно - забыл, что сейчас вместо xz используется zstd ... и лучше прописать в ту строчку ... или тупо во все
Ошибки не исчезают с опытом - они просто умнеют
vasek
–threads=N
как я понял --threads=0 это использовать все ядра
https://github.com/warlock90000/awesome
warlock9000
как я понял –threads=0 это использовать все ядра
Всё так, вики.
xz
COMPRESSXZ=(xz -c -z --threads=0 -)
zstd
COMPRESSZST=(zstd -c -z -q --threads=0 -)

Ещё раз порекомендую пройти по ссылке в сообщении и далее по всем связанным ссылкам (если есть желание углубиться в тему). Например, почитать в том числе и вот это. Там хоть и про gentoo, но make в linux одинаков везде.

Ниже мой конфиг в моменте (4 физических, 8 виртуальных ядер).
#!/hint/bash
#
# /etc/makepkg.conf
#

#########################################################################
# SOURCE ACQUISITION
#########################################################################
#
#-- The download utilities that makepkg should use to acquire sources
#  Format: 'protocol::agent'
DLAGENTS=('file::/usr/bin/curl -qgC - -o %o %u'
          'ftp::/usr/bin/curl -qgfC - --ftp-pasv --retry 3 --retry-delay 3 -o %o %u'
          'http::/usr/bin/curl -qgb "" -fLC - --retry 3 --retry-delay 3 -o %o %u'
          'https::/usr/bin/curl -qgb "" -fLC - --retry 3 --retry-delay 3 -o %o %u'
          'rsync::/usr/bin/rsync --no-motd -z %u %o'
          'scp::/usr/bin/scp -C %u %o')

# Other common tools:
# /usr/bin/snarf
# /usr/bin/lftpget -c
# /usr/bin/wget

#-- The package required by makepkg to download VCS sources
#  Format: 'protocol::package'
VCSCLIENTS=('bzr::bzr'
            'fossil::fossil'
            'git::git'
            'hg::mercurial'
            'svn::subversion')

#########################################################################
# ARCHITECTURE, COMPILE FLAGS
#########################################################################
#
CARCH="x86_64"
CHOST="x86_64-pc-linux-gnu"

#-- Compiler and Linker Flags
#CPPFLAGS=""
CFLAGS="-march=x86-64 -mtune=generic -O2 -pipe -fno-plt -fexceptions \
        -Wp,-D_FORTIFY_SOURCE=2 -Wformat -Werror=format-security \
        -fstack-clash-protection -fcf-protection"
CXXFLAGS="$CFLAGS -Wp,-D_GLIBCXX_ASSERTIONS"
LDFLAGS="-Wl,-O1,--sort-common,--as-needed,-z,relro,-z,now"
#RUSTFLAGS="-C opt-level=2"
#-- Make Flags: change this for DistCC/SMP systems
MAKEFLAGS="-j10 -l5"
#-- Debugging flags
DEBUG_CFLAGS="-g -fvar-tracking-assignments"
DEBUG_CXXFLAGS="-g -fvar-tracking-assignments"
#DEBUG_RUSTFLAGS="-C debuginfo=2"

#########################################################################
# BUILD ENVIRONMENT
#########################################################################
#
# Makepkg defaults: BUILDENV=(!distcc !color !ccache check !sign)
#  A negated environment option will do the opposite of the comments below.
#
#-- distcc:   Use the Distributed C/C++/ObjC compiler
#-- color:    Colorize output messages
#-- ccache:   Use ccache to cache compilation
#-- check:    Run the check() function if present in the PKGBUILD
#-- sign:     Generate PGP signature file
#
BUILDENV=(!distcc color !ccache check !sign)
#
#-- If using DistCC, your MAKEFLAGS will also need modification. In addition,
#-- specify a space-delimited list of hosts running in the DistCC cluster.
#DISTCC_HOSTS=""
#
#-- Specify a directory for package building.
#BUILDDIR=/tmp/makepkg

#########################################################################
# GLOBAL PACKAGE OPTIONS
#   These are default values for the options=() settings
#########################################################################
#
# Makepkg defaults: OPTIONS=(!strip docs libtool staticlibs emptydirs !zipman !purge !debug !lto)
#  A negated option will do the opposite of the comments below.
#
#-- strip:      Strip symbols from binaries/libraries
#-- docs:       Save doc directories specified by DOC_DIRS
#-- libtool:    Leave libtool (.la) files in packages
#-- staticlibs: Leave static library (.a) files in packages
#-- emptydirs:  Leave empty directories in packages
#-- zipman:     Compress manual (man and info) pages in MAN_DIRS with gzip
#-- purge:      Remove files specified by PURGE_TARGETS
#-- debug:      Add debugging flags as specified in DEBUG_* variables
#-- lto:        Add compile flags for building with link time optimization
#
OPTIONS=(strip docs !libtool !staticlibs emptydirs zipman purge !debug !lto)

#-- File integrity checks to use. Valid: md5, sha1, sha224, sha256, sha384, sha512, b2
INTEGRITY_CHECK=(sha256)
#-- Options to be used when stripping binaries. See `man strip' for details.
STRIP_BINARIES="--strip-all"
#-- Options to be used when stripping shared libraries. See `man strip' for details.
STRIP_SHARED="--strip-unneeded"
#-- Options to be used when stripping static libraries. See `man strip' for details.
STRIP_STATIC="--strip-debug"
#-- Manual (man and info) directories to compress (if zipman is specified)
MAN_DIRS=({usr{,/local}{,/share},opt/*}/{man,info})
#-- Doc directories to remove (if !docs is specified)
DOC_DIRS=(usr/{,local/}{,share/}{doc,gtk-doc} opt/*/{doc,gtk-doc})
#-- Files to be removed from all packages (if purge is specified)
PURGE_TARGETS=(usr/{,share}/info/dir .packlist *.pod)
#-- Directory to store source code in for debug packages
DBGSRCDIR="/usr/src/debug"

#########################################################################
# PACKAGE OUTPUT
#########################################################################
#
# Default: put built package and cached source in build directory
#
#-- Destination: specify a fixed directory where all packages will be placed
#PKGDEST=/home/packages
#-- Source cache: specify a fixed directory where source files will be cached
#SRCDEST=/home/sources
#-- Source packages: specify a fixed directory where all src packages will be placed
#SRCPKGDEST=/home/srcpackages
#-- Log files: specify a fixed directory where all log files will be placed
#LOGDEST=/home/makepkglogs
#-- Packager: name/email of the person or organization building packages
#PACKAGER="John Doe <[email protected]>"
#-- Specify a key to use for package signing
#GPGKEY=""

#########################################################################
# COMPRESSION DEFAULTS
#########################################################################
#
COMPRESSGZ=(gzip -c -f -n)
COMPRESSBZ2=(bzip2 -c -f)
COMPRESSXZ=(xz -c -z - --threads=0 -)
COMPRESSZST=(zstd -c -z -q - --threads=0 -)
COMPRESSLRZ=(lrzip -q)
COMPRESSLZO=(lzop -q)
COMPRESSZ=(compress -c -f)
COMPRESSLZ4=(lz4 -q)
COMPRESSLZ=(lzip -c -f)

#########################################################################
# EXTENSION DEFAULTS
#########################################################################
#
PKGEXT='.pkg.tar.zst'
SRCEXT='.src.tar.gz'

# vim: set ft=sh ts=2 sw=2 et:
#########################################################################
# OTHER
#########################################################################
#
#-- Command used to run pacman as root, instead of trying sudo and su
#PACMAN_AUTH=()
При всём уважении к вики дополнительная информация часто бывает полезной.
warlock9000
как я понял –threads=0 это использовать все ядра
пишут так ... НО не все так просто - лучше почитать man для используемого сжатия, все опции описаны там.
Например при использовании zstd, смотрим
-T#, --threads=#: Compress using # working threads (default: 1). If # is 0, attempt to detect  and  use the number of physical CPU cores. In all cases, the nb of threads is capped to ZSTDMT_NBWORKERS_MAX, which is either 64 in 32-bit mode, or  256  for  64-bit  environ  ments. This modifier does nothing if zstd is compiled without multithread support.

ZSTD_NBTHREADS  can  be used to set the number of threads zstd will attempt to use during com       pression. If the value of ZSTD_NBTHREADS is not a valid unsigned integer, it will  be  ignored        with a warning message. ZSTD_NBTHREADS has a default value of (1), and is capped at ZSTDMT_NB‐WORKERS_MAX==200. zstd must be compiled with multithread support for this to have any effect.

--auto-threads={physical,logical} (default: physical): When  using  a  default  amount  of threads  via  - T0,  choose the default based on the number of detected physical or logical cores.
и лучше прописывать конкретно то, что хотим (и даже с учетом - или фактические ядра или виртуальные ядра)

PS - параметр –threads=0 лучше не использовать .... читаем внимательнее фразу из man (вместо # прописал T - theads)
If T is 0, attempt to detect  and  use the number of physical CPU cores

EDIT 1 - дословный перевод
If T is 0, attempt to detect  and  use the number of physical cores
Если T равно 0, попытаться определить и использовать количество физических ядер.
Например, в моем случае
количество реальных/физических ядер в процессоре
cat /proc/cpuinfo | grep "cpu cores"| uniq
cpu cores	: 2
но при этом количество логических/виртуальных ядер (threads)
cat /proc/cpuinfo | grep siblings | uniq
siblings	: 4
(или по-другому: nproc = 4  или getconf _NPROCESSORS_ONLN = 4)
А вообще лучше все это проверять на практике ... и возможно (но не уверен, не проверял) придется указывать параметр --auto-threads=logical ... так как по дефолту physical .... хотя, думаю, достаточно указать один параметр --threads=N, где N - количество логических/виртуальных ядер.
Ошибки не исчезают с опытом - они просто умнеют
vall, vasek - спасибо за развернутое объяснение. Прописал явно количество ядер (физ и лог), сборка пролетает очень быстро, а уж сжатия вообще не заметно по скорости :) Хех, когда 20 ядер вздрагивают, темпер скачет аж до 60 град
https://github.com/warlock90000/awesome
warlock9000
темпер скачет аж до 60 град
В связи с этим рекомендуют - обращать внимание на значение температуры и если показания будут высокими для данного железа, уменьшить количество потоков, точнее подобрать оптимальное.
Ошибки не исчезают с опытом - они просто умнеют
vasek
точнее подобрать оптимальное
В моем случае 60 град для проца - это не критично. Больше за темпер ВРМ боюсь. Но это уже другая тема
https://github.com/warlock90000/awesome
warlock9000
Прописал явно количество ядер (физ и лог), сборка пролетает очень быстро, а уж сжатия вообще не заметно по скорости :)
А можете выложить свой конфиг, не могу понять где физические прописывать, а где логические..
MAKEFLAGS="-jХХ"
Nebulosa
где физические прописывать, а где логические..
это все в одном месте. Если у тебя 10 физ и 10 лог, то просто пишешь 20
https://github.com/warlock90000/awesome
 
Зарегистрироваться или войдите чтобы оставить сообщение.