[РЕШЕНО] Сжатие пакетов на всех ядрах

RusWolf
одинаково с MAKEFLAGS="-j$(nproc)"
Вот и нет мифа, что j должно быть равно nproc+1 ... все индивидуально и подбирать нужно под конкретное железо.
Насколько я понял влияет даже что стоит - HDD или SSD, сколько памяти и др. - вообщем все зависит от того как будет нагружено ядро - на полную или частично будет простаивать в любом случае. А если нагружено на полную, то как долго сможет держать данную скорость (там есть свои нюансы).

PS - RusWolf, если не трудно, напиши, что у тебя за 8-ядерник ...

PSS - вот что мне не понятно, так это влияет ли на все это организация самого процесса распаралеливания - по мне так это влияет - ведь это пишут люди, а все пишут по разному, но могу по не знанию и ошибаться.
Ошибки не исчезают с опытом - они просто умнеют
vasek
если не трудно, напиши, что у тебя за 8-ядерник …
[wolf@arch-pc ~]$ lscpu
Архитектура:                     x86_64
CPU op-mode(s):                  32-bit, 64-bit
Порядок байт:                    Little Endian
Address sizes:                   48 bits physical, 48 bits virtual
CPU(s):                          8
On-line CPU(s) list:             0-7
Thread(s) per core:              2
Ядер на сокет:                   4
Сокетов:                         1
NUMA node(s):                    1
ID прроизводителя:               AuthenticAMD
Семейство ЦПУ:                   21
Модель:                          2
Имя модели:                      AMD FX(tm)-8350 Eight-Core Processor
Степпинг:                        0
Frequency boost:                 enabled
CPU MHz:                         1811.956
CPU max MHz:                     4000,0000
CPU min MHz:                     1400,0000
BogoMIPS:                        8040.23
Виртуализация:                   AMD-V
L1d cache:                       64 KiB
L1i cache:                       256 KiB
L2 cache:                        8 MiB
L3 cache:                        8 MiB
NUMA node0 CPU(s):               0-7
Vulnerability Itlb multihit:     Not affected
Vulnerability L1tf:              Not affected
Vulnerability Mds:               Not affected
Vulnerability Meltdown:          Not affected
Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl and seccomp
Vulnerability Spectre v1:        Mitigation; usercopy/swapgs barriers and __user pointer sanitization
Vulnerability Spectre v2:        Mitigation; Full AMD retpoline, IBPB conditional, STIBP disabled, RSB filling
Vulnerability Tsx async abort:   Not affected
Флаги:                           fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdts
                                 cp lm constant_tsc rep_good nopl nonstop_tsc cpuid extd_apicid aperfmperf pni pclmulqdq monitor ssse3 fma cx16 sse4_1 sse4_2 popcnt aes xsav
                                 e avx f16c lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs xop skinit wdt fma4 tce nodeid_msr tbm top
                                 oext perfctr_core perfctr_nb cpb hw_pstate ssbd ibpb vmmcall bmi1 arat npt lbrv svm_lock nrip_save tsc_scale vmcb_clean flushbyasid decodeas
                                 sists pausefilter pfthreshold
vasek
Вот и нет мифа, что j должно быть равно nproc+1 … все индивидуально и подбирать нужно под конкретное железо.
да не, ничего подбирать не нужно, идеальное количество nproc+1. больше - не заметно и даже может быть медленнее, меньше - заметно.
j5
makepkg -sf 14985,99s user 1987,87s system 286% cpu 1:38:46,85 total
j1
makepkg -sf 11709,18s user 1795,34s system 102% cpu 3:39:11,15 total
Псевдографический инсталлятор Arch Linux ver. 3.8.2
Благодарности принимаются на ЯД 410012815723874
RusWolf
COMPRESSXZ=(xz -c -z - –threads=0) уже не актуально.
Сработало. Загрузка 100% по всем ядрам

RusWolf
COMPRESSZST=(zstd -c -z -q - –threads=0) -теперь же.
А как этот вариант запустить? Автоматом xz стартует.
Max77, ниже смотри, метод сжатия устанавливается расширением файла пакета.
а расширение пакета соответствует окончанию в COMPRESS***
Псевдографический инсталлятор Arch Linux ver. 3.8.2
Благодарности принимаются на ЯД 410012815723874
Max77
А как этот вариант запустить? Автоматом xz стартует.

#########################################################################
# COMPRESSION DEFAULTS
#########################################################################
#
COMPRESSGZ=(gzip -c -f -n)
COMPRESSBZ2=(bzip2 -c -f)
COMPRESSXZ=(xz -c -z - --threads=0)
COMPRESSZST=(zstd -c -z -q - --threads=0)
COMPRESSLRZ=(lrzip -q)
COMPRESSLZO=(lzop -q)
COMPRESSZ=(compress -c -f)
COMPRESSLZ4=(lz4 -q)
COMPRESSLZ=(lzip -c -f)

#########################################################################
# EXTENSION DEFAULTS
#########################################################################
#
PKGEXT='.pkg.tar.zst'
SRCEXT='.src.tar.gz'
RusWolf, спасибо!
nafanja
речь о сжатии пакета а не о компиляции…
Таки нет. Просто, как водится, название темы не соответствует ее содержанию.

/offtop
/etc/makepkg.conf
---
COMPRESSXZ=(xz -T0 -c -z -)
COMPRESSZST=(zstd -T0 -c -z -q -)
:)
Приветствую уважаемые!
Намедни взял себе новую игрушку

 inxi -F
System:
  Host: localhost Kernel: 5.16.11-arch1-2 x86_64 bits: 64
    Desktop: awesome 4.3 Distro: Arch Linux
Machine:
  Type: Desktop System: HUANANZHI X99 product: N/A v: N/A
    serial: <superuser required>
  Mobo: HUANANZHI model: X99-8M-F v: V1.2 serial: <superuser required>
    UEFI-[Legacy]: American Megatrends v: 5.11 date: 04/12/2021
CPU:
  Info: 10-core model: Intel Xeon E5-2666 v3 bits: 64 type: MT MCP cache:
    L2: 2.5 MiB
  Speed (MHz): avg: 1253 min/max: 1200/3500 cores: 1: 2240 2: 1200 3: 1201
    4: 1201 5: 1201 6: 1201 7: 1202 8: 1202 9: 1201 10: 1201 11: 1201 12: 1200
    13: 1202 14: 1200 15: 1200 16: 1202 17: 1203 18: 1201 19: 1201 20: 1201
Graphics:
  Device-1: AMD Baffin [Radeon RX 550 640SP / 560/560X] driver: amdgpu
    v: kernel
  Display: server: X.Org v: 1.21.1.3 driver: X: loaded: amdgpu gpu: amdgpu
    resolution: 1: 1920x1080~60Hz 2: 1366x768~60Hz
  OpenGL: renderer: AMD Radeon RX 550 Series (polaris11 LLVM 14.0.0 DRM
    3.44 5.16.11-arch1-2)
    v: 4.6 Mesa 22.0.0-devel (git-1df7c0ce7e)
Audio:
  Device-1: Intel 8 Series/C220 Series High Definition Audio
    driver: snd_hda_intel
  Device-2: AMD Baffin HDMI/DP Audio [Radeon RX 550 640SP / 560/560X]
    driver: snd_hda_intel
  Device-3: Logitech Labtec Notebooks type: USB
    driver: gspca_zc3xx,snd-usb-audio
  Sound Server-1: ALSA v: k5.16.11-arch1-2 running: yes
  Sound Server-2: PulseAudio v: 15.0 running: yes
Network:
  Device-1: Realtek RTL8111/8168/8411 PCI Express Gigabit Ethernet
    driver: r8169
  IF: enp5s0 state: up speed: 100 Mbps duplex: full mac: 2a:26:a0:06:06:b2
Drives:
  Local Storage: total: 2.96 TiB used: 785.96 GiB (25.9%)
  ID-1: /dev/nvme0n1 vendor: Seagate model: XPG GAMMIX S11 Pro
    size: 238.47 GiB
  ID-2: /dev/sda vendor: Western Digital model: WD20EZRZ-00Z5HB0
    size: 1.82 TiB
  ID-3: /dev/sdb vendor: Seagate model: ST3500418AS size: 465.76 GiB
  ID-4: /dev/sdc vendor: Seagate model: ST3500418AS size: 465.76 GiB
Partition:
  ID-1: / size: 91.2 GiB used: 21.95 GiB (24.1%) fs: ext4 dev: /dev/nvme0n1p3
  ID-2: /home size: 1.73 TiB used: 764.02 GiB (43.1%) fs: ext4
    dev: /dev/sda4
Swap:
  ID-1: swap-1 type: partition size: 7.81 GiB used: 0 KiB (0.0%)
    dev: /dev/sda5
Sensors:
  System Temperatures: cpu: 34.0 C mobo: 50.0 C gpu: amdgpu temp: 58.0 C
  Fan Speeds (RPM): cpu: 535 case-1: 991 gpu: amdgpu fan: 1224
Info:
  Processes: 349 Uptime: 47m Memory: 15.47 GiB used: 2.75 GiB (17.8%)
  Shell: Zsh inxi: 3.3.13
Как лучше настроить на макс скорость сжатия и компиляции при сборке с аур
https://github.com/warlock90000/awesome
warlock9000
Как лучше настроить на макс скорость сжатия и компиляции при сборке с аур
обычно рекомендуют так .... но нужно проверять
Узнаем количество виртуальных ядер (threads) - N и вносим изменения в /etc/makepkg.conf
MAKEFLAGS="-jN"
COMPRESSXZ=(xz -c -z - --threads=N)
Узнать количество виртуальных ядер (threads) - N
cat /proc/cpuinfo | grep siblings | uniq ..... или nproc или getconf _NPROCESSORS_ONLN

PS - ради интереса приведи выводы
количество физических процессоров - cat /proc/cpuinfo | grep "physical id"| sort| uniq| wc -l
количество логических процессоров  - cat /proc/cpuinfo | grep "processor"| wc -l
количество реальных ядер в каждом физическом процессоре - cat /proc/cpuinfo | grep "cpu cores"| uniq
количество виртуальных ядер (threads) - cat /proc/cpuinfo | grep siblings | uniq
Ошибки не исчезают с опытом - они просто умнеют
 
Зарегистрироваться или войдите чтобы оставить сообщение.