Когда нужно сжимать большие объемы текста на мощном железе, gzip может работать не так эффективно, как хотелось бы. Gzip работает в 1 поток и эффективно будет использовать только одно ядро.

Есть несколько альтернативных утилит, которые сжимают файлы используя все ядра. Одна из них — pigz. Установить ее можно из пакетов:

apt-get install pigz

Для сравнения мы взяли текстовый файл на 4.6Гб и запускали оба архиватора на 8-ядерном сервере:

# Обычный gzip
gzip test.txt
...
done in 25.1s
# Многопоточный pigz
pigz test.txt
...
done in 7.5s

pigz отработал в 4 раза быстрее

Есть и другие инструменты сжатия, которые используют современные процессоры намного эффективнее стандартного gzip’a.

Источник: https://ruhighload.com/post/Как+ускорить+gzip+сжатие

⤧  Next post Принципы дизайна для снижения когнитивной нагрузки ⤧  Previous post Как обновить крон без запуска текстового редактора