ubuntu bzip 多核心壓縮

我是廢話


(抱歉!我不想貼萌圖)炸飛...

正題開始


雖然說現在的壓縮檔常用的就那幾個,反正看到就是 rar 要不就是 zip , 7z 偶爾看到,但是在 linux 上打滾多年後,常看到的反而不是 gz 就是 bz2 ,今天好看到前幾天重灌電腦忘記處理的映像檔,打算壓縮來減少一下空間,於是就順手的去 google 了一下有關於 bzip2 有沒有相關的多線程處理,看來還有不錯的結果。剛好也就順便寫了測試報告。

安裝程式


目前有的就有兩個程式,分別為 pbzip2lbzip2 兩套,在 Ubuntu 12.04 下直接用 apt-get 安裝就可以了:

1
$ sudo apt-get install lbzip2

或者是

1
$ sudo apt-get install pbzip2

如何使用


基本上用法大同小異,只是分別多了要用多少的 core 來處理壓縮, lbzip2 利用 -n 數字pbizp 是利用 -p數字 ,要更詳細可以參考 --help 或找男人, yoooooooooooooooo~!

測試報告


就以之前做的映像檔為測試:

-rw-r--r--  1 renn999 renn999 4294967296 Jun  2 16:19 ubuntu12.04.img

bzip 時間測試:

1
2
3
4
5
6
7
renn999 @ /media/Disk_2 :
> time bzip2 -k -z -v -9 ubuntu12.04.img 
  ubuntu12.04.img:  2.965:1,  2.698 bits/byte, 66.27% saved, 4294967296 in, 1448661455 out.

real  13m37.562s
user  12m55.144s
sys 0m9.897s

lbzip2 時間測試:

1
2
3
4
5
6
7
8
renn999 @ /media/Disk_2 :
> time lbzip2 -k -z -v -9 -n 4 ubuntu12.04.img 
lbzip2: compressing "ubuntu12.04.img" to "ubuntu12.04.img.bz2"
lbzip2: "ubuntu12.04.img": compression ratio is 1:2.960, space savings is 66.21%

real  4m19.824s
user  16m9.725s
sys 0m26.790s

pbzip2 時間測試:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
renn999 @ /media/Disk_2 :
> time pbzip2 -k -z -9 -v -p4 ubuntu12.04.img
Parallel BZIP2 v1.1.6 - by: Jeff Gilchrist [http://compression.ca]
[Oct. 30, 2011]               (uses libbzip2 by Julian Seward)
Major contributions: Yavor Nikolov <nikolov.javor+pbzip2@gmail.com>

         # CPUs: 4
 BWT Block Size: 900 KB
File Block Size: 900 KB
 Maximum Memory: 100 MB
-------------------------------------------
         File #: 1 of 1
     Input Name: ubuntu12.04.img
    Output Name: ubuntu12.04.img.bz2

     Input Size: 4294967296 bytes
Compressing data...
    Output Size: 1452096308 bytes
-------------------------------------------

     Wall Clock: 358.346280 seconds

real  5m58.351s
user  22m28.108s
sys 0m33.190s

由上可知,時間節省了快要 66%

大小測試:

1
2
3
-rw-r--r--  1 renn999 renn999 1452096308 Jun  2 16:19 ubuntu12.04.img.bz2.pbzip2
-rw-r--r--  1 renn999 renn999 1451089807 Jun  2 16:19 ubuntu12.04.img.bz2.lbzip2
-rw-r--r--  1 renn999 renn999 1448661455 Jun  2 16:19 ubuntu12.04.img.bz2.bzip2

還是傳統的 bzip 壓縮率還是高了一點,但是老實說時間省的還是划得來。

Sat Jun. 29 2013
Comments

Comments