しろくま製作所

kernelのコンパイルが途方もなく時間がかかるので、分散コンパイルはできないものかと調べたらdistccという物があるんですな。
早速インストールして試してみましょうか。

●環境
サーバーとクライアント共にCentOS6.0 64bit
# uname -a
Linux ABCDEF01 2.6.32-71.29.1.el6.x86_64 #1 SMP Mon Jun 27 19:49:27 BST 2011 x86_64 x86_64 x86_64 GNU/Linux


インストールしないといけないパッケージ
サーバー(計算ノード)
http://pkgs.repoforge.org/distcc/distcc-server-2.18.3-2.el6.rf.x86_64.rpm
http://download.fedora.redhat.com/pub/epel/6/x86_64/ccache-3.1.4-4.el6.x86_64.rpm

クライアント(コンパイルしたいマシン用 司令機)
http://pkgs.repoforge.org/distcc/distcc-2.18.3-2.el6.rf.x86_64.rpm
http://download.fedora.redhat.com/pub/epel/6/x86_64/ccache-3.1.4-4.el6.x86_64.rpm

適当にwgetで落としてください。

お約束
全てのマシンでgccのバージョンを一致させておく必要があります。
OSとかは異なってもいいらしい
たぶんdistccのバージョンも一致させておく必要があると思う。
クライアントにだけライブラリとかが必要になります。


インストール方法
rpm -ivh でインストールする。
サーバー
# rpm -ivh ccache-3.1.4-4.el6.x86_64.rpm
# rpm -ivh distcc-server-2.18.3-2.el6.rf.x86_64.rpm

クライアント
# rpm -ivh ccache-3.1.4-4.el6.x86_64.rpm
# rpm -ivh distcc-2.18.3-2.el6.rf.x86_64.rpm

インストールが終わるとサーバーに下記にファイルが生成されます。
# /etc/rc.d/init.d/distccd

サーバー設定ファイルの修正
設定ファイルの場所
# /etc/sysconfig/distccd

とりあえず設定してみる。
# vi /etc/sysconfig/distccd
オリジナルファイルはこんな内容らしい
## See distcc(1) manual page for more information on these options.
###

#OPTIONS=”–nice 5 –jobs 5 –allow 10.0.0.0/24 –port 1234″
#USER=”distcc”

### Set this if don’t want distccd to use gcc or g++ by accident.
#DISTCCPATH=”/usr/lib/distcc/bin”

以下のように書き換えました。
### See distcc(1) manual page for more information on these options.
###

OPTIONS=”–nice 0 –jobs 6 –allow 172.0.0.0/24 –port 3632″
#USER=”distcc”

### Set this if don’t want distccd to use gcc or g++ by accident.
#DISTCCPATH=”/usr/lib/distcc/bin”

allowは許可するネットワークアドレスとマスク長です。
niceはdistccdの実行優先度です。(低い数値ほど優先される)
jobsはコンパイル命令のスレッド数。(CPUコア数*2+1~4)
portは待ち受けポート番号(標準はTCP3632)
マシンスペックと相談してください。

とりあえず起動してみる
# service distccd start

起動確認
# ps -aef | grep distcc
distcc 2191 1 0 16:21 ? 00:00:00 distccd –daemon –log-file=/var/log/distccd.log –nice 0 –jobs 6 –allow 172.0.0.0/24 –port 3632
distcc 2192 2191 0 16:21 ? 00:00:00 distccd –daemon –log-file=/var/log/distccd.log –nice 0 –jobs 6 –allow 172.0.0.0/24 –port 3632

ログは/var/log/distccd.logだそうです。

●おまけ　単体で起動するコマンド
distccd –daemon –listen=172.0.0.1 –allow=172.0.0.0/24

サーバークライアント共通の操作
ファイアーウォールをオフ
SELinuxをオフ
※テストなんで無効にしたけど危険なのでやめてね

クライアントでの操作
環境変数にサーバーのIPアドレスを登録します。
export DISTCC_HOSTS=’172.0.0.1 172.0.0.2 172.0.0.3 localhost’
左側にあるホストから優先して使用されていくそうです。
自分もコンパイルに参加する場合はlocalhostと書きます。ループバックアドレスだとNICを経由するため効率が落ちるらしいよ。

早速試してみる。
試しにカーネルのコンパイルをしてみます。
# alias make=’make -j20 CXX=distcc CC=distcc’
# make bzImage

成績
PC2台＋仮想マシン1台(合計物理6コア 論理8コア クライアントは参加せず)
5分50秒

クライアントのみ(Pentium D 2800 2.8G)
11分57秒

追試結果
実行コマンド
# date
# make bzImage
# make modules
# date

PC2台＋仮想マシン1台(合計物理6コア 論理8コア クライアントは参加せず)
22分40秒
クライアントも参加した場合
22分26秒

クライアントのみ(Pentium D 2800 2.8G)
48分59秒

サーバーとクライアントのコンパイルスレッド数を予め増やしておいたほうが効率が上がるような気がします。

だいたい半分になりましたけど、コンパイル時間がかかるものほど並列コンパイルの方が有利になると思います。
参加するPCが多いほど速くなるだろうけど、多分ネットワークの飽和とかライブラリのリンクとかで時間かかると思う。
distccのバージョン3以降はpumpモードが付いてるので、もう少し効率がいいそうです。
1CPUにつき同時20スレッドとかのモンスター級サーバーなら胸が熱くなるスピードで終わるんだろうな…

気づいたらHyper-V Linux統合ドライバ3.0がリリースされていますた。
最近は統合ドライバをインストールせずに、仮想マシンを立てて放置しているんでいい加減インストールしましょうかぬ。
ダウソ先
http://www.microsoft.com/downloads/ja-jp/details.aspx?FamilyID=c1256a7f-8a2d-4b18-851c-63b22ca976d3

正しくはこんな名前らしい
Linux Integration Services Version 3.1 for Hyper-V

今回はrpmコマンドでインストールできるようです。
最初の頃なんて自分でmakeしないとだめだったのに、かなりお手軽になりましたね。

ホストOS
Windows2008 R2 Standard 64bit

ゲストOS
CentOS6.0 64bit
前回は32bit版で試していたので、今回は64bit版のCentOS6.0をインストールします。

いつもどおりテキストモードでインストールします。
過去の記事を参考にしてね。
http://shirokuma-industry.com/wordpress/?p=104

※テキストモードでインストールする理由
リモートデスクトップ経由だとGUIインストールする場合にマウスが使用できないからです。
いちいちコンソールまで行くのが面倒だし、サーバーなのでGUIはいいやというわけでテキストインストールしてます。

インストールが終わったら、NICがシャットダウンされた状態で起動するので、設定ファイルを書き換えます。
# vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWADDR=xx:xx:xx:xx:xx:xx
IPADDR=192.168.50.200
NETMASK=255.255.255.0
NETWORK=192.168.50.0
BROADCAST=192.168.50.255
NM_CONTROLLED=yes
ONBOOT=yes
TYPE=Ethernet
BOOTPROTO=none
GATEWAY=192.168.50.254
IPV6INIT=no
USERCTL=no
DNS2=8.8.8.8
DNS1=192.168.50.254

デフォルトゲートウェイの設定
# vi /etc/sysconfig/network
GATEWAY=192.168.50.254

DNSの設定
# vi /etc/resolv.conf
nameserver 192.168.50.254

NICを起動します。
# ifconfig eth0 up
# ifconfig eth0 192.168.50.200 netmask 255.255.255.0

networkサービスの再起動を行います。
# service network restart

google.co.jpとかにpingが通ることを確認しておきます。

パッケージのインストール
わっちが検証したリストをコピペするのじゃ。
http://shirokuma-industry.com/wordpress-doc/install-list-centos6064.txt
すごく時間かかるので、放置しておきます。

そのままだとネットワークが不通になるので、irqbalanseをoffにしておきます。
# chkconfig –level 3 irqbalanse off
再起動します。

各サービスの再設定を行います。
# setup
上記URLのリストにはsetupコマンド関連も含んでいるので、setupコマンドが使えるようになります。
DNSの設定などが外たり、使用しないサービスが起動していることが多いので確認しておきます。
一応Google.co.jpなどへpingが通ることを確認します。

統合ドライバのインストールをします。
Linux IC v3.0.isoを仮想マシンの管理画面からCDドライブへマウントします。
次にLinux側からマウントします。
# mkdir /mnt/cdrom
# mount /dev/cdrom /mnt/cdrom
マウントできたら目的のディレクトリに行ってます
# cd /mnt/cdrom
# ls
それっぽい表示が出ます。

統合サービスドライバのインストールをします。(64bit版で作業してますよ)
# cd x86_64
※それぞれのコマンドはちょっと時間がかかるので、フリーズと勘違いしないように。
# rpm –ivh /media/x86_64/kmod-microsoft-hyper-v-rhel6-60.1.x86_64.rpm
# rpm –ivh /media/x86_64/microsoft-hyper-v-rhel6-60.1.x86_64.rpm

Saving old initramfs
Installing new initramfs
Linux Integration Services for Hyper-V has been installed. Please reboot your system.
と表示されたら終わりです。
再起動しますのでCDとかをアンマウントします。

# cd /
# umount /mnt/cdrom
# reboot

で認識されていて、かつレガシーじゃないネットワークアダプタを追加している時は、ifconfig -aでシャットダウンされているNICが追加されていると思います。
とりあえず追加されたNICはeth1とします。(環境によって変わりますのでご注意ください)
# vi /etc/sysconfig/network-scripts/ifcfg-eth1
お好きなIPアドレスを設定します。
この仮想NICは以下の設定とします。
IPアドレス 192.168.50.206
MACアドレス 00:15:5d:18:99:99
サブネットマスク 255.255.255.0
ネットワークアドレス 192.268.50.0
ブロードキャストアドレス 192.168.50.255

こんな感じで書きます。
DEVICE=eth1
HWADDR=00:15:5d:18:27:03
IPADDR=192.168.50.206
NETMASK=255.255.255.0
NETWORK=192.168.50.0
BROADCAST=192.168.50.255
NM_CONTROLLED=yes
ONBOOT=yes
TYPE=Ethernet
BOOTPROTO=none
GATEWAY=192.168.50.254
IPV6INIT=no
USERCTL=no

古いNICの処分
/etc/sysconfig/network-scripts/ifcfg-eth0
のONBOOT=yesをnoに書き換えます。

新しいNICを起動します。
# ifconfig eth1 up
# ifconfig eth1 192.168.50.206 netmask 255.255.255.0

SSHで作業している場合は一旦ログオフし新しいIPアドレスでログインします。
NICの再起動をします。
# service network restart
これでeth0はシャットダウンされてeth1が起動状態になります。

SELinuxの停止
色々と面倒なのでSELinuxを停止します。
# setenforce 0
# vi /etc/sysconfig/selinux
6行目を以下のように書き換えます。
SELINUX=disabled

Linux Integration Services Version 3.1 for Hyper-V が本当に起動しているかどうかはlsmodで確認できると思うので、試してみましょう。
# lsmod
実行結果の例

Module Size Used by
sit 10313 0
tunnel4 2877 1 sit
ipv6 321509 135 sit
ipt_REJECT 2349 2
nf_conntrack_ipv4 9440 2
nf_defrag_ipv4 1449 1 nf_conntrack_ipv4
xt_state 1458 2
nf_conntrack 79643 2 nf_conntrack_ipv4,xt_state
iptable_filter 2759 1
ip_tables 17733 1 iptable_filter
dm_mirror 14003 0
dm_region_hash 12200 1 dm_mirror
dm_log 10088 2 dm_mirror,dm_region_hash
uinput 8182 0
tulip 50819 0
hv_utils 4747 0
hv_netvsc 21835 0
hv_timesource 1079 0 [permanent]
i2c_piix4 12574 0
i2c_core 31274 1 i2c_piix4
ext4 353851 2
mbcache 7918 1 ext4
jbd2 89033 1 ext4
hv_storvsc 10375 0
pata_acpi 3667 0
ata_generic 3611 0
hv_blkvsc 11698 3
hv_vmbus 31478 5 hv_utils,hv_netvsc,hv_timesource,hv_storvsc,hv_blkvsc,[permanent]
dm_mod 76824 8 dm_mirror,dm_log

hv_vmbusの記述があれば多分問題ないと思います…


今回はすんなりできました。
それにしてもこのドライバってなんと読めばいいの？
統合ドライバって読んでるけど正しいの？

こうして再インストールを繰り返していると、速いCPUと大容量メモリ、でかいHDDが欲しいですね…
検証サーバーのスペックがいまいちなので、カーネルのコンパイルとか大変ですなー
自宅のゲーム用PCの方が高性能とかどうよ？

付録 ※2011/0927修正
今回起動したサービスリスト
[ ] NetworkManager
[*] acpid
[*] amtu
[* ] atd
[ ] auditd
[*] autofs
[ ] avahi-daemon
[ ] bluetooth
[ ] cgconfig
[ ] cgred
[ ] chargen-dgram
[ ] chargen-stream
[ ] conman
[ ] cpuspeed
[*] crond
[ ] cvs
[ ] daytime-dgram
[ ] daytime-stream
[ ] discard-dgram
[ ] discard-stream
[ ] dnsmasq
[ ] echo-dgram
[ ] echo-stream
[ ] gpm
[*] haldaemon
[ ] httpd
[ ] ip6tables
[*] iptables
[ ] irqbalance
[ ] iscsi
[ ] iscsid
[ ] lvm2-monitor
[ ] mcstrans
[ ] mdmonitor
[ ] messagebus
[*] microcode_ctl
[ ] multipathd
[ ] netconsole
[ ] netfs
[*] network
[ ] nfs
[ ] nfslock
[ ] nmb
[ ] nscd
[ ] ntpd
[ ] ntpdate
[ ] oddjobd
[ ] pcscd
[ ] postfix
[ ] postgresql
[ ] pppoe-server
[ ] psacct
[ ] rdisc
[ ] restorecond
[ ] rpcbind
[ ] rpcgssd
[ ] rpcidmapd
[ ] rpcsvcgssd
[ ] rsync
[*] rsyslog
[ ] rwhod
[ ] saslauthd
[ ] smartd
[ ] smb
[ ] squid
[*] sshd
[ ] tcpmux-server
[ ] tcsd
[ ] time-dgram
[ ] time-stream
[*] udev-post
[ ] vsftpd
[ ] wpa_supplicant
[*] xinetd
[ ] ypbind