Growi

Torqueとは

Torqueとは

Torqueは、Job Schedulerである。Job Schedulerは、クラスターに次々と投入されるジョブを、キューなどを用い、スケジューリングを行って管理してくれる。
クラスターを利用して、実験を行う際には、Job Schedulerを用いる必要がある。
それは、他のクラスターユーザーが存在する場合に、同時に別スレッドで処理を実行してしまうならば、CPUなどのリソースを取り合うことになるため、台数効果などの実験結果が正確に得られないからである。
それでは、Torqueの使い方を見てみよう。

# Torqueの設定

以下のチュートリアルに進む前にTorqueの設定方法について学び、設定する必要がある。
マシンの準備は[[kvm]]を参考に差分ディスク管理で作成するといいかも。

# インストール

ソースからインストールする方法を紹介する。(yum等でもインストールすることは可能だけれど)。
まずはダウンロード(公式 http://www.adaptivecomputing.com/ を参考に最新版を取得すること！)

1

 # wget http://adaptive.wpengine.com/resources/downloads/torque/torque-4.2.0.tar.gz

解凍

1

 # tar zxvf torque-4.2.0.tar.gz

インストール

1
2
3

 # cd torque-4.2.0
 # ./configure --prefix=<インストール先> --with-default-server=<管理サーバ> --with-server-home=<設定ファイルの保存先>
 # make && make install
  • torqueはデフォルトではscpを用いるが、rcpを用いたい時には configureを実行する時点で –with-rcpオプションを指定し、=<rcpの場所>としなければならない。

# ポートの設定 

1
2
3
4
5
6

Torqueが使用するポートについて/etc/servicesに記述する。以下に記述例を示す。
 pbs             15001/tcp               # pbs_server
 pbs_mom         15002/tcp               # mom to/from server
 pbs_resmom      15003/tcp               # mom resource management requests
 pbs_resmom      15003/udp               # mom resource management requests
 pbs_sched       15004/tcp               # scheduler

ここまで完了したら一度以下のコマンドを実行してデータベースの初期化を行う。実行するとpbs_serverがデーモンプロセスとして実行され、qmgrを実行することで設定が行えるようになる。

1
2
3
4
5

 # <インストールした場所>/sbin/pbs_server -t create
qmgrを実行すると以下のような表示がでる。
 # <インストールした場所>/bin/qmgr
 Max open servers: 4
 Qmgr:

# スケジューラの設定(サーバー側)

スケジューラの設定は$Torque/sched_priv/sched_configで行える。デフォルトではFIFOスケージューら。

# 設定の反映(サーバー側)

サーバーとスケジューラの設定を反映させるために一度pbs_serverを停止させなければならない。

1

 # killall pbs_server

# ノードファイルの作成(サーバー側)

$Torque/sched_priv/nodes を編集する。以下に例を示す。

1
2
3

 nodeA np=1
 nodeB np=1
 nodeC np=1

user側からはpbsnodesで見ることができる。

# 計算ノード用のconfigファイル作成(計算ノード側)

$Torque/mom_priv/config を編集。編集例を以下に示す。 logevent 0x1ff max_load 1.2 ideal_load 1.0 clienthost <管理サーバー>

  • logevent
    • ログレベルの指定。この場合デバッグレベル。
  • max_load
    • 使用できるCPU資源の限界。この値を超えない。
  • ideal_load
    • 使用するCPU資源の最適値。cpu数に合わせると良い。
  • clienthost
    • 管理サーバーの指定を行う。

# 起動スクリプトの作成

以下のようなスクリプトを作り、/etc/rc.d/init.d以下に保存する。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76

 #!/bin/sh
 #
 # pbs          This script will start and stop the PBS daemons
 #
 # chkconfig: 345 85 85
 # description: PBS is a batch versitle batch system for SMPs and clusters
 #
 # Source the library functions
 . /etc/rc.d/init.d/functions
 PBS_HOME=/var/spool/torque
 
 # let see how we were called
 case "$1" in
 start)
        echo "Starting PBS daemons: "
        if [ -x /usr/local/torque/sbin/pbs_mom ] ; then
        if [ -f $PBS_HOME/mom_priv/config ] ; then
        echo -n "Starting pbs_mom: "
        daemon /usr/local/torque/sbin/pbs_mom
        echo
 fi
 fi
        if [ -x /usr/local/torque/sbin/pbs_sched ] ; then
        if [ -d $PBS_HOME/sched_priv ] ; then
        echo -n "Starging pbs_sched: "
        daemon /usr/local/torque/sbin/pbs_sched
        echo
 fi
 fi
        if [ -x /usr/local/torque/sbin/pbs_server ] ; then
        if [ -d $PBS_HOME/server_priv ] ; then
        echo -n "Starting pbs_server: "
        daemon /usr/local/torque/sbin/pbs_server -a true
        echo
 fi
 fi
 ;;
 stop)
        echo "Shutting down PBS: "
        if [ -x /usr/local/torque/sbin/pbs_server ] ; then
        if [ -d $PBS_HOME/server_priv ] ; then
        echo -n "Stopping pbs_server: "
        killproc pbs_server
        echo
 fi
 fi
        if [ -x /usr/local/torque/sbin/pbs_sched ] ; then
        if [ -d $PBS_HOME/sched_priv ] ; then
        echo -n "Stopping pbs_sched: "
        killproc pbs_sched
        echo
 fi
 fi
        if [ -x /usr/local/torque/sbin/pbs_mom ] ; then
        if [ -f $PBS_HOME/mom_priv/config ] ; then
        echo -n "Stopping pbs_mom: "
        killproc pbs_mom
        echo
 fi
 fi
 ;;
 status)
        status pbs_server
        status pbs_mom
        status pbs_sched
 ;;
 restart)
        echo "Restarting PBS"
        $0 stop
        $0 start
        echo "done."
 ;;
 *)
        echo "Usage: pbs {start|stop|restart|status}"
        exit 1
 esac

このように、“ノード名 np=<ノードのcpu数>と記述する。

# 実行

先ほど作成したスクリプトから実行する。

1

 # /etc/rc.d/init.d/torque start

# パスを通す

.zshrcなどに以下のように記述する。

1

 PATH=<インストールした場所>/bin:$PATH

# エラーについて

# Head側からnodeが見えてないエラー

/var/spool/torque/mom_logs にエラーの詳細が記される。(例えば以下のような)

1
2
3
4

 02/11/2013 20:29:24;0002; &#160; pbs_mom;Svr;pbs_mom;Torque Mom Version = 2.5.5, loglevel = 0
 02/11/2013 20:29:24;0001; &#160; pbs_mom;Svr;pbs_mom;LOG_ERROR::Operation not permitted (1) in chk_file_sec, Security violation with "config" - config is not owned by admin user
 02/11/2013 20:29:24;0002; &#160; pbs_mom;Svr;read_config;ALERT: &#160;cannot open config file - permissions
 02/11/2013 20:29:24;0002; &#160; pbs_mom;Svr;setpbsserver;mass00.cr.ie.u-ryukyu.ac.jp

このなかの

1

 LOG_ERROR::Operation not permitted (1) in chk_file_sec, Security violation with "config" - config is not owned by admin user

がエラーを示す一文となっており、configファイルの所有者にadmin権限が無いことが原因となっていることがわかる。(このときはrootにしておかなければならないものをmassとしていた。)

Growi
Licensed under CC BY-NC-SA 4.0
comments powered by Disqus
© 2020 - 2024 Hugo Theme Stack Starter
Built with Hugo
Theme Stack designed by Jimmy