1. 작업 제출 스크립트 작성

#!/bin/sh

#PBS -V

#PBS -q workq

#PBS -N openmp_job

#PBS -l select=1:ncpus=10:mpiprocs=1:ompthreads=10

#PBS -l walltime=04:00:00

 

cd $PBS_O_WORKDIR

 

./a.out

- 파란색 부분을 적절히 수정해서 사용 합니다.

- 위 예제에서 붉은색 부분은 작업 제출 경로로 이동하게 하는 예제로 삭제하지 않고 사용 해야 실행 오류가 발생 하지 않습니다.


2. 작업 제출 방법

- "qsub {스크립트 명}" 으로 작업을 제출할 수 있습니다.

- 예제 : 스크립트 파일 이름이 openmp.sh 인 경우

 $ qsub openmp.sh


3. 작업 조회

- qstat 명령으로 수행중인 작업과 종료된 작업을 조회

- -x 옵션을 사용할 경우 기존 작업 목록 조회 

 $ qstat -x

 Job id            Name             User              Time Use S Queue

 ----------------  ---------------- ----------------  -------- - -----

 0.mgmt            STDIN            applic            00:00:00 F workq

 1.mgmt            STDIN            applic            00:00:00 F workq

 2.mgmt            STDIN            applic            00:00:00 F workq

 3.mgmt           STDIN            applic            00:00:00 F workq


4. 인터렉티브 작업 제출

- qsub 명령 뒤에 "-I(대문자 아이)" 옵션을 사용합니다.

- 자원 사용에 대한 설정은 "-l(소문자엘)"로 지정합니다.

$ qsub -I -V -l select=1:ncpus=10:mpiprocs=1:ompthreads=10 -l walltime=01:00:00


5. 작업 삭제

- "qdel {작업ID}" 로 제출된 작업을 삭제할 수 있습니다.

- 작업IDqstat 명령으로 조회 되는 "Job id" 항목의 값 입니다.

- 예제 : 작업ID 3.mgmt 인 경우

$ qdel 3.mgmt




'나의일 관련 > 클러스터관리툴' 카테고리의 다른 글

ipmitool 명령어 모음  (1) 2019.11.12
오류 내용 : ld: cannot find -lfl  (0) 2018.01.08
linux 유용한 스크립트 기록  (0) 2017.11.16
PBS Pro stack size 조정 기록  (0) 2017.11.13
SLURM 공부 기록  (0) 2017.11.08
Posted by 천연사이다

IPMI(Intelligent Platform Management Interface)는 Intel의 주도로 1998년 개발 되었고,

Intel, IBM, Dell, HPE 등 200개 이상의 컴퓨터 시스템 공급업체에서 지원합니다.


IPMI 아키텍처 다이어그램은 SMBUS를 통한 BMC 측 대역을 보여줍니다.

※ 출처 : https://en.wikipedia.org/wiki/Intelligent_Platform_Management_Interface


소개 명령들은 서버 관리에 자주 사용되는 ipmitool 명령들을 안내 합니다.


Commands:

        raw           Send a RAW IPMI request and print response

        i2c           Send an I2C Master Write-Read command and print response

        spd           Print SPD info from remote I2C device

        lan           Configure LAN Channels

        chassis       Get chassis status and set power state

        power         Shortcut to chassis power commands

        event         Send pre-defined events to MC

        mc            Management Controller status and global enables

        sdr           Print Sensor Data Repository entries and readings

        sensor        Print detailed sensor information

        fru           Print built-in FRU and scan SDR for FRU locators

        gendev        Read/Write Device associated with Generic Device locators sdr

        sel           Print System Event Log (SEL)

        pef           Configure Platform Event Filtering (PEF)

        sol           Configure and connect IPMIv2.0 Serial-over-LAN

        tsol          Configure and connect with Tyan IPMIv1.5 Serial-over-LAN

        isol          Configure IPMIv1.5 Serial-over-LAN

        user          Configure Management Controller users

        channel       Configure Management Controller channels

        session       Print session information

        dcmi          Data Center Management Interface

        nm            Node Manager Interface

        sunoem        OEM Commands for Sun servers

        kontronoem    OEM Commands for Kontron devices

        picmg         Run a PICMG/ATCA extended cmd

        fwum          Update IPMC using Kontron OEM Firmware Update Manager

        firewall      Configure Firmware Firewall

        delloem       OEM Commands for Dell systems

        shell         Launch interactive IPMI shell

        exec          Run list of commands from file

        set           Set runtime variable for shell and exec

        hpm           Update HPM components using PICMG HPM.1 file

        ekanalyzer    run FRU-Ekeying analyzer using FRU files

        ime           Update Intel Manageability Engine Firmware

        vita          Run a VITA 46.11 extended cmd

        lan6          Configure IPv6 LAN Channels 


IPMI LAN 명령은 아래 내용들을 조회(print) 하거나 설정(set)할 수 있다.

# ipmitool lan

LAN Commands:

                   print [<channel number>]

                   set <channel number> <command> <parameter>

                   alert print <channel number> <alert destination>

                   alert set <channel number> <alert destination> <command> <parameter>

                   stats get [<channel number>]

                   stats clear [<channel number>] 


LAN 정보 확인

 # ipmitool lan print 1

 Set in Progress         : Set Complete

 Auth Type Support       : MD2 MD5 PASSWORD OEM

 Auth Type Enable        : Callback : MD2 MD5 PASSWORD OEM

                         : User     : MD2 MD5 PASSWORD OEM

                         : Operator : MD2 MD5 PASSWORD OEM

                         : Admin    : MD2 MD5 PASSWORD OEM

                         : OEM      : MD2 MD5 PASSWORD OEM

 IP Address Source       : DHCP Address

 IP Address              : 0.0.0.0

 Subnet Mask             : 0.0.0.0 

 MAC Address             : {생략}

 SNMP Community String   : AMI

 IP Header               : TTL=0x40 Flags=0x40 Precedence=0x00 TOS=0x10

 BMC ARP Control         : ARP Responses Enabled, Gratuitous ARP Disabled

 Gratituous ARP Intrvl   : 0.0 seconds

 Default Gateway IP      : 0.0.0.0

 Default Gateway MAC     : 00:00:00:00:00:00

 Backup Gateway IP       : 0.0.0.0

 Backup Gateway MAC      : 00:00:00:00:00:00

 802.1q VLAN ID          : Disabled

 802.1q VLAN Priority    : 0

 RMCP+ Cipher Suites     : 0,1,2,3,6,7,8,11,12,15,16,17

 Cipher Suite Priv Max   : XaaaXXaaaXXaaXX

                         :     X=Cipher Suite Unused

                         :     c=CALLBACK

                         :     u=USER

                         :     o=OPERATOR

                         :     a=ADMIN

                         :     O=OEM

 Bad Password Threshold  : 0

 Invalid password disable: no

 Attempt Count Reset Int.: 0

 User Lockout Interval   : 0


LAN 설정

 # ipmitool lan  set 1 ipsrc static                    # IP 고정값 사용 

 # ipmitool lan set 1 ipaddr 192.168.15.2         #  IP 부여

  Setting LAN IP Address to 192.168.15.2         # IP 설정 결과 출력

 # ipmitool lan set 1 netmask 255.255.255.0     # netmask 설정

  Setting LAN Subnet Mask to 255.255.255.0    # netmask 설정 결과 출력


시간 확인

 # ipmitool sel time get


시간설정

 # ipmitool sel time set now 


BMC 재 부팅

 # ipmitool mc reset cold




Posted by 천연사이다


오류 내용 

ld: cannot find -lfl


해결 방법

flex-devel 설치


'나의일 관련 > 클러스터관리툴' 카테고리의 다른 글

PBS Pro 사용 방법 정리(작성중)  (0) 2020.01.28
ipmitool 명령어 모음  (1) 2019.11.12
linux 유용한 스크립트 기록  (0) 2017.11.16
PBS Pro stack size 조정 기록  (0) 2017.11.13
SLURM 공부 기록  (0) 2017.11.08
Posted by 천연사이다

linux 에서 사용하는 유용한 스크립트 정리

 

- PATH 환경변수에 설정한 경로 출력 

 $ echo $PATH | tr ":" "\n" | grep "\/"


- LD_LIBRARY_PATH 환경변수에 설정한 경로 출력

 $ echo $LD_LIBRARY_PATH | tr ":" "\n" | grep "\/"


- SGE 작업 제출 스크립트 에서 실행 hostname list 얻기 스크립트

 host=`cat $TMPDIR/machines | uniq | tr "\n" "," | sed "s/,$/\n/g"`


- Linux 시스템 기본 정보 확인하기

[예제]

#!/bin/sh


if [ -f /etc/redhat-release ]; then 

    version=`cat /etc/redhat-release | tr -d ['a-z','A-Z','\(','\)'," "]`

    glibc_version=`ldd --version | head -n 1 | tr -d ['a-z','A-Z','\(','\)'," "]`

    gcc_path=`which gcc`

    default_gccversion=`$gcc_path --version | head -n 1 | awk '{print $1" "$3}'`

    echo "OS Version : RedHat Series" $version

    echo "System Compiler Version :" $default_gccversion

    echo "GNU libc Version :" $glibc_version

fi 

[결과]

OS Version : RedHat Series 5.3

System Compiler Version : gcc 4.1.2

GNU libc Version : 2.5 



Posted by 천연사이다

PBS Pro 에서 stack size 를 unlimited 로 변경할때.


- 대상 파일 : /opr/pbs/13.1.1.162303/lib/init.d/limits.pbs_mon

- 수정 방법 : 아래 예제와 같이 "ulimit -s unlimited" 를 조건문 밖에 작성.


#       This file will be sourced by the PBS startup script, pbs_init.d.

#       It is here only for binary compatibility with previous releases.

#       Feel free to replace its contents.

if [ -f /etc/sgi-release -o -f /etc/sgi-compute-node-release ] ; then

    MEMLOCKLIM=`ulimit -l`

    NOFILESLIM=`ulimit -n`

    STACKLIM=`ulimit -s`

    ulimit -l unlimited

    ulimit -n 16384

    ulimit -s unlimited

fi


    ulimit -s unlimited




Posted by 천연사이다


[slurm 계산 노드 정보 ]

- parririon 정보 확인

$ sinfo 

- 상세 자원 정보 출력

$ sinfo -N -l

- sinfo 사용 참고 : https://slurm.schedmd.com/sinfo.html


[작업 제출]

sbatch 명령을 이용하여 slurm 스케줄러로 작업 제출

 $ sbatch run.sh 


[작업 조회]

squeue 명령을 이용하여 작업 조회

  $ squeue

* R : RUNNING 상태

* PD : PENDING 상태

* S : SUSPENDED 상태

* ST : STOP 상태

* CD : COMPLETED 상태

* CA : CANCELLED 상태

* F : FAILED 상태

* NF : NODE_FAIL 상태

- 참고 : https://slurm.schedmd.com/squeue.html


[작업 정보 조회]

sacct -j {작업ID} --format {포멧지정}

sacct -j 1902 --format JobID,jobname,NTasks,nodelist,MaxRSS,MaxVMSize,AveRSS,AveVMSize


[수행 중인 작업 정보 조회]

sstat -j {작업ID} --format {포멧지정}

sstat -j 1902 --format JobID,jobname,nodelist,MaxVMSize,MaxRSS,MaxDiskRead,MaxDiskWrite


 $ scontrol show job 1902


Posted by 천연사이다


PBS Pro 에서 사용자의 작업 제출 허용 시키지 

PBS Manager 서버에서 qmgr 명령으로 변경

qmgr -c "set server flatted = true"

또는

# qmgr

Max open servers: 49

Qmgr: s s flatuid=true 





'나의일 관련 > 클러스터관리툴' 카테고리의 다른 글

오류 내용 : ld: cannot find -lfl  (0) 2018.01.08
linux 유용한 스크립트 기록  (0) 2017.11.16
PBS Pro stack size 조정 기록  (0) 2017.11.13
SLURM 공부 기록  (0) 2017.11.08
redhat 계열 repo 파일 생성  (0) 2017.10.27
Posted by 천연사이다

/etc/yum.repos.d 경로에 파일명.repo 와 같이 repo 확장자로 파일 생성

 

[local]

name=local packages

baseurl=file:///mnt

enabled=1

gpgcheck=0


Posted by 천연사이다
이전버튼 1 이전버튼

블로그 이미지
공부 기록
천연사이다

공지사항

Yesterday
Today
Total

달력

 « |  » 2024.5
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31

최근에 올라온 글

최근에 달린 댓글

최근에 받은 트랙백

글 보관함