IBM Ess800 storage 관련
2010.05.11 10:58
원문 : http://www.ischo.net -- 조인상 // 시스템 엔지니어
Writer : http://www.ischo.net -- ischo // System Engineer in Replubic Of Korea
+++++++++++++++++++++++++++++++++++++++++++++++++++++++
본문 : http://www.ischo.net -- 조인상 //시스템 엔지니어
+++++++++++++++++++++++++++++++++++++++++++++++++++++++
1. 장애 발생
AIX 5.1 P650 장비에 Ess 800 연결되어 있었는데 errpt 로 보면
E3276AF2 1209145405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk7 판별되지 않는 오류
실시간 으로 계속적으로 발생.
그래서 datapath query device 조회 결과
[root@tax /home/ebs]# datapath query device
Total Devices : 2
DEV#: 0 DEVICE NAME: vpath0 TYPE: 2105800 POLICY: Optimized
SERIAL: 50027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk2 OPEN NORMAL 31685434 0
1 fscsi0/hdisk3 DEAD NORMAL 29818433 1623
2 fscsi1/hdisk4 OPEN NORMAL 31271196 0
3 fscsi1/hdisk5 OPEN NORMAL 31266625 0
DEV#: 1 DEVICE NAME: vpath1 TYPE: 2105800 POLICY: Optimized
SERIAL: 30027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk6 OPEN NORMAL 5633738 0
1 fscsi0/hdisk7 DEAD NORMAL 5280470 974
2 fscsi1/hdisk8 OPEN NORMAL 5496844 0
3 fscsi1/hdisk9 OPEN NORMAL 5494830 0
위에서 보듯이 1이 stat dead로 표시 되어 있어음.
생각해볼수 있는 장애
Switch 문제, Ess800 연결되는 카드 문제, 아니면 프로그램 오류
Switch는 다른 장비에서 확인결과 문제가 없었고 Swtchi도 링크도 정상적이어서 문제없는 것으로 판단
Ess800 연결 부분은 장비의 LED 확인결과 8개 모두 같은 구성으로 불이 들어와 있어서 문제 없는 것으로 판단
마지막으로 Sdd프로그램 문제로 인식하고 아래 명령어로 확인
[root@tax /home/ebs]# datapath query adapter
Active Adapters :2
Adpt# Adapter Name State Mode Select Errors Paths Active
0 fscsi0 DEGRAD ACTIVE 72746452 2746 4 3
1 fscsi1 NORMAL ACTIVE 73992393 0 4 4
위에서 보듯이 scsi0의 adapter0의 path는 4개인데 Active3개 보이는 것을 볼수 있다
아래 명령어는 이것을 다시 Active로 만들어 볼수 있는 명령어 이다.
[root@tax /home/ebs]# datapath set adapter 0 online
Success: set adapter 0 to online
Adpt# Adapter Name State Mode Select Errors Paths Active
0 fscsi0 NORMAL ACTIVE 72747884 2750 4 4
위에서 보듯이 Active4로 변경이 되었다. 이래서 일단 프로그램 문제로 판단을 하고 프로그램 sdd 프로그램을 업그레이드 하기로 했다
그뒤 다시
[root@tax /home/ebs]# datapath query adapter
Active Adapters :2
Adpt# Adapter Name State Mode Select Errors Paths Active
0 fscsi0 DEGRAD ACTIVE 72815528 2794 4 2
1 fscsi1 NORMAL ACTIVE 74075151 0 4 4
명령어로 확인결과 0이 DEGRAD로 변하고 Acitve 2개로 되어 있었고
[root@tax /home/ebs]# datapath query device
Total Devices : 2
DEV#: 0 DEVICE NAME: vpath0 TYPE: 2105800 POLICY: Optimized
SERIAL: 50027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk2 OPEN NORMAL 31992506 0
1 fscsi0/hdisk3 DEAD NORMAL 29904368 1760
2 fscsi1/hdisk4 OPEN NORMAL 31541635 0
3 fscsi1/hdisk5 OPEN NORMAL 31537679 0
DEV#: 1 DEVICE NAME: vpath1 TYPE: 2105800 POLICY: Optimized
SERIAL: 30027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk6 OPEN NORMAL 5639850 0
1 fscsi0/hdisk7 DEAD NORMAL 5280995 1034
2 fscsi1/hdisk8 OPEN NORMAL 5500915 0
3 fscsi1/hdisk9 OPEN NORMAL 5498926 0
위에서 보듯이 datapath query device로 확인 했을때는 똑같은 상태로 보인다.
그리고 errpt확인 결과
[root@tax /home/ebs]# errpt
식별자 시간 소인 T C 자원 이름 설명
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
A7212C7B 1209151405 P H hdisk3 장치 액세스 오류
E3276AF2 1209151405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk3 판별되지 않는 오류
같이 똑같이 에러가 생기고 있다. 즉 datapath set adapter 0 online 명령어를 주었을때는 잠시 Active 되지만
얼마있지 않아서 다시 위 처럼 상태가 변한다.
+++++++++++++++++++++++++++++++++++++++++++++++++++++++
1. 장애 발생
AIX 5.1 P650 장비에 Ess 800 연결되어 있었는데 errpt 로 보면
E3276AF2 1209145405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209145405 U H hdisk7 판별되지 않는 오류
실시간 으로 계속적으로 발생.
그래서 datapath query device 조회 결과
[root@tax /home/ebs]# datapath query device
Total Devices : 2
DEV#: 0 DEVICE NAME: vpath0 TYPE: 2105800 POLICY: Optimized
SERIAL: 50027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk2 OPEN NORMAL 31685434 0
1 fscsi0/hdisk3 DEAD NORMAL 29818433 1623
2 fscsi1/hdisk4 OPEN NORMAL 31271196 0
3 fscsi1/hdisk5 OPEN NORMAL 31266625 0
DEV#: 1 DEVICE NAME: vpath1 TYPE: 2105800 POLICY: Optimized
SERIAL: 30027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk6 OPEN NORMAL 5633738 0
1 fscsi0/hdisk7 DEAD NORMAL 5280470 974
2 fscsi1/hdisk8 OPEN NORMAL 5496844 0
3 fscsi1/hdisk9 OPEN NORMAL 5494830 0
위에서 보듯이 1이 stat dead로 표시 되어 있어음.
생각해볼수 있는 장애
Switch 문제, Ess800 연결되는 카드 문제, 아니면 프로그램 오류
Switch는 다른 장비에서 확인결과 문제가 없었고 Swtchi도 링크도 정상적이어서 문제없는 것으로 판단
Ess800 연결 부분은 장비의 LED 확인결과 8개 모두 같은 구성으로 불이 들어와 있어서 문제 없는 것으로 판단
마지막으로 Sdd프로그램 문제로 인식하고 아래 명령어로 확인
[root@tax /home/ebs]# datapath query adapter
Active Adapters :2
Adpt# Adapter Name State Mode Select Errors Paths Active
0 fscsi0 DEGRAD ACTIVE 72746452 2746 4 3
1 fscsi1 NORMAL ACTIVE 73992393 0 4 4
위에서 보듯이 scsi0의 adapter0의 path는 4개인데 Active3개 보이는 것을 볼수 있다
아래 명령어는 이것을 다시 Active로 만들어 볼수 있는 명령어 이다.
[root@tax /home/ebs]# datapath set adapter 0 online
Success: set adapter 0 to online
Adpt# Adapter Name State Mode Select Errors Paths Active
0 fscsi0 NORMAL ACTIVE 72747884 2750 4 4
위에서 보듯이 Active4로 변경이 되었다. 이래서 일단 프로그램 문제로 판단을 하고 프로그램 sdd 프로그램을 업그레이드 하기로 했다
그뒤 다시
[root@tax /home/ebs]# datapath query adapter
Active Adapters :2
Adpt# Adapter Name State Mode Select Errors Paths Active
0 fscsi0 DEGRAD ACTIVE 72815528 2794 4 2
1 fscsi1 NORMAL ACTIVE 74075151 0 4 4
명령어로 확인결과 0이 DEGRAD로 변하고 Acitve 2개로 되어 있었고
[root@tax /home/ebs]# datapath query device
Total Devices : 2
DEV#: 0 DEVICE NAME: vpath0 TYPE: 2105800 POLICY: Optimized
SERIAL: 50027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk2 OPEN NORMAL 31992506 0
1 fscsi0/hdisk3 DEAD NORMAL 29904368 1760
2 fscsi1/hdisk4 OPEN NORMAL 31541635 0
3 fscsi1/hdisk5 OPEN NORMAL 31537679 0
DEV#: 1 DEVICE NAME: vpath1 TYPE: 2105800 POLICY: Optimized
SERIAL: 30027639
==========================================================================
Path# Adapter/Hard Disk State Mode Select Errors
0 fscsi0/hdisk6 OPEN NORMAL 5639850 0
1 fscsi0/hdisk7 DEAD NORMAL 5280995 1034
2 fscsi1/hdisk8 OPEN NORMAL 5500915 0
3 fscsi1/hdisk9 OPEN NORMAL 5498926 0
위에서 보듯이 datapath query device로 확인 했을때는 똑같은 상태로 보인다.
그리고 errpt확인 결과
[root@tax /home/ebs]# errpt
식별자 시간 소인 T C 자원 이름 설명
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk7 판별되지 않는 오류
A7212C7B 1209151405 P H hdisk3 장치 액세스 오류
E3276AF2 1209151405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk3 판별되지 않는 오류
E3276AF2 1209151405 U H hdisk3 판별되지 않는 오류
같이 똑같이 에러가 생기고 있다. 즉 datapath set adapter 0 online 명령어를 주었을때는 잠시 Active 되지만
얼마있지 않아서 다시 위 처럼 상태가 변한다.
