번호   제목 닉네임 조회 등록일
18 [OMNIOSce] 서버로 SAN 스토리지 구축 image
ischo
1154 2018-03-29
원문 : http://www.ischo.net -- 조인상 //시스템 엔지니어 참고 : https://docs.oracle.com/cd/E62102_01/html/E62692/fmvcd.html#scrolltoc COMSTAR(Common Multiprotocol SCSI TARget)를 사용하여 저장 장치 구성 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ [OMNIOSce] 서버로 SAN 스토리지 구축 Oralce Solaris 의 저장장치 관리 프레임워크인 COMSTAR(Common Multiprotocol SCSI TARget)를 이용하여 서버를 SAN 환경의 스토리지로 구성하는 방법이다. 오픈소스의 OmniOS Community Edition 환경은 ZFS와 COMSTAR가 같이 갖추어져 있어서 스토리지로 바로 구축할 수 있다. 1. OmniOSce 설치 다운로드 및 설치가이드는 https://omniosce.org/setup/freshinstall.html 를 참고한다. 2. HBA카드 드라이버 모드를 TARGET 모드로 변경하기 : SAN스토리지 환경에서 스토리지 서비스를 하는 쪽을 TARGET, 스토리지를 사용하는 HOST쪽을 INITIATOR 라고 칭한다. OmniOSce를 설치한후 HBA카드는 기본적으로 INITIATOR 모드로 되어있는데, 스토리지로 사용할 것이므로 TARGET 모드로 변경한다. - HBA카드 모드 확인 : Port Mode가 Initiator 모드인걸 확인 가능 : 그리고 Driver Name이 qlc 인것을 확인한다. root@omnios:~# fcinfo hba-port HBA Port WWN: 5001438024222ed8 Port Mode: Initiator Port ID: 10500 OS Device Name: /dev/cfg/c4 Manufacturer: QLogic Corp. Model: AJ764A or AH401A Firmware Version: 05.03.01 FCode/BIOS Version: BIOS: 2.16; fcode: 2.03; EFI: 2.22; Serial Number: MY524621ZH Driver Name: qlc Driver Version: 20100408-3.01 Type: N-port State: online Supported Speeds: 2Gb 4Gb 8Gb Current Speed: 8Gb Node WWN: 5001438024222ed9 Max NPIV Ports: 254 NPIV port list: HBA Port WWN: 5001438024222eda Port Mode: Initiator Port ID: 10400 OS Device Name: /dev/cfg/c5 Manufacturer: QLogic Corp. Model: AJ764A or AH401A Firmware Version: 05.03.01 FCode/BIOS Version: BIOS: 2.16; fcode: 2.03; EFI: 2.22; Serial Number: MY524621ZH Driver Name: qlc Driver Version: 20100408-3.01 Type: N-port State: online Supported Speeds: 2Gb 4Gb 8Gb Current Speed: 8Gb Node WWN: 5001438024222edb Max NPIV Ports: 254 NPIV port list: - HBA카드 드라이버로 PCI주소 얻기 root@omnios:~# mdb -k Loading modules: [ unix genunix specfs dtrace mac cpu.generic uppc pcplusmp scsi_vhci zfs sd ip hook neti sockfs arp usba uhci stmf stmf_sbd mm lofs idm cpc crypto kvm random ufs logindmux nsmb ptm smbsrv nfs ] > ::devbindings -q qlc ffffff194b646aa0 pciex1077,2532, instance #0 (driver name: qlc) ffffff194b6467f8 pciex1077,2532, instance #1 (driver name: qlc) - 드라이버 모드를 TARGET모드로 변경 : initiator 모드 삭제 root@omnios:~# update_drv -d -i 'pciex1077,2532' qlc Cannot unload module: qlc Will be unloaded upon reboot. : TARGET 모드 추가 root@omnios:~# update_drv -a -i 'pciex1077,2532' qlt devfsadm: driver failed to attach: qlt Warning: Driver (qlt) successfully added to system but failed to attach - 재부팅 root@omnios:~# init 6 - 재부팅후 TARGET모드로 바뀐 HBA카드 확인 root@omnios:~# fcinfo hba-port HBA Port WWN: 5001438024222ed8 Port Mode: Target Port ID: 0 OS Device Name: Not Applicable Manufacturer: QLogic Corp. Model: HPAJ764 Firmware Version: 0.0.0 FCode/BIOS Version: N/A Serial Number: not available Driver Name: COMSTAR QLT Driver Version: 20100505-1.05 Type: unknown State: offline Supported Speeds: 2Gb 4Gb 8Gb Current Speed: not established Node WWN: 5001438024222ed9 HBA Port WWN: 5001438024222eda Port Mode: Target Port ID: 0 OS Device Name: Not Applicable Manufacturer: QLogic Corp. Model: HPAJ764 Firmware Version: 0.0.0 FCode/BIOS Version: N/A Serial Number: not available Driver Name: COMSTAR QLT Driver Version: 20100505-1.05 Type: unknown State: offline Supported Speeds: 2Gb 4Gb 8Gb Current Speed: not established Node WWN: 5001438024222edb - STMF(SCSI Target Mode Framework) 서비스 활성화 root@omnios:~# svcs stmf STATE STIME FMRI disabled 23:25:44 svc:/system/stmf:default root@omnios:~# svcadm enable stmf root@omnios:~# svcs stmf STATE STIME FMRI online 23:26:47 svc:/system/stmf:default 2. ZFS 파일시스템 설정 - POOL을 만들 DISK를 확인 root@omnios:~# format Searching for disks...done AVAILABLE DISK SELECTIONS: 0. c1t0d0 <HP-LOGICAL VOLUME-6.00-838.33GB> /pci@0,0/pci8086,3408@1/pci103c,3245@0/sd@0,0 1. c1t1d0 <HP-LOGICAL VOLUME-6.00-3.27TB> /pci@0,0/pci8086,3408@1/pci103c,3245@0/sd@1,0 2. c2t0d0 <HP-LOGICAL VOLUME-5.70-4.91TB> /pci@0,0/pci8086,340f@8/pci103c,3243@0/sd@0,0 위의 c1t0d0,c2t0d0 는 각각 900GB의 물리적디스크로 이루어진 RAID 5 볼륨이다. 우리는 여기서 c1t1d0 를 pool_3TB 로, c2t0d0를 pool_5TB 이라는 이름의 POOL로 생성할 계획이다. - POOL 생성 root@omnios:~# zpool create pool_3TB c1t1d0 root@omnios:~# zpool create pool_5TB c2t0d0 - 생성된 POOL 확인 root@omnios:~# zpool list NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT pool_3TB 3.25T 447G 2.81T - 10% 13% 1.00x ONLINE - pool_5TB 4.91T 137K 4.91T - 0% 0% 1.00x ONLINE - rpool 832G 17.3G 815G - 0% 2% 1.00x ONLINE - - ZFS LU 생성 root@omnios:~# zfs create -V 3198156M pool_3TB/lun01 : -V 옵션을 사용하면 실제 : zfs create -V 3.25T pool_3TB/lun01 와 같이 생성하면 단위가 틀리다는 에러가 나오므로 MB단위로 적정용량을 준다. zfs 파일시스템 오버헤드상 전체용량을 다 줄수는 없는듯 하다. - 생성된 LU 확인 root@omnios:~# zfs list NAME USED AVAIL REFER MOUNTPOINT pool_3TB 3.15T 3.10G 23K /pool_3TB pool_3TB/lun01 3.15T 3.15T 12K - pool_5TB 124K 4.75T 23K /pool_5TB rpool 33.2G 773G 23K /rpool rpool/ROOT 747M 773G 23K legacy rpool/ROOT/omnios 747M 773G 747M legacy rpool/dump 16.0G 773G 16.0G - rpool/swap 16.5G 789G 56.2M - 3. STMF(SCSI Target Mode Framework)를 이용한 스토리지 LUN 생성 및 할당 - 생성된 LU에 LUN을 생성 root@omnios:~# stmfadm create-lu /dev/zvol/rdsk/pool_3TB/lun01 Logical unit created: 600144F06509056F00005AB903770001 - LUN까지 매겨진 LU의 정보를 확인 root@omnios:~# stmfadm list-lu -v LU Name: 600144F06509056F00005AB903770001 Operational Status: Online Provider Name : sbd Alias : /dev/zvol/rdsk/pool_3TB/lun01 View Entry Count : 0 Data File : /dev/zvol/rdsk/pool_3TB/lun01 Meta File : not set Size : 3353509625856 Block Size : 512 Management URL : not set Vendor ID : SUN Product ID : COMSTAR Serial Num : not set Write Protect : Disabled Writeback Cache : Disabled Access State : Active - host의 WWN 확인 : 해당 LU를 할당해줄 가상화호스트 머신의 HBA WWN은 다음과 같다. 10000000c9f3b989 10000000c9f3bbe7 이건 가상화호스트 머신에서 직접 확인한 정보이고, 스토리지 머신과 호스트 머신의 HBA가 케이블로 연결되어있다면, omniOSce 환경에서도 호스트머신의 WWN을 확인할 수 있다. - 호스트쪽 Initiator WWN 확인방법 : 먼저 TARGET쪽 WWN을 확인한다. root@omnios:~# fcinfo hba-port HBA Port WWN: 5001438024222ed8 Port Mode: Target Port ID: 10500 OS Device Name: Not Applicable Manufacturer: QLogic Corp. Model: HPAJ764 Firmware Version: 5.2.1 FCode/BIOS Version: N/A Serial Number: not available Driver Name: COMSTAR QLT Driver Version: 20100505-1.05 Type: F-port State: online Supported Speeds: 2Gb 4Gb 8Gb Current Speed: 8Gb Node WWN: 5001438024222ed9 HBA Port WWN: 5001438024222eda Port Mode: Target Port ID: 10400 OS Device Name: Not Applicable Manufacturer: QLogic Corp. Model: HPAJ764 Firmware Version: 5.2.1 FCode/BIOS Version: N/A Serial Number: not available Driver Name: COMSTAR QLT Driver Version: 20100505-1.05 Type: F-port State: online Supported Speeds: 2Gb 4Gb 8Gb Current Speed: 8Gb Node WWN: 5001438024222edb : TARGET WWN 을 기입하여 연결된 Initiator 쪽 WWN을 확인 root@omnios:~# fcinfo remote-port -p 5001438024222ed8 Remote Port WWN: 10000000c9f3b989 Active FC4 Types: SCSI SCSI Target: unknown Port Symbolic Name: Emulex PPN-10:00:00:00:c9:f3:b9:89 Node WWN: 20000000c9f3b989 Remote Port WWN: 10000000c9f3bbe7 Active FC4 Types: SCSI SCSI Target: unknown Port Symbolic Name: Emulex PPN-10:00:00:00:c9:f3:bb:e7 Node WWN: 20000000c9f3bbe7 root@omnios:~# fcinfo remote-port -p 5001438024222eda Remote Port WWN: 10000000c9f3b989 Active FC4 Types: SCSI SCSI Target: unknown Port Symbolic Name: Emulex PPN-10:00:00:00:c9:f3:b9:89 Node WWN: 20000000c9f3b989 Remote Port WWN: 10000000c9f3bbe7 Active FC4 Types: SCSI SCSI Target: unknown Port Symbolic Name: Emulex PPN-10:00:00:00:c9:f3:bb:e7 Node WWN: 20000000c9f3bbe7 여기서 얻어낸 WWN은 10000000c9f3b989, 10000000c9f3bbe7 로써 양쪽 포트에 중복된 값이 다시 나오는 이유는 멀티패스로 연결되었기 때문이다. - 호스트 정보 생성 : WWN 10000000c9f3b989, 10000000c9f3bbe7 2개를 vhost01 이라는 호스트그룹으로 포함시켜준다. root@omnios:~# stmfadm create-hg vhost01 root@omnios:~# stmfadm add-hg-member -g vhost01 wwn.10000000c9f3b989 root@omnios:~# stmfadm add-hg-member -g vhost01 wwn.10000000c9f3bbe7 - 목표 LU를 원하는 호스트그룹에 매핑 root@omnios:~# stmfadm add-view --host-group vhost01 600144F06509056F00005AB903770001 - 목표 LU의 매핑결과 확인 root@omnios:~# stmfadm list-view -l 600144F06509056F00005AB903770001 View Entry: 0 Host group : vhost01 Target group : All LUN : 0 4. 해당 host에서 디스크 스캔 및 사용 다시 검색시 나타난 SUN Fibre Channel Disk 쪽이 새로 추가된 LU이다.
17 EMC Vplex 브로셔+tech note
조인상
5725 2012-06-07
원문 : http://www.ischo.net -- 조인상 //시스템 엔지니어 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ VPLEX Brochure EMC VPLEX Architecture and Deployment : Enabling the Journey to the Private Cloud Implementation and Planning Best Practices for EMC VPLEX Technical Notes Members only : http://www.ischo.net/7677
16 [Storage] EMC NS-20 Document CD
조인상
6233 2011-10-31
원문 : http://www.ischo.net -- 조인상 //시스템 엔지니어 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ EMC의 NAS장비 NS-20 장비의 번들 문서 CD 멤버만 조회가능 - http://www.ischo.net/5075
15 silkworm200E SAN S/W 운영매뉴얼
조인상
7248 2011-09-06
원문 : http://www.ischo.net -- 조인상 //시스템 엔지니어 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ silkworm200E SAN S/W 운영매뉴얼 ischo.net Member 만 조회가능 - http://www.ischo.net/4754
14 HP StorageWorks Brocade 8Gb SAN Switch for HP BladeSystem c-Class User Guide file
조인상
7419 2011-09-06
원문 : http://www.ischo.net -- 조인상 //시스템 엔지니어 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ HP StorageWorks Brocade 8Gb SAN Switch for HP BladeSystem c-Class User Guide
13 EMC SAN 스위치 DS-24 접속하기
조인상
9038 2011-09-01
원문 : http://www.ischo.net -- 조인상 //시스템 엔지니어 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ 전면의 시리얼 포트로 속도 19200baud 설정하여 접속한다 cli commands : 슈퍼유저 이름과 패스워드를 변경하면 바로 로그인 된다. Root> config security userRights administrator admin bla Root> config security userRights administrator Administrator g..A.. 프롬프트에서 ? 엔터하면 간단한 커맨드 설명이 나오니 참고한다. show feature Display additional license added to switch (extra ports enablement config features installKey ASS9-yvZt-BH4T-Thd Add the license key for extra 8 ports Switch will reboot after the command is issued!! Note that there is no simple way to remove license key once installed. Docs actually says unremovable, so ensure which switch is addming license onto before issueing command. ACKX-qfFU-gweH-R (some other 8 or 16 port key from EMC email of unknown source). 패스워드를 초기화하려면 시리얼포트로 접속하면 자동으로 admin으로 로그인 되는데 명령어 "passwd admin" 을 이용해서 변경할 수 있다. 기본계정 정보 --- EMC/McData DS-24 M2 switch default accounts: serial login: admin/level-2 or password? 웹포트 80으로 접속할때는 Administrator/password Operator/password EMC/McData DS-8 / DS-16 switch default accounts: admin/??? EMC/McData DS-32 switch default accounts: admin/password user/password
12 EMC NAS NS20-FC 장비에서 NFS export 하기
조인상
7264 2011-08-09
원문 : http://www.ischo.net -- 조인상 //시스템 엔지니어 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ 파일시스템 추가 및 NFS export 하기 멤버스 only - http://www.ischo.net/Members/4509
11 DS8000 시리즈 매뉴얼 file
조인상
10981 2011-07-07
원문 : http://www.ischo.net -- 조인상 //시스템 엔지니어 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ IBM System Storage DS8000 Host Attachment and Interoperability_sg248887.pdf IBM System Storage DS8000 Architecture and Implementation_sg248886.pdf IBM System Storage DS8000 User's Guide_f2jug02.pdf
10 2011 IBM Storage Line up file
푸른늑대
7630 2011-05-09
원문 : http://www.ischo.net -- 조인상 //시스템 엔지니어 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ TotalStorage_0126_Final
9 FCoE란 무엇인가?
조인상
8546 2011-04-11
원문 : http://www.ischo.net -- 조인상 //시스템 엔지니어 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ 멤버스 접속 - http://www.ischo.net/Members/3771
8 DS8100/ess800 power ON/OFF Manual secret
조인상
  2011-04-08
조회할 수 있는 권한이 없습니다.
7 HP EVA-4400 운영매뉴얼 secret
조인상
  2011-03-08
조회할 수 있는 권한이 없습니다.
6 Hitachi - 2011 secret
조인상
1 2011-01-11
조회할 수 있는 권한이 없습니다.
5 IBM DS4700 storage manager & installation & configuration 자료 file [1]
조인상
10174 2010-11-17
원문 : http://www.ischo.net -- 조인상 //시스템 엔지니어 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ IBM DS4700 storage manager & installation & configuration 자료
4 IBM DS400 운영 매뉴얼 file
조인상
10262 2010-11-17
원문 : http://www.ischo.net -- 조인상 //시스템 엔지니어 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ IBM DS400 운영 매뉴얼
3 IBM DS3000_series_Competitive-한글번역판 file
조인상
6446 2010-11-17
원문 : http://www.ischo.net -- 조인상 //시스템 엔지니어 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ DS3000_series_Competitive-한글번역판
2 DF600 (9530v, 9570v, 9580v) 요약정리 file
조인상
8076 2010-11-17
원문 : http://www.ischo.net -- 조인상 //시스템 엔지니어 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ DF600 (9530v, 9570v, 9580v) 요약정리
1 히다찌 스토리지 매니저 프로그램 file [5]
조인상
9680 2010-11-17
히다찌 스토리지 매니저 프로그램