SFRAC Install on AIX 6.1

SFRAC install on AIX 6.1

目 录

1. AIX 6.1 安装 ............................................................................................... 4

1.1 安装AIX 6.1 BOS ................................................................................ 4

1.2 优化配置系统 .................................................................................... 15

1.2.1 修改root密码............................................................................... 15

1.2.2 配置主机名和IP.......................................................................... 16

1.2.3 更改系统用户数 ......................................................................... 17

1.2.4 更改最大进程数 ......................................................................... 18

1.2.5 安装补丁 ..................................................................................... 18

1.2.6 扩展文件系统 ............................................................................. 20

1.3 SFRAC安装准备................................................................................ 20

1.3.1 修改root用的环境变量............................................................... 20

1.3.2 配置网络参数 ............................................................................. 21

1.3.3 配置oracle用户 ........................................................................... 21

1.3.4 建立用户等效性 ......................................................................... 22

1.3.5 检查OS补丁 ................................................................................ 22

1.3.6 建立安装目录 ............................................................................. 22

2. SFRAC安装............................................................................................... 23

2.1 OS检查 ............................................................................................... 23

2.2 SFRAC安装........................................................................................ 23

3. SFRAC配置............................................................................................... 28

4. 配置共享存储 ........................................................................................... 40

4.1 配置EMC盘阵并映射........................................................................ 40

4.2 配置磁盘 ............................................................................................ 40

5. CRS安装.................................................................................................... 43

5.1 准备安装介质 .................................................................................... 43

5.2 安装CRS............................................................................................. 43

5.3 OUI向导 ............................................................................................. 45

6. Oracle software安装.................................................................................. 56

7. 建立数据库 ............................................................................................... 57

8. 配置Oracle服务资源组............................................................................. 58

9. 过程中碰到的问题 ................................................................................... 64

1. AIX 6.1 安装

1.1 安装 AIX 6.1 BOS

本次安装时是通过串口进行控制的，串口链接设置为;

与通过显示器和键盘安装步骤类似。

1）完成硬件物理连接，包含显示器，键盘，鼠标。

2）加电，打开光驱放入安装光盘。

3）当听到响声时屏幕上出现如下画面

输入“1”并回车，提示输入 admin 密码

输入密码 admin，然后回车

选择 5，进入 boot device 选项

选择 1，选择启动设备

选择 4，光驱类型为 IDE

已经列出 IDE 光驱设备，选择 1 确认

选择安装模式，2-Normal Mode Boot

选择 1，开始进行操作系统 boot

等待几分钟后，出现如下画面，提示让你选择使用什么终端进行安装

输入 2，将使用串口提供输出进行 BOS 安装，此时显示器上也会出现提示，

可输入 F1，选择用现实器作为终端进行安装。本次选择显示器为终端，之后的输

出都在显示器上。

屏幕上出现安装语言选择

输入 1，选择使用英语进行安装

选择 2，修改安装设置

选择 1，设置安装类型，我们选择 New and Complete Overwirte。并指定安装操

作系统的硬盘。

选择完成后，按提示输入 0，出现如下

从图中可知，已经确认为全新安装，并且安装到 hdisk0 上。

输入 0，并确认。

BOS 开始安装，安装完成后，会自动重启，并进入“安装辅助菜单”，我们

可以直接跳过这个菜单，使用我们熟悉的 smit 工具进行配置。

注：当出现安装辅助菜单，不能直接已关闭方式推出，需要点击最后一

项”exit….”,否则 OS 认为你未能完成向导，下次启动仍然会进入。

1.2 优化配置系统

在安装完 BOS 后，需要对操作系统做一些优化配置，以便使用时更加稳定。

1.2.1 修改 root 密码

#passwd root

Changing password for "root"

root's New password:

Enter the new password again:

使用 root 作为超级用户 root 的密码。

1.2.2 配置主机名和 IP

#smit tcpip

选择一张网卡，进入

回车 2 次，配置完成

配置完成，esc+0 退出。

1.2.3 更改系统用户数

#smit chlicense

Aix 6.1 默认已经很大了，不用配置。

1.2.4 更改最大进程数

#smit chgsys

将最大进程数修改为 4096，然后 2 次回车。

1.2.5 安装补丁

#smit install_all

键入 F4，或者直接输入安装介质的路径

再次输入 F4，用/选择安装的补丁包，大致如下

1.2.6 扩展文件系统

使用 df –g 可发现，默认分配的文件系统都比较小，/ /tmp /var 这 3 个文件

系统都需要配置大一点，至少保证 50%的 free。下面列出当前文件系统的大小

#df –g

注意：请将/tmp 的权限全部打开，以便使用。

chmod 777 /tmp

1.3 SFRAC 安装准备

1.3.1 修改 root 用的环境变量

#vi .profile

PATH=/usr/sbin:/crs/crshome/bin:/sbin:/usr/bin:/usr/lib/vxvm/bin:/opt/VRTSvxfs/s

bin:/opt/VRTSvcs/bin:/opt/VRTS/bin:/opt/VRTSvcs/rac/bin:/opt/VRTSob/bin:$PA

TH;

export PATH

1.3.2 配置网络参数

vi /etc/rc.net 在最后加上如下：

if [ -f /usr/sbin/no ] then

/usr/sbin/no -p -o udp_sendspace=65536

/usr/sbin/no -p -o udp_recvspace=262144

/usr/sbin/no -p -o tcp_sendspace=262144

/usr/sbin/no -p -o tcp_recvspace=262144

/usr/sbin/no -p -o rfc1323=1

/usr/sbin/no -p -o sb_max=1310720

/usr/sbin/no -r -o ipqmaxlen=512

fi

1.3.3 配置 oracle 用户

首先建立一个用户组 dba，然后建立 oracle 用户

使用 smit mkgroup 和 smit mkuser

设置 oracle 用户的密码：passwd oracle

建立完成后配置 oracle 用户的环境变量

#su – oracle

$vi . profile

export umask=022

export ORACLE_BASE=/oracle

export ORACLE_HOME=/oracle/ora10g

export CRS_HOME=/crs/crshome

export ORACLE_SID=orcl1(orcl2)

PATH=/usr/bin:$ORACLE_HOME/bin:/etc:/usr/sbin:/usr/ucb:$HOME/bin:/

usr/bin/X11:/sbin:.

export PATH

if [ -s "$MAIL" ] # This is at Shell startup. In normal

then echo "$MAILMSG" # operation, the Shell checks

fi # periodically.

1.3.4 建立用户等效性

分别在 root 用户和 oracle 用户下建立 rsh 互信。

方法：

#cd

#echo + > .rhosts

#su – oracle

$ echo + > .rhosts

然后再通过 rsh 对方进行等效性测试。

1.3.5 检查 OS 补丁

#lslpp -l bos.adt.base bos.adt.lib \

bos.adt.libm bos.perf.perfstat \

bos.perf.libperfstat bos.perf.proctools

如果上述安装包存在没有的，请安装

1.3.6 建立安装目录

本次安装中，crs 以及 oracle 的程序文件都将安装到本地磁盘，crs 的 ocrdata

和 votedisk 区放在共享存储，oracle 的数据文件置于共享存储。需要建立相应的安

装路径。

#mkdir –p /crs/crshome

#mkdir –p /oracle/ora10g

#mkdir /ocrvote

#mkdir /oradata

#chown –R oracle.dba /crs /oracle

#chmod –R 755 /crs /oracle

注：ocrvote 和 oradata 请在挂载后，赋予如上权限

2. SFRAC 安装

2.1 OS 检查

在安装 sfrac 前，需要对操作系统进行一次检查，查看环境是否可以让你安装

sfrac。

使用命令./installsfrac –precheck –rsh p520a p520a

运行后会得出可以安装或则不能安装时会提示缺少的安装包。

2.2 SFRAC 安装

回车后，开始进行系统检测

检测通过，可以进行安装。

输入 license

搜集要安装的软件包

按回车继续

按回车继续

上图可知，安装已经开始，待安装完成后，所有节点进行重启。

3. SFRAC 配置

-bash-3.00# cd /opt/VRTS/install/

-bash-3.00# ./installsfrac -configure -rsh p520a p520b

配置程序检查操作系统上安装的 SF 产品情况及版本信息

检查 OS 上的 license 信息，在安装时已导入 license，此处全部输入“n”

回车，进入下一页面

回车，进入下一页面

选择 2，配置 sfrac

选择 1，配置 configure VCS，CVM and CFS

输入 y，确认继续

回车，下一个界面

回车

根据提示，输入 cluster name,cluster ID,private NicS

确认信息，输入 y

下面的配置基本都是输入 n，不进行配置。见图即可。

4. 配置共享存储

4.1 配置 EMC 盘阵并映射

在 EMC 存储上分配 2 个 lun，作为 p520a p520b 的共享存储，其中一个用来

做 crs 的集群信息 ocrdata,votedisk 存放区，另外一个用来存放 oracle 的数据。

4.2 配置磁盘

#vxdisk list（显示当前发现的磁盘）

#vxdisksetup –i disk_name（初始化磁盘）

#vxdg –s init dg_name disk_name……（创建 dg）

#vxassist –g dg_name make vol_name vol_zise（创建 vol）

#mkfs –V vxfs vol_device（/dev/vx/rdsk/ocrvotedg/ocrvotevol）（建立文件系统）

#mount –V vxfs –o cluster device(/dev/vx/dsk/oradata/datavol) mount_point

(/oradata)（挂载文件系统）

列出当前磁盘配置：

-bash-3.00# vxdisk list

DEVICE TYPE DISK GROUP

STATUS

disk_0 auto:LVM - - LVM

disk_1 auto:LVM - - LVM

emc_clariion0_4 auto:cdsdisk emc_clariion0_4 ocrvotedg online shared

emc_clariion0_5 auto:cdsdisk emc_clariion0_5 oradatadg online shared

-bash-3.00# vxdg list

NAME STATE ID

ocrvotedg enabled,shared,cds 1264027962.12.p520a

oradatadg enabled,shared,cds 1264119284.12.p520a

-bash-3.00# vxprint -g oradatadg -hft

DG NAME NCONFIG NLOG MINORS GROUP-ID

ST NAME STATE DM_CNT SPARE_CNT

APPVOL_CNT

DM NAME DEVICE TYPE PRIVLEN PUBLEN

STATE

RV NAME RLINK_CNT KSTATE STATE PRIMARY

DATAVOLS SRL

RL NAME RVG KSTATE STATE REM_HOST

REM_DG REM_RLNK

CO NAME CACHEVOL KSTATE STATE

VT NAME RVG KSTATE STATE NVOLUME

V NAME RVG/VSET/CO KSTATE STATE LENGTH

READPOL PREFPLEX UTYPE

PL NAME VOLUME KSTATE STATE LENGTH

LAYOUT NCOL/WID MODE

SD NAME PLEX DISK DISKOFFS LENGTH

[COL/]OFF DEVICE MODE

SV NAME PLEX VOLNAME NVOLLAYR LENGTH

[COL/]OFF AM/NM MODE

SC NAME PLEX CACHE DISKOFFS LENGTH

[COL/]OFF DEVICE MODE

DC NAME PARENTVOL LOGVOL

SP NAME SNAPVOL DCO

EX NAME ASSOC VC PERMS

MODE STATE

SR NAME KSTATE

dg oradatadg default default 37000 1264119284.12.p520a

dm emc_clariion0_5 emc_clariion0_5 auto 65536 4128256 -

v oradatavol - ENABLED ACTIVE 3891200 SELECT

- fsgen

pl oradatavol-01 oradatavol ENABLED ACTIVE 3891200 CONCAT

- RW

sd emc_clariion0_5-01 oradatavol-01 emc_clariion0_5 0 3891200 0

emc_clariion0_5 ENA

5. CRS 安装

5.1 准备安装介质

上传 oracle clusterware 软件至其中一个节点，解压，完成安装介质的准备。

本例中安装介质为：10gr2_aix5l64_database.cpio.gz

gunzip –d 10gr2_aix5l64_database.cpio.gz

cpio –idcmv 10gr2_aix5l64_database.cpio

完成解压

5.2 安装 CRS

同第 3 节一样，对于 SF 来说这些过程，属于配置，所以仍然运行

-bash-3.00# ./installsfrac -configure -rsh p520a p520b

在如下界面是，选择 4，进入到安装 oracle 的 install wizard。

选择菜单 4 进入后，根据提示向导进行一些信息输入，选择安装 CRS。下面

列出一个最后的确认信息表：

确认信息正确后，输入 y，开始进行系统检查检查和配置

在两个节点上运行完 rootpre.sh 后，输入 y，进入 oracle OUI，开始安装 oracle。

当安装完 crs，并提示运行 root.sh 时，请返回此页面，按回车。

5.3 OUI 向导

进入 Installer Guide，点击 next

点击 next

点击 next

由于 oracle 10g 的支持列表中没有 aix6.1，验证时关于操作系统这边的几项需

要手动验证通过。

各类节点的名称，根据 hosts 表中的进行修正，点击下一步

点击 edit，将 en0 配置为 public，点击 next

输入 ocrdata 区的路径，本区很重要需要做镜像，此处我们选择外部冗余磁盘，

点击 next

同样输入 votedisk 路径，点击 next

拉动滚动条，确认一些配置信息，然后点击 install，开始安装。

安装完成后，提示运行如下脚本，此时请返回 sf 配置页面键入回车，然后运

行这两个脚本。

运行脚本后，点击 OK,进入到资源注册并验证的界面，第 3 项可能通不过，

此时请运行$CRS_HOME/bin/vipca 配置 vip,gsd,ons,。然后 retry。通过完成 crs 的

安装。

6. Oracle software 安装

Oracle 的安装类似 crs 的安装，详细过程略。

安装完成后建立 oracle 监听。

$netca

7. 建立数据库

选择其中一个节点，切换到 oracle 用户建立数据库

#su – oracle

$export DISPLAY=IP:0.0

$dbca

详细步骤略，基本都是默认配置，实际环境中询问客户的字符集要求。

8. 配置 Oracle 服务资源组

可 以 通 过 图 形 界 面 ， 也 可 以 通 过 直 接 修 改 cluster 配 置 文 件

/etc/VRTSvcs/conf/config/main.cf 进行 cluster 的配置

图形界面配置方法

在 xwindows 上启动 cluster 管理界面

#hagui &

或者可以使用 windows 的 java cluster 管理界面

列出 main.cf 内容

include "OracleASMTypes.cf"

include "types.cf"

include "CFSTypes.cf"

include "CVMTypes.cf"

include "MultiPrivNIC.cf"

include "OracleTypes.cf"

include "PrivNIC.cf"

cluster sfrac (

UserNames = { admin = ajkCjeJgkFkkIskEjh }

Administrators = { admin }

HacliUserLevel = COMMANDROOT

)

system p520a (

)

system p520b (

)

group cvm (

SystemList = { p520a = 0, p520b = 1 }

AutoFailOver = 0

Parallel = 1

AutoStartList = { p520a, p520b }

)

CFSfsckd vxfsckd (

)

CVMCluster cvm_clus (

CVMClustName = sfrac

CVMNodeId = { p520a = 0, p520b = 1 }

CVMTransport = gab

CVMTimeout = 200

)

CVMVxconfigd cvm_vxconfigd (

Critical = 0

CVMVxconfigdArgs = { syslog }

)

PrivNIC ora_priv (

Critical = 0

Device @p520a = { en1 = 0 }

Device @p520b = { en1 = 0 }

Address @p520a = "192.168.0.1"

Address @p520b = "192.168.0.2"

NetMask = "255.255.255.0"

)

cvm_clus requires cvm_vxconfigd

vxfsckd requires cvm_clus

// resource dependency tree

//

// group cvm

// {

// PrivNIC ora_priv

// CFSfsckd vxfsckd

// {

// CVMCluster cvm_clus

// {

// CVMVxconfigd cvm_vxconfigd

// }

// }

// }

group oracle (

SystemList = { p520b = 1, p520a = 0 }

Parallel = 1

AutoStartList = { p520b, p520a }

)

Application crs (

User = root

StartProgram = "/opt/VRTSvcs/rac/bin/cssd-online"

StopProgram = "/opt/VRTSvcs/rac/bin/cssd-offline"

CleanProgram = "/opt/VRTSvcs/rac/bin/cssd-clean"

MonitorProgram = "/opt/VRTSvcs/rac/bin/cssd-monitor"

)

CFSMount ocrvote_mnt (

MountPoint = "/ocrvote"

BlockDevice = "/dev/vx/dsk/ocrvotedg/ocrvotevol"

MountOpt = "cluster"

)

CFSMount oradata_mnt (

MountPoint = "/oradata"

BlockDevice = "/dev/vx/dsk/oradatadg/oradatavol"

MountOpt = "cluster"

)

CVMVolDg ocrvote_voldg (

CVMDiskGroup = ocrvotedg

CVMVolume = { ocrvotevol }

CVMActivation = sw

)

CVMVolDg oradata_voldg (

CVMDiskGroup = oradatadg

CVMVolume = { oradatavol }

CVMActivation = sw

)

Netlsnr lisenter (

Owner = oracle

Home = "/oracle/ora10g"

Listener @p520b = LISTENER2_P520B

Listener @p520a = LISTENER2_P520A

)

Oracle oracle (

Sid @p520b = orcl2

Sid @p520a = orcl1

Owner = oracle

Home = "/oracle/ora10g"

)

requires group cvm online local firm

crs requires ocrvote_mnt

lisenter requires oracle

ocrvote_mnt requires ocrvote_voldg

oracle requires crs

oracle requires oradata_mnt

oradata_mnt requires oradata_voldg

// resource dependency tree

//

// group oracle

// {

// Netlsnr lisenter

// {

// Oracle oracle

// {

// Application crs

// {

// CFSMount ocrvote_mnt

// {

// CVMVolDg ocrvote_voldg

// }

// }

// CFSMount oradata_mnt

// {

// CVMVolDg oradata_voldg

// }

// }

// }

// }

9. 过程中碰到的问题

1）配置 crs 的时候，无法运行 vipca 进入向导模式。

#vipca

Exception in thread "main"(报出此错误)

鉴于此只能用命令进行配置，

# vipca -silent -nodelist p520a p520b -nodevips p520a/10.201.1.236

p520b/10.201.1.238

发现 crs 的 3 个基本进程都是单独配置的，没有在两个节点同时进行。于是只

能再次掉到 nodelist 顺序，再配置一次。

2）在安装 oracle，及 crs 的时候都多次报出 aix 6.1 aio 的没能及时启用的问题。

截图取至 oracle install log

Aix 6.1 的 aio 的激活，不能人为干预，由内核动态激活。

10. SFRAC 功能验证

10.1 License key 确认

类型 描述

测试编号 SFRAC-1

测试时间 2010-1-29

测试描述 确认系统拥有有效 license

测试前提 系统已导入 license

期望结果 系统拥有有效 license

测试过程 使用 vxlicrep 查看

#vxlicrep

License Key = P8EU-8LU4-P363-EFXO-4O4C-YPPP

Product Name = VERITAS Mapping Services

License Type = DEMO

OEM ID = 4095

Demo End Date = Fri Mar 26 01:00:00 CDT 2010

(51.4 days from now).

Point Product = YES

Features :=

Found_Edi_map = Enabled

结果 系统拥有有效 license

10.2 LLT 确认

类型 描述

测试编号 SFRAC-2

测试时间 2010-1-29

测试描述 确认 LLT 状态正常

测试前提 SFRAC 已启动

期望结果 LLT 链接正常

测试过程 #lltstat –vvn|more

LLT node information:

Node State Link Status Address

* 0 p520a OPEN

en1 UP 00:09:6B:1B:AC:79

en0 UP 00:09:6B:1B:AC:78

1 p520b OPEN

en1 UP 00:09:6B:EB:88:BD

en0 UP 00:09:6B:EB:88:BC

结果 LLT 链接正常

10.3 GAB 确认

类型 描述

测试编号 SFRAC-3

测试时间 2010-1-29

测试描述 确认 SFRAC 各进程正常

测试前提 SFRAC 已启动

期望结果 输入 gabconfig –a 可以得到正常的状态

测试过程 #gabconfig –a

Port a gen 4f3102 membership 01

Port b gen 4f3101 membership 01

Port d gen 4f3105 membership 01

Port f gen 4f310e membership 01

Port h gen 4f3106 membership 01

Port o gen 4f3103 membership 01

Port v gen 4f3109 membership 01

Port w gen 4f310b membership 01

结果 SFRAC 运行正常

10.4 VCS 图形管理确认

类型 描述

测试编号 SFRAC-4

测试时间 2010-1-29

测试描述 确认 VCS 可以使用图形化管理

测试前提 VCS 启动

期望结果 能够打开图像化管理，并且进行操作

测试过程 #export DISPLAY=IP:0.0

#hagui&

输出图形及操作略

结果 能够打开图形化管理窗口，并进行操作

10.5 Oracle RAC 启动和停止

类型 描述

测试编号 SFRAC-5

测试时间 2010-1-29

测试描述 确认每个资源组的启动和停止

测试前提 SFRAC 各进程正常启动

期望结果 各个资源组可手动停止和启动

测试过程 当前状态：

#hagrp –state

#Group Attribute System Value

cvm State p520a |ONLINE|

cvm State p520b |ONLINE|

oracle State p520a |ONLINE|

oracle State p520b |ONLINE|

停止资源组：

#hagrp –offline oracle –sys p520a

#hagrp –state

#Group Attribute System Value

cvm State p520a |ONLINE|

cvm State p520b |ONLINE|

oracle State p520a |PARTIAL|STOPPING|

oracle State p520b |ONLINE|

#hagrp –state

#Group Attribute System Value

cvm State p520a |ONLINE|

cvm State p520b |ONLINE|

oracle State p520a |OFFLINE|

oracle State p520b |ONLINE|

启动资源组：

#hagrp –online oracle –sys p520a

#Group Attribute System Value

cvm State p520a |ONLINE|

cvm State p520b |ONLINE|

oracle State p520a |OFFLINE|STARTING|

oracle State p520b |ONLINE|

#hagrp –online oracle –sys p520a

#Group Attribute System Value

cvm State p520a |ONLINE|

cvm State p520b |ONLINE|

oracle State p520a |ONLINE|

oracle State p520b |ONLINE|

结果 各个资源组可手动启动和停止

10.6 主机重启

类型 描述

测试编号 SFRAC-6

测试时间 2010-1-29

测试描述 测试主机重启时 SFRAC 对应用的保护

测试前提 SFRAC 运行正常

期望结果 关机时，会先关闭应用，然后再关机；启动后会自动启动标记为

autostart 的资源组及应用。

测试过程 #shutdown –Fr

从 engine_A.log 中可以发现首先关闭 oracle；

系统启动后，不需要手动启动 oracle，oracle 会被 SFRAC 启动。

#ps –ef|grep orcl1

可以查看到 oracle 的进程已启动

结果 按照预期结果完成