DataStage配置及使用

字数 1767阅读 3653评论 0赞 1

<div><span style="font-weight: bold;"> 配置</span><br> 第一、要通过浏览器登录，创建用户等。这个可以参考配置文档。<br> 第二，要配置数据库。因为我们的DataStage服务器和db2数据源不在同一个电脑上。我们需要在DataStage服务器上配置db2节点，将其他服务器上的db2数据库映射（db2 catalog）到本地。如果确认配置正确了，还是连接不上，需要确定网络是否通畅。<br> 第三，配置DataStage环境变量文件（$DataStage/DSEngine/dsenv）。这个费了好些时间，按照配置文档里给的不太好用。可以参考IBM官方教程“<a title="http://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0602zhoudp/index.html" href="http://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0602zhoudp/index.html" target="_blank">用IBM WebSphere DataStage进行数据整合: 第 1 部分</a>”。<br> 第四，服务启动顺序（不知道是否唯一）。db2->WAS->DataStage。NOTE：WAS错误日志有时候并不能准确的说明问题。如果WAS启动之后，ps到了WAS的进程，但浏览器通过9060端口还是连接不了，检查9060等端口是否禁用，防火墙是否禁用。（每次启动WAS的时候日志里都写着什么文件被占用，其实不影响）<br> <span style="font-weight: bold;">几</span><span style="font-weight: bold;">个DataStage常用控件的使用。</span>DB、Lookup、Join、Transform、RemoveDuplicates、Sort、SequenceFile、Modify等。其中也有需要的：</div><div>DB在sql中使用参数时，记得将参数加上单引号，eg：'#?StartDT#'。参数的默认值设置为ProjectDefault，以免带来麻烦。<br> Lookup需要配置Lookup Failure选项。默认为“失败”：就是说如果主表的某一条记录和引用表匹配不上，就终止job，这一般不是我们想要的。根据需求，我们一般选择继续、拒绝或删除。<br> Join的key需要两个表的字段类型、字段名名完全一样，不然字段不会出现在key的下拉列表。不一样可以通过Modify来改变。另外，Join可以有key。<br> 以后还将学习更多的Stage，以便完成同一个流程可以选择效率更高的方案。</div><div><span style="font-weight: bold;">用到的命令</span></div><div>1）db2配置</div><div><div><span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; "><span style="text-align: left; color: rgb(51, 51, 51);"> --查看配置，其中codepage等是需要注意的 db2set -all </span></span><span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; "><span style="text-align: left; color: rgb(51, 51, 51);"><font color="#000000"></font></span></span></div><div><div><span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; "><span style="font-family: simsun; "><span style="font-family: Helvetica, Tahoma, Arial, sans-serif; text-align: left; ">--注册节点 </span><span style="font-family: Helvetica, Tahoma, Arial, sans-serif; text-align: left; ">catalog tcpip node nodename remote IpAdress server port; </span><br style="font-family: Helvetica, Tahoma, Arial, sans-serif; text-align: left; "><span style="font-family: Helvetica, Tahoma, Arial, sans-serif; text-align: left; ">--注册数据库 </span><span style="font-family: Helvetica, Tahoma, Arial, sans-serif; text-align: left; ">catalog database DBName at node nodename; </span><br style="font-family: Helvetica, Tahoma, Arial, sans-serif; text-align: left; "><span style="font-family: Helvetica, Tahoma, Arial, sans-serif; text-align: left; ">--删除注册节点 </span><span style="font-family: Helvetica, Tahoma, Arial, sans-serif; text-align: left; ">uncatalog node nodename; </span><br style="font-family: Helvetica, Tahoma, Arial, sans-serif; text-align: left; "><span style="font-family: Helvetica, Tahoma, Arial, sans-serif; text-align: left; ">--删除注册数据库 </span><span style="font-family: Helvetica, Tahoma, Arial, sans-serif; text-align: left; ">uncatalog database DBName;</span></span></span></div><div><span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; "><span style="font-family: simsun; "><span style="font-family: Helvetica, Tahoma, Arial, sans-serif; text-align: left; ">--<span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; ">查看所有节点：db2   list   node   directory</span></span></span></span></div></div><div>--db2当前实例查看与配置  <span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; ">db2 get instance;    </span>db2 update   dbm   cfg   using   svcename   InstanceName</div><div>eg:</div><div><div><span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; ">b2 catalog tcpip node test remote 192.168.42.102 server 50000</span></div><div>db2 catalog db coshine at node test</div><div>db2 terminate    --让配置生效</div><div>db2 connect to coshine user user_name using password</div><div> </div></div><div>2）WAS相关</div><div><div><span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; ">cd ...../IBM/WebSphere/AppServer/profiles/InfoSphere/bin</span></div><div><span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; ">./startServer.sh server1 -username username -password password</span></div><div><span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; ">./stopServer.sh server1 -username username -password password</span></div><div><span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; "></span> </div><div><span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; ">3）DataStage相关</span></div><div><span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; "><div><span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; ">cd ..../mistel/IBM/InformationServer/Server/DSEngine<br>停止服务：$DSHOME/bin/uv –admin –stop<br>启动服务：$DSHOME/bin/uv –admin –start</span></div><div><span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; "><span style="border-collapse: separate; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; ">重启ASB Agent: /opt/IBM/InformationServer/ASBNode/bin/NodeAgents.sh restart</span></span></div></span></div></div></div>

datastage 商业智能

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论0 条评论

Ctrl+Enter 发表

匿名评论

DataStage配置及使用

添加新评论0 条评论

作者其他文章

相关问题

相关资料