7,388
社区成员
发帖
与我相关
我的任务
分享ETL工具探讨
ETL工具探讨
本人用过BO-di和oracle-DI
现在建了个ＱＱ群：21578002
希望交流一下ＥＴＬ的学习经验和心得．
加入时需标明自已目前正在用或是想了解哪个ＥＴＬ工具的名称．
希望加入群的人都活跃些，帮助别人或被别人帮助
本人用过BO-di和oracle-DI
现在建了个ＱＱ群：21578002
希望交流一下ＥＴＬ的学习经验和心得．
加入时需标明自已目前正在用或是想了解哪个ＥＴＬ工具的名称．
希望加入群的人都活跃些，帮助别人或被别人帮助
...全文
请发表友善的回复…
发表回复
老王 2012-07-23
- 打赏
- 举报
熟练 kettle
lvyingdong 2012-07-13
- 打赏
- 举报
[Quote=引用 10 楼 的回复:]
我是用SQL SERVER2005做数据仓库,使用的ETL工具是SSIS,使用起来还可以,性能不错
[/Quote]
你好，我这个正在学习中遇到很多问题，想请教你，我的QQ384344307，希望能得到你的帮助。祝你工作顺利
我是用SQL SERVER2005做数据仓库,使用的ETL工具是SSIS,使用起来还可以,性能不错
[/Quote]
你好，我这个正在学习中遇到很多问题，想请教你，我的QQ384344307，希望能得到你的帮助。祝你工作顺利
qqniwo8810101 2012-02-16
- 打赏
- 举报
informatic,sp,job,BO 等都是etl工具
bluewind863 2012-02-15
- 打赏
- 举报
100楼的朋友，有关于kettle的详细教程参考吗？谢谢。
bluewind863 2012-02-14
- 打赏
- 举报
正在用Datastage，感觉很不错。
pyf_ting 2012-01-13
- 打赏
- 举报
kettle , odi ,wsii 都用过，但是这些工具本身来讲odi相对强大些。在实际应用过程中主要是数据标准规范比较重要，业务流程复杂度都限定了执行的效果。 实现原理上基本上都是采用触发器和jdbc、odbc等逻辑过程处理。
newmico 2012-01-09
- 打赏
- 举报
[Quote=引用 4 楼 mgan 的回复:]
一个大的项目不会给你一个统一的数据源供你使用的~
可能有iformix /oracle/db2 /sql server甚至有的是文本文件！
而且一般数据仓库的数据如果都在T级
想要靠存储过程解决的话就很难
目前国内大的项目使用ETL工具较多的Datastage /informatic了
[/Quote]
撇开项目单独谈这个东西没有意义，这也就是为什么需要架构师和规划师，具体采用那种方案
需要考虑业务本身，源业务系统，以及我们的数据仓库系统本身等情况综合考虑。
一般来讲分ELT和ETL，现在有更多的实时数据抽取功能的软件，比如goldenGate等工具可以实现数据日志Capture的方式获取，也可以理解为EL的过程，那么T的过程就是在目标数据库进行了，那么在目标数据库进行方式也可以用类似存储过程，如果可以你都可以写Triger的方式。
一个大的项目不会给你一个统一的数据源供你使用的~
可能有iformix /oracle/db2 /sql server甚至有的是文本文件！
而且一般数据仓库的数据如果都在T级
想要靠存储过程解决的话就很难
目前国内大的项目使用ETL工具较多的Datastage /informatic了
[/Quote]
撇开项目单独谈这个东西没有意义，这也就是为什么需要架构师和规划师，具体采用那种方案
需要考虑业务本身，源业务系统，以及我们的数据仓库系统本身等情况综合考虑。
一般来讲分ELT和ETL，现在有更多的实时数据抽取功能的软件，比如goldenGate等工具可以实现数据日志Capture的方式获取，也可以理解为EL的过程，那么T的过程就是在目标数据库进行了，那么在目标数据库进行方式也可以用类似存储过程，如果可以你都可以写Triger的方式。
PervasiveSofeware 2012-01-04
- 打赏
- 举报
pervasive
lou_java 2011-12-25
- 打赏
- 举报
DataStage开发
lordch 2011-12-24
- 打赏
- 举报
Informatica
backoffice
backoffice
ml1508511 2011-12-24
- 打赏
- 举报
我来看看先,数据库最好用foxpro
jessezhang1981 2011-12-18
- 打赏
- 举报
ETL工具主要用来解决异源异构的数据的同步问题，可以流程化的处理和格式化数据。
我们目前使用的是Kettle
我们目前使用的是Kettle
derek_leng 2011-12-12
- 打赏
- 举报
学习中，想用下oracle的di，哪位高手指点下，感激不尽！
wzpt1234lxsj 2011-11-24
- 打赏
- 举报
[Quote=引用 40 楼 sky_monkey 的回复:]
引用 17 楼 lynx1111 的回复:
www.mydwbi.com
是一个专业数据仓库论坛.
`````
[/Quote]
===
好东西啊。。。
引用 17 楼 lynx1111 的回复:
www.mydwbi.com
是一个专业数据仓库论坛.
`````
[/Quote]
===
好东西啊。。。
wzpt1234lxsj 2011-11-24
- 打赏
- 举报
[Quote=引用 17 楼 lynx1111 的回复:]
www.mydwbi.com
是一个专业数据仓库论坛.
[/Quote]
===
好东西。。。
www.mydwbi.com
是一个专业数据仓库论坛.
[/Quote]
===
好东西。。。
BreakArrow 2011-11-24
- 打赏
- 举报
用kettle还是很方便的，我就在用
压码路 2011-11-10
- 打赏
- 举报
用过informatic、owb、ssis、kettle。
对与需要做复杂转换的毫不犹豫是要用存储过程的，ETL设计的再好性能也比不上原生SQL。而管理这些复杂转换流程就莫非ETL工具了，它让整个流程变得更加清晰，便于维护。
对与需要做复杂转换的毫不犹豫是要用存储过程的，ETL设计的再好性能也比不上原生SQL。而管理这些复杂转换流程就莫非ETL工具了，它让整个流程变得更加清晰，便于维护。
DerekHe 2011-11-02
- 打赏
- 举报
我们用SSIS，但大部分时候还是用SQL脚本方便
huyou1983218 2011-10-27
- 打赏
- 举报
[Quote=引用 7 楼 mstop 的回复:]
无论是什么数据源，
iformix /oracle/db2 /sql server
只要有驱动，都可以用过程去处理。
本质上，ETL是编程，过程也是编程。ETL也是与数据库连接，用过程也是与异构数据库连接。
当然，如果数据不规则的话，过程处理有时是比较麻烦。
[/Quote]
没测试过存储过程的速度，100万条记录抽取数据仓库到oracle数据库用datastage最高6w/秒的速度，这个就说明etl是有存在的必要的！
无论是什么数据源，
iformix /oracle/db2 /sql server
只要有驱动，都可以用过程去处理。
本质上，ETL是编程，过程也是编程。ETL也是与数据库连接，用过程也是与异构数据库连接。
当然，如果数据不规则的话，过程处理有时是比较麻烦。
[/Quote]
没测试过存储过程的速度，100万条记录抽取数据仓库到oracle数据库用datastage最高6w/秒的速度，这个就说明etl是有存在的必要的！
JS 2011-09-26
- 打赏
- 举报
路过学习
加载更多回复（127）
