223
文章
5
说说
70
评论
114083
访问

个人博客网站:prettywordpress.com(吃饭用大碗的程序猿)

最新评论
qq_avatar
1月前,”ヘル”在《码农=新生代农民工》
说:打卡@[huaixiao]
qq_avatar
2月前,”肋巴骨”在《Win10系统桌面一直闪屏自动刷新怎么办》
说:不错啊,这是谁写的教程,真棒
qq_avatar
3月前,”逗小沫”在《2021最新PhpStorm+wamp+Xdebug调试wordpress》
说:大佬不考虑加个灯箱吗,图片不能放大
qq_avatar
3月前,”逗小沫”在《2021最新PhpStorm+wamp+Xdebug调试wordpress》
说:pjax失效咋办,F12显示已取消
qq_avatar
3月前,”热爱”在《2021最新PhpStorm+wamp+Xdebug调试wordpress》
说:测试Markdown语法加表情 OωO@(暗地观察)@[哈哈]@[ganga]
A+

初识kettle

标签: 最后编辑:2021年7月23日

什么是kettle

Kettle最早是一个开源的ETL工具,全称为KDE Extraction, Transportation, Transformation and Loading Environment。在2006年,Pentaho公司收购了Kettle项目,原Kettle项目发起人Matt Casters加入了Pentaho团队,成为Pentaho套件数据集成架构师 ;从此,Kettle成为企业级数据集成及商业智能套件Pentaho的主要组成部分,Kettle亦重命名为Pentaho Data Integration 。——百度百科

kettle有两种脚本transformation(转换)和Job(作业)

Kettle有三个主要组件:Spoon、Kitchen、Pan

     Spoon:是一个图形化的界面,可以让我们用图形化的方式开发转换和作业。

     Kitchen:利用Kitchen可以使用命令行调用Job

     Pan:利用Pan可以用命令行的形式调用Trans

     Carte:Carte是一个轻量级的Web容器,用于建立专用、远程的ETL Server。

什么是ETL

ETL是EXTRACT(抽取)、TRANSFORM(转换)、LOAD(加载)的简称,实现数据从多个异构数据源加载到数据库或其他目标地址,是数据仓库建设和维护中的重要一环,也是工作量较大的一块。

本地安装与使用

博主本机环境:kettle7.1 mysql8.0.19 windows64

官网下载地址kettle官网

下载解压zip包,然后通过启动脚本spoon.bat或者spoon.sh启动Spoon。

PS:windows选择Spoon.bat;Linux选择Spoon.sh

在你继续阅读文章之前,我假设你已经在本地安装好了MySQL,并且已经启动了MySQL服务。需要新建两个用来测试的数据库test和test1,新增表t_user和user,并且在t_user表插入一条数据,如下图

博主用的kettle版本是7.1的,启动的样子是下面这样

新建一个转换

点击左上角有+的图标,选择下面的转换,或者点击文件选择新建一个转换,然后会跳到一个转换的页面

再次点击有+的图标,选择下面的数据库连接,或者点击文件选择新建一个数据库连接。没有新建转换之前是不能新建数据库连接的。

新建数据库连接之前需要下载mysql的驱动官网下载地址,这里有个坑,因为我用的kettle是7.1版本,下载了几个高版本的mysql驱动都不行,所以选择5.1.49。

新建一个数据库连接,并且测试连接成功。把test和test1数据库都添加。

添加完之后点击主对象树下的DB连接即可看到刚刚新建的两个数据库

选择核心对象tab,将输入下的表输入输出下的插入/更新拖到右边的位置

根据下面的图片进行属性设置,把test数据库下的t_user数据抽取到test1数据库下的user表中,然后按住shift从表输入到插入/更新

最后保存,然后点击运行

我们可以在下面的日志中看是否转换完成,然后再去数据库查看test1数据库的user表是否已经有数据。

后续再更新一些其他的操作

知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议

发表一下你的评论呗

回复评论代表你同意网站的 隐私政策

... 友情提示 请保留版权标识
复制成功!
目录