快速上手kettle開篇中,我們將kettle比作壺,并對這個壺做了簡單介紹。
而上一期中我們實現(xiàn)了①將csv文件通過kettle轉換成excel文件;
【資料圖】
②將excel文件通過kettle寫入到MySQL數(shù)據庫表中 這兩個案例。
相信大家跟我一樣,對kettle已經有了初步認識,并且對這強大的工具產生了興趣。
今天這小節(jié),我們來看看kettle 這“壺”里面到底能放些啥東西?
一 、kettle這壺能裝些啥啟動kettle,在轉換-->輸入下面有很多東西,如下截圖。有圖可以看出這kettle“真能裝”。
可以把各種五花八門的數(shù)據丟到這壺里,kettle也是來者不拒。我們日常能用到的數(shù)據基本都能往里面塞。
--kettle能裝的東西 | --kettle能裝的東西 |
---|---|
一眼望去,能看到不少“大熟人”,Access輸入、CSV文件輸入、Excel輸入、JSON輸入、XML輸入、文本文件輸入、YAML輸入、表輸入等等
不知道你對上面提到的“大熟人”了不了解,其實不了解也沒關系。
在后面的模塊中,會把這些“大熟人”分別介紹給你。并且保證你過目不忘,再次遇到就能“稱兄道弟”
二、Access輸入Access是微軟公司開發(fā)的一個數(shù)據庫管理軟件.它像個保險柜,可以幫你存儲和管理各種各樣的數(shù)據。
Access是我們平常會用到數(shù)據庫,接下來我們就新建一個Access數(shù)據庫為例,來簡單說一說怎么使用Access這個輸入控件
2.1 準備Acess數(shù)據庫和表新建一個access數(shù)據庫,并建一個云襄傳的表,然后往里面添加一些數(shù)據 |
---|
--①將Access輸入控件拖入工作區(qū) | --②選擇2.1新建的云襄傳.accdb |
---|---|
--③添加文件 | --④ 選擇數(shù)據庫中數(shù)據表 |
--④ 獲取字段 | --⑤ 預覽數(shù)據 |
--①啟動轉換 | --②預覽數(shù)據 |
---|---|
注:啟動執(zhí)行轉換后,Preview date tab頁面如果加載出數(shù)據說明輸入控件配置是成功的
三、CSV文件輸入3.1 準備csv文件,并將csv輸入控件拖入工作區(qū)3.2 csv輸入控件設置3.3 預覽csv文件內容CSV文件是一個用逗號分隔的固定格式的文本文件,這種文件后綴名為.csv,可以用Excel或者文本編輯器打開。
在日常工作中,我們經常會需要將CSV文件轉換為其他格式的數(shù)據
可以在設置界面點擊【預覽】按鈕查看csv數(shù)據,也可以啟動步驟預覽數(shù)據、
-- 預覽按鈕預覽數(shù)據 | --啟動步驟預覽csv文件 |
---|---|
4.1 準備txt格式文本文件,并將控件拖入工作區(qū)4.2 文本輸入控件設置我們經常需要將服務器上的日志文件(文本文件)數(shù)據或者其他文本數(shù)據提取出來,然后放到excel,這樣查看起來就很方便
--①選擇txt文本文件 | --②預覽文件內容 |
---|---|
--③設置分割符 | --④ 獲取字段 |
5.1 準備excel文件,并將控件拖入工作區(qū)5.2 Excel控件設置excel 對于我們來說并不陌生,時我們平常接觸到最多的文件格式
--① 選擇excel文件 | --② 獲取工作表名稱 |
---|---|
-- ③ 獲取字段,并設置數(shù)據格式 | --④ 預覽數(shù)據 |
上一步【預覽記錄】 如果有數(shù)據顯示出來,基本上excel設置時成功的了
當然我們可以啟動轉換,然后預覽excel文件中的數(shù)據
六 、json文件輸入6.1 json基本組成對象:{ }數(shù)組:[ ]屬性:key:value6.2 JSON Pathjson 可以算是現(xiàn)在市面上用的比較多的數(shù)據結構了,是JavaScript對象,是一種輕量級的數(shù)據交換格式。
可以很方便的在不同語言之間傳遞
JSON Path 用來定位json節(jié)點數(shù)據
Json Path 包含兩種寫法
點記法:$.store.book[0].title
括號記法:$ [ ‘ store ’ ] [ ‘ book ’ ] [ 0 ] [ ‘title’ ]
使用過程中一些常用符號含義
--符號 | --描述 |
---|---|
$ | 查詢根節(jié)點對象,用于表示一個json數(shù)據,可以數(shù)組或對象 |
@ | 表示當前節(jié)點對象,類似于Java中的this對象 |
* | 可以表示一個數(shù)字或字符 |
"" | 類似于遞歸搜索 |
. | 表示一個子節(jié)點 |
[" | 表示一個或多個子節(jié)點 |
[ | 表示一個或多個數(shù)組下標 |
[start:end] | 數(shù)組片段,區(qū)間為(start,end) 不包含end |
[?( | 過濾器表達式,結果為Boolean類型 |
上面說了一些常用符號的使用,我們就以實際的json為例,來看看json里的節(jié)點怎么取
{ "data":{ "longSeason":[ { "actor":"范偉", "role":"王響", "sex":"男", "age":56 }, { "actor":"秦昊", "role":"龔彪", "sex":"男", "age":40 }, { "actor":"李庚希", "role":"沈默", "sex":"女", "age":18 }, { "actor":"陳明昊", "role":"馬德勝", "sex":"男", "age":55 } ], "surname":[ { "actor":"陳曉", "role":"云襄", "sex":"男", "age":28 }, { "actor":"毛曉彤", "role":"舒亞男", "sex":"女", "age":18 }, { "actor":"許齡月", "role":"柯夢蘭", "sex":"女", "age":18 }, { "actor":"劉冠麟", "role":"金十兩", "sex":"男", "age":35 }, { "actor":"唐曉天", "role":"蘇鳴玉", "sex":"男", "age":25 } ] }}
--取出漫長季節(jié)中所有演員 | --結果 |
---|---|
$.data.longSeason[*].actor | ["范偉","秦昊","李庚希","陳明昊"] |
$..longSeason..actor | ["范偉","秦昊","李庚希","陳明昊"] |
--① 選擇json文件并添加 | --② 選擇字段 |
---|---|
-- ③ 查看表達式 | -- ④ 預覽節(jié)點數(shù)據 |
7.1 準備xml文件xml是一種可擴展標記語言,XML 和上面說的json一樣用來傳輸和存儲數(shù)據
我們后面的演示都用下面的xml為例子
范偉 王響 男 56 秦昊 龔彪 男 40 李庚希 沈默 女 18 陳明昊 馬德勝 男 55 陳曉 云襄 男 28 毛曉彤 舒亞男 女 18 許齡月 柯夢蘭 女 18 劉冠麟 金十兩 男 35 唐曉天 蘇鳴玉 男 25
7.2 XPath在說json輸入控件中,我么介紹了JSON Path, 這里是xml輸入控件,也有類似XPath來定位xml中節(jié)點的位置
--表達式 | --描述 |
---|---|
nodename | 選取此節(jié)點的所有節(jié)點 |
/ | 從根節(jié)點選取 |
// | 從匹配選擇的當前節(jié)點選擇文檔中的節(jié)點,而不考慮他們的位置 |
. | 選取當前節(jié)點 |
.. | 選取當前節(jié)點的父節(jié)點 |
@ | 屬性 |
--取出漫長季節(jié)中所有演員 | --結果 |
---|---|
/data/longSeason/actor | ["范偉","秦昊","李庚希","陳明昊"] |
--① 選擇xml文件并添加 | -- ② 獲取xml文檔讀取路徑 |
---|---|
-- ③ 獲取字段 | -- ④ 預覽 |
由于涉及到數(shù)據庫表相關操作,所以我們新建轉換之后需要先建立DB連接。
建立DB連接的方式我們在上一小節(jié)小試牛刀中已經提過,這里就不展開了。我們還是以MySQL為例子來說表輸入。
8.1 將表輸入控件拖入工作區(qū)8.2 表輸入控件設置-- ①獲取SQL查詢語句 | -- ② 點擊【預覽】按鈕預覽表數(shù)據 |
---|---|
9.1 將生成記錄控件拖入工作區(qū)9.2 生成記錄控件設置在日常工作中我們經常需要批量造一些測試數(shù)據,通過生成記錄這個輸入控件就可以完成。
-- ① 填寫需要數(shù)據的相關信息 | -- ② 預覽生成的數(shù)據 |
---|---|
到此,10條測試數(shù)據就造好了
十、小結本篇文章我們主要是說了九個kettle的常用輸入控件(kettle壺里能放寫啥東西進去)。
kettle的輸入控件就代表著kettle能處理一些什么格式的數(shù)據,其實它還有其他輸入控件,這里就不一一例舉了。
大家如果感興趣,可以將輸入下面的每個控件都去試試。
本期內容到此就結束了,希望對你有所幫助。
這一期說了輸入控件,那下一期就到了輸出控件了
我們下一期再見 (●"?"●)
下一篇:最后一頁
[TOC](快速上手kettle(三)壺中可以放些啥?) 序言快速上手kettle開篇中,我們將kettle比作壺,并對這個
1、FC游戲-----SD快打旋風出招表【轉自FC吧】2007年05月04日星期五23:18出招表 所有角色解圍必殺(
此前,巴黎圣日耳曼已經官宣梅西將在賽季結束后以自由身離隊,他在王子公園的故事正式告一段落。值得一提
1、靈寶市民生高新材料有限公司于2018年01月22日成立。2、法定代表人張勤生,公司經營范圍包括:稀散金屬材
1、在很多情況下,電腦會莫名其妙自動關機、自動重啟、頻繁死機、頻繁藍屏。2、這種情況是電腦在使用過程中
國家統(tǒng)計局發(fā)布2023年5月下旬流通領域重要生產資料市場價格變動情況。
6月4日6時20分左右,新疆庫爾勒,攝影師拍攝到神舟十五號載人飛船返回艙掠過夜空的畫面
1、《求索中奮進:深圳住房制度改革與實踐》是2017年5月1日中國社會科學出版社出版的圖書,作者是陳藹貧。2
男子用錘子鑿墻壁救出4只小貓今天的熱度非常高,現(xiàn)在也是在熱搜榜上了,那么具體的男子用錘子鑿墻壁救出4只
今天小編肥嘟來為大家解答以上的問題。重生之冰雪王座小說下載百度云,重生之冰雪王座相信很多小伙伴還不知
X 關閉
X 關閉