[ElasticSearch] 使用 elasticsearch-dump 匯入/匯出 ES 資料,測試效能

[ElasticSearch] 使用 elasticsearch-dump 匯入/匯出 ES 資料,測試效能

最近在測試 ElasticSearch on Ceph 的效能,

正好之前有同事留下來的 elasticsearch-dump 的基準,

因此就用它來跑跑看吧~

 

執行下面指令先安裝 elasticdump:

npm install -g elasticdump

 

因為我的 ES 是使用 self-signed certificate,

在跑 elasticdump 時會有錯誤,因此要先執行這個指令,

忽略掉 TLS 認證錯誤:

export NODE_TLS_REJECT_UNAUTHORIZED=0

 

接著,我們可以試試從 ES 將所有的索引 (index) 都取出來:

elasticdump \
  --input="https://elastic:password@es-host:9200/*" \
  --output=all_indexes.json \
  --type=data \
  --limit=5000

 

也可以測試將資料寫回 ES 裡面:

elasticdump \
  --input=all_indexes.json \
  --output="https://elastic:password@es-host:9200" \
  --type=data \
  --limit=5000

 

輸出結果裡面會有資料的筆數,跟使用的時間相除一下,

就可以計算每秒可以處理幾筆資料。

當然這個數據會和每筆資料平均大小會有相關,

因此最好是用類似的資料來做測試比較囉~

 

參考資料:

(本頁面已被瀏覽過 8 次)

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料