ล่าสุด GitLab ได้ประกาศแยกตัว (spin out) แพลตฟอร์มเครื่องมือ ELT (Extract, Load, Trasnform) opensource ที่มีชื่อว่า Meltano ให้กลายเป็นธุรกิจแยกตัวออกไป ด้วยการสนับสนุนการเงินจากนักลงทุน VC และ angel มากมาย รวมทั้ง GV ของทาง Alphabet ด้วย
โดยบริษัท Developer Operations (DevOps) นี้ได้เริ่มเปิดตัว Meltano ตั้งแต่เมื่อปี 2018 โดยมีการปรับเปลี่ยนเรื่อยมาจนกระทั่งกลายมาเป็นแพลตฟอร์ม opensource สำหรับการทำการรวบรวมข้อมูล (data integration) และการแปลงข้อมูล (data transformation)
ในยุค data stack สมัยใหม่นั้นมักจะมีการใช้งานเครื่องมือที่หลากหลาย ตั้งแต่การดึงและย่อยข้อมูลจนกระทั่งการจัดเก็บข้อมูลเป็น data warehouse ซึ่งทำให้บริษัทต้องมีการจัดเก็บข้อมูลดิบ (raw data) ย้ายข้อมูลระหว่างระบบไปมา รวมทั้งการแปลงข้อมูลให้อยู่ในรูปแบบที่สามารถใช้งานได้มากขึ้น ที่จะสามารถนำมาสืบค้น query เพื่อสร้าง insight บางอย่างได้ ทั้งนี้ ข้อมูลนี้จะสามารถนำมาแปลง (transform) ก่อนจะจัดเก็บเข้าสู่ data warehouse ด้วยกระบวนการการทำ Extract, Transform, Load (ETL) นั่นเอง หากแต่สิ่งดังกล่าวนี้อาจจะกลายเป็น”แนวทางเก่า”ไปแล้ว เมื่อที่จัดเก็บข้อมูลนั้นมีราคาที่แพงขึ้นและการแปลงข้อมูลนั้นอาจจะทำงานค่อนข้างช้ากว่าที่ต้องการ
ดังนั้น ตัวเลือกสมัยใหม่คือการแปลงข้อมูลแบบ on-demand ได้โดยตรงจากใน data warehouse เพื่อทำการ ELT ซึ่งจะทำได้เร็วกว่าเดิม หากแต่ต้องการพลังในการประมวลผลที่มากขึ้น อย่างเช่น data warehouse ที่เป็นแบบ cloud-based อย่างเช่น Databricks, Snowflake, BigQuery ของ Google หรือ Redshift ของ Amazon
“ความท้าทายครั้งใหญ่ในแนวทางการทำ ETL แบบเก่า คือถ้าหาก Business Logic หรือแนวทางการแปลงข้อมูลนั้นจะต้องเปลี่ยนไป คุณจะต้อง re-extract ข้อมูลออกมาใหม่ทั้งหมด ซึ่งจะทำให้ต้องเสียเวลาอย่างมาก” Meltano CEO คุณ Douwe Maan กล่าว “ด้วยโซลูชันจัดเก็บข้อมูลที่มีราคาถูกกว่า และ ‘big data’ ที่แพร่หลายมากขึ้น รูปแบบ ELT จะกลายเป็นแนวทางแบบทั่วไป”
Source : https://venturebeat.com/2021/06/30/gitlab-spins-out-open-source-data-integration-platform-meltano/