Học trở thành Data Engineer

Quyển sách này với mục tiêu tổng hợp, xây dựng kiến thức cơ bản nhất đến nâng cao, từng công cụ và kỹ thuật, của một Data Engineer.

Datalearning dành cho ai

Nếu bạn là một lập trình viên Python, và muốn làm chủ data, muốn trở thành một Data Engineer, hay Data Science, đây sẽ là nơi dành cho bạn. Bạn sẽ phải cần kiến thức về lập trình (Python) và yêu thích xử lý dữ liệu.

TODO

• Dữ liệu thô

• Database và SQL

• Data Pipeline, Batch vs Stream processing

• Design Data Pipeline in G

• Data warehouse

• Word2vec

• Deploy simple deep learning classification web app.

• Docker / Kubernetes

Tài liệu

Sẽ khá lâu để Datalearning, bạn có thể tạm thời tham khảo các tài liệu về data engineer dưới đây.

• https://jupyter4edu.github.io/jupyter-edu-book/

• Mastering Python for Data Science

• Machine Learning cơ bản

• Popular Questions about the Data Engineering Career Path

Thư viện, frameworks đối với lĩnh vực Data Engineer:

• Open Source

  • Apache Airflow: Airflow is a platform to programmatically author, schedule and monitor workflows.

  • Apache Beam: Implement batch and streaming data processing jobs that run on any execution engine.

  • Apache Spark: is a unified analytics engine for large-scale data processing.

  • Kubeflow: The Machine Learning Toolkit for Kubernetes

• Cloud service

  • Cloud Dataflow - Stream & Batch Data Processing