0️⃣ 사전 공지

• 데이터 엔지니어링 트랙은 4기부터 ❗️신설❗️되어, 처음 운영되는 트랙입니다.
• 일정 인원(6명 이상) 이상이 모일 경우, 커리큘럼 2(강의)는 어렵다고 판단되어(동시 접속 불가능) **커리큘럼 1(책)**으로 진행됩니다.
• 커리큘럼 2(강의)로 진행될 경우, 강의 수강을 위한 ❗️**추가 비용**❗️(예상 금액 : 80000원…)이 부과될 수 있습니다.
• 이후에 트랙 진행 방식에 변경 사항이 존재할 수 있습니다.

1️⃣ ” 데이터 엔지니어링 “ 이란?

• 데이터를 잘 활용한 기업들의 성공 사례가 많아지면서 데이터의 활용가치에 대한 시장의 관심이 매우 높아졌습니다. 기업에 쌓이는 데이터의 양이 굉장히 많아지기 시작했고, 이렇게 형성된 거대한 데이터는 기존 데이터베이스(RDB)와 전통적 분석 방식을 통해서는 활용하기가 힘들어졌습니다. 이런 빅데이터 환경에서 데이터 인프라를 구축하고 관리하는 데이터 엔지니어링에 대한 관심이 커졌습니다.

• 데이터 엔지니어링은 데이터를 대규모로 수집, 저장 및 분석하기 위한 시스템을 설계하고 구축하는 일을 합니다

• 수많은 서비스에서 생산된 수많은 데이터를 모을 수 있도록 거대한 데이터 파이프라인을 설계, 구축하는 일을 합니다.

2️⃣  관련 채용 공고

데이터 엔지니어링 관련 채용 공고

3️⃣ 어떤 것을 배우나요?

• 오늘날의 데이터는 통합 프로세스를 자동화하고 쉽게 확장 가능하며, 실시간으로 스트리밍하는 아키텍처를 필요로 합니다.

• 저희 트랙에서는 **데이터 파이프라인 구축 및 데이터 처리 자동화**에 대해서 배울 예정입니다.

  

4️⃣ 커리큘럼 1

• 중간고사 시험기간을 기준으로 두 파트로 나눠서 진행됩니다.

  • PART 1 : 빅데이터를 지탱하는 기술 책으로 데이터 엔지니어링 분야의 전반적인 이론을 학습합니다.
  • PART 2 : Apache Airflow 기반의 데이터 파이프라인 책으로 이론에 대한 실습을 진행합니다.

  PART 1

  

  PART 2