티스토리

세상의 모든 데이터

검색하기

블로그 홈

세상의 모든 데이터

allofdater.tistory.com/m

데이터왕 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

BFS 알고리즘 기초 설명 : BFS(너비 우선 탐색) 알고리즘은 그래프나 트리에서 한 노드로부터 시작하여 인접한 모든 노드를 먼저 방문하는 알고리즘입니다. 이 알고리즘은 큐(queue)를 사용하여 구현됩니다. 큐에는 방문할 노드들이 차례대로 저장되어 있으며, 먼저 들어온 노드를 먼저 방문합니다. BFS의 구체적인 동작 과정 1. 시작 노드를 큐에 넣고 방문 여부를 표시합니다. 2. 큐가 빌 때까지 다음 과정을 반복합니다. - 큐에서 하나의 노드를 꺼냅니다. - 해당 노드의 인접한 노드들 중 방문하지 않은 노드들을 큐에 넣고 방문 여부를 표시합니다. 3. 큐가 비면 탐색을 종료합니다. BFS 알고리즘을 파이썬으로 구현한 예시 --------------------------------------------------------.. 공감수 0 댓글수 1 2024. 3. 16.
마이그레이션 or 마이그레이트시 "No changes detected". 간혹 프로젝트 생성 후 마이그레이션 폴더 자체가 없을수 있다. 1. 장고 쉘 접속 후 2. ls 입력 후 manage.py 파일 있는지 확인 3. ./manage.py makemigrations project(or project_api) 4. 이제 마이그레이션 폴더 생성돼서, 정상동작할거다. 공감수 0 댓글수 0 2024. 2. 9.
ML 옵스가 하는일 AI 앱 workflow 데이터 수집(데이터엔지니어) 모델개발(머신러닝 엔지니어) 모델운영(백엔드 엔지니어) 어플/서비스 데이터 수집 테크기업 데이터 : 유저(로그, 이미지, 글) ex) 페이스북, 아마존, 애플, 넷플릭스, 구글 데이터가 쌓이는 속도가 비교적 빠름 비테크기업 데이터 : 센서, 제품사진 ex) 삼성, 현대, lg, sk 모델 개발과정 문제정의 : 어떤 질문에 어떤 답을 하는 챗봇을 만들까? 평가지표설정 : 챗봇의 대답을 잘했는지 못했는지 어떻게 판단? 데이터수집 : 머신러닝, 데이터엔지니어의 소통 증가. ML 모델링 평가 결과 도출 시간 오래걸리는경우 : 크랙테스트의 경우, 사람이 직접확인하며 라벨링을 해야해서 시간이 걸림 문제가 있을경우 재학습까지 진행하는게 MLOPS의 역할 ML 옵스.. 공감수 0 댓글수 1 2024. 2. 5.
UDF 실습 In [1]: !pip install pyspark==3.3.1 py4j==0.10.9.5 Collecting pyspark==3.3.1 Downloading pyspark-3.3.1.tar.gz (281.4 MB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 281.4/281.4 MB 2.9 MB/s eta 0:00:00 Preparing metadata (setup.py) ... done Collecting py4j==0.10.9.5 Downloading py4j-0.10.9.5-py2.py3-none-any.whl (199 kB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 199.7/199.7 kB 15.6 MB/s eta 0:00:00 B.. 공감수 0 댓글수 0 2024. 1. 28.
UDF(User Defined Function) 사용해보기. UDF (User Defined Function): 개요:** - **UDF (User Defined Function):** 사용자가 직접 정의한 함수로, Spark에서는 DataFrame이나 SQL에서 사용할 수 있는 사용자 정의 함수를 의미합니다. - 데이터프레임의 경우 .withColumn 함수와 같이 사용하는 것이 일반적, spark SQL에서도 사용 가능함 - UDF를 사용하면 개발자는 Spark의 기본 제공 함수 외에도 자신만의 사용자 정의 함수를 생성하여 데이터 처리 작업을 수행할 수 있습니다. 종류:** - **Scalar 함수:** - 개별 데이터 레코드에 적용되는 함수로, 각 레코드에 대해 개별적으로 값을 반환합니다. - 예시: `UPPER`, `LOWER`와 같은 문자열 처리 함수 등.. 공감수 0 댓글수 1 2024. 1. 25.
spark sql에서 join JOIN (조인) 개요: 정의: - SQL 조인은 두 개 이상의 테이블을 공통 필드를 기반으로 결합하는 작업입니다. - 이를 통해 서로 다른 테이블에 분산되어 있는 정보를 통합하고, 복잡한 쿼리를 수행할 수 있습니다. 스타 스키마와의 관련:** - 스타 스키마(Star Schema)는 데이터 웨어하우스에서 사용되는 스키마 중 하나로, 중앙의 대형 테이블(사실상 팩트 테이블)이 여러 작은 차원 테이블들과 조인하여 사용됩니다. LEFT와 RIGHT 테이블:** - 조인에서 왼쪽 테이블을 **LEFT**라고 하고, 오른쪽 테이블을 **RIGHT**라고 합니다. 조인 결과:** - JOIN의 결과는 양쪽의 필드를 모두 가진 새로운 테이블을 생성합니다. - 조인의 방식에 따라 선택되는 레코드와 채워지는 필드가 달.. 공감수 1 댓글수 0 2024. 1. 25.
spark SQL SQL은 빅데이터 세상에서도 중요! 데이터 분야에서 일하고자 하면 반드시 익혀야할 기본 기술 구조화된 데이터를 다루는한 SQL은 데이터 규모와 상관없이 쓰임 모든 대용량 데이터 웨어하우스는 SQL 기반 - Redshift, Snowflake, BigQuery - Hive/Presto Spark도 예외는 아님 - Spark SQL이 지원됨 Spark SQL이란? 구조화된 데이터 처리:** Spark SQL은 주로 구조화된 데이터를 다루기 위해 설계되었습니다. 이는 표 형식의 데이터로써, 예를 들어 CSV 파일, Parquet 파일 등과 같은 데이터 형식을 포함합니다. SQL 처리:** Spark SQL을 사용하면 SQL 쿼리를 통해 데이터프레임 작업을 수행할 수 있습니다. 데이터프레임에 테이블 이름을 할당.. 공감수 0 댓글수 1 2024. 1. 25.
spark 데이터프레임 실습5 In [ ]: !pip install pyspark==3.3.1 py4j==0.10.9.5 In [ ]: !cd /usr/local/lib/python3.8/dist-packages/pyspark/jars && wget https://s3.amazonaws.com/redshift-downloads/drivers/jdbc/1.2.20.1043/RedshiftJDBC42-no-awssdk-1.2.20.1043.jar --2023-01-16 23:20:12-- https://s3.amazonaws.com/redshift-downloads/drivers/jdbc/1.2.20.1043/RedshiftJDBC42-no-awssdk-1.2.20.1043.jar Resolving s3.amazonaws.com (s3... 공감수 0 댓글수 0 2024. 1. 24.
spark 데이터프레임 실습4 이탤릭체 텍스트 In [2]: !pip install pyspark==3.3.1 py4j==0.10.9.5 Collecting pyspark==3.3.1 Downloading pyspark-3.3.1.tar.gz (281.4 MB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 281.4/281.4 MB 4.3 MB/s eta 0:00:00 Preparing metadata (setup.py) ... done Collecting py4j==0.10.9.5 Downloading py4j-0.10.9.5-py2.py3-none-any.whl (199 kB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 199.7/199.7 kB 16.7 MB/s eta .. 공감수 0 댓글수 0 2024. 1. 24.
spark 데이터프레임 실습3 In [1]: !pip install pyspark==3.3.1 py4j==0.10.9.5 Collecting pyspark==3.3.1 Downloading pyspark-3.3.1.tar.gz (281.4 MB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 281.4/281.4 MB 4.3 MB/s eta 0:00:00 Preparing metadata (setup.py) ... done Collecting py4j==0.10.9.5 Downloading py4j-0.10.9.5-py2.py3-none-any.whl (199 kB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 199.7/199.7 kB 10.0 MB/s eta 0:00:00 B.. 공감수 0 댓글수 0 2024. 1. 24.
spark 데이터프레임 실습2 실습2 - 헤더 없는 CSV 파일처리하기 입력 데이터: 헤더 없는 CSV 파일 데이터에 스키마 지정하기(cust_id, item_id, amount_spent를 데이터 컬럼으로 추가) cust_id를 기준으로 amount_spent의 합을 계산 In [ ]: !pip install pyspark==3.3.1 py4j==0.10.9.5 In [2]: from pyspark.sql import SparkSession # SparkSession은 PySpark에서 데이터를 읽고 처리하는 데 사용되는 진입점(entry point)입니다 # .master("local[*]"): Spark 애플리케이션을 로컬 모드로 실행하며, 가능한 모든 코어를 사용합니다. # [*]는 사용 가능한 모든 코어를 의미합니다. # ... 공감수 0 댓글수 0 2024. 1. 23.
spark 데이터프레임 실습1 PySpark 설치 실습 내용 헤더가 없는 CSV 파일 처리하기 데이터에 스키마 지정하기 SparkConf 사용해보기 measure_type값이 TMIN인 레코드 대상으로 stationId별 최소 온도 찾기 PySpark 설치 In [1]: !pip install pyspark==3.3.1 py4j==0.10.9.5 Collecting pyspark==3.3.1 Downloading pyspark-3.3.1.tar.gz (281.4 MB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 281.4/281.4 MB 3.8 MB/s eta 0:00:00 Preparing metadata (setup.py) ... done Collecting py4j==0.10.9.5 Download.. 공감수 0 댓글수 0 2024. 1. 23.
spark 기초 실습(colab) PySpark을 로컬머신에 설치하고 노트북을 사용하기 보다는 머신러닝 관련 다양한 라이브러리가 이미 설치되었고 좋은 하드웨어를 제공해주는 Google Colab을 통해 실습을 진행한다. 이를 위해 pyspark과 Py4J 패키지를 설치한다. Py4J 패키지는 파이썬 프로그램이 자바가상머신상의 오브젝트들을 접근할 수 있게 해준다. Local Standalone Spark을 사용한다. PySpark 설치¶ In [1]: !pip install pyspark==3.3.1 py4j==0.10.9.5 Collecting pyspark==3.3.1 Downloading pyspark-3.3.1.tar.gz (281.4 MB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 281.4/281.. 공감수 0 댓글수 0 2024. 1. 19.
spark 데이터 구조 RDD, DataFrame, Dataset (Immutable Distributed Data) 2016년에 DataFrame과 Dataset은 하나의 API로 통합됨 모두 파티션으로 나뉘어 Spark에서 처리됨 RDD (Resilient Distributed Dataset): - **로우레벨 데이터:** RDD는 클러스터 내의 서버에 분산된 로우레벨 데이터를 지칭합니다. - **스키마 없음:** 레코드별로 존재하지만 스키마가 존재하지 않습니다. 따라서 구조화된 데이터나 비구조화된 데이터를 모두 지원합니다. DataFrame과 Dataset: DataFrame: - RDD 위에 만들어지는데, 필드 정보를 갖고 있습니다. 이는 테이블 형태로 생각할 수 있습니다. - 구조화된 데이터를 다룰 때 유용하며, 스키.. 공감수 0 댓글수 0 2024. 1. 19.
spark 데이터 처리 spark 데이터 시스템 아키텍처 데이터 병렬 처리 가능성 조건 데이터 분산 - **하둡 맵의 데이터 처리 단위:** 하둡에서는 데이터를 먼저 분산시켜야 합니다. 맵리듀스에서의 데이터 처리 단위는 디스크에 있는 데이터 블록으로, 일반적으로 128MB 크기입니다. 이 크기는 `hdfs-site.xml`의 `dfs.block.size` 프로퍼티에 의해 결정됩니다. - **Spark에서의 파티션:** Spark에서는 데이터를 파티션으로 구분합니다. 기본적으로 파티션의 크기도 128MB(조절 가능)이며, 이는 `spark.sql.files.maxPartitionBytes` 프로퍼티에 의해 설정됩니다. 이 프로퍼티는 주로 HDFS 등에 있는 파일을 읽어올 때 적용됩니다. 동시 처리 - **맵리듀스에서의 처리:**.. 공감수 0 댓글수 0 2024. 1. 18.
Spark 프로그램 실행 환경 Spark 프로그램 실행 환경 개발/테스트/학습 환경 (Interactive Clients):** - **노트북 (주피터, 제플린):** 주피터 노트북이나 제플린과 같은 대화형 노트북 환경에서 Spark 코드를 작성하고 실행할 수 있습니다. 이는 데이터 탐색, 실험 및 작은 규모의 작업에 유용합니다. - **Spark Shell:** Spark의 REPL(Read-Eval-Print Loop) 환경으로, 쉘에서 실시간으로 Spark 코드를 작성하고 실행할 수 있습니다. 프로덕션 환경 (Submit Job):** - **spark-submit (command-line utility):** 가장 일반적인 방법으로, Spark 애플리케이션을 제출하여 클러스터에서 실행합니다. 대규모의 프로덕션 운영에 적합합니다.. 공감수 0 댓글수 0 2024. 1. 18.
spark 기초 spark 등장 버클리 대학의 AMPLab에서 아파치 오픈소스 프로젝트로 2013년 시작 나중에 Databricks라는 스타트업 창업 하둡의 뒤를 잇는 2세대 빅데이터 기술 1) YARN등을 분산환경으로 사용 2) Scala로 작성됨 빅데이터 처리 관련 *다양한* 기능 제공 spark 3.0의 구성 **Spark Core:** - Apache Spark의 핵심 엔진으로, 분산 데이터 처리의 기본 기능을 담당합니다. - 클러스터에서 데이터를 로딩하고, 분산 데이터셋을 생성하며, 다양한 연산 및 변환을 수행하는 데 사용됩니다. **Spark SQL:** - 구조화된 데이터 처리를 위한 모듈로, SQL 쿼리를 사용하여 데이터에 대한 쿼리 및 분석을 수행합니다. - Hive 쿼리 및 데이터 프레임 API를 지원.. 공감수 0 댓글수 0 2024. 1. 18.
맵리듀스(MapReduce) 문제점 1. 맵리듀스 프로그래밍 문제점 **생산성이 떨어짐. 데이터 모델과 오퍼레이션에 제약이 많음:** - **제한된 프로그래밍 모델:** MapReduce는 간단하고 병렬화하기 쉽지만, 일부 복잡한 문제에 대한 표현력이 제한되어 있습니다. 일부 알고리즘은 MapReduce로 표현하기 어려울 수 있습니다. - **데이터 모델 제약:** 기본적으로 Key-Value 쌍에 기반한 데이터 모델을 사용하며, 이는 모든 문제에 적합하지 않을 수 있습니다. **모든 입출력이 디스크를 통해 이뤄짐:** - **입출력 오버헤드:** MapReduce는 중간 결과를 디스크에 저장하고, 그 결과를 다시 읽어와서 처리하는 방식을 사용합니다. 이로 인해 디스크 I/O 오버헤드가 발생할 수 있습니다. - **성능 저하:** 대용량 .. 공감수 0 댓글수 0 2024. 1. 18.
하둡 설치 +맵리듀스(wordcount) 실습 하둡(Hadoop)은 대용량 데이터를 처리하기 위한 오픈 소스 분산 컴퓨팅 프레임워크입니다. 아래는 간단한 가이드라인을 제공하여 Ubuntu 리눅스 서버에 Hadoop 3.0을 의사분산 모드로 설치하는 방법입니다. 주어진 정보를 기반으로 설치를 진행해보세요. (더 자세한건 : https://github.com/apache/hadoop) **준비 사항:** 1) AWS 계정 및 EC2 인스턴스 (t2.medium) 보유. 2) Ubuntu 서버에 자바 8 설치. 1. 우분투 어카운트에 로그인( AWS 계정 및 EC2 인스턴스 계정) 2. Ubuntu 서버에 자바 8 설치:** ```bash sudo apt update sudo apt install openjdk-8-jdk-headless #유저추가 sud.. 공감수 0 댓글수 0 2024. 1. 18.
MapReduce(맵리듀스) 프로그래밍 맵리듀스(MapReduce) 프로그래밍의 특징 **불변성 데이터 셋:** - 맵리듀스에서는 데이터 셋이 Key-Value 쌍의 집합으로 구성되며, 이 데이터 셋은 변경 불가능한(immutable) 특성을 가집니다. 즉, 한 번 생성된 데이터는 수정이 불가능하며 새로운 데이터를 생성해야 합니다. 이는 데이터 일관성을 유지하고 분산 처리를 간편하게 만듭니다. **Map과 Reduce 오퍼레이션:** - 데이터 조작은 맵(Map)과 리듀스(Reduce) 두 개의 기본 오퍼레이션으로 이루어집니다. - **맵 오퍼레이션:** 입력 데이터의 각 요소에 대해 사용자가 정의한 함수(map 함수)를 적용하여 Key-Value 쌍을 생성합니다. 각 입력 데이터는 독립적으로 처리됩니다. - **리듀스 오퍼레이션:** 맵 오.. 공감수 0 댓글수 0 2024. 1. 17.
YARN 하둡 2.0(yarn 1.0) : 분산 컴퓨팅 시스템 분산 컴퓨팅 시스템은 여러 대의 컴퓨터를 활용하여 데이터 처리 또는 계산 작업을 수행하는 시스템을 의미 하둡 2.0은 분산 컴퓨팅을 지원하는 프레임워크 중 하나로, 그 중요한 기능 중 하나가 YARN(Yet Another Resource Negotiator)이라 불리는 리소스 매니저 하둡 2.0의 구성요소 리소스 매니저 (Resource Manager): 하둡 2.0에서 중요한 역할을 하는 부분 중 하나입니다. 리소스 매니저는 전체 클러스터에서 사용 가능한 자원을 효율적으로 관리하고, 각각의 작업이 필요로 하는 자원을 할당합니다. 이는 Job Scheduler와 Application Manager로 구성되어 있습니다. 1) Job Scheduler: .. 공감수 0 댓글수 0 2024. 1. 16.
하둡 기초 하둡 등장배경 The Google File System 논문 에서 분산파일 시스템에 관한 내용 MapReduce: Simplified Data Processing on Large Cluster 에서 분산컴퓨팅 시스템 제시 Nutch라는 오픈소스 검색엔진의 하부 프로젝트로 구체적인 시작 하둡의 등장: 2006년에 아파치 톱레벨 별개 프로젝트로 떨어져나옴 하둡이란? 1. 하둡은 커뮤디티 하드웨어를 활용한 대규모 데이터를 분산 저장하고 처리하는 오픈 소스 소프트웨어 플랫폼. 2. 다수의 노드로 구성된 클러스터 시스템이 마치 하나의 거대한 컴퓨터처럼 동작 3. Hadoop Distributed File System (HDFS)를 통해 데이터를 분산 저장하며, MapReduce를 사용하여 분산 컴퓨팅을 수행. 4.. 공감수 0 댓글수 0 2024. 1. 15.
빅데이터 기초 빅데이터 정의1 : 서버 한대로 처리할 수 없는 규모의 데이터 분산환경에서는 scale-up(사양증가)를 하다가 scale-out을 하는게 일반적. + 분산환경 : 여러 컴퓨터 또는 서버가 네트워크를 통해 연결되어 작업을 협력적으로 수행하는 환경 정의2 : 기존의 소프트웨어(오라클,mysql)로는 처리할 수 없는 규모의 데이터 오라클,mysql,pandas로 처리할 데이터가 너무크면 spark를 사용 정의3 : 4V (Volume, Velocity, Variety, Varecity) Volume: 데이터의 크기가 대용량? Velocity: 데이터의 처리 속도가 중요? Variety: 구조화/비구조화 데이터 둘다? Veracity: 데이터의 품질이 좋은지? 빅데이터 예 빅데이터(디바이스데이터) 예 : 모바.. 공감수 0 댓글수 0 2024. 1. 15.
하둡의 등장과, spark로의 흐름 하둡과 spark로 흐름 요약 대용량 데이터 처리를 위한 오픈소스 기술인 하둡이 등장하면서 데이터 처리 방식이 혁신되었습니다. 하둡은 분산 파일 시스템과 분산 컴퓨팅 시스템으로 구성되어 있으며, 핵심 구성 요소로는 HDFS와 맵리듀스/YARN이 있습니다. 맵리듀스 프로그래밍은 제약이 많아 데이터 처리가 어려웠고, 이로 인해 SQL이 다시 주목받게 되었습니다. +맵리듀스의 제약 : 병렬 처리를 위해 데이터를 키-값 쌍으로 변환해야 한다. 이로 인해 복잡한 작업을 수행하기가 어려워지고, 비즈니스 로직을 표현하는 데에도 한계가 있다. 또한 맵리듀스는 반복적인 계산을 표현하기에는 적합하지 않아, 반복이 많은 작업에서 효율성이 떨어진다. SQL은 데이터 처리를 보다 직관적으로 수행할 수 있도록 도와주는 장점을 가.. 공감수 0 댓글수 0 2024. 1. 15.
airflow.cfg [core] # Airflow 파이프라인이 존재하는 폴더입니다. 대부분 코드 저장소의 하위 폴더일 것입니다. # 이 경로는 절대 경로여야 합니다. dags_folder = /opt/airflow/dags # 호스트 이름을 해결하는 데 사용되는 호출 가능한 경로를 제공합니다. # 형식은 "package.function"입니다. # 예: 기본값 "airflow.utils.net.getfqdn"은 patched 된 # 버전의 socket.getfqdn()의 결과를 나타냅니다 - https://github.com/python/cpython/issues/49254. # # 함수에서 인수가 필요하지 않아야 합니다. # 호스트 이름으로 IP 주소를 사용하려면 값으로 ``airflow.utils.net.get_host.. 공감수 1 댓글수 0 2024. 1. 9.
(airflow) docker-compose.yaml 파일 심층 분석 # CeleryExecutor와 Redis, PostgreSQL을 사용하여 기본적인 Airflow 클러스터 구성입니다. # 이 구성은 환경 변수 또는 .env 파일을 사용한 기본 구성을 지원합니다. # 다음 변수가 지원됩니다: # # AIRFLOW_IMAGE_NAME - Airflow를 실행하는 데 사용되는 Docker 이미지 이름. # 기본값: apache/airflow:2.5.1 # AIRFLOW_UID - Airflow 컨테이너의 사용자 ID # 기본값: 50000 # AIRFLOW_PROJ_DIR - 모든 파일이 볼륨을 설정할 기본 경로. # 기본값: . # 이러한 구성은 대부분의 경우 독립적인 테스트/시험 모드에서 Airflow를 실행할 때 유용합니다. # # _AIRFLOW_WWW_USER_U.. 공감수 0 댓글수 0 2024. 1. 8.
airflow 컨테이너 올릴때 dockerfile 세팅 FROM apache/airflow:2.5.1 USER root RUN apt-get update \ && apt-get install -y --no-install-recommends \ vim \ && apt-get autoremove -yqq --purge \ && apt-get clean \ && rm -rf /var/lib/apt/lists/* Dockerfile 내에서 패키지를 설치하고 이미지를 최적화 1. `apt-get update`: 패키지 목록을 업데이트합니다. 2. `apt-get install -y --no-install-recommends vim`: vim 패키지를 설치하고 권장 패키지를 설치하지 않도록 합니다. 3. `apt-get autoremove -yqq --purge`: 불.. 공감수 0 댓글수 0 2024. 1. 8.
실리콘밸리 개발자가 말하는 개발자 취업 실리콘밸리 개발자 한기용님의 강의를 듣고 요약 +aws clound.자격증 추천할만함 주니어 : 가능성을 중점으로 시니어 : 경험이 더 중요, 레퍼런스 체크 데이터 직군 내에서 전환 데이터 분석가, 데이터엔지니어, 데이터사이언티스트 회사내에서 직무 전환이 수월하고 일반적 일반적인 인터뷰(면접) 프로세스 이력서 작성 면접 or 코딩테스트 레퍼런스체크 협상 이력서 자기소개(아주 짧게) : 지원자의 강점, 차별성. 회사와 지원하는 업무에 맞게, 경력자면 비지니스 임팩트(매출상승등) 경력 : 최신순으로, 어떤 역할 결과를 수치로 기술 기술/자격증 : 카테고리화 해서 눈에 들어오게, 협업툴(git,slack 등) 첫페이지가 제일 중요. 흥미를 끌어야함 스킬셋 한눈에 잘보이게 정리하기 프로젝트 경험은 최대한 이해하.. 공감수 0 댓글수 0 2024. 1. 5.
[airflowdbt 실습] 각종 summary 테이블 제작 실습 airflowdbt란 Apache Airflow와 dbt(Data Build Tool)를 함께 사용하여 데이터 웨어하우스에서 ETL(Extract, Transform, Load) 작업을 수행하기 위한 도구 또는 플러그인 mau(월간사용자정보) 코드 from airflow import DAG from airflow.operators.python import PythonOperator from airflow.models import Variable from airflow.hooks.postgres_hook import PostgresHook from datetime import datetime from datetime import timedelta from airflow import AirflowExcept.. 공감수 0 댓글수 0 2024. 1. 5.
[airflow 실습] redshift_summary.py 분석 # 필요한 모듈과 클래스 임포트 from airflow import DAG from airflow.utils.decorators import apply_defaults from airflow.exceptions import AirflowException from airflow.hooks.postgres_hook import PostgresHook from airflow.operators.python_operator import PythonOperator import logging from glob import glob # DAG에서 사용할 함수: 주어진 디렉토리의 JSON 파일을 읽어들이는 함수 def load_all_jsons_into_list(path_to_json): # configs 리스트 초기화.. 공감수 0 댓글수 0 2024. 1. 5.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.