Meu Primeiro Projeto de Engenharia de Dados: ETL Simples com Dados de Táxi de NYC

redes-vbluuiza (1).png

Este foi meu primeiro projeto de engenharia de dados, focado em construir um pipeline ETL A ideia foi manter algo simples, só para entender o fluxo completo de ETL na prática: extrair dados brutos, validar qualidade, transformar informações e carregar o resultado final para análise.

Desenho da Arquitetura

Dataset: NYC Yellow Taxi Trips

Link (Kaggle): https://www.kaggle.com/datasets/elemento/nyc-yellow-taxi-trip-data

Repositório no github: https://github.com/vbluuiza/YT-batch-ETL-NYC--Yellow-Taxi-Data-Engineer-First-Project

Instalação WSL

Instalação UV – Como fazer

Sobre este dataset

Tipo de veículo: apenas Yellow Taxis
Período: janeiro/2015 e janeiro–março/2016
Localização: Nova York, EUA
Fonte: NYC Taxi & Limousine Commission (TLC)

Estrutura do dataset

Coluna	Tipo	Descrição
VendorID	int	Provedor TPEP
(1 = Creative Mobile Technologies, 2 = VeriFone Inc.)
tpep_pickup_datetime	datetime	Data/hora de início (taxímetro ativado)
tpep_dropoff_datetime	datetime	Data/hora de fim (taxímetro desativado)
passenger_count	int	Número de passageiros
trip_distance	float	Distância (milhas)
pickup_longitude	float	Longitude do pickup
pickup_latitude	float	Latitude do pickup
RatecodeID	int	Código de tarifa
(1 = Standard, 2 = JFK, 3 = Newark, 4 = Nassau/Westchester, 5 = Tarifa negociada, 6 = Corrida em grupo)
store_and_fwd_flag	string	Registro armazenado antes de envio (Y = sim, N = não), quando não havia conexão
dropoff_longitude	float	Longitude do dropoff
dropoff_latitude	float	Latitude do dropoff
payment_type	int	Forma de pagamento
(1 = Cartão de crédito, 2 = Dinheiro, 3 = Sem cobrança, 4 = Disputa, 5 = Desconhecido, 6 = Corrida cancelada)
fare_amount	float	Tarifa ($)
extra	float	Extras/sobretaxas (inclui $0,50 e $1,00 de pico/noturno)
mta_tax	float	Imposto MTA $0,50
improvement_surcharge	float	Sobretaxa de melhoria $0,30
tip_amount	float	Gorjeta (preenchida automaticamente para cartão; gorjeta em dinheiro não entra)
tolls_amount	float	Pedágios ($)
total_amount	float	Total cobrado ($), sem incluir gorjetas em dinheiro

Possibilidades de análise

Análise exploratória: distribuição de preços, distâncias e passageiros
Análise geográfica / clustering: padrões de demanda por coordenadas
Análise temporal / séries temporais: variações por hora, dia da semana e mês
Análise de preços: relação entre tarifa, distância, hora e gorjetas

Exemplo de registro:

VendorID	Pickup	Dropoff	Passageiros	Distância	Pickup (coords)	Dropoff (coords)	RatecodeID	Payment	Tarifa	Gorjeta	Total
1	2016-03-01 00:00:00	2016-03-01 00:07:55	1	2.50 milhas	(-73.977, 40.765)	(-74.004, 40.746)	1 (Standard)	1 (Cartão de crédito)	$9.00	$2.05	$12.3

Fluxo do pipeline (passo a passo)

Leitura do CSV
- Entrada: arquivo .csv (dados brutos)
- Carregamento para um DataFrame (pandas)
Validação de dados
- Checagens principais:
  - Conversão de datas de pickup e dropoff para datetime.
  - Verificação de valores nulos.
  - Regras de anomalia: distância, passageiros, tarifa, duração, coordenadas de pickup e coordenadas de dropoff fora da faixa de NYC.
- Resultado:
  - Base inicial: 12.210.952 registros e 19 colunas.
  - Nulos: nenhum valor nulo encontrado.
  - Distância inválida: 71.225 (0,58%).
  - Passageiros inválidos: 678 (0,0055524%).
  - Tarifa negativa: 4.581 (0,0375%).
  - Duração inválida: 109 (0,0008926%).
  - Pickup fora de NYC: 183.816 (1,51%).
  - Dropoff fora de NYC: 178.754 (1,46%).
Remoção (ou tratamento) de registros inválidos
- Estratégia usada:
  - Criação de uma máscara única de invalidez combinando todas as regras com operador OU.
  - Manutenção apenas dos registros válidos (filtro invertendo a máscara).
  - Resultado da limpeza: 255.326 registros removidos (2,09%), ficando 11.955.626 registros.
Transformações e criação de novas colunas
- Padronizações típicas:
  - Conversão e padronização temporal com colunas datetime.
  - Tratamento de divisão por zero em cálculos com replace de zero por nulo e preenchimento posterior com zero.
  - Conversão da coluna date para texto antes de salvar em Parquet.
  - Remoção das colunas originais de timestamp textual no load final.
- Novas colunas:
  - trip_duration_min, trip_speed_mph, revenue_per_mile, hour_of_day, date, day_of_week, tip_pct