DEV Community

renanpyd profile picture

renanpyd

Engenheiro Sênior de IA e Dados | 14+ anos em Data Platforms, LLMs, RAG e Agentes de IA | Escrevo sobre IA em produção, MLOps, multi-cloud, Quantum Computing e curiosidades

Location São Paulo/SP - Brasil Joined Joined on  Personal website https://renanpyd.github.io/ github website

Education

Uninter - Ciência de Dados

Pronouns

Renan de Lima Andrade

Work

Consultor em Ciência da Informação - Soluções com Dados e IA.

Como aprendi Apache Spark — Parte 7: Memória — Executors, Driver, Cache, Spill e OutOfMemory
renanpyd profile

Como aprendi Apache Spark — Parte 7: Memória — Executors, Driver, Cache, Spill e OutOfMemory

#cluster #spark #python #bigdata
1
Comments
16 min read
Como aprendi Apache Spark — Parte 6: Spark SQL e DataFrames — do código ao plano de execução
renanpyd profile

Como aprendi Apache Spark — Parte 6: Spark SQL e DataFrames — do código ao plano de execução

#pyspark #dataengineering #bigdata #cluster
Comments
15 min read
Como aprendi Apache Spark — Parte 5: Joins — Shuffle, Broadcast e estratégias de execução
renanpyd profile

Como aprendi Apache Spark — Parte 5: Joins — Shuffle, Broadcast e estratégias de execução

#dataengineering #bigdata #spark #cluster
Comments
14 min read
Como aprendi Apache Spark — Parte 4: Shuffle — onde a performance começa a ficar avançada
renanpyd profile

Como aprendi Apache Spark — Parte 4: Shuffle — onde a performance começa a ficar avançada

#dataengineering #bigdata #pyspark #spark
Comments
13 min read
Como aprendi Apache Spark — Parte 3: Partições, paralelismo e performance
renanpyd profile

Como aprendi Apache Spark — Parte 3: Partições, paralelismo e performance

#dataengineering #bigdata #pyspark #spark
Comments
13 min read
Próximo: Parte 2 — Por dentro da arquitetura do Apache Spark: Driver, Executors, Jobs, Stages e Tasks
renanpyd profile

Próximo: Parte 2 — Por dentro da arquitetura do Apache Spark: Driver, Executors, Jobs, Stages e Tasks

#pyspark #bigdata #dataengineering #spark
Comments
10 min read
Como aprendi Apache Spark — Parte 1: Por que o Spark mudou o processamento de Big Data
renanpyd profile

Como aprendi Apache Spark — Parte 1: Por que o Spark mudou o processamento de Big Data

#spark #dataengineering #bigdata #python
1
Comments
7 min read
Como aprendi Apache Spark: revisitando uma jornada pela Engenharia de Dados
renanpyd profile

Como aprendi Apache Spark: revisitando uma jornada pela Engenharia de Dados

#spark #bigdata #dataengineering #opensource
1
Comments
4 min read
loading...