![Engenharia de Dados [Cast]](https://is5-ssl.mzstatic.com/image/thumb/Podcasts122/v4/0c/ed/c0/0cedc00f-2a5c-8eaa-386a-332bd750151d/mza_7919355471337024993.jpg/250x250bb.jpg)
Afleveringen
-
No episódio de hoje Mateus Oliveira entrevistou Ananda Ellen (Engenharia de Dados), Leonardo Côco e Victor Grutner, integrantes do time de dados da One Way Solution.
Área de AnalyticsApache Spark para Iniciantes
Spark e Engenharia de Dados para Iniciantes, são tópicos extremamente relevantes nos dias de hoje, afinal, todos nós fomos iniciantes um dia.
Nesse bate-papo conversamos sobre quais desafios e conquistas temos durante o aprendizado de Apache Spark.
Não somente isso, falamos também sobre a área de Analytics na visão do Leonardo e do Victor, consultores da One Way Solution.
Neste podcast iremos falar sobre:Esse podcast tem como principal intuito mostrar os desafios que os profissionais iniciantes na área de dados tem em comum, e como você pode se sobressair nestes desafios, com experiências de quem já passou por isso.
Luan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje Mateus Oliveira entrevistou Alessandro Gums (Analytics Engineer), Bruno Bento (Analytics Engineer) e Franklin Ferreira (Arquiteto de Dados), integrantes do time de dados da Clicksign.
Analytics EngineerModelagem de Dados nas empresas
Analytics Engineer se tornou uma grande thread do mercado e também uma necessidade nas empresas de hoje. fazer o split das responsabilidades de uma determinada área é comum e isso tinha que acontecer na engenharia de dados, devido a complexidade dos processos e necessidades de especialistas.
Neste bate papo iremos falar sobre:Esse podcast tem como principal intuito mostrar o dia-a-dia dos Analytics Engineer nas empresas para que você, aspirante a esta área, entenda o exercicio da profissão na realidade.
Além disso, queremos demonstrar o quanto esta profissão vem crescendo e expandindo em grandes empresas como Clicksign.
Linkedin do time Clicksign
Franklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/
Alessandro Gums (Analytics Engineer):https://www.linkedin.com/in/alessandro-gums/
Bruno Bento (Analytics Engineer):https://www.linkedin.com/in/bruno-pereira-bento/Luan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
Zijn er afleveringen die ontbreken?
-
No episódio de hoje, Mateus Oliveira entrevistam Franklin Ferreira (Arquiteto de Dados) e Vinicius Gasparaini (Engenheiro de Dados), ambos integrantes do time de dados da Clicksign.
Arquiteturas de DadosEngenharia de Dados
Arquitetura de Dados & Engenharia de Dados, são áreas que estão ganhando muita tração nos últimos anos, entender como elas funcionam dentro de uma empresas data-driven é, não só um dos melhores metódos de estudo de mercado, como também escolha de qual caminho seguir.
Neste bate papo iremos falar sobre:Esse podcast tem como principal intuito entender melhor como criar e evoluir arquiteturas de dados para melhor atender o negócio e como a engenharia de dados é usada dentro das grandes empresas, indo além de tecnologias e falando de metodologias e processos.
Linkedin do time Clicksign
Franklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/
Vinicius Gasparini (Engenharia de Dados): https://www.linkedin.com/in/vngasp/ (editado)Luan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje, Leonardo Souza & Mateus Oliveira entrevistam Filipe Mubarac (Analista de dados), Acácio Komesu (Analista de BI), Levi de Carvalho (Analista de Dados) e Franklin Ferreira (Arquiteto de Dados), integrantes do time de dados e analytics da Clicksign.
Data Analytics;Analytics e Business.
Data Analytics sempre foi um das principais áreas dentro de uma empresa. Nos últimos anos, com certeza, passou de uma área de apoio a tomada de decisão a uma área core da empresa, pois o mundo hoje é data-driven, e tornou-se uma questão competitiva produzir e ler dados em grande escala, além de analisá-los para decisões usando Machine Learning, NLP e Generativa.
Neste bate-papo iremos falar sobre:
Este podcast tem como principal objetivo mostrar como as empresas constroem suas áreas de dados e analytics no dia a dia, como se tornar um profissional atrativo para empresas data-driven como a Clicksign, e como alinhar tudo com o business da empresa.
Linkedin do time Clicksign
Franklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/
Filipe Mubarac (Analista de Dados): https://www.linkedin.com/in/filipemubarac/
Acácio Komesu (Analista de BI): https://www.linkedin.com/in/ac%C3%A1cio-komesu-14b244b5/
Levi de Carvalho (Analista de Dados) :https://www.linkedin.com/in/levidecarvalho/Luan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
Nas trincheiras da consultoria;Aprendendo Kubernetes;Plataforma de Dados no Kubernetes.
No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistam o time do Orion da One Way Solution.
Plataforma de Dados no Kubernetes é um dos tópicos mais pedidos para falarmos aqui no Podcast, principalmente para quem tem a necessidade de uma plataforma agnóstica a cloud e de baixo custo.
Neste bate papo iremos falar sobre:Esse podcast tem como principal objetivo mostrar os desafios de criar uma plataforma customizada usando open-source.
LinkedIn do time Orion
Site da One Way Solution
Strimzi
MinIO
AirflowLuan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistaram
Dados como Produto;Times de dados;Gestão de Dados.
Thiago Rocha (Scrum Master), Marco Coimbra (Data Product Manager),
José Ivamotto (Head de Dados) e Franklin Ferreira (Arquiteto de Dados), integrantes do time de dados da Clicksign.
Gestão & Dados com Produto são tópicos extremamente relevantes nos dias de hoje.
Falar sobre dados sem se preocupar com a gestão, pode trazer impactos negativos às entregas envolvendo dados nas organizações.
Além disso, entender como as empresas vem produzindo dados é um excelente benchmarking para inovações.
Neste bate papo iremos falar sobre:O principal objetivo deste episódio é mostrar como as empresas estão tratando esses tópicos no cotidiano.
Não apenas no nível técnico e gerencial, mas também com a visão de todos os envolvidos, Scrum Master e DPM (Data Product Manager).
Linkedin do time Clicksign
Thiago Rocha (Scrum Master): https://www.linkedin.com/in/thiago-rocha98/
Marco Coimbra (Data Product Manager): https://www.linkedin.com/in/marcoantoniocoimbrafilho/
Jose Ivamotto (Head de dados): https://www.linkedin.com/in/jose-ivamotto/
Franklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/Luan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Aron Willians, atualmente como Community Manager/ Developer Advocate na Ampare.
Desafios na construção da comunidade de código aberto; Visão gerencial de comunidades de dados;Empresas que estão investindo no impulsionamento do Pulsar.
Aaron é apaixonado por trazer novas tecnologias para desenvolvedores atuais e para a próxima geração, por meio de hacking e treinamento prático. Neste podcast, você vai aprender sobre:Falamos também nesse bate-papo sobre os seguintes temas:
Tecnologia como Kuberbetes; Apache Pulsar.Aprenda mais sobre as comunidades de dados e sobre as principais tecnologias do Mercado.
Ararob Willians= https://www.linkedin.com/in/aaron-don-williams/
Luan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
Desafios na área de dados de grandes corporações;Visão gerencial.
No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistam Ivan Lima, atualmente Director of Machine Learning & Data Engineering no Ifood.
Ifood é uma das maiores empresas do Brasil e, claro, leva o assunto sobre dados muito a serio. Imagine receber diversos dados do aplicativo, além de possuir várias sessões analíticas e dados em alto volume.
Neste podcast, conversamos sobre:Falamos também sobre os seguintes temas:
Mercado de trabalho no Brasil em 2022;Tecnologias usadas dentro do Ifood;Softskills;Gestão de times de dados.Aprenda mais sobre como as empresas estão lidando com o desafio de dados internamente, principalmente de grande porte como Ifood.
Ivan Lima = LinkedinLuan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje, Luan Moreno, Mateus Oliveira e Orlando Marley entrevistam Bill Inmon, criador do conceito de Data Warehouse e escritor de diversos livros com temáticas voltadas para dados.
Diferenças entre OLTP e OLAP;Histórico dos dados para tomada de decisão;Criar um processo resiliente para entender os fatos dos dados.Falamos também,
Data Warehouse é o conceito de centralização de dados analíticos das organizações, de forma estruturar um visão 360° do business. Neste episódio, você irá aprender:
neste bate-papo, sobre os seguintes temas: História do Bill Inmon;Pilares de sistemas analíticos;Nova geração de plataforma de dados analíticos;
Aprenda mais sobre análise de dados, como utilizar tecnologias para tornar o seu ambiente analítico confiável e resiliente com as palavras do pai do Data Warehouse.Bill Inmon = Linkedin
Luan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistam Brian Olsen, atualmente Head of Developer Relations na Tabular.
Diversos conectores para múltiplas fontes de dadosGerar queries analytics de forma simples e eficazTrabalhar com modelos de Lakehouse como Iceberg e Delta
Trino é um produto open-source, para virtualizar os dados através de queries. Imagine uma engine de SQL capaz de consultar dados do Apache Kafka, Cloud Storage, Databases e diversas outras fontes de forma simples e extremamente eficaz.
Com Trino, você tem os seguintes benefícios:Falamos também neste bate-papo sobre os seguintes temas:
História do TrinoCapacidades do TrinoRecursos avançados Novas featuresAdaptive Query ExecutionCasos de UsoAprenda mais sobre Trino, e como utilizar esta tecnologia para explorar os dados em diversas fontes diferentes, junto com um dos principais vozes da comunidade.
Brian OlsenLuan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistam Neha Pawar, atualmente Founder Engineer na StarTree.
Alto desempenho de consultas analíticas; Dados que residem no Apache Pinot são comprimidos; Habilita milhares de acessos concorrentes aos dados residentes no Apache Pinot.
Apache Pinot é um banco de dados OLAP de baixa latência, que foi desenvolvido para queries analíticas dentro do Linkedin.
O objetivo é resolver um dos problemas que tecnologias como o Apache Kafka não resolvem, consultar bilhões de eventos com performance e baixa latêcia .
Com Apache Pinot, você tem os seguintes benefícios:Falamos também sobre os temas:
Criação do Apache Pinot; User Facing Analytics;Tipos de Deployment no Apache Pinot; O que vem por aí no Apache Pinot.Aprenda mais sobre Apache Pinot, uma tecnologia capaz de armazenar dados em tempo real, e executar queries com baixa latência, chegando até milissegundos.
Neha Pawar = Linkedin
https://pinot.apache.org/
Luan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje, Luan Moreno e Mateus Oliveira conversam com Matheus Willian, atualmente Head de Engenharia de Dados na One Way Solution.
Desenvolvimento de pipeline de dados usando SQL;Reutilização dos códigos usando estruturas de git;Simplificação da Stack de dados;Processamento em Modern Data Warehouses dentro outros adapters.
dbt é uma das tecnologias mais faladas e utilizadas fora do país, possibilitando aos times de todos os portes trabalhar com o conceito de Modern Data Stack, tornando o desenvolvimento de transformações dos dados de forma simples e com SQL.
Com dbt, você tem os seguintes benefícios:Falamos também nesse bate-papo sobre os seguintes temas:
Dados como pilar central;Dbt;Times de BI Moderno.Aprenda mais sobre dbt, como utilizar uma tecnologia para Modern Data Stack, junto com o time da One Way Solution, que mais impulsiona a comunidade, tanto com conteúdo, como com treinamentos e eventos para ajudar os profissionais de dados brasileiros em vagas de trabalho dentro e fora do país.
Matheus Willian = https://www.linkedin.com/in/matheuswillian/
https://www.getdbt.com/Luan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje, Luan Moreno e Mateus Oliveira conversam sobre a participação no Kafka Summit London 2023.
Keynote - (Anúncios);Vendor Hall - (Onde os patrocinadores ficam); Sessions - (Salas que os palestrantes fazem suas apresentações).
Kafka Summit é uma das maiores conferências de tecnologia do mundo, onde empresas de tecnologias de streaming anunciam novidades e podemos entender mais sobre como as elas estão usando estas tecnologias no dia a dia.
Na conferência tivemos 3 momentos:
Falamos também nesse bate-papo sobre os seguintes temas:
Anúncios Open-Source;Anúncios Confluent;Overview das sessões;Hall dos patrocinadores;Impressões principais da Conferência.
Aprenda mais sobre tecnologias como Apache Kafka, Apache Flink dentre outras de Streaming. Além disso, vamos entender como as empresas como financeiras europeias, Apple, Uber, Netflix, entre outras, estão usando o Apache Kafka para resolver problemas de negócio.
Kafka Summit 2023 London
https://www.confluent.io/events/kafka-summit-london-2023/Luan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistaram André Araújo , atualmente como Field Engineer, Data in Motion na Cloudera.
CDP é uma Plataforma de Dados Enterprise Cloudera, com foco na versatilidade em casos de uso como Streaming Platform, possuindo tecnologias como Apache Kafka e Apache Flink .
Com CSP, você tem os seguintes benefícios:
Apache Kafka - Plataforma de armazenamento de Streaming de Dados líder de mercado;Apache Flink - Plataforma de Processamento de Dados.Neste bate-papo vamos falar sobre:
Plataforma de Dados Cloudera ;Plataforma de transmissão Cloudera .O Cloudera sempre foi uma das plataformas mais utilizadas no mercado, agora com a nova versão e casos de uso que atendem diversos cenários, como o caso do CSP ( Cloudera Stream Platform ).
André Araújo = Linkedin
Cloudera = webpageLuan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje, Mateus Oliveira e Matheus Willian entrevistaram Aurimas Griciūnas, atualmente Fundador e CEO da Swirl AI & Arquiteto Sênior de Soluções da neptune ai.
O que é Engenharia de Dados e quais as suas vertentes?O que é Ciência de Dados e quais as suas vertentes?
Engenharia de Dados e Ciência de Dados são, hoje, as áreas de maior demanda no mercado internacional e nacional.
O primeiro, cria soluções para disponibilização de dados da melhor forma e o segundo, cria algoritmos de predição para aprimorar e automatizar decisões.
Para melhor entender a relação entre as áreas, vamos falar sobre:Falamos também, neste bate-papo, sobre os seguintes temas:
Profissões de dados;Dados como produto;Universo de Ciência de Dados;Aprenda como funciona essa relação entre os times e como o mercado está se movendo para segmentações de alguns cargos emergentes de outros cargos.
Swirl AI = https://www.swirlai.com/
Aurimas Griciūnas = LinkedinLuan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje, Luan Moreno, Mateus Oliveira e Antony Lucas entrevistaram Dipankar Mazumdar, atualmente como Data Advocate na Dremio.
Dremio é uma das mais conhecidas tecnologias de Self-Service SQL Analytics de mercado, unificando a visão dos dados e utilizando a lingua franca de dados: o SQL.
Alinhado com o Apache Iceberg, o Dremio traz a proposta de ser um Open Data Lakehouse.Com Apache Iceberg, você tem os seguintes benefícios:
Compactação de Dados;Time Travel;ACID;Hidden Partition;Desenvolvido para multi-plataforma.
Engenharia de Dados;Apache Iceberg;Dremio.
Falamos também nesse bate-papo sobre os seguintes temas:
Aprenda mais sobre como o Dremio e Iceberg que juntos, podem prover mais uma opção de Data Lakehouse, principalmente para casos que vamos trabalhar com plataformas distintas de processamento e exploração de dados.Dipankar Mazumdar = Linkedin
https://www.dremio.com/
https://iceberg.apache.org/
Luan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Denny Lee & Mathew Powers, atualmente Developer Advocates na Databricks.
Delta Lake é um produto open-source, que nos permite aplicar o famoso Data Lakehouse {Data Lake + Data Warehouse}, desenvolvido pela empresa dos criadores do Apache Spark. Delta Lake resolve o problema do Apache Spark, armazenamento, processamento de dados no Data Lake de forma otimizada.
Com Delta Lake, você tem os seguintes benefícios:
Formato de arquivo como se fosse uma tabela;Time Travel;ACID;Batch e Streaming Unificados.
Estado da arte dos dados;Delta Lake.
Falamos também nesse bate-papo sobre os seguintes temas:
Aprenda mais sobre Delta Lake, como utilizar uma tecnologia para Data LakeHouse, junto com o time da databricks que mais impulsiona a comunidade com conteúdos, releases e eventos para ajudar este produto open-source.Denny Lee - Linkedin
Mathew Powers - Linkedinhttps://delta.io/
Luan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje, Luan Moreno, Mateus Oliveira & Tiago Xavier entrevistaram Hudson Buzby, atualmente como Arquiteto de Soluções na Spot by NetApp.
SPOK ou Spark Operator on Kubernetes, é o deployment para Apache Spark que utiliza um Operator de Kubernetes para melhor gerenciar os drivers e executors usando Kubernetes como infraestrutra escalável.
Melhor utilização de recursos escaláveis.Infraestrutura mais leve.Criação de serviços Serverless {Ocean}
Com SPOK, você possui os seguintes benefícios:
HistóriaSpark Operator on KubernetesOcean for Apache SparkDicas das trincheiras
Falamos também nesse bate-papo sobre os seguintes temas:Nesta sessão você aprenderá a utilizar melhor o Apache Spark no Kubernetes, e entender um pouco mais porque os clientes da Spot embarcaram nesta jornada.
Spot
Hudson Buzby
Data Mechanics
Ocean for Apache SparkLuan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistaram Tobias Mao, atualmente como Co-Founder e CTO na Tobiko Data.
SQLMesh é um framework desenvolvido em Python para automatizar tudo que se faça necessário para uma plataforma de dados escalável utilizando o conceito de DataOps.
Foco nos dados do negócio, usando DataOps como premissa principal. Foco em escalabilidade sem se preocupar com seu Data Warehouse ou Engine de Query.
Com SQLMesh, você possui os seguintes benefícios:
Estado dos Dados {State of Data}SQLMeshDataOpsPython e SQL para Engenharia de DadosTobiko Data
Nosso bate papo iremos falar sobre:
Tobias MaoSQLMeshTobiko Data
Em todas as organizações independentemente do porte, vemos a necessidade de tornar o processo de uso dos dados mais escalável, sendo assim o SQLMesh é uma excelente opção para otimizar o processo de DataOps.Luan Moreno =
https://www.linkedin.com/in/luanmoreno/ -
No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Lucas Galindo Data Engineer/Software Engineer & Gabs Ferreira Community Builder, ambos trabalhando na Alvin.
Uma maneira automatizada de detectar e rastrear erros/bugs
A solução Alvin cria e mantém automaticamente um conjunto de dados de gráfico conectando em fontes de dados, como Snowflake, Redshift, dentre outros entregando uma solução da Data Lineage robusta.
O Alvin oferece os seguintes benefícios:
do pipeline, reduzindo o tempo de inatividade dos dados.Automatiza o teste de regressão, fornecendo um relatório detalhado do impacto downstream antes da implantação do código.Mapeia automaticamente os fluxos de dados dentro e entre os sistemas e mostra como eles são consumidos em toda a empresa.
Conceitos de Linhagem de Dados e Governança de DadosFeatures Integrações disponíveis na Plataforma da Alvin.Diferenças de mercado (Nacional & Internacional).Comunidade de Dados.
Neste podcast, foi também argumentado assuntos como governança, democratização e qualidade dos dados.
Entenda porque precisamos de governança de dados e como a Alvin pode nos entregar um produto focado em Linhagem de Dados para agregar valor para aos seus cliente.
Alvin
Gabs Ferreira
Lucas GalindoLuan Moreno =
https://www.linkedin.com/in/luanmoreno/ - Laat meer zien
