Título del puesto: Arquitecto de soluciones Databricks
Ubicación: Rey de Prusia, PA – In situ
Nivel de experiencia: 12+ años de experiencia
Resumen del puesto
Buscamos un Arquitecto de Soluciones Databricks con experiencia para diseñar, diseñar y liderar la implementación de soluciones de datos e IA a escala empresarial utilizando la Plataforma de Inteligencia de Datos Databricks. El candidato ideal debe tener una sólida experiencia práctica con Databricks, arquitectura Lakehouse, Apache Spark, Delta Lake, Unity Catalog, plataformas en la nube, ingeniería de datos y arquitecturas modernas de datos/IA.
El candidato trabajará estrechamente con los grupos de interés empresariales, ingenieros de datos, desarrolladores, equipos de la nube y arquitectos empresariales para traducir los requisitos empresariales en soluciones Databricks escalables, seguras y de alto rendimiento.
La guía arquitectónica de Databricks enfatiza la arquitectura, gobernanza, seguridad, fiabilidad, rendimiento, optimización de costes e interoperabilidad de Lakehouse.
Responsabilidades clave
Diseñar e implementar arquitecturas Lakehouse de Databricks de nivel empresarial en entornos de desarrollo, pruebas y producción.
Define la arquitectura de estado objetivo para la ingeniería de datos, analítica, BI, aprendizaje automático y cargas de trabajo de IA.
Soluciones de arquitectura usando Databricks, Delta Lake, Apache Spark, Unity Catalog, Databricks SQL, flujos de trabajo y Lakehouse Federation.
Diseñar e implementar estrategias de gobernanza de datos empresariales, seguridad, control de acceso, linaje y compartición de datos utilizando Unity Catalog.
Migración de leads de plataformas de datos heredadas, almacenes de datos y entornos Hive Metastore a Databricks/Unity Catalog.
Desarrollar arquitecturas escalables de ingesta y procesamiento de datos para cargas de trabajo por lotes y streaming.
Proporcionar liderazgo técnico para la optimización del rendimiento, escalabilidad, fiabilidad y optimización de costes de entornos Databricks.
Diseña soluciones nativas en la nube que aprovechen AWS, Azure o GCP e integra Databricks con almacenamiento en la nube, redes, seguridad e identidade.
Establecer Infraestructura como Código (IaC) y estrategias de despliegue usando Terraform y CI/CD. Actualmente, Databricks recomienda Terraform para automatizar espacios de trabajo, redes, almacenamiento e infraestructura del Catálogo de Unity.
Colaborar con los equipos de DevOps para implementar pipelines de despliegue automatizados y la promoción del entorno.
Proporcionar orientación técnica a ingenieros de datos y equipos de desarrollo y realizar revisiones de arquitectura/diseño.
Trabajar directamente con clientes y partes interesadas para comprender los requisitos y presentar opciones y recomendaciones de arquitectura.
Crea diagramas de arquitectura, documentos de diseño técnico, estándares y hojas de ruta de implementación.
Resolver problemas complejos de producción y proporcionar recomendaciones arquitectónicas para la resolución.
Mantente al día con las nuevas capacidades de Databricks Data + IA, IA generativa, ML y tecnologías Lakehouse.
Habilidades requeridas
12+ años de experiencia en Ingeniería de Datos, Arquitectura de Datos, Arquitectura en la Nube o campos relacionados.
5+ años de sólida experiencia en Databricks, incluyendo arquitectura e implementación.
Experiencia práctica sólida con:
Plataforma Lakehouse de Databricks
Apache Spark / PySpark
Lago Delta
Catálogo Unity
Databricks SQL
Flujos de trabajo / Trabajos de Databricks
Delta Live Tables / Lakeflow
Gobernanza y seguridad de datos
Sólido conocimiento de las arquitecturas de Data Lake, Data Warehouse y Lakehouse.
Experiencia diseñando pipelines de datos por lotes y en tiempo real/streaming a escala empresarial.
Tengo una sólida experiencia programando con Python y/o Scala.
Sólidas habilidades en desarrollo SQL y ajuste de rendimiento.
Experiencia con al menos una gran plataforma en la nube:
AWS
Microsoft Azure
Google Cloud Platform
Experiencia con tecnologías de almacenamiento en la nube como Amazon S3, Azure Data Lake Storage o Google Cloud Storage.
Experiencia con Terraform/IaC y CI/CD.
Sólido conocimiento de redes, IAM, autenticación, cifrado y seguridad en la nube.
Excelentes habilidades de comunicación, presentación, documentación y gestión de partes interesadas.
Habilidades preferidas
Las certificaciones de Databricks son muy preferidas.
Experiencia con MLflow, Model Serving, Mosaic AI e IA generativa.
Experiencia con arquitecturas LLM/RAG y plataformas de IA/ML.
Experiencia con Kafka u otras tecnologías de streaming de eventos.
Experiencia con herramientas de integración de datos como Informatica, ADF, dbt o equivalentes.
Experiencia con Power BI/Tableau y arquitecturas de analítica empresarial.
Experiencia en la gobernanza y los requisitos de cumplimiento de datos empresariales.
Experiencia liderando talleres de arquitectura y debates técnicos con altos interesados.
Sólido conocimiento de modelado de datos, modelado dimensional, gestión de metadatos, línea de datos y conceptos maestros de datos.
Ubicación: Rey de Prusia, PA – In situ
Nivel de experiencia: 12+ años de experiencia
Resumen del puesto
Buscamos un Arquitecto de Soluciones Databricks con experiencia para diseñar, diseñar y liderar la implementación de soluciones de datos e IA a escala empresarial utilizando la Plataforma de Inteligencia de Datos Databricks. El candidato ideal debe tener una sólida experiencia práctica con Databricks, arquitectura Lakehouse, Apache Spark, Delta Lake, Unity Catalog, plataformas en la nube, ingeniería de datos y arquitecturas modernas de datos/IA.
El candidato trabajará estrechamente con los grupos de interés empresariales, ingenieros de datos, desarrolladores, equipos de la nube y arquitectos empresariales para traducir los requisitos empresariales en soluciones Databricks escalables, seguras y de alto rendimiento.
La guía arquitectónica de Databricks enfatiza la arquitectura, gobernanza, seguridad, fiabilidad, rendimiento, optimización de costes e interoperabilidad de Lakehouse.
Responsabilidades clave
Diseñar e implementar arquitecturas Lakehouse de Databricks de nivel empresarial en entornos de desarrollo, pruebas y producción.
Define la arquitectura de estado objetivo para la ingeniería de datos, analítica, BI, aprendizaje automático y cargas de trabajo de IA.
Soluciones de arquitectura usando Databricks, Delta Lake, Apache Spark, Unity Catalog, Databricks SQL, flujos de trabajo y Lakehouse Federation.
Diseñar e implementar estrategias de gobernanza de datos empresariales, seguridad, control de acceso, linaje y compartición de datos utilizando Unity Catalog.
Migración de leads de plataformas de datos heredadas, almacenes de datos y entornos Hive Metastore a Databricks/Unity Catalog.
Desarrollar arquitecturas escalables de ingesta y procesamiento de datos para cargas de trabajo por lotes y streaming.
Proporcionar liderazgo técnico para la optimización del rendimiento, escalabilidad, fiabilidad y optimización de costes de entornos Databricks.
Diseña soluciones nativas en la nube que aprovechen AWS, Azure o GCP e integra Databricks con almacenamiento en la nube, redes, seguridad e identidade.
Establecer Infraestructura como Código (IaC) y estrategias de despliegue usando Terraform y CI/CD. Actualmente, Databricks recomienda Terraform para automatizar espacios de trabajo, redes, almacenamiento e infraestructura del Catálogo de Unity.
Colaborar con los equipos de DevOps para implementar pipelines de despliegue automatizados y la promoción del entorno.
Proporcionar orientación técnica a ingenieros de datos y equipos de desarrollo y realizar revisiones de arquitectura/diseño.
Trabajar directamente con clientes y partes interesadas para comprender los requisitos y presentar opciones y recomendaciones de arquitectura.
Crea diagramas de arquitectura, documentos de diseño técnico, estándares y hojas de ruta de implementación.
Resolver problemas complejos de producción y proporcionar recomendaciones arquitectónicas para la resolución.
Mantente al día con las nuevas capacidades de Databricks Data + IA, IA generativa, ML y tecnologías Lakehouse.
Habilidades requeridas
12+ años de experiencia en Ingeniería de Datos, Arquitectura de Datos, Arquitectura en la Nube o campos relacionados.
5+ años de sólida experiencia en Databricks, incluyendo arquitectura e implementación.
Experiencia práctica sólida con:
Plataforma Lakehouse de Databricks
Apache Spark / PySpark
Lago Delta
Catálogo Unity
Databricks SQL
Flujos de trabajo / Trabajos de Databricks
Delta Live Tables / Lakeflow
Gobernanza y seguridad de datos
Sólido conocimiento de las arquitecturas de Data Lake, Data Warehouse y Lakehouse.
Experiencia diseñando pipelines de datos por lotes y en tiempo real/streaming a escala empresarial.
Tengo una sólida experiencia programando con Python y/o Scala.
Sólidas habilidades en desarrollo SQL y ajuste de rendimiento.
Experiencia con al menos una gran plataforma en la nube:
AWS
Microsoft Azure
Google Cloud Platform
Experiencia con tecnologías de almacenamiento en la nube como Amazon S3, Azure Data Lake Storage o Google Cloud Storage.
Experiencia con Terraform/IaC y CI/CD.
Sólido conocimiento de redes, IAM, autenticación, cifrado y seguridad en la nube.
Excelentes habilidades de comunicación, presentación, documentación y gestión de partes interesadas.
Habilidades preferidas
Las certificaciones de Databricks son muy preferidas.
Experiencia con MLflow, Model Serving, Mosaic AI e IA generativa.
Experiencia con arquitecturas LLM/RAG y plataformas de IA/ML.
Experiencia con Kafka u otras tecnologías de streaming de eventos.
Experiencia con herramientas de integración de datos como Informatica, ADF, dbt o equivalentes.
Experiencia con Power BI/Tableau y arquitecturas de analítica empresarial.
Experiencia en la gobernanza y los requisitos de cumplimiento de datos empresariales.
Experiencia liderando talleres de arquitectura y debates técnicos con altos interesados.
Sólido conocimiento de modelado de datos, modelado dimensional, gestión de metadatos, línea de datos y conceptos maestros de datos.
Somos un empleador con igualdad de oportunidades y todos los candidatos calificados recibirán consideración por el empleo sin distinción de raza, color, religión, sexo, origen nacional, estado de discapacidad, estado de veterano protegido o cualquier otra característica protegida por la ley.
(si ya tienes un currículum en Indeed)
