Plantilla de descripción del trabajo de ingeniero de big data/breve
Estamos buscando un ingeniero de datos destacado profesional para ayudarnos a crear y administrar las ofertas de big data de nuestra empresa. Será responsable de diseñar y ejecutar mecanismos y marcos de Big Data, hacer cumplir los procedimientos ELT, cooperar con equipos de desarrollo, crear plataformas en la nube y apoyar el sistema de producción en este trabajo.
Para ser un ingeniero de datos exitoso y destacado, debe comprender la tecnología Hadoop, las habilidades sobresalientes de gestión de proyectos y las fuertes habilidades de resolución de problemas. Un ingeniero de big data de primer nivel conoce los objetivos de la compañía e implementa soluciones de datos escalables para satisfacer esas demandas ahora y en el futuro.
Perfil de trabajo de ingeniero de big data
Los ingenieros de datos prominentes interactúan con grandes sistemas de procesamiento de datos y bases de datos en configuraciones de computadora a gran escala. Filtran a través de enormes cantidades de datos para identificar conjuntos relevantes para el análisis, que las corporaciones usan para pronosticar el comportamiento.
Los distinguidos ingenieros de datos realizan estudios que ayudan a las empresas a evaluar su desempeño, identificar la demografía del mercado y pronosticar cambios inminentes y tendencias del mercado. Se necesitan ingenieros de datos bien conocidos en casi todas las industrias porque generan ideas útiles en negocios, finanzas, gobierno, atención médica, investigación, telecomunicaciones y otras industrias.
Informes a
- C Suite
- Equipo de datos
Responsabilidades del ingeniero de big data
- recopilar y analizar datos sin procesar a gran escala
- Cree aplicaciones de datos utilizando una variedad de herramientas y marcos
- Leer, recuperar, remodelar, escenificar y cargar los datos en marcos y herramientas elegidos
- Hacer scripts, raspar sitios web, llamar a las API, escribir consultas SQL, etc.
- Colaborar estrechamente con el equipo técnico para incorporar su trabajo en nuestros procesos de fabricación
- Convierta los datos no estructurados en un formato listo para análisis
- Examine los datos procesados
- Ayuda a las decisiones comerciales con la evaluación ad hoc según sea necesario
- Monitorear el rendimiento de los datos y realizar los cambios necesarios en la infraestructura
- Establecer políticas de retención de datos
- Desarrollar y mantener herramientas de integración, bases de datos, almacenes y sistemas analíticos
- Establecer herramientas de acceso a datos para científicos de datos
Requisitos y habilidades de ingeniero de big data
- Conocimiento profundo de los principios informáticos distribuidos
- Gestión del clúster de Hadoop, incluidos todos los servicios agrupados
- Capacidad para solucionar cualquier problema de clúster actual - Conocimiento de Hadoop V2, MapReduce y HDFS
- Experiencia previa para desarrollar sistemas de procesamiento de flujo, como Storm o Spark
- Comprensión exhaustiva de las tecnologías de consulta de big data como el cerdo, la colmena e impala
- Experiencia previa en chispa
- Experiencia previa integrando datos de varias fuentes de datos
- Conocimiento de bases de datos NoSQL como HBase, Cassandra y MongoDB
- Comprensión de varias metodologías y marcos de ETL, como Flume
- Experiencia con diferentes sistemas de mensajería, como Kafka o RabbitMQ - Experiencia con Big Data ML Toolkits, como Mahout, SparkML o H2O - Comprensión sólida de la arquitectura Lambda, incluidos sus beneficios y desventajas
- Conocimiento de Cloudera/Mapr/Hortonworks