Plantilla de descripción del trabajo de ingeniero de big data/breve

Estamos buscando un ingeniero de datos destacado profesional para ayudarnos a crear y administrar las ofertas de big data de nuestra empresa. Será responsable de diseñar y ejecutar mecanismos y marcos de Big Data, hacer cumplir los procedimientos ELT, cooperar con equipos de desarrollo, crear plataformas en la nube y apoyar el sistema de producción en este trabajo.

Para ser un ingeniero de datos exitoso y destacado, debe comprender la tecnología Hadoop, las habilidades sobresalientes de gestión de proyectos y las fuertes habilidades de resolución de problemas. Un ingeniero de big data de primer nivel conoce los objetivos de la compañía e implementa soluciones de datos escalables para satisfacer esas demandas ahora y en el futuro.

Perfil de trabajo de ingeniero de big data

Los ingenieros de datos prominentes interactúan con grandes sistemas de procesamiento de datos y bases de datos en configuraciones de computadora a gran escala. Filtran a través de enormes cantidades de datos para identificar conjuntos relevantes para el análisis, que las corporaciones usan para pronosticar el comportamiento.

Los distinguidos ingenieros de datos realizan estudios que ayudan a las empresas a evaluar su desempeño, identificar la demografía del mercado y pronosticar cambios inminentes y tendencias del mercado. Se necesitan ingenieros de datos bien conocidos en casi todas las industrias porque generan ideas útiles en negocios, finanzas, gobierno, atención médica, investigación, telecomunicaciones y otras industrias.

Informes a

  • C Suite
  • Equipo de datos

Responsabilidades del ingeniero de big data

  • recopilar y analizar datos sin procesar a gran escala
  • Cree aplicaciones de datos utilizando una variedad de herramientas y marcos
  • Leer, recuperar, remodelar, escenificar y cargar los datos en marcos y herramientas elegidos
  • Hacer scripts, raspar sitios web, llamar a las API, escribir consultas SQL, etc.
  • Colaborar estrechamente con el equipo técnico para incorporar su trabajo en nuestros procesos de fabricación
  • Convierta los datos no estructurados en un formato listo para análisis
  • Examine los datos procesados
  • Ayuda a las decisiones comerciales con la evaluación ad hoc según sea necesario
  • Monitorear el rendimiento de los datos y realizar los cambios necesarios en la infraestructura
  • Establecer políticas de retención de datos
  • Desarrollar y mantener herramientas de integración, bases de datos, almacenes y sistemas analíticos
  • Establecer herramientas de acceso a datos para científicos de datos

Requisitos y habilidades de ingeniero de big data

  • Conocimiento profundo de los principios informáticos distribuidos
  • Gestión del clúster de Hadoop, incluidos todos los servicios agrupados
  • Capacidad para solucionar cualquier problema de clúster actual - Conocimiento de Hadoop V2, MapReduce y HDFS
  • Experiencia previa para desarrollar sistemas de procesamiento de flujo, como Storm o Spark
  • Comprensión exhaustiva de las tecnologías de consulta de big data como el cerdo, la colmena e impala
  • Experiencia previa en chispa
  • Experiencia previa integrando datos de varias fuentes de datos
  • Conocimiento de bases de datos NoSQL como HBase, Cassandra y MongoDB
  • Comprensión de varias metodologías y marcos de ETL, como Flume
  • Experiencia con diferentes sistemas de mensajería, como Kafka o RabbitMQ - Experiencia con Big Data ML Toolkits, como Mahout, SparkML o H2O - Comprensión sólida de la arquitectura Lambda, incluidos sus beneficios y desventajas
  • Conocimiento de Cloudera/Mapr/Hortonworks