Herramientas de última generación para Big Data

Herramientas de última generación para Big Data (2 ECTS)

  1. Pig
    • Pig Latin
    • User Defined Functions
    • Trabajos por grupos:
      • Data quality & DSLs
      • Graph processing, PageRank
      • Log processing
      • Udf, statistic operations
      • Udf, loadfunc + redis
      • Udf, aggregate functions
  2. Spark
    • Introducción a Scala
    • Introducción a la programación con Spark
    • Casos prácticos
    • GraphX, Bagel, Spark SQL, MLib
    • Prácticas
  3. Big Data for the trenches
    • Robust data parsing 101
    • Memory management in VM languages
    • Defensive programming
    • Security programming techniques
    • Data testing in large-scale environments
    • Deployment automation: Chef, puppet & ansible
    • Monitoring and log management
    • Libraries & tools: a must have. Erlang / golang, queue systems, etc.