Portabilité de Beam

• Résumer les avantages du Beam Portability Framework.
• Personnaliser l’environnement de traitement des données de votre pipeline à l’aide de conteneurs personnalisés.
• Examiner les cas d’utilisation pour les transformations Cross-Language.
• Activer le Beam Portability Framework pour vos pipelines Dataflow.

Séparer le calcul et le stockage avec Dataflow

• Activer Shuffle et Streaming Engine, pour les pipelines batch et streaming, pour des performances maximales.
• Activer la planification flexible des ressources pour des performances plus rentables.

IAM, Quotas et Permissions

• Sélectionner la bonne combinaison d’autorisations IAM pour votre tâche Dataflow.
• Déterminer vos besoins en capacité en inspectant les quotas pertinents pour vos tâches Dataflow.

Sécurité

• Sélectionner une stratégie de traitement des données zonales à l’aide de Dataflow.
• Mettre en œuvre les meilleures pratiques pour un environnement de traitement de données sécurisées.

Revue des concepts de Beam

• Passer en revue les principaux concepts d’Apache Beam (Pipeline, PCollections, PTransforms, Runner, lecture/écriture..).
• Passer en revue les bundles et le cycle de vie DoFn.

Windows, Watermarks, Triggers

• Implémenter une logique pour gérer vos données tardives.
• Passer en revue les différents types de déclencheurs.
• Passer en revue les principaux concepts de diffusion en continu (unbounded PCollections, windows).

Sources et Sinks

• Écrire sur les IO de votre choix pour votre pipeline Dataflow.
• Ajuster votre transformation Source/Sink pour des performances maximales.
• Créer des Sources et des sinks personnalisés à l’aide de SDF.

Schémas

• Introduire des schémas qui donnent aux développeurs un moyen d’exprimer des données dans leurs pipelines Beam.
• Utiliser des schémas pour simplifier votre code Beam et améliorer les performances de votre pipeline.

État et Timers

• Identifier les cas d’utilisation pour les implémentations d’API d’état et de timer.
• Sélectionner le bon type d’état et de timers pour votre pipeline.

Bonnes pratiques

• Mettre en œuvre les bonnes pratiques pour les pipelines Dataflow.

Dataflow SQL et DataFrames

• Développer un pipeline Beam en utilisant SQL et DataFrames.

Notebooks Beam

• Prototyper votre pipeline en Python à l’aide des notebooks Beam.
• Lancer une tâche dans Dataflow à partir d’un notebooks.

Monitoring

• Accéder à l’interface utilisateur des détails de la tâche Dataflow.
• Interpréter les graphiques de métriques de travail pour diagnostiquer les régressions du pipeline.
• Définir des alertes sur les tâches Dataflow à l’aide de Cloud Monitoring.
• Utiliser les journaux Dataflow et les widgets de diagnostic pour résoudre les problèmes de pipeline.

Dépannage et débogage

• Utiliser une approche structurée pour déboguer vos pipelines Dataflow.
• Examiner les causes courantes des défaillances de pipeline.

Performance

• Comprendre les considérations de performances pour les pipelines.
• Tenir compte de la façon dont la forme de vos données peut affecter les performances du pipeline.

Testing et CI/CD

• Approches de test pour votre pipeline Dataflow.
• Passez en revue les frameworks et les fonctionnalités disponibles pour rationaliser votre flux de travail CI/CD.

Fiabilité

• Mettre en œuvre les bonnes pratiques en matière de fiabilité pour vos pipelines Dataflow.

Flex Templates

• Utiliser des Flex Templates pour standardiser et réutiliser le code du pipeline Dataflow.

• Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
• Le dispositif FNE-Formation
• L’OPCO (opérateurs de compétences) de votre entreprise.
• Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.

• Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
• Le dispositif FNE-Formation
• L’OPCO (opérateurs de compétences) de votre entreprise.
• Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.