Dernière mise à jour le : 6 Oct, 2020

Tutoriel Fivetran : importer ses données dans Big Query

Fivetran est un outil Saas qui permet de créer des pipelines de données de manière très simple et robuste. Pour faire simple, c’est un connecteur déjà pré-configuré à plus de 150 sources de données.

Dans cet exemple, nous utilisons Fivetran pour créer un petit “Marketing Data Warehouse” dans Google Big Query. Il contient des données issues de Google Analytics, de Hubspot et de Google Search Console.

Si vous ne savez connaissez pas du tout Fivetran, nous vous invitons tout d’abord à lire cet article : Qu’est-ce que Fivetran ?

Qu’est-ce qu’un “Marketing Data Warehouse”

Un “Marketing Data Warehouse”, ou “Cloud Data Warehouse” est un entrepôt de données, dans lequel sont déversées des données issues de toutes les sources digitales (web analytics, CRM, acquisition, etc…).

L’objectif est de permettre ensuite aux équipes de réaliser des analyses, des reporting, et des optimisations “data-driven” à partir de cette donnée.

Techniquement, il s’agit de déverser des sources de donnée dans un entrepôt unique via des “pipelines de données”. Dans cet article, nous montrons comment réaliser ces pipelines de données avec Fivetran.

Schématiquement, voilà à quoi cela peut ressembler :

Screenshot 2020 10 06 at 13.25.33 | Tutoriel Fivetran : importer ses données dans Big Query

Quelle donnée allons-nous utiliser ?

Dans cet exemple, nous allons intégrer des données issues de Google Search Console, Hubspot et Google Analytics

Hubspot

Dans un article précédent, nous avons montré comment créer un identifiant unique permettant de relier un visiteur dans Google Analytics à un lead dans Hubspot (Connecter Hubspot et Google Analytics : importer les conversions offline dans GA).

Nous voulons donc exporter l’ensemble des leads d’Hubspot, afin de faire le lien entre les conversions offline et les actions online.

Google Search Console

Des données intéressantes, puisque cela permet de savoir quels mots clé ont généré des clics depuis Google vers votre site.

Afin d’en savoir plus, voir ici : Google Search Console to BigQuery avec Python

Google Analytics

La donnée de Google Analytics. En particulier, nous allons exporter les données correspondant aux utilisateurs ayant généré des leads dans Hubspot : quel canal d’entrée, quelles pages vues, etc…

Etape 1 : créer votre premier connecteur dans Fivetran : Hubspot vers Biq Query

La première chose qui vous est proposés après la création d’un compte, est de créer un connecteur. D’abord, choisir la source. Ici Hubspot :

Screenshot 2020 09 23 at 17.41.01 | Tutoriel Fivetran : importer ses données dans Big Query 

Ensuite, choisir la destination. Nous choisissons BigQuery

Screenshot 2020 09 23 at 17.41.08 | Tutoriel Fivetran : importer ses données dans Big Query

Configurer la connexion avec Hubspot

Vous devez simplement choisir le nom du “dataset” de destination (qui sera créé au moment de la connexion, directement par Fivetran). Nous choisissons aussi la zone (Europe).

Il faut ensuite cliquer pour autoriser la connexion :

Screenshot 2020 09 23 at 17.41.34 | Tutoriel Fivetran : importer ses données dans Big Query

On arrive dans une fenêtre dans Hubspot, qui nous demande de valider la connexion :

Screenshot 2020 09 23 at 17.41.49 | Tutoriel Fivetran : importer ses données dans Big Query

Puis retour dans l’interface de Fivetran :

Screenshot 2020 09 23 at 17.42.05 | Tutoriel Fivetran : importer ses données dans Big Query

La connexion est testée :

Screenshot 2020 09 23 at 17.42.42 | Tutoriel Fivetran : importer ses données dans Big Query

Etape 2 : configurer la connexion avec Google Big Query

L’écran suivant dans Fivetran nous permet de configurer la connexion avec Google BigQuery :

Screenshot 2020 09 23 at 17.47.54 | Tutoriel Fivetran : importer ses données dans Big Query 

Créer un projet dans Google Cloud Platform

Nous partons du principe que vous avez déjà un compte dans Google Cloud Platform. Dans GCP, il faut d’abord créer un projet :

Screenshot 2020 09 23 at 17.44.27 | Tutoriel Fivetran : importer ses données dans Big Query

Le “Project ID” est celui qui est demandé par Fivetran.

Créer un “servie account” pour donner accès en écriture à Big Query

Toujours dans Google Cloud Platform, aller dans la section “IAM & Admin”. Créer un nouvel utilisateur, avec l’email qui est indiqué par Fivetran :

Screenshot 2020 09 23 at 17.46.35 | Tutoriel Fivetran : importer ses données dans Big Query

Puis lui donner les droits à minima de “BigQuery user” :

Screenshot 2020 09 23 at 17.48.53 | Tutoriel Fivetran : importer ses données dans Big Query

Ensuite, terminer de remplir les informations de connexion dans Fivetran :

Screenshot 2020 09 23 at 17.50.44 | Tutoriel Fivetran : importer ses données dans Big Query

Fivetran teste la connexion :

Screenshot 2020 09 23 at 17.51.55 | Tutoriel Fivetran : importer ses données dans Big Query

Choisir les données à importer

Une fois les tests effectués, vous arriverez sur le panneau de configuration suivant :

Screenshot 2020 09 23 at 17.57.59 | Tutoriel Fivetran : importer ses données dans Big Query

Vous pouvez choisir les tables à synchroniser, ainsi que la fréquence de synchronisation. Chose intéressante, pour chaque source de donnée, Fivetran fournit un schéma du modèle de données :

Screenshot 2020 09 23 at 18.33.55 | Tutoriel Fivetran : importer ses données dans Big Query

Et voilà : les tables synchronisées sont maintenant disponibles dans Google Big Query

Screenshot 2020 09 23 at 18.28.01 | Tutoriel Fivetran : importer ses données dans Big Query

Import des données Google Search Console

Prenons un autre exemple, très simple. Il est intéressant de le comparer au travail qu’il faudrait faire pour réaliser le même connecteur soi-même :

Dans l’interface de Fivetran, créer un nouveau connecteur :

Screenshot 2020 10 06 at 14.13.23 | Tutoriel Fivetran : importer ses données dans Big Query

Choisir le nom du dataset dans lequel les données seront stockées, puis cliquer sur “Authorize” :

Screenshot 2020 09 23 at 18.28.41 | Tutoriel Fivetran : importer ses données dans Big Query

Ensuite, choisir les domaines à synchroniser :

Screenshot 2020 10 06 at 14.16.40 | Tutoriel Fivetran : importer ses données dans Big Query

Enfin, choisir les tables à synchroniser. A noter que nous avons accès à l’ensemble des call APIs possibles dans Google Search Console, ce qui n’est pas le cas de tous les outils :

Screenshot 2020 09 23 at 18.30.03 | Tutoriel Fivetran : importer ses données dans Big Query

Et voilà ! La donnée se met à jour tous les jours, et est disponible dans Google Big Query :

Screenshot 2020 10 06 at 14.18.25 | Tutoriel Fivetran : importer ses données dans Big Query

Import des données Google Analytics

Si vous ne possédez pas un compte Google Analytics, la procédure est un peu plus subtile, car il faut bien comprendre la donnée, et les limites de la “Core API” de Google Analytics.

Nous avons donc créé une page dédiée : Importer les données de Google Analytics vers BigQuery avec Fivetran

Autres possibilités offertes par Fivetran

Nous verrons dans d’autres articles comment nous pouvons :

  • Ajouter une transformation qui sera appliquée au moment du chargement :

Screenshot 2020 10 06 at 14.54.35 | Tutoriel Fivetran : importer ses données dans Big Query

  • Importer des fichiers csv :

    Screenshot 2020 10 06 at 14.55.13 | Tutoriel Fivetran : importer ses données dans Big Query

Suivez l'actualité Data

Newsletter UnNest

Ne manquez aucun contenu : recevez chaque mois la liste des derniers articles publiés.