web-dev-qa-db-fra.com

Utilisation de jeux de données kaggle dans Google Colab

Est-il possible d'utiliser directement tous les jeux de données disponibles dans kaggle dans Google Colab? Je vois Kaggle API dans this link, mais apparemment, il ne contient que des ensembles de données spécifiques, ce qui est un peu déroutant pour moi. 

datasetkagglegoogle-colaboratory
15
hdiz

Pas à pas --

  1. Créez une clé API dans Kaggle.

    Pour ce faire, rendez-vous sur kaggle.com/ et ouvrez la page des paramètres de l'utilisateur .  settings nav

  2. Ensuite, faites défiler jusqu'à la section d'accès à l'API et cliquez sur Générerpour télécharger une clé d'API .  api token Cela téléchargera un fichier appelé kaggle.json sur votre ordinateur ... vous utiliserez ce fichier dans Colab pour accéder aux jeux de données Kaggle et à Competitions.

  3. Accédez à https://colab.research.google.com/.

  4. Téléchargez votre fichier kaggle.json en utilisant l'extrait suivant dans Une cellule de code:

    from google.colab import files files.upload()

  5. Installez l'API kaggle à l'aide de !pip install -q kaggle

  6. Déplacez le fichier kaggle.json dans ~/.kaggle, où le client API s'attend à ce que votre jeton soit situé:

    !mkdir -p ~/.kaggle !cp kaggle.json ~/.kaggle/

  7. Vous pouvez désormais accéder aux jeux de données à l'aide du client, par exemple !kaggle datasets list.

Voici un exemple de bloc-notes complet de la partie Colab de ce processus: https://colab.research.google.com/drive/1DofKEdQYaXmDWBzuResXWWxxLgDeVyl

Cet exemple montre le téléchargement du fichier kaggle.json, du client API Kaggle, et l'utilisation du client Kaggle pour télécharger un jeu de données.

36
Bob Smith

Vous devriez pouvoir accéder à n’importe quel jeu de données sur Kaggle via l’API. Dans cet exemple, seuls les jeux de données des compétitions sont répertoriés. Vous pouvez voir que les jeux de données auxquels vous pouvez accéder avec cette commande:

kaggle datasets list

Vous pouvez également rechercher des jeux de données en ajoutant la balise -s, puis le terme de recherche qui vous intéresse. Cela vous donnerait donc une liste de jeux de données sur les chiens:

kaggle datasets list -s dogs

Vous pouvez trouver plus d'informations sur l'API et comment l'utiliser dans la documentation ici .

J'espère que cela pourra aider! :)

7
Rachael Tatman

J'ai ce tutoriel pour utiliser l'API Kaggle sur Google Colab directement sans télécharger et télécharger l'ensemble de données via votre ordinateur local . API Kaggle + Colaboratory

3
Madmint

Regardez cela .

Il utilise l’application officielle de kaggle api, mais automatise le processus afin que vous n’ayez pas à le télécharger à nouveau manuellement chaque fois que votre VM est retirée. De plus, un autre problème que j'ai rencontré lors de l'utilisation de l'API Kaggle directement sur Colab a été la difficulté de transférer le jeton de l'API Kaggle via Google Drive. La méthode ci-dessus automatise également cette opération.

Disclaimer: Je suis l'un des créateurs de Clouderizer.

1
Prakash Gupta

après les étapes (1-6) ci-dessus, vous pouvez utiliser la commande suivante pour utiliser le jeu de données d'un concours particulier dans colab

! kaggle competitions télécharger -c elo-merchant-category-recommendation

(elo-merchant-category-recommendation est le nom du concours.)

0
Avocano