web-dev-qa-db-fra.com

spark-structured-streaming

Spark structurée en continu - joignez un ensemble de données statiques à un ensemble de données en continu

Comment obtenir Kafka décalages pour une requête structurée pour une gestion manuelle et fiable des décalages?

Pourquoi le format ("kafka") échoue-t-il avec "Impossible de trouver la source de données: kafka" (même avec uber-jar)?

Spark Le streaming structuré convertit automatiquement l'horodatage en heure locale

Pourquoi l'application Spark échoue-t-elle avec "ClassNotFoundException: Impossible de trouver la source de données: kafka" en tant qu'uber-jar avec l'assembly sbt?

Comment obtenir la sortie du collecteur de streaming de la console dans Zeppelin?

Spark streaming structuré kafka convertir JSON sans schéma (inférer le schéma)

Intégration de la diffusion structurée Spark au registre de schémas Confluent

Comment insérer un flux structuré en flux continu DataFrame vers Hive table/emplacement externe?

La valeur du paramètre "spark.yarn.executor.memoryOverhead"?

Spark DataFrame: groupBy après orderBy maintient-il cet ordre?

Spark Streaming - lecture et écriture sur Kafka topic

Diffusion vidéo en direct d'un téléphone Android à un autre via WiFi

Créez une application de diffusion en direct pour Android

DIY: serveur de streaming vidéo

Comment optimiser le déversement aléatoire dans Apache Spark application

Drop spark dataframe from cache

Spark Mémoire du pilote et mémoire de l'exécuteur

Comment rafraîchir une table et le faire simultanément?

Collectez les lignes sous forme de liste avec le groupe par Apache spark

Comment convertir un RDD avec une colonne SparseVector en un DataFrame avec une colonne en tant que vecteur

Encoder et assembler plusieurs fonctionnalités dans PySpark

Erreur du codeur lors de la tentative de mappage de la ligne dataframe sur la ligne mise à jour

Spark 2.0 Dataset vs DataFrame

Performances du filtre Spark DataSet

Comment préparer des données au format LibSVM à partir de DataFrame?

Encodeur pour le type de ligne Spark Datasets

Comment changer la casse de la colonne entière en minuscule?

convertir des données au format libsvm

Nom de la colonne avec un point spark

Quels sont les différents types de jointure dans Spark?

Données de partition pour une jonction efficace pour Spark dataframe / dataset

Pourquoi le démarrage de StreamingContext échoue avec «IllegalArgumentException: l'exigence a échoué: aucune opération de sortie enregistrée, donc rien à exécuter»?

java.lang.NoClassDefFoundError: org/Apache/spark/streaming/Twitter/TwitterUtils $ lors de l'exécution de TwitterPopularTags

Une jointure de RDD partitionnés provoque-t-elle un brassage dans Apache Spark?

Spark utilisant python: comment résoudre l'étape x contient une tâche de très grande taille (xxx Ko). La taille de tâche maximale recommandée est de 100 Ko

Condition dans la fonction de carte

Utilisez Spring avec Spark

Comment arrêter un travail de streaming spark?

Comment utiliser les deux Scala et Python dans un même projet Spark?

Comment puis-je mettre à jour une variable de diffusion dans spark streaming?

Comment spécifier plusieurs dépendances en utilisant --packages pour spark-submit?

Spark Streaming + Kafka: SparkException: impossible de trouver les décalages de chef pour Set

Spark: traitement de plusieurs kafka rubrique en parallèle

Quelle est la signification de la fonction DStream.foreachRDD?

build.sbt: comment ajouter des dépendances spark

Comment réparer la réinitialisation de la connexion par le message d'homologue d'Apache-spark?

lecture du fichier json dans pyspark

Comment savoir quelle est la raison de l'exception ClosedChannelException avec spark-shell en mode client YARN?

Limiter la taille des lots Kafka lors de l'utilisation de Spark Streaming

Les requêtes avec des sources de streaming doivent être exécutées avec writeStream.start ();

Différence entre la mémoire utilisée, validée et maximale

comment puis-je supprimer des fichiers dans le répertoire hdfs après l'avoir lu avec l'aide de scala

AbstractMethodError création Kafka stream

Erreur de test SBT: Java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream

Meilleure façon de diffuser des fichiers en ASP.NET

Diffusion en direct HTTP, FFMPEG & FFSERVER et iPhone OS 3

Streaming vidéo de la caméra Android au serveur

Comment puis-je lire un flux shoutcast/icecast avec HTML5?

Streaming audio d'un serveur Node.js vers la balise <audio> HTML5

Quelle est la différence entre RTP ou RTSP dans un serveur de streaming?

Diffusez des vidéos en direct d'un téléphone à un autre à l'aide de la prise fd

Pourquoi MediaPlayer d'Android a-t-il mis si longtemps à préparer certains flux en direct pour la lecture?

Streaming HTTP LIve

Comment réduire le délai - Streaming VLC à partir d'une webcam

Incorporation d'un flux RTSP en direct de vidéo H.264 dans une page Web

diffuser de la vidéo en direct sur Android

Comment empêcher IDM de récupérer de la vidéo/de l'audio

Recevez de l'audio via Bluetooth en Android

Quelle est la différence entre HLS et MPEG-DASH?

Comment enregistrer une webcam et de l'audio à l'aide de webRTC et d'une connexion Peer basée sur un serveur

Comment minimiser le retard dans une diffusion en direct avec ffmpeg

Android MediaPlayer - erreur (1, -4) lors de la lecture d'une chanson

Lecture de fichiers m3u8 avec une balise vidéo HTML

Streaming audio Bluetooth entre Android

Android comme récepteur pour le profil A2DP

Est-il possible de mettre en cache des segments HLS avec AVPlayer?

La vidéo HTML renvoie l'erreur MEDIA_ERR_SRC_NOT_SUPPORTED après un certain temps

comment changer l'intervalle d'images clés dans ffmpeg

Existe-t-il un moyen d'ajouter la prise en charge de HLS dans le lecteur Chrome / HTML5 de bureau?

Streaming vidéo en direct avec HTML 5?

RTMP vs RTSP / RTP: Que choisir pour un livestream interactif?

Comment télécharger des fichiers vidéo Dash tels qu'ils apparaissent sur le serveur?

Échec de NGINX open () (20: Pas un répertoire) hls vod avec module de liaison sécurisée

Que dois-je savoir sur les exceptions structurées (SEH) en C ++?

Pourquoi les liaisons structurées C ++ 17 n'utilisent-elles pas {}?

liaison structurée avec [[peut-être_unused]]

Pourquoi les déclarations de décomposition ne peuvent-elles pas être constexpr?

Quand puis-je sauvegarder des données JSON ou XML dans une table SQL

Quels sont les cas d'utilisation pour les liaisons structurées?

La capture implicite Lambda échoue avec une variable déclarée à partir d'une liaison structurée

Les liaisons structurées imbriquées sont-elles possibles?

La liaison structurée fonctionne-t-elle avec std :: vector?

La liaison structurée à une copie d'un tableau c const doit-elle être const?

Pourquoi dois-je devoir déplacer `std :: unique_ptr`

lier dynamiquement variable/paramètre dans Spark SQL?

Mise à jour d'une colonne dataframe dans spark

Comment créer un bloc de données correct pour la classification dans Spark ML

Enregistrer le cadre de données Spark en tant que table partitionnée dynamique dans Hive

Différence entre DataFrame, Dataset et RDD dans Spark