Je travaille sur quelques connecteurs Kafka et je ne vois aucune erreur dans leur création / déploiement dans la sortie de la console, mais je n'obtiens pas le résultat que je recherche (aucun résultat d'ailleurs, souhaité ou autrement). J'ai créé ces connecteurs sur la base des exemples de connecteurs FileStream de Kafka, donc ma technique de débogage était basée sur l'utilisation du SLF4J Logger qui est utilisé dans l'exemple. J'ai recherché les messages de journal que je pensais être produits dans la sortie de la console, mais en vain. Est-ce que je cherche au mauvais endroit pour ces messages? Ou peut-être y a-t-il une meilleure façon de déboguer ces connecteurs?

Exemples d'utilisations du SLF4J Logger que j'ai référencé pour mon implémentation:

Kafka FileStreamSinkTask

Kafka FileStreamSourceTask

11
C. Ommen 16 août 2017 à 18:32

2 réponses

Le module de connecteur est exécuté par la structure de connecteur kafka. Pour le débogage, nous pouvons utiliser le mode autonome. nous pouvons configurer IDE pour utiliser la fonction principale de ConnectStandalone comme point d'entrée.

  1. créez le débogage configurez comme suit. N'oubliez pas de cocher "Inclure les dépendances avec la portée" Fourni "s'il s'agit d'un projet maven entrez la description de l'image ici

  2. le fichier de propriétés du connecteur doit spécifier le nom de la classe du connecteur "connector.class" pour le débogage entrez la description de l'image ici

  3. Le fichier de propriétés de travail peut être copié à partir du dossier kafka /usr/local/etc/kafka/connect-standalone.properties
0
Shen liang 26 mars 2020 à 07:18

J'aime la réponse acceptée. une chose - les variables d'environnement n'ont pas fonctionné pour moi ... j'utilise l'édition 5.3.1 de la communauté confluente ...

Voici ce que j'ai fait qui a fonctionné ...

J'ai installé le cli confluent à partir d'ici: https://docs.confluent.io/current/cli/installing. html # tarball-installation

J'ai couru confluent en utilisant la commande confluent local start

J'ai obtenu les détails de l'application de connexion à l'aide de la commande ps -ef | grep connect

J'ai copié la commande résultante dans un éditeur et ajouté l'argument (juste après java):

-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005

Puis j'ai arrêté de me connecter en utilisant la commande confluent local stop connect

Puis j'ai exécuté la commande de connexion avec l'arg

Bref entracte ---

vs le développement de code est dirigé par erich gamma - de gang of four renommée, qui a également écrit eclipse. vs code devient une idée java de première classe voir https://en.wikipedia.org/wiki/Erich_Gamma

Entracte sur ---

Ensuite, j'ai lancé vs code et ouvert le dossier du connecteur oracle debezium (cloné à partir d'ici) https://github.com / debezium / debezium-incubator

Puis j'ai choisi Debug - Open Configurations

enter image description here

Et entré la configuration de débogage en surbrillance

enter image description here

Puis exécutez le débogueur - il atteindra vos points d'arrêt !!

enter image description here

La commande connect devrait ressembler à ceci:

/Library/Java/JavaVirtualMachines/jdk1.8.0_221.jdk/Contents/Home/bin/java -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005 -Xms256M -Xmx2G -server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcurrent -Djava.awt.headless=true -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dkafka.logs.dir=/var/folders/yn/4k6t1qzn5kg3zwgbnf9qq_v40000gn/T/confluent.CYZjfRLm/connect/logs -Dlog4j.configuration=file:/Users/myuserid/confluent-5.3.1/bin/../etc/kafka/connect-log4j.properties -cp /Users/myuserid/confluent-5.3.1/share/java/kafka/*:/Users/myuserid/confluent-5.3.1/share/java/confluent-common/*:/Users/myuserid/confluent-5.3.1/share/java/kafka-serde-tools/*:/Users/myuserid/confluent-5.3.1/bin/../share/java/kafka/*:/Users/myuserid/confluent-5.3.1/bin/../support-metrics-client/build/dependant-libs-2.12.8/*:/Users/myuserid/confluent-5.3.1/bin/../support-metrics-client/build/libs/*:/usr/share/java/support-metrics-client/* org.apache.kafka.connect.cli.ConnectDistributed /var/folders/yn/4k6t1qzn5kg3zwgbnf9qq_v40000gn/T/confluent.CYZjfRLm/connect/connect.properties
0
Datum Geek 25 oct. 2019 à 17:58