Scala est un langage de programmation à usage général ciblant principalement la machine virtuelle Java. Conçu pour exprimer des schémas de programmation communs de manière concise, élégante et sécurisée, il fusionne les styles de programmation impératifs et fonctionnels. Ses principales caractéristiques sont les suivantes: un système de type statique avancé avec inférence de type; types de fonctions; correspondance de motifs; paramètres et conversions implicites; surcharge de l'opérateur; interopérabilité totale avec Java; simultanéité

scala...

J'ai une liste de cartes comme ci-dessous: myListOfMaps= List[Map(studentId -> 1234, status -> active), Map(studentId ->5678, status -> inactive)...] Je traite chaque carte et ses éléments dans cette liste en utilisant "for / yield" et en créant une liste comme ci-dessous: for (x....
30 déc. 2019 à 07:40
Apprendre encore Scala et Intellij avec le plugin Scala ... Essayer de faire fonctionner la classe SetTest du livre "Programming in Scala" 3e édition. Voici le code que j'ai entré dans IntelliJ Idea Community 2019.3 avec le dernier plugin Scala: import org.junit.Test import org.junit.Assert.assertEq....
18 déc. 2019 à 21:06
J'ai une méthode readHeader qui prend un argument et renvoie la tâche [liste [en-tête]] et une autre méthode appelle plusieurs identifiants et renvoie liste [tâche [liste [équipementHeader]]]] . Comment rendre un retour de la tâche [liste [liste [en-tête]]] compatible avec la fonction de lectur....
18 déc. 2019 à 20:17
Je suis en fait coincé avec le problème d'un fichier partagé. Je veux accéder à mes dossiers hôtes, j'ai donc fait quelque chose comme ça dans mon fichier Jenkins: sh "sudo docker run -d -it -p 16000:16000 -v /PATH/TO/MY/HOST/FOLDER/:/var/tmp --name botvolume MY_IMAGE" Et dans ma classe scala, j'es....
17 déc. 2019 à 12:05
Je veux trouver un moyen efficace de copier un dossier / préfixe S3 avec beaucoup d'objets dans un autre dossier / préfixe sur le même compartiment. Voilà ce que j'ai essayé. Données de test: autour de 200 objets, autour de 100 MB chacun. 1) aws s3 cp --recursive. Il a fallu environ 150 secs. 2) s3-....
J'utilise le code Scala ci-dessous pour renommer un fichier CSV en fichier TXT et déplacer le fichier TXT. J'ai besoin de traduire ce code en Python / Pyspark mais j'ai des problèmes (pas bien versé en Python). J'apprécierais grandement votre aide. Merci d'avance! //Prepare to rename file import org....
J'ai déjà écrit du code de travail en python et maintenant selon une nouvelle demande, je réécris le même code en scala. Cependant, je rencontre quelques erreurs Code Python from pyspark.ml.feature import StopWordsRemover, RegexTokenizer from pyspark.ml import Pipeline from pyspark.sql.functions i....
20 nov. 2019 à 21:36
J'essaie de faire un lecteur CSV qui analyse un fichier CSV avec un en-tête dans une liste d '"objet ligne". Ces "objets ligne" sont d'un type donné par l'appelant de la fonction. L'idée est de pouvoir utiliser le lecteur CSV comme ça: case class PlayerData(btag: String, team: String, status: String....
18 nov. 2019 à 20:43
J'ai suivi le bloc de données que j'ai généré pour l'ingénierie des fonctionnalités et maintenant pour piloter une autre fonctionnalité, j'essaie de créer une colonne purchaseYearRange où je veux créer une colonne avec une plage de 3 ans et un agrégat modelRatio, purchaseRatio valeurs par itemNo, mo....
J'ai essayé d'agréger les valeurs par pays mais je n'ai pas réussi à obtenir la sortie requise !!! lien de input_data et obligatoire Output_data Voici mon code en scala: import org.apache.spark.sql.SparkSession import shapeless._0 import org.apache.spark.SparkContext import org.apache.spark.sql.SQLC....
18 nov. 2019 à 17:34
J'ai créé un DateTimeFormatterBuilder comme ceci: val customFormatter = new DateTimeFormatterBuilder() .appendValue(WeekFields.ISO.weekBasedYear(), 4) .appendValue(WeekFields.ISO.weekOfWeekBasedYear(), 2) .appendValue(ChronoField.DAY_OF_WEEK, 1) .toFormatter() Pour a....
18 nov. 2019 à 12:38
Mon bloc-notes Databricks est sur Python. Certains codes du bloc-notes sont écrits en Scala (en utilisant le% scala) et l'un d'eux est pour créer une trame de données. Si j'utilise à nouveau Python / PySpark (le mode par défaut), comment puis-je utiliser / accéder à cette trame de données créée lors....
17 nov. 2019 à 15:50
Dans Scala, je peux utiliser getOrElse comme moyen pratique d'obtenir une valeur par défaut de Option, quel est l'équivalent de cela dans Rust? val threeOpt = Some(3) val shouldBeThree = threeOpt.getOrElse(-1) // got 3 ....
4 nov. 2019 à 15:40
j'utilise spark 1.6 avec scala. J'ai créé un Dataframe qui ressemble à ci-dessous. DATA SKU, MAKE, MODEL, GROUP SUBCLS IDENT IM, AN4032X, ADH3M032, RM, 1011, 0 IM, A3M4936, MP3M4936, RM, 1011, 0 IM, AK116BC, 3M4936P, 05, ABC, 0 IM, A-116-B, 16ECAPS, RM, 1011, ....
4 nov. 2019 à 14:50
Dans le projet sur lequel je travaille, il y a du code qui est essentiellement le suivant: sealed trait Character { def tags: Seq[String] def life: Int // other defs } object Character { def addTag[T <: Character](character: T, tag: String): T = { val newTags = character.tags :+ tag // ....
4 nov. 2019 à 13:58
Im essayant de trouver la définition de classe DataFrame dans le code source scala pas dans pyspark. Il existe des fichiers comme DataFrameReader, DataFrameWriter, Dataset mais pas DataFrame. J'ai trouvé des répertoires tels que spark / sql, spark / core.....
4 nov. 2019 à 12:40
J'essaie de supprimer l'en-tête du fichier d'entrée donné. Mais je n'ai pas pu y arriver. C'est ce que j'ai écrit. Quelqu'un peut-il m'aider à supprimer les en-têtes du fichier txt ou csv. import org.apache.spark.{SparkConf, SparkContext} object SalesAmount { def main(args: Array[String]): Unit ....
4 nov. 2019 à 11:18
J'ai une trame de données avec une de ses colonnes comme époque. Je veux en extraire seulement une heure et l'afficher dans une colonne distincte. Voici un exemple de trame de données: +----------+-------------+ | NUM_ID| STIME| +----------+-------------+ |xxxxxxxx01|1571634285000| |xxxxxx....
Vous vous demandez pourquoi ce code ne fonctionne pas, est-ce que je manque quelque chose? def treemin(lst: List[Any]): Int = { var MaVar: Int = 1000{ case (sum,leaf: Int) => if(leaf < MaVar) {MaVar = leaf} } } L'erreur que je me suis produite ici: if(leaf < MaVar) {MaVar = leaf} Erreur....
3 nov. 2019 à 18:19
J'essaie donc d'apprendre Spark en utilisant Python (Pyspark). Je veux savoir comment fonctionne la fonction mapPartitions. C'est ce qu'il faut pour l'entrée et la sortie qu'il donne. Je n'ai trouvé aucun exemple approprié sur Internet. Disons que j'ai un objet RDD contenant des listes, comme ci-des....
4 nov. 2014 à 20:51