v0.11.2でのMaven Plugin（embulk-output-sftp）の使い方について #25

lutecia16v · 2024-02-05T11:12:38Z

lutecia16v
Feb 5, 2024

v0.11.2でembulk-output-sftpを使おうとしたのですが、

$ java -jar embulk-0.11.2.jar run sftp.yml 
…
2024-02-05 10:52:33.697 +0000 [INFO] (0001:transaction): Loaded JRuby runtime 9.4.5.0
org.embulk.config.ConfigException: OutputPlugin 'sftp' is not found.
SPI version of JAR plugin is not specified.

というエラーになり、うまく動きませんでした。

embulk-output-sftpのpluginですが、以下のMVN Repositoryからpom.xmlを取得し、mvn installでホーム配下の.m2/repositoryにインストールしています。
https://mvnrepository.com/artifact/org.embulk/embulk-output-sftp/0.3.1

embulk.propertiesは以下のように記述しています。

jruby=file:/home/xxx/.embulk/bin/jruby-complete-9.4.5.0.jar
m2_repo=/home/xxx/.m2/repository
plugins.output.sftp=maven:org.embulk:sftp:0.3.1

v0.11でのMaven Pluginの使い方についての情報がみつけられず、どうのように対応するべきかご教示いただけないでしょうか。
よろしくお願いいたします

hiroyuki-sato · 2024-02-05T11:24:35Z

hiroyuki-sato
Feb 5, 2024
Maintainer

こんにちは、embulk gem install embulk-output-sftp はどうですか？ (ぱっと見大丈夫そうですが..)
v0.11でもgem版は(対応してれば)つかえると思います。

5 replies

lutecia16v Feb 5, 2024
Author

こんにちは。
実は先にgem版は試したのですが、そちらが上手く動かなかったため、Maven Pluginの方を試している次第です。

今回、OpenJDK17を使用したいのですが、gem版ですと、

Caused by: java.lang.NullPointerException: Cannot invoke "org.apache.commons.lang3.JavaVersion.atLeast(org.apache.commons.lang3.JavaVersion)" because "org.apache.commons.lang3.SystemUtils.JAVA_SPECIFICATION_VERSION_AS_ENUM" is null

というエラーになりました。
このエラーの原因・対処方法を調べたところJavaのバージョンをダウングレードする必要があるようなので、gem版をあきらめた次第です。

hiroyuki-sato Feb 6, 2024
Maintainer

なるほど、mavenプラグインの話は多分これが一番詳しいです。https://joker1007.hatenablog.com/entry/2021/05/28/021140

プロジェクトではまだ新しいJDKをサポートしているわけではないので、まずはJava 8で動作確認するをご確認いただくのが良いように思います。
なんとなくですがOpenJDK17で使うには利用しているライブラリが古くて
プラグインで使っているApache common lang3のバージョンをプラグイン内であげないとダメなのな？という印象を受けました。
https://stackoverflow.com/questions/65118291/how-to-fix-nullpointerexception-org-apache-commons-lang3-systemutils-java-speci

hiroyuki-sato Feb 6, 2024
Maintainer

Java8だと出ないエラーで、Java 17を使った場合に起きるエラーっぽいですね。(おそらくmaven プラグインを使っても一緒のような気がします。)

out:
  type: sftp
  host: 10.10.10.10
  port: 22
  user: arch
  secret_key_file: /Users/user/.ssh/id_rsa
  #secret_key_passphrase: secret_pass
  user_directory_is_root: false
  timeout: 600
  path_prefix: /tmp/hogehoge
  file_ext: csv
  formatter:
    type: csv

openjdk version "17.0.7" 2023-04-18 LTS
OpenJDK Runtime Environment Zulu17.42+19-CA (build 17.0.7+7-LTS)
OpenJDK 64-Bit Server VM Zulu17.42+19-CA (build 17.0.7+7-LTS, mixed mode, sharing)

java -jar ~/.embulk/bin/embulk run config.yml
2024-02-06 20:21:24.514 +0900 [INFO] (main): m2_repo is set as a sub directory of embulk_home: /Users/user/.embulk/lib/m2/repository
2024-02-06 20:21:24.517 +0900 [INFO] (main): gem_home is set as a sub directory of embulk_home: /Users/user/.embulk/lib/gems
2024-02-06 20:21:24.517 +0900 [INFO] (main): gem_path is set empty.
2024-02-06 20:21:24.517 +0900 [DEBUG] (main): Embulk system property "default_guess_plugin" is set to: "gzip,bzip2,json,csv"
2024-02-06 20:21:24.539 +0900 [INFO] (main): Your platform does not provide complete low-level API for accessing direct buffers reliably. Unless explicitly requested, heap buffer will always be preferred to avoid potential system unstability.
2024-02-06 20:21:24.643 +0900 [INFO] (main): Started Embulk v0.11.2
2024-02-06 20:21:24.666 +0900 [INFO] (0001:transaction): Loaded plugin embulk-input-file
2024-02-06T20:21:25.675+09:00 [0001:transaction] WARN FilenoUtil : Native subprocess control requires open access to the JDK IO subsystem
Pass '--add-opens java.base/sun.nio.ch=ALL-UNNAMED --add-opens java.base/java.io=ALL-UNNAMED' to enable.
2024-02-06 20:21:26.288 +0900 [INFO] (0001:transaction): Gem's home and path are set by system configs "gem_home": "/Users/user/.embulk/lib/gems", "gem_path": ""
2024-02-06 20:21:26.665 +0900 [INFO] (0001:transaction): Loaded JRuby runtime 9.4.2.0
2024-02-06 20:21:26.698 +0900 [INFO] (0001:transaction): Loaded plugin embulk-output-sftp (0.3.1)
2024-02-06 20:21:26.796 +0900 [INFO] (0001:transaction): Loaded plugin embulk-decoder-gzip
2024-02-06 20:21:26.835 +0900 [INFO] (0001:transaction): Loaded plugin embulk-parser-csv
2024-02-06 20:21:26.898 +0900 [INFO] (0001:transaction): Listing local files at directory '/private/tmp/hoge/csv' filtering filename by prefix 'sample_'
2024-02-06 20:21:26.898 +0900 [INFO] (0001:transaction): "follow_symlinks" is set false. Note that symbolic links to directories are skipped.
2024-02-06 20:21:26.899 +0900 [INFO] (0001:transaction): Loading files [/private/tmp/hoge/csv/sample_01.csv.gz]
2024-02-06 20:21:26.949 +0900 [INFO] (0001:transaction): Using local thread executor with max_threads=16 / output tasks 8 = input tasks 1 * 8
2024-02-06 20:21:26.951 +0900 [INFO] (0001:transaction): Loaded plugin embulk-formatter-csv
2024-02-06 20:21:27.024 +0900 [INFO] (0001:cleanup): Loaded plugin embulk-input-file
2024-02-06T20:21:27.556+09:00 [0001:cleanup] WARN FilenoUtil : Native subprocess control requires open access to the JDK IO subsystem
Pass '--add-opens java.base/sun.nio.ch=ALL-UNNAMED --add-opens java.base/java.io=ALL-UNNAMED' to enable.
2024-02-06 20:21:28.041 +0900 [INFO] (0001:cleanup): Gem's home and path are set by system configs "gem_home": "/Users/user/.embulk/lib/gems", "gem_path": ""
2024-02-06 20:21:28.320 +0900 [INFO] (0001:cleanup): Loaded JRuby runtime 9.4.2.0
2024-02-06 20:21:28.343 +0900 [INFO] (0001:cleanup): Loaded plugin embulk-output-sftp (0.3.1)
org.embulk.exec.PartialExecutionException: javax.validation.ValidationException: error during validation of org.embulk.output.sftp.SftpFileOutputPlugin$PluginTask{User=user, RenameFileAfterUpload=false, Port=22, TempFileThreshold=5368709120, LocalBuffering=true, SecretKeyPassphrase=, SecretKeyFilePath=Optional[org.embulk.util.config.units.LocalFile@4fef4f96], Proxy=Optional.empty, MaxConnectionRetry=5, PathPrefix=/tmp/hogehoge, Password=Optional.empty, SequenceFormat=%03d.%02d., FileNameExtension=csv, SftpConnectionTimeout=600, Host=10.10.10.10, UserDirIsRoot=false}
	at org.embulk.exec.BulkLoader$LoaderState.buildPartialExecuteException(BulkLoader.java:340)
	at org.embulk.exec.BulkLoader.doRun(BulkLoader.java:580)
	at org.embulk.exec.BulkLoader.access$000(BulkLoader.java:36)
	at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:353)
	at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:350)
	at org.embulk.spi.ExecInternal.doWith(ExecInternal.java:26)
	at org.embulk.exec.BulkLoader.run(BulkLoader.java:350)
	at org.embulk.EmbulkEmbed.run(EmbulkEmbed.java:278)
	at org.embulk.EmbulkRunner.runInternal(EmbulkRunner.java:288)
	at org.embulk.EmbulkRunner.run(EmbulkRunner.java:153)
	at org.embulk.cli.EmbulkRun.runInternal(EmbulkRun.java:108)
	at org.embulk.cli.EmbulkRun.run(EmbulkRun.java:24)
	at org.embulk.cli.Main.main(Main.java:53)
	Suppressed: java.lang.NullPointerException: Cannot invoke "java.util.List.iterator()" because the return value of "org.embulk.exec.ResumeState.getInputTaskReports()" is null
		at org.embulk.exec.BulkLoader.doCleanup(BulkLoader.java:477)
		at org.embulk.exec.BulkLoader$3.run(BulkLoader.java:411)
		at org.embulk.exec.BulkLoader$3.run(BulkLoader.java:408)
		at org.embulk.spi.ExecInternal.doWith(ExecInternal.java:26)
		at org.embulk.exec.BulkLoader.cleanup(BulkLoader.java:408)
		at org.embulk.EmbulkEmbed.run(EmbulkEmbed.java:283)
		... 5 more
Caused by: javax.validation.ValidationException: error during validation of org.embulk.output.sftp.SftpFileOutputPlugin$PluginTask{User=user, RenameFileAfterUpload=false, Port=22, TempFileThreshold=5368709120, LocalBuffering=true, SecretKeyPassphrase=, SecretKeyFilePath=Optional[org.embulk.util.config.units.LocalFile@4fef4f96], Proxy=Optional.empty, MaxConnectionRetry=5, PathPrefix=/tmp/hogehoge, Password=Optional.empty, SequenceFormat=%03d.%02d., FileNameExtension=csv, SftpConnectionTimeout=600, Host=10.10.10.10, UserDirIsRoot=false}
	at org.apache.bval.jsr303.ClassValidator.unrecoverableValidationError(ClassValidator.java:526)
	at org.apache.bval.jsr303.ClassValidator.validate(ClassValidator.java:169)
	at org.embulk.util.config.ConfigMapper.map(ConfigMapper.java:86)
	at org.embulk.output.sftp.SftpFileOutputPlugin.transaction(SftpFileOutputPlugin.java:119)
	at org.embulk.spi.FileOutputRunner.transaction(FileOutputRunner.java:59)
	at org.embulk.exec.BulkLoader$4$1$1.transaction(BulkLoader.java:535)
	at org.embulk.exec.LocalExecutorPlugin.transaction(LocalExecutorPlugin.java:54)
	at org.embulk.exec.BulkLoader$4$1.run(BulkLoader.java:530)
	at org.embulk.spi.util.FiltersInternal$RecursiveControl.transaction(FiltersInternal.java:85)
	at org.embulk.spi.util.FiltersInternal.transaction(FiltersInternal.java:43)
	at org.embulk.exec.BulkLoader$4.run(BulkLoader.java:525)
	at org.embulk.spi.FileInputRunner$RunnerControl$1$1.run(FileInputRunner.java:111)
	at org.embulk.parser.csv.CsvParserPlugin.transaction(CsvParserPlugin.java:312)
	at org.embulk.spi.FileInputRunner$RunnerControl$1.run(FileInputRunner.java:106)
	at org.embulk.spi.util.DecodersInternal$RecursiveControl.transaction(DecodersInternal.java:67)
	at org.embulk.spi.util.DecodersInternal$RecursiveControl$1.run(DecodersInternal.java:63)
	at org.embulk.decoder.gzip.GzipFileDecoderPlugin.transaction(GzipFileDecoderPlugin.java:38)
	at org.embulk.spi.util.DecodersInternal$RecursiveControl.transaction(DecodersInternal.java:59)
	at org.embulk.spi.util.DecodersInternal.transaction(DecodersInternal.java:29)
	at org.embulk.spi.FileInputRunner$RunnerControl.run(FileInputRunner.java:104)
	at org.embulk.input.file.LocalFileInputPlugin.resume(LocalFileInputPlugin.java:92)
	at org.embulk.input.file.LocalFileInputPlugin.transaction(LocalFileInputPlugin.java:85)
	at org.embulk.spi.FileInputRunner.transaction(FileInputRunner.java:61)
	at org.embulk.exec.BulkLoader.doRun(BulkLoader.java:521)
	... 11 more
Caused by: java.lang.NullPointerException: Cannot invoke "org.apache.commons.lang3.JavaVersion.atLeast(org.apache.commons.lang3.JavaVersion)" because "org.apache.commons.lang3.SystemUtils.JAVA_SPECIFICATION_VERSION_AS_ENUM" is null
	at org.apache.commons.lang3.SystemUtils.isJavaVersionAtLeast(SystemUtils.java:1371)
	at org.apache.commons.lang3.ClassUtils.isAssignable(ClassUtils.java:589)
	at org.apache.commons.lang3.reflect.TypeUtils.isAssignable(TypeUtils.java:131)
	at org.apache.commons.lang3.reflect.TypeUtils.getTypeArguments(TypeUtils.java:640)
	at org.apache.commons.lang3.reflect.TypeUtils.getTypeArguments(TypeUtils.java:535)
	at org.apache.commons.lang3.reflect.TypeUtils.getTypeArguments(TypeUtils.java:521)
	at org.apache.bval.jsr303.AnnotationProcessor.getValidatorsTypes(AnnotationProcessor.java:431)
	at org.apache.bval.jsr303.AnnotationProcessor.getConstraintValidator(AnnotationProcessor.java:296)
	at org.apache.bval.jsr303.AnnotationProcessor.applyConstraint(AnnotationProcessor.java:241)
	at org.apache.bval.jsr303.AnnotationProcessor.processAnnotation(AnnotationProcessor.java:149)
	at org.apache.bval.jsr303.AnnotationProcessor.processAnnotations(AnnotationProcessor.java:90)
	at org.apache.bval.jsr303.Jsr303MetaBeanFactory.processClass(Jsr303MetaBeanFactory.java:156)
	at org.apache.bval.jsr303.Jsr303MetaBeanFactory.buildMetaBean(Jsr303MetaBeanFactory.java:95)
	at org.apache.bval.MetaBeanBuilder.buildForClass(MetaBeanBuilder.java:131)
	at org.apache.bval.MetaBeanManager.findForClass(MetaBeanManager.java:102)
	at org.apache.bval.jsr303.ClassValidator.validate(ClassValidator.java:140)
	... 33 more

Error: javax.validation.ValidationException: error during validation of org.embulk.output.sftp.SftpFileOutputPlugin$PluginTask{User=user, RenameFileAfterUpload=false, Port=22, TempFileThreshold=5368709120, LocalBuffering=true, SecretKeyPassphrase=, SecretKeyFilePath=Optional[org.embulk.util.config.units.LocalFile@4fef4f96], Proxy=Optional.empty, MaxConnectionRetry=5, PathPrefix=/tmp/hogehoge, Password=Optional.empty, SequenceFormat=%03d.%02d., FileNameExtension=csv, SftpConnectionTimeout=600, Host=10.10.10.10, UserDirIsRoot=false}

lutecia16v Feb 6, 2024
Author

なるほど、mavenプラグインの話は多分これが一番詳しいです。https://joker1007.hatenablog.com/entry/2021/05/28/021140
私も、この記事をみながらMaven Pluginの設定をいろいろ試行しておりました。

＞Java8だと出ないエラーで、Java 17を使った場合に起きるエラーっぽいですね。(おそらくmaven プラグインを使っても一緒のような気がします。)
ご確認ありがとうございます。
設定方法が誤っているのではないかと思い、ここで質問させていただいた経緯なのですが、Plugin側の対応が必要ということですね。

Maven Plugin側の以下のエラーですが、
＞SPI version of JAR plugin is not specified.

こちらの記事をみると、https://www.ne.jp/asahi/hishidama/home/tech/embulk/new/index0.10.49.html
「生成されるjarファイルの中にSPIバージョンというものが必要だが、入っていない」
という原因のようなのですが、流石に公式のPluginでは対応されてるのでは？とも思ったのですが。

ソースを自分でビルドして、上記の対応をすれば動くかもしれませんね。

dmikurube Feb 7, 2024
Maintainer

いずれにせよプラグイン側での対応が必要そうな感じですね

まず Apache Commons Lang 3 の 3.1 に埋め込まれている JDK のバージョンチェックが Java 17 には対応してないようですね。これはひとまず Java 8 を使っておいてもらうことでも回避できます。

プラグインの方で Apache Commons Lang 3 を更新すれば Java 17 以降で動くようにはなるのですが、この更新をすると Embulk v0.9 では逆に動かなくなるおそれがあるので、今までは更新せずに置いておいていたところになります。 Embulk v0.11 を出して半年経ち、もう公式のプラグインでも Embulk v0.9 系は切っちゃっていいかとは思っているので、そろそろ更新する頃合いですかね。

というかこれ、新しい JDK が出るたびに、すべてのプラグインで新しい Apache Commons Lang 3 に更新し続ける宿命を背負っているように見えるので、めんどくさいからそもそも Apache Commons Lang 3 自体をなるべく利用しないようにしたいところですねえ。

https://commons.apache.org/proper/commons-lang/apidocs/index.html?org/apache/commons/lang3/JavaVersion.html

次に SPI version of JAR plugin is not specified. については、公式でも対応が追いついていないものがいくつかあって embulk-output-sftp あたりはたぶんその例です。これはどのバージョンの Java を使おうが Embulk v0.11 系を使うかぎり出るので、上の Apache Commons Lang 3 の問題とは別に新しいバージョンをリリースしたほうがよさそうですね。

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Embulk

v0.11.2でのMaven Plugin（embulk-output-sftp）の使い方について #25

{{title}}

Replies: 1 comment 5 replies

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{title}}

{{title}}

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

Select a reply

Embulk

v0.11.2でのMaven Plugin（embulk-output-sftp）の使い方について #25

lutecia16v Feb 5, 2024

Replies: 1 comment · 5 replies

hiroyuki-sato Feb 5, 2024 Maintainer

lutecia16v Feb 5, 2024 Author

hiroyuki-sato Feb 6, 2024 Maintainer

hiroyuki-sato Feb 6, 2024 Maintainer

lutecia16v Feb 6, 2024 Author

dmikurube Feb 7, 2024 Maintainer

lutecia16v
Feb 5, 2024

Replies: 1 comment 5 replies

hiroyuki-sato
Feb 5, 2024
Maintainer

lutecia16v Feb 5, 2024
Author

hiroyuki-sato Feb 6, 2024
Maintainer

hiroyuki-sato Feb 6, 2024
Maintainer

lutecia16v Feb 6, 2024
Author

dmikurube Feb 7, 2024
Maintainer