java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes in the same package

15/08/07 18:13:15 ERROR SparkContext: Error initializing SparkContext.
java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes in the same package
at java.lang.ClassLoader.checkCerts(ClassLoader.java:952)
at java.lang.ClassLoader.preDefineClass(ClassLoader.java:666)
at java.lang.ClassLoader.defineClass(ClassLoader.java:794)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)

IntelliJ＋SBT + scalatestでSparkのUnit Testするときに上のエラーが出る場合がある。

解決策：

1. IntelliJ File→Project Structure→Librariesへ遷移。
2. javax.servletとorg.mortbay.jettyを削除する。

参照：Spark application throws javax.servlet.FilterRegistrationによるとorg.eclipse.jettyとorg.mortbay.jettyがConflictするらしい。

依存関係

• spark : org.eclipse.jetty
• hadoop-common: javas.servlet
• hbase : org.mortbay.jetty

ですが、自分の場合は次のようにhadoop-commonもHBase もない何処かの依存として読み込まれた。

libraryDependencies ++= Seq(
  "org.scalatest" %% "scalatest" % "2.2.1" % "test",
  "org.apache.spark" %% "spark-core" % "1.4.1" % "provided",
  "org.apache.spark" %% "spark-sql" % "1.4.1" % "provided",
  "org.apache.spark" %% "spark-hive" % "1.4.1" % "provided",
  "org.apache.spark" %% "spark-streaming" % "1.4.1" % "provided",
  "org.apache.spark" %% "spark-streaming-kafka" % "1.4.1",
  "org.scalanlp" %% "breeze" % "0.11.2" % "provided",
  "org.scalanlp" %% "breeze-natives" % "0.11.2" % "provided",
  "org.apache.httpcomponents" % "httpclient" % "4.3.6",
  "javax.mail" % "mail" % "1.4",
  "net.liftweb" %% "lift-json" % "2.6",
  "net.liftweb" %% "lift-json-ext" % "2.6",
  "org.apache.hive" % "hive-jdbc" % "0.13.0",
  "com.facebook.presto" % "presto-jdbc" % "0.86")

追記：http://d.hatena.ne.jp/Kazuhira/20130320/1363791795 を参考にして依存関係を調べてみたが、それでも不明。