Причина: ОШИБКА XSDB6: возможно, другой экземпляр Derby уже загрузил базу данных.

Я получал ту же ошибку при создании фреймов данных в Spark Shell:

Причина: ОШИБКА XSDB6: возможно, другой экземпляр Derby уже загрузил базу данных /metastore_db.

Причина:

Я обнаружил, что это происходит, поскольку несколько других экземпляров Spark-Shell уже запущены и уже содержат базу данных derby, поэтому, когда я запускал еще одну Spark Shell и создавал на ней фрейм данных с помощью RDD.toDF(), он выдавал ошибку:

Решение:

Я запустил команду ps, чтобы найти другие экземпляры Spark-Shell:

ps -ef | grep искровая оболочка

и я убил их всех с помощью команды kill:

kill -9 Spark-Shell-processID (пример: kill -9 4848)

после того, как все экземпляры SPark-Shell исчезли, я запустил новую оболочку SPark SHell и повторно запустил функцию фрейма данных, и все заработало нормально :)

Если вы работаете в spark shell, вам не следует создавать экземпляр HiveContext, он создается автоматически с именем sqlContext (название вводит в заблуждение — если вы скомпилировали Spark с Hive, это будет HiveContext). См. аналогичное обсуждение здесь.

Если вы не работаете в оболочке - это исключение означает, что вы создали более одного HiveContext в одной и той же JVM, что кажется невозможным - вы можете создать только один.

Другой случай, когда вы можете увидеть ту же ошибку, — это Spark REPL конечной точки разработки AWS Glue, когда вы пытаетесь преобразовать динамический фрейм в фрейм данных.

На самом деле существует несколько разных исключений, таких как:

• pyspark.sql.utils.IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':"
• ERROR XSDB6: Another instance of Derby may have already booted the database /home/glue/metastore_db.
• java.sql.SQLException: Failed to start database 'metastore_db' with class loader org.apache.spark.sql.hive.client.IsolatedClientLoader

Решение сложно найти в Google, но в итоге оно описано здесь .

Загруженный REPL содержит экземпляр SparkSession в переменной spark, и вам просто нужно остановить его перед созданием нового SparkContext:

>>> spark.stop()
>>> from pyspark.context import SparkContext
>>> from awsglue.context import GlueContext
>>>
>>> glue_context = GlueContext(SparkContext.getOrCreate())
>>> glue_frame = glue_context.create_dynamic_frame.from_catalog(database=DB_NAME, table_name=T_NAME)
>>> df = glue_frame.toDF()

Файл lck(lock) — это файл управления доступом, который блокирует базу данных, так что только один пользователь может получить доступ к базе данных или обновить ее. Ошибка предполагает, что есть другой экземпляр, использующий ту же базу данных. Таким образом, вам необходимо удалить файлы .lck. В своем домашнем каталоге перейдите в metastore_db и удалите все файлы .lck.

Если вы столкнулись с проблемой при запуске приложения WAS на компьютере с Windows:

1. убить Java-процессы с помощью диспетчера задач
2. удалить db.lck файл, присутствующий в WebSphere\AppServer\profiles\AppSrv04\databases\EJBTimers\server1\EJBTimerDB (моя БД - это EJBTimerDB, которая вызывала проблему)
3. перезапустите приложение.

Я столкнулся с той же проблемой при создании таблицы.

sqlContext.sql("CREATE TABLE....

Я мог видеть много записей для ps -ef | grep spark-shell, поэтому я удалил их все и перезапустил spark-shell. Это сработало для меня.

Это произошло, когда я использовал pyspark мл Word2Vec. Я пытался загрузить ранее построенную модель. Хитрость заключается в том, что просто создайте пустой фрейм данных pyspark или scala, используя sqlContext. Ниже приведен синтаксис Python:

from pyspark.sql.types import StructType

schema = StructType([])`
empty = sqlContext.createDataFrame(sc.emptyRDD(), schema)

Это обходной путь. Моя проблема исправлена ​​после использования этого блока. Примечание. Это происходит только при создании экземпляра sqlContext из HiveContext, а не из SQLContext.

Я получил эту ошибку, запустив sqlContext._get_hive_ctx() Это было вызвано первоначальной попыткой загрузить конвейерный RDD в фрейм данных. Я получил ошибку Exception: ("You must build Spark with Hive. Export 'SPARK_HIVE=true' and run build/sbt assembly", Py4JJavaError(u'An error occurred while calling None.org.apache.spark.sql.hive.HiveContext.\n', JavaObject id=o29)) Таким образом, вы могли запустить это перед его перестройкой, но, к вашему сведению, я видел, как другие сообщали, что это им не помогло.

Я получаю эту ошибку при выполнении тестовых случаев в моей настройке искры с несколькими maven. Я создавал sparkSession в своих тестовых классах отдельно, поскольку для модульных тестов требуются разные параметры искры каждый раз, когда я передаю его через файл конфигурации. Чтобы решить эту проблему, я следовал этому подходу. При создании sparkSession в Spark 2.2.0

//This is present in my Parent Trait.
def createSparkSession(master: String, appName: String, configList: List[(String, String)]): SparkSession ={
    val sparkConf = new SparkConf().setAll(configList)
    val spark = SparkSession
      .builder()
      .master(master)
      .config(sparkConf)
      .enableHiveSupport()
      .appName(appName)
      .getOrCreate()
    spark
  }

В моих тестовых классах

//metastore_db_test will test class specific folder in my modules.
val metaStoreConfig = List(("javax.jdo.option.ConnectionURL", "jdbc:derby:;databaseName=hiveMetaStore/metastore_db_test;create=true"))
    val configList = configContent.convertToListFromConfig(sparkConfigValue) ++ metaStoreConfig
    val spark = createSparkSession("local[*]", "testing", configList)

И напишите, что в плагине maven clean я очищаю этот каталог hiveMetaStore.

//Parent POM
<plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-clean-plugin</artifactId>
                    <version>3.1.0</version>
                    <configuration>
                        <filesets>
                            <fileset>
                                <directory>metastore_db</directory>
                            </fileset>
                            <fileset>
                                <directory>spark-warehouse</directory>
                            </fileset>
                        </filesets>
                    </configuration>
                </plugin>

Дочерний модуль POM

<plugin>
                <artifactId>maven-clean-plugin</artifactId>
                <configuration>
                    <filesets>
                        <fileset>
                            <directory>hiveMetaStore</directory>
                            <includes>
                                <include>**</include>
                            </includes>
                        </fileset>
                        <fileset>
                            <directory>spark-warehouse</directory>
                        </fileset>
                    </filesets>
                </configuration>
            </plugin>

Ошибка возникла из-за того, что вы пытаетесь запустить несколько искровых оболочек на одном узле, или из-за сбоя системы она была отключена без надлежащего выхода из искровой оболочки. По любой причине вы просто узнаете идентификатор процесса и убиваете их, для этого нас

[hadoop@localhost ~]$ ps -ef | grep spark-shell
hadoop    11121   9197  0 17:54 pts/0    00:00:00 grep --color=auto spark-shell
[hadoop@localhost ~]$ kill 9197

очень сложно найти, где к вашему derby metastore_db обращается другой поток, если вы можете найти процесс, вы можете убить его с помощью команды kill.

Лучшие решения для перезагрузки системы.