Как исключить поля документа при импорте из базы данных Mongo в целевые системы, такие как ElasticSearch/Solr, с помощью Mongo-Connector?

Mongo DB предоставляет коннектор для интеграции данных из базы данных Mongo в целевые приложения, такие как Solr. >, ElasticSearch. Я использую этот коннектор для перемещения данных из Mongo Collection из определенной базы данных в индекс ElasticSearch.

Как я могу исключить указанные поля при загрузке данных из базы данных Mongo в индекс в ElasticSearch?.


person Naga    schedule 06.06.2017    source источник
comment
В этом вопросе говорится о полях исключения, тогда как в указанном вопросе речь идет о полях включения и сопоставлении. Мне было очень трудно найти решение для исключения полей. Поэтому, чтобы помочь другим, я создал этот вопрос специально для исключения полей.   -  person Naga    schedule 06.06.2017


Ответы (1)


Mongo-Connector https://github.com/mongodb-labs/mongo-connector — идеальное решение для перемещения данных из баз данных Mongo в целевые системы, такие как Solr, ElasticSearch и т. д.

Этот соединитель предлагает несколько параметров, которые используются для исключения полей, исключений коллекций, исключений пространств имен, т. е. баз данных, включения полей, сопоставления с целевыми пространствами имен, т. е. имен индексов в ElasticSearch, и т. д.

Чтобы исключить поля, запустите mongo-connector следующим образом:

mongo-connector -t http://localhost:9200 -m localhost:27017 -d elastic2_doc_manager -e city,name -n <database_name>.<collection_name>

Mongo-connector также поддерживает исключение вложенных полей. Используйте следующую нотацию, чтобы исключить вложенные поля:

mongo-connector -t http://localhost:9200 -m localhost:27017 -d elastic2_doc_manager -e address.city,address.geopoint.lat -n <database_name>.<collection_name>

Примечание. мы не можем использовать оба поля include_fields и exclude_fields с коннектором, потому что они взаимоисключающие. Не добавляйте префикс к имени базы данных и имени коллекции для полей исключения.

person Naga    schedule 06.06.2017
comment
Был ли весь смысл этого в том, чтобы быть самостоятельным ответом? Не могли бы вы не печатать все жирным шрифтом? Это очень смущает, и кажется, что кто-то тыкает меня в лоб. - person Neil Lunn; 06.06.2017
comment
Извините за это, я разместил этот вопрос, чтобы помочь другим. В документации по монго-коннектору нет примеров для исключения полей. - person Naga; 06.06.2017
comment
Возможно, нет. Но здесь уже есть и другие ответы как для эластичного поиска, так и для solr. - person Neil Lunn; 06.06.2017