tshark-ek создает повторяющиеся ключи, которые elasticsearch 6.0 не принимает

Я пытаюсь ввести файл pcap в elasticsearch. Поэтому сначала я конвертирую файл pcap в json следующим образом:

tshark -T ek -j "http tcp ip" -x -r file.pcap > file.json

тогда я хочу, чтобы загрузить его до elasticsearch, как это:

curl -H "Content-Type: application/json" -XPOST 'localhost:9200/_bulk?pretty' --data-binary "@file.json"

но это не со многими ошибками говорят, что есть дубликаты полей в json. Я читал, что elasticsearch 6.0 больше не принимает повторяющиеся ключи. Я проверил, и мой JSON-файл indeep содержит много дубликатов ключей. Но я читал, что

tshark -T ek

предполагается де-дублировать себя и опцию-Нет-дубликатов ключей, похоже, ушли (моя версия tshark-2.2.6).

так как же получить данные pcap в elasticsearch?

30
задан frank
31.01.2023 9:16 Количество просмотров материала 3257
Распечатать страницу

2 ответа

поток данных в любой другой парсер JSON (а затем дамп обратно в JSON). Большинство анализаторов имеют возможность спокойно игнорировать повторяющиеся поля, сохраняя первое или последнее.

например, средства командной строки jq или jshon можно использовать в:

$ echo '{"foo": "111", "bar": "222", "foo": "333"}' | jq .
{"foo": "333", "bar": "222"}
0
отвечен grawity 2023-02-01 17:04

У меня была та же проблема. По-видимому, новейший выпуск разработки (2.5.1) исправляет это. Если вы находитесь на windows, это очень просто: просто скачайте установщик изhttps://www.wireshark.org/download.html и установите его. Если вы находитесь на linux, как я, вы должны загрузить исходный код оттуда и построить wireshark из источника. Для этого я обнаружил, что эти источники полезный: https://scottlinux.com/2013/06/07/how-to-install-the-latest-wireshark-from-source-on-debian-or-ubuntu-linux/

https://www.wireshark.org/docs/wsug_html_chunked/ChBuildInstallUnixBuild.html

0
отвечен peaceforevery1 2023-02-01 19:21

Постоянная ссылка на данную страницу: [ Скопировать ссылку | Сгенерировать QR-код ]

Ваш ответ

Опубликуйте как Гость или авторизуйтесь

Имя
Вверх