ОПЕРАЦИЯ · ПРЕОБРАЗОВАНИЕ
Объединить JSONL
Склеить проверенные записи, восстановив границы строк.
Предварительные условия
Python 3; part-a.jsonl и part-b.jsonl в нужном порядке.
Команда
python3 - <<'PY'
import json
with open("merged.jsonl", "x", encoding="utf-8", newline="\n") as dst:
for name in ("part-a.jsonl", "part-b.jsonl"):
with open(name, encoding="utf-8") as src:
for line in src:
obj = json.loads(line)
dst.write(json.dumps(obj, ensure_ascii=False, allow_nan=False) + "\n")
PYОбъяснение аргументов
Явный список задаёт порядок; пустая строка вызывает ошибку.
Ожидаемый результат
Сумма записей двух источников без слияния соседних JSON.
Проверка
Разберите merged.jsonl и сравните количество записей с источниками.
Распространённые ошибки
- cat склеивает значения при отсутствии финального LF; повторные события автоматически не удаляются.
Обратимость
Источники сохранены; частичный результат при сбое не публикуйте.