Справочник / Сбор
Загрузка истории Telegram и подписанный отчёт о ходе
Загрузка прошлых сообщений из включенных источников, приостановка и возобновление, а также проверка подписанного отчета о ходе работы.
TgWitness / Документация · Коллекция
В разделе Дополнительные инструменты → Источники → Чаты в области действия просмотрите включенные чаты, выберите «Стандартный API» или «Экспорт Takeout», а затем выберите Загрузить полную историю. При запуске этот процесс корректирует список источников и загружает доступные прошлые сообщения в раздел «Чаты» и подписанный журнал наблюдений. Для мультимедиа используются существующие настройки вложений и постоянная очередь загрузки. Это не связано с подписанным экспортом в формате JSON/HTML для каждого чата.
Для сбора данных по всему аккаунту выберите Полная информация об учетной записи и сохранить область действия. История обновляет все доступные диалоги, включая заархивированные чаты, перед подписанием своего списка источников. При этом поиске не применяется ограничение на количество элементов в списке выбора чатов. Чаты, обнаруженные позже, отслеживаются и получают настроенный начальный снимок; при повторном полном запуске можно загрузить их более раннюю историю. Сохранить Продолжайте наблюдение во время и после загрузки данных анамнеза позволяет регистрировать новые сообщения, изменения и уведомления об удалении во время загрузки истории. Один цикл просмотра истории или экспорт занимает слот сбора данных; параллельно с этим происходит наблюдение в режиме реального времени.
Выберите от одного до трёх параллельных чатов, от одного до пяти обработчиков вложений, а также укажите, следует ли сохранять доступные «Недавние действия» и сравнивать ранее сохраненные версии. Для вывода данных может потребоваться утверждение в Telegram и определённая сервером пауза. Эти настройки остаются неизменными при возобновлении работы. Подробности о транспортировке, повторных попытках и доверии см. в разделах Поведение Backfill и Контракт доказательств.
Приостановка, возобновление и частичные результаты#
- Приостановить историю останавливает чтение. Продолжить историю возобновляет с последнего зафиксированного сообщения в каждом источнике; при перезапуске приложения выполнение также остается приостановленным до возобновления. Для возобновления требуется тот же неактивный аккаунт Telegram.
- Наблюдение за сообщением, обработка вложений и фиксация положения курсора выполняются в одной транзакции. При возобновлении выполнения уже зафиксированные наблюдения не повторяются. В режиме реального времени или в рамках отдельного, явно запущенного цикла могут независимо наблюдаться одни и те же сообщения.
- Каждый источник (каждый разделённый диапазон Telegram в Takeout) фиксирует верхний ID сообщения при первом чтении. Более новые сообщения относятся к текущему наблюдению, а не к оставшимся историческим страницам этого источника.
- Недоступные источники и источники, отключенные во время сбора данных, остаются видимыми как «неудачные» или «пропущенные». Работа с остальными источниками продолжается; общий результат является неполным.
- Telegram показывает журнал администратора чата только его администраторам. Для обычного участника
просмотр журнала администратора регистрируется как
history.admin_log.unavailableсreason: not_admin, и это не приводит к неполноте истории; в то время как неудачный просмотр журнала администратора со стороны администратора приводит к неполноте истории. - Задержки FloodWait учитывают настроенный для аккаунта интервал повторных попыток. При временных сбоях повторные попытки выполняются до пяти раз; при исчерпании квоты или нехватке места на диске происходит пауза с сохранением положения курсора.
- Завершение данного цикла истории сохраняет сохраненные наблюдения. Оно не удаляет их и не отменяет задания по прикреплению файлов через стандартный API. Завершение Takeout помечает оставшиеся файлы Takeout как пропущенные; приостановка позволяет возобновить их обработку. Новый цикл заново считывает включенные источники.
Завершение истории описывает только чтение истории. Вложения могут оставаться в ожидании, завершиться сбоем или быть исключены в соответствии с настроенной политикой. Проверяйте подтверждения получения медиафайлов в журнале и в очереди вложений; только завершенное подтверждение с сохраненными байтами считается сохраненным вложением. Операция с историей представляет собой явный запрос на создание моментального снимка и не связана с параметрами, выбирающими категории будущих событий в режиме реального времени.
Передача и проверка#
Сохраните подписанный отчёт о ходе работы, а затем воспользуйтесь функцией «Экспорт доказательств», чтобы загрузить журнал и сохраненные вложения. Более поздний экспорт доказательств может включать дополнительные записи; отчёт привязывает свои счетчики к префиксу журнала на момент его создания. Запустите верификатор из надёжной копии этой версии:
python tgwitness/verify.py tgwitness-history-report.json --evidence evidence.zip --fingerprint TRUSTED_FINGERPRINT
Сохраните ожидаемый отпечаток ключа подписи отдельно. Верификатор проверяет
подпись отчёта, архив доказательств, контрольную точку отчёта, исходный план, учётную запись
и количество сохраненных/недоступных сообщений. Новые прогоны также привязывают ход выполнения исходного плана и
параметры к подписанным событиям курсора. Без параметра --evidence проверяется только
подписанный отчёт и его внутренняя согласованность. Устаревшие поля прогресса и сводки вложений
остаются подписанными заявлениями сборщика. Верификатор доказательств проверяет байты заархивированных медиафайлов.
Считывайте проверенную историю вместе с интервалами сбора данных, охватом и доступными недавними действиями. Этот рабочий процесс считывает историю, доступную в данный момент; мониторинг в реальном времени сохраняет версии и уведомления по мере их поступления, в то время как секретные чаты используют включенную интеграцию с конечными точками. Для проверки используйте сохраненные контрольные точки, записи свидетелей и соответствующие подтверждения сбора данных, описанные в режимах проверки.
Курсор сбора данных отражает состояние локальной рабочей области. Восстановление только ZIP-архива с доказательствами не приводит к восстановлению ожидающего выполнения задания на сбор данных или сеанса Telegram. Сохраните резервную копию рабочей области, если требуется продолжение выполнения исходного задания.