TgWitness / Документация

Что проверено →

Справочник / Сбор

Загрузка истории Telegram и подписанный отчёт о ходе

Загрузка прошлых сообщений из включенных источников, приостановка и возобновление, а также проверка подписанного отчета о ходе работы.

TgWitness / Документация · Коллекция

Сборник

В разделе Дополнительные инструменты → Источники → Чаты в области действия просмотрите включенные чаты, выберите «Стандартный API» или «Экспорт Takeout», а затем выберите Загрузить полную историю. При запуске этот процесс корректирует список источников и загружает доступные прошлые сообщения в раздел «Чаты» и подписанный журнал наблюдений. Для мультимедиа используются существующие настройки вложений и постоянная очередь загрузки. Это не связано с подписанным экспортом в формате JSON/HTML для каждого чата.

Для сбора данных по всему аккаунту выберите Полная информация об учетной записи и сохранить область действия. История обновляет все доступные диалоги, включая заархивированные чаты, перед подписанием своего списка источников. При этом поиске не применяется ограничение на количество элементов в списке выбора чатов. Чаты, обнаруженные позже, отслеживаются и получают настроенный начальный снимок; при повторном полном запуске можно загрузить их более раннюю историю. Сохранить Продолжайте наблюдение во время и после загрузки данных анамнеза позволяет регистрировать новые сообщения, изменения и уведомления об удалении во время загрузки истории. Один цикл просмотра истории или экспорт занимает слот сбора данных; параллельно с этим происходит наблюдение в режиме реального времени.

Выберите от одного до трёх параллельных чатов, от одного до пяти обработчиков вложений, а также укажите, следует ли сохранять доступные «Недавние действия» и сравнивать ранее сохраненные версии. Для вывода данных может потребоваться утверждение в Telegram и определённая сервером пауза. Эти настройки остаются неизменными при возобновлении работы. Подробности о транспортировке, повторных попытках и доверии см. в разделах Поведение Backfill и Контракт доказательств.

Приостановка, возобновление и частичные результаты#

  • Приостановить историю останавливает чтение. Продолжить историю возобновляет с последнего зафиксированного сообщения в каждом источнике; при перезапуске приложения выполнение также остается приостановленным до возобновления. Для возобновления требуется тот же неактивный аккаунт Telegram.
  • Наблюдение за сообщением, обработка вложений и фиксация положения курсора выполняются в одной транзакции. При возобновлении выполнения уже зафиксированные наблюдения не повторяются. В режиме реального времени или в рамках отдельного, явно запущенного цикла могут независимо наблюдаться одни и те же сообщения.
  • Каждый источник (каждый разделённый диапазон Telegram в Takeout) фиксирует верхний ID сообщения при первом чтении. Более новые сообщения относятся к текущему наблюдению, а не к оставшимся историческим страницам этого источника.
  • Недоступные источники и источники, отключенные во время сбора данных, остаются видимыми как «неудачные» или «пропущенные». Работа с остальными источниками продолжается; общий результат является неполным.
  • Telegram показывает журнал администратора чата только его администраторам. Для обычного участника просмотр журнала администратора регистрируется как history.admin_log.unavailable с reason: not_admin, и это не приводит к неполноте истории; в то время как неудачный просмотр журнала администратора со стороны администратора приводит к неполноте истории.
  • Задержки FloodWait учитывают настроенный для аккаунта интервал повторных попыток. При временных сбоях повторные попытки выполняются до пяти раз; при исчерпании квоты или нехватке места на диске происходит пауза с сохранением положения курсора.
  • Завершение данного цикла истории сохраняет сохраненные наблюдения. Оно не удаляет их и не отменяет задания по прикреплению файлов через стандартный API. Завершение Takeout помечает оставшиеся файлы Takeout как пропущенные; приостановка позволяет возобновить их обработку. Новый цикл заново считывает включенные источники.

Завершение истории описывает только чтение истории. Вложения могут оставаться в ожидании, завершиться сбоем или быть исключены в соответствии с настроенной политикой. Проверяйте подтверждения получения медиафайлов в журнале и в очереди вложений; только завершенное подтверждение с сохраненными байтами считается сохраненным вложением. Операция с историей представляет собой явный запрос на создание моментального снимка и не связана с параметрами, выбирающими категории будущих событий в режиме реального времени.

Передача и проверка#

Сохраните подписанный отчёт о ходе работы, а затем воспользуйтесь функцией «Экспорт доказательств», чтобы загрузить журнал и сохраненные вложения. Более поздний экспорт доказательств может включать дополнительные записи; отчёт привязывает свои счетчики к префиксу журнала на момент его создания. Запустите верификатор из надёжной копии этой версии:

python tgwitness/verify.py tgwitness-history-report.json --evidence evidence.zip --fingerprint TRUSTED_FINGERPRINT

Сохраните ожидаемый отпечаток ключа подписи отдельно. Верификатор проверяет подпись отчёта, архив доказательств, контрольную точку отчёта, исходный план, учётную запись и количество сохраненных/недоступных сообщений. Новые прогоны также привязывают ход выполнения исходного плана и параметры к подписанным событиям курсора. Без параметра --evidence проверяется только подписанный отчёт и его внутренняя согласованность. Устаревшие поля прогресса и сводки вложений остаются подписанными заявлениями сборщика. Верификатор доказательств проверяет байты заархивированных медиафайлов.

Считывайте проверенную историю вместе с интервалами сбора данных, охватом и доступными недавними действиями. Этот рабочий процесс считывает историю, доступную в данный момент; мониторинг в реальном времени сохраняет версии и уведомления по мере их поступления, в то время как секретные чаты используют включенную интеграцию с конечными точками. Для проверки используйте сохраненные контрольные точки, записи свидетелей и соответствующие подтверждения сбора данных, описанные в режимах проверки.

Курсор сбора данных отражает состояние локальной рабочей области. Восстановление только ZIP-архива с доказательствами не приводит к восстановлению ожидающего выполнения задания на сбор данных или сеанса Telegram. Сохраните резервную копию рабочей области, если требуется продолжение выполнения исходного задания.