Часть страницы пока на английском: английский оригинал изменился после перевода.
Справочник / Сбор
Сохранение правок и удалённых сообщений Telegram
Объём наблюдения, обновления в режиме реального времени, повторные проверки, вложения, собственные действия и значение пробелов — запись за записью.
TgWitness / Документация · Коллекция
TgWitness фиксирует то, что наблюдает подключённая учётная запись Telegram. Мониторинг в режиме реального времени сохраняет сообщения, зафиксированные правки, уведомления об удалении и вложения с указанием времени наблюдения и исходного контекста. Просмотры истории, повторные проверки и доступные записи журнала администратора добавляют отдельно идентифицированные наблюдения к этой записи.
На этой странице
- От входа в систему до журнала
- Область наблюдения: выбранные чаты, папка или весь аккаунт
- Область применения и выбор событий
- Собственные действия
- Режим расследования: вступление в группы и общение с ботами
- Уровни повторной проверки
- История сообщений и их авторство
- Снимки истории
- Обработка вложений
- Приостановить, заблокировать, отключить и перезапустить
- Изоляция и верификация аккаунтов
От входа в систему до журнала#
Информацию о самоуничтожающихся фотографиях и файлах см. в разделе « Самоуничтожающиеся медиафайлы ». В нём объясняются приоритетный рабочий процесс, сохраненные и недоступные результаты, а также ограничения блокировки подтверждений прочтения в API-коллекторе.
Схема в текстовом формате
- Авторизация учетной записи пользователя → Выберите доступные группы и каналы
- Выберите доступные группы и каналы → Сохранить настройки событий и вложений
- Сохранить настройки событий и вложений → Начать наблюдение
- Начать наблюдение → Получайте обновления от активного клиента
- Получайте обновления от активного клиента → Применяйте политику в отношении источников и событий
- Применяйте политику в отношении источников и событий → Добавить подписанное наблюдение
- Добавить подписанное наблюдение → Просмотр или экспорт журнала
- Добавить подписанное наблюдение → Обработка любых вложений, находящихся в очереди
- Обработка любых вложений, находящихся в очереди → Добавьте результат загрузки
Авторизация, доступ к источнику, работающий сборщик и полная доставка — это разные вопросы. Успешный вход в систему не дает доступа ко всем группам. Доставка отслеживается отдельно: записи об охвате, восстановление пропусков обновлений и повторные проверки показывают, что было доставлено.
Область наблюдения: выбранные чаты, папка или весь аккаунт#
Дополнительные инструменты → Источники → Параметр Область действия определяет, какие чаты фиксирует рабочая область.
Новая настройка начинается с пункта Выбрать чаты. Существующие сохраненные настройки остаются без изменений. При выборе пункта Все чаты в мастере настройки запрашивается подтверждение, если загруженный список содержит более 50 чатов; оценка объема по-прежнему осуществляется отдельно на основе выборки.
| Режим | Записи | Новые чаты |
|---|---|---|
| Выбранные чаты (по умолчанию) | Только те чаты, которые вы добавляете вручную | Никогда не добавляется автоматически |
| Папка Telegram | Чаты в одной из папок аккаунта: чаты, включённые по названию, плюс категории данной папки (контакты, неконтакты, группы, каналы, боты), за вычетом исключённых чатов и, если это указано в настройках папки, заархивированных чатов | Соответствующие чаты добавляются сразу же после их активации; чаты, которые вы добавляете в папку в Telegram, добавляются в течение часа |
| Весь текст | Каждый чат, доступный данному аккаунту | Каждый новый чат, группа, личный чат или бот добавляется в момент поступления первого обновления |
- Типы источников (каналы, группы, личные чаты, боты) ограничивают работу в режимах «папка» и «весь аккаунт». Выбранные чаты могут быть любого типа, включая личные чаты и ботов; типы источников никогда не блокируют чат, добавленный вручную. Отключение типа, исключение или переход к выбранным чатам останавливают автоматически добавляемые источники сразу после сохранения, до того как список источников пересчитается, а также в случае, когда Telegram недоступен: их новые сообщения, история переписки, история новых чатов, настройки собеседников и наблюдения за профилями.
- Чаты, добавленные вручную, остаются в списке в режимах «Папка» и «Вся учетная запись», даже если они находятся за пределами папки; их действие можно остановить только с помощью функций Исключить, Удалить или приостановки. Чаты, добавленные автоматически, следуют за папкой: тот, кто покидает папку, приостанавливается при следующем пересчете.
- Исключенные чаты никогда не записываются, в любом режиме. В режимах «Папка» и «Весь аккаунт» команды Исключить и Удалить в источнике добавляют чат в этот список, поэтому система не добавляет его повторно. Повторный выбор чата вручную (в разделе «Источники», в списке «Чаты» или в меню «Настройки» → Какие чаты?) удаляет его из списка. Список вмещает до 5 000 чатов; при превышении этого лимита команда Удалить не выполняется, и вместо этого чат можно приостановить.
- Собственные действия (включены по умолчанию): сообщения, отправляемые этим аккаунтом, его правки и нажатия кнопок на клавиатуре при ответе. Если функция отключена, исходящие сообщения и правки пропускаются.
- При переключении на папку или всю учетную запись требуется подтверждение: в этих режимах происходит запись
личных чатов и сообщений третьих лиц, и они должны использоваться исключительно в специальной учетной записи.
Подтверждение и каждое изменение области действия фиксируются в записях
scope.changed. В учетной записи, настроенной в качестве основной, форма выбора области действия и функция «Расследование» не допускают выбора папки или всей учетной записи, как это делает функция «Старт»; их можно использовать только для однократной копии без записи. - Чаты, добавленные с помощью scope, отображаются как источники с пометкой auto и записываются как
scope.applied(при запуске и ежечасно) илиsource.discovered(новый чат во время наблюдения). При возвращении к выбранным чатам все автоматически добавленные источники приостанавливаются одновременно, без повторного чтения списка чатов аккаунта. Записанный чат перестаёт записываться, как только область действия сохраняется, и его источник приостанавливается, даже если Telegram не возвращает список чатов. Во время наблюдения сохранение области действия приводит к её повторному применению, даже если значения не изменились.
Область применения этих режимов:
- В Секретных чатах используется встроенная интеграция Pseudo-secret, с модулем протокола, устанавливаемым через панель управления, и переключателем включения для каждой учетной записи. Облачная история и функция «Takeout» используют отдельный канал сбора данных.
- Периоды офлайн-работы. После перезапуска TgWitness возобновляет работу с сохраненной позиции обновления, запрашивает у
Telegram пропущенные обновления и повторно проверяет чаты. Telegram хранит ограниченный бэклог, поэтому после
длительного перебоя в работе отчёты и скрипт
verify.pyуказывают оставшийся интервал как пробел (см. Покрытие). - Вначале отображаются только первые 1,000 диалогов (ограничение задаётся в разделе Дополнительные инструменты → Параметры); более старые чаты добавляются при их следующей активации. Более ранняя история добавленного чата не загружается — создайте снимок истории или выполните полный экспорт чата, когда это понадобится.
- Условия папок, которые постоянно меняются (заглушенные, прочитанные), не применяются: такие чаты остаются под наблюдением.
- Кнопки бота, нажатые в другом приложении (с обратным вызовом), невидимы для второго
сеанса; ответ или редактирование бота фиксируются. Нажатия клавиш при вводе ответа поступают в виде исходящих
сообщений и помечаются как
button_press. - Чем больше чатов, тем больше запросов. Telegram ограничивает аккаунты за объем, который считает чрезмерным, что является ещё одной причиной использовать специальные аккаунты.
Чат-комнаты, отобранные по строгим критериям#
Strict: read only the chosen chats appears under Chosen chats and is off by default. It is meant for a permission that covers the chosen chats only. While it is on:
- Уведомления сервиса Telegram (777000) не считываются: ни при начале, ни при завершении наблюдения, а также не каждую
минуту в ходе наблюдения. Записи
session.security_baselineиaccount.security_eventне записываются. - The account's session list is not read: not when observation starts or stops (the panel's question about
other sessions for Evidence for a case and the evidence protection modes is skipped too), not every two
minutes while observing, not when a connection opens, and not by the connection check, whose Current
authorization entry is shown as skipped. The two-step verification status used by the takeover check is not
read either. So
account.sessions,session.concurrent_at_startandsession.takeover_riskare not written, and a session ended from another device is not reported assession_revoked_externally. - Хотя это единственная сессия для данной учетной записи (укажите, что это единственная сессия или ее автоматическая версия),
список сессий по-прежнему считывается каждые две минуты во время наблюдения, а также при открытии соединения, так что
при появлении другой сессии фиксируется событие
session.exclusive_ended. 777000 остаётся непрочитанным в течение этого периода, хотя запись `session.exclusive_from` указывает, что уведомления о входе в Telegram продолжают регистрироваться. - Уведомления об удалении сопоставляются с результатами проверки сеанса только в том случае, если такая проверка выполнялась в течение последних 10 минут (при условии, что это единственный сеанс, либо после открытия страницы Сеансы данной учетной записи). В противном случае, если только последняя проверка прав не показывает, что эта учётная запись не могла удалить сообщение (что никогда не происходит в приватных чатах и обычных группах), отображается следующее сообщение: Неизвестно, кто её удалил: её могла удалить и сама эта учётная запись из другой сессии или с другого устройства.
- Если сессионный ключ был импортирован, в журнале отсутствуют сведения о времени входа в эту сессию до тех пор, пока
не будет прочитан список сессий (например, в разделе Сессии этой учетной записи). До этого момента при экспорте чата и автоматическом
экспорте учетной записи используется обычная сессия вместо Takeout с указанием причины
session_age_unknown. - Включение чата не приводит к считыванию его предыдущих сообщений. Если этот переключатель не установлен, для каждого включенного чата (в разделе «Источники», в
«Чаты», при входе из панели или в мастере настройки) получает один базовый (
baseline) снимок своих последних сообщений, в объёме до значения, указанного в Дополнительные инструменты → Параметры → Максимальный размер снимка истории (по умолчанию 500), при следующем запуске наблюдения. Ожидающий снимок, срок которого истекает при включённом переключателе, игнорируется. В чате, к которому присоединились с панели, последние сообщения также не считаются новыми (счётчик При появлении нового чата или бота, по умолчанию 100), а при открытии выбранного чата без сохраненных сообщений в разделе «Чаты» последние 100 сообщений не загружаются автоматически. Загрузка истории и снимков, запущенных вами самостоятельно, по-прежнему позволяет просматривать историю. - Настройка конфиденциального контента аккаунта не считывается и не изменяется. Если переключатель не установлен, при входе в систему и при каждом новом
подключении эта настройка включается, если она выключена, и Telegram разрешает изменение (
account.content_settings); эта настройка принадлежит аккаунту и действует во всех приложениях Telegram. Контент, который Telegram помечает как конфиденциальный, может оставаться скрытым. - Обновления, связанные с телефонными звонками, не регистрируются как
account.phone_call. - При остановке наблюдения записывается только отпечаток сессионного ключа; список сессий и 777000 не считываются.
Это не ограничивает объем данных, отправляемых Telegram: обновления всех чатов по-прежнему поступают в эту сессию, а записываются только выбранные
чаты. Список чатов учетной записи (вплоть до чатов, прочитанных из списка учетной записи) и его папки по-прежнему
считываются при запуске, а также повторно при сохранении области действия во время наблюдения, чтобы найти выбранные чаты. Уведомления
об удалении без указания чата (deletion.unscoped) по-прежнему записываются: они содержат только идентификаторы сообщений и могут относиться к
выбранному частному чату или обычной группе. Проверка замороженных аккаунтов (help.getAppConfig), другие проверки подключения
и функции, которые вы включаете самостоятельно (автоматическое завершение других сессий, проверка свидетелей,
псевдо-секретные чаты, «Сессии этого аккаунта» и список Telegram устройств, на которых вы вошли, в разделе «Ещё
«Свидетели», который считывает список сеансов при каждом проходе по временным меткам и который устанавливает отметки для целей «Следить за чатами»
и «Доказательства по делу») продолжают работать.
Включите эту функцию перед входом в систему; в противном случае при входе в систему происходит проверка текущих прав доступа и включается режим отображения конфиденциального
содержимого. Каждое изменение фиксируется в подписанной записи scope.changed, а в записи observation.started значение scope.strict принимает значение
scope.strict. Переход в папку или к всей учетной записи отключает эту функцию.
Объём и выбор событий#
Каждая рабочая область имеет свои собственные источники. TgWitness не вступает в группы, не принимает приглашения и не перечисляет всех участников автоматически. Источники должны быть уже доступны для учетной записи. При запуске сборщик сверяет выбранные источники с видимыми диалогами учетной записи; проверяются первые 1,000 диалогов, если в разделе Дополнительные инструменты → Параметры → Чаты, считываемые из списка учетной записи не указано иное. Отсутствующий источник помечается как доступ не подтверждён, а не как вас, вероятно, удалили.
| Настройки | Собирает | Последствия при отключении |
|---|---|---|
| Новые сообщения | Обычные доставленные сообщения | В случае последующих правок или удалений может отсутствовать ранее зафиксированный текст для сравнения. |
| Редактирование | Предоставляются отредактированные версии сообщений | Промежуточные изменения впоследствии не восстанавливаются. |
| Удаления | Уведомления об удалении с указанием объёма данных и уведомления на уровне учётной записи без указания объёма данных | Уведомления об удалении не добавляются в журнал. |
| Реакции | Предоставлены моментальные снимки реакций | Отдельные обновления с реакциями не добавляются. |
| Членство | Рассылка сообщений о предоставлении услуг для членов сообщества и обновлений для участников | Указанные замечания членов сообщества не включены. |
Настройки применяются ко всем выбранным источникам в рабочей области. Сохраните форму, чтобы применить изменения; изменения фиксируются с подписанными значениями «до» и «после». Отключение категории не приводит к удалению ранее записанных данных. Повторное включение категории не восстанавливает пропущенные обновления.
Операционные записи и другие события, связанные с обслуживанием групп, остаются отдельными от этих настроек. Сообщения службы членства могут создавать записи сообщений, когда функция членства включена, даже если обычная фиксация новых сообщений отключена. Зафиксированные объекты Telegram сохраняют встроенные метаданные; настройка не является правилом редактирования.
Удаления в личных чатах и обычных группах поступают в виде идентификаторов сообщений без указания чата.
Эти чаты используют одну общую для всей учётной записи последовательность идентификаторов сообщений, поэтому, если сообщение с данным идентификатором было
сохранено ранее, его чат известен: удаление фиксируется в этом чате с
указанием chat_resolution, объясняющим, как это произошло. Идентификаторы, которые никогда не сохранялись, остаются удалениями без определённой области действия с
явно неустановленным чатом. Это уведомления об удалении в Telegram, сохраняемые даже
тогда, когда их чат ещё не может быть соотнесён. Схема уведомления содержит идентификаторы;
журнал добавляет время получения и любой сохраненный контекст сообщения, включая
deleted_message_was_outgoing. Доступные записи в журнале администратора предоставляют отдельный
источник информации о действии, исполнителе и времени источника.
Собственные действия#
Сообщения, отправленные наблюдаемым аккаунтом, помечаются как outgoing. При редактировании исходящего
сообщения отмечается, что в личных чатах и группах его может редактировать только автор, тогда как сообщения в каналах
могут редактироваться другими администраторами. Когда исходящее сообщение повторяет текст кнопки
из последней сохраненной клавиатуры ответов в данном чате, оно помечается как «button_press» со ссылкой на
запись этой клавиатуры.
Исключение собственных действий также распространяется на фоновые повторные проверки и автоматическую историю новых чатов. Пропущенные исходящие сообщения сдвигают позицию повторной проверки вперед, чтобы они не могли блокировать последующие входящие сообщения. Явные действия на панели управления и снимки истории, запрошенные вручную, по-прежнему фиксируются.
Режим расследования: присоединение к группам и общение с ботами#
Дополнительные инструменты → Источники → Область действия → Режим расследования подготавливает область действия для специальной учётной записи, которая присоединяется к командным чатам, запускает ботов и пишет в них: вся учётная запись, каждый тип источника, собственные действия, а также для каждого появляющегося чата или бота — его профиль и последние 200-ти видимых сообщений. Просмотрите форму и нажмите Сохранить область действия; переключение на всю учётную запись требует обычного подтверждения.
- Кнопки. Кнопки, расположенные под сообщением, сохраняются вместе с ним и отображаются в чатах: ссылки, веб- приложения, ссылки для входа, текст для копирования, данные обратного вызова, встроенные запросы, запросы на указание номера телефона или местоположения. Ссылки отображаются в виде текста и никогда не открываются панелью. Когда бот изменяет только кнопки (например, новая ссылка для оплаты), это считается новой версией сообщения как при оперативных обновлениях, так и при повторной проверке.
-
Новые чаты и боты. В режимах «по папкам» и «весь аккаунт» при появлении нового чата или бота сохранение происходит сразу же после его появления:
- его профиль в виде записи
source.profile: описание бота и команды, текст «О себе» пользователя, группы или канала, участники, связанный чат и ссылка для приглашения, если Telegram её предоставляет; - его последние видимые сообщения (до 1 000) в виде моментального снимка истории с меткой
new_chat: более ранние сообщения в групповом чате, к которому вы только что присоединились, или то, что сказал бот до того, как система наблюдения зафиксировала этот чат. Сообщения, уже сохраненные в режиме реального времени, не дублируются.
Эти настройки применяются к вновь выбранным чатам при применении области действия, включая чаты, уже присутствующие в списке диалогов учетной записи. Первоначальная загрузка профиля и истории осуществляется одновременно для не более чем трех чатов; операции с одним и тем же чатом выполняются по порядку. На каждом этапе обработки истории/профиля используется настроенный таймаут операции, поэтому застрявшие запросы освобождают своего рабочего процесса. История сохраняется до опционального чтения профиля; сбой при чтении профиля не препятствует сохранению этой истории. Неудавшиеся этапы повторяются через 5 секунд, с удвоением интервала до максимум 5 минут без занятия рабочего процесса во время задержки. Идентификаторы ожидающих задач, сроки повторных попыток и завершённые этапы сохраняются локально. При перезапуске возобновляются только незавершённые этапы; повторная попытка чтения профиля не повторяет уже завершённое чтение истории. Источники, отключённые до наступления их очереди, пропускаются. В обзоре активные, ожидающие и повторяющиеся загрузки чатов отображаются отдельно от загрузок вложений. FloodWait приостанавливает эту работу, которая возобновляется после этого; сбои регистрируются, а запись чата в реальном времени продолжается. Сюда входят ожидания при определении идентификатора нового чата: задача по профилю/истории, находящаяся в ожидании, сохраняется для повторной попытки, а существующее более длительное ожидание на уровне учётной записи не сокращается. Рабочие процессы разделяют это ожидание; параллелизм не обходит ограничения Telegram на количество запросов. - Профили по запросу. Чаты → Профиль → Сохранить профиль теперь сохраняет текущий профиль любого источника; самый новый отображается над сообщениями. - Снимки состояния чата (предварительный просмотр). Состояние вне потока сообщений меняется без сообщения: снятие закрепления любого сообщения не оставляет следа на уровне сообщения, администратор теряет права, подарок скрывается, конвертируется, обновляется или возвращается. Во время наблюдения каждый включённый источник периодически считывается и сохраняется в виде подписанной
chat.stateзапись: название, имена пользователей, описание, количество участников и администраторов, связанный чат, медленный режим, ID закреплённых сообщений (до 100), администраторы с их правами и званиями, а также подарки, отображаемые в каналах и профилях пользователей (до 100). В каждой записи перечислены отличия от предыдущего моментального снимка: изменённые поля с указанием значений «до» и «после», закреплённые сообщения, добавленные или удалённые, администраторы и подарки, добавленные, изменённые или больше не указанные в списке. - Часть, которую Telegram отказывается предоставлять (например, список администраторов канала для участника, не являющегося администратором), указывается вerrors; его предыдущее значение сохраняется и указывается вcarried_forward, и никогда не отмечается как удалённая. - Запись, в которой единственными изменениями являются счётчики, а также проверка, не выявившая изменений, относится к последнему полному состоянию сstate_seqи кумулятивнымstate_overrides. Полное состояние записывается не реже, чем раз в семь дней, а также всякий раз, когда изменяется что-либо, кроме количества. -parts_completeпомечает ограниченные списки. Для добавления требуется полный предыдущий список, для удаления — полный текущий список, а явные пустые значения фиксируют очистку записей. - Дополнительные инструменты → Параметры → Состояние чата позволяет настроить интервал (по умолчанию 12 часов, значение 0 отключает создание снимков), паузу между источниками, какие части читаются, а также записывать ли проверки, не выявившие изменений.FLOOD_WAITиFLOOD_PREMIUM_WAITостанавливаются оставшиеся запросы на создание снимков, сохраняется любой более длительный срок действия для всей учётной записи, а прерванный чат остаётся доступным для повторной попытки после этого ожидания. - Не отображается. Кнопки в тексте (обратные вызовы), нажатые в другом приложении Telegram, всплывающее окно или ссылка, которой бот отвечает на такое нажатие, а также ссылки для приглашения, используемые в другом приложении, не поступают в TgWitness. То, что бот отправляет или редактирует после этого, фиксируется. - его профиль в виде записи
Действие с панели#
В разделе «Чаты» теперь доступен мини-клиент, использующий учётную запись Telegram выбранной рабочей среды:
- Напишите сообщение простым текстом или выберите «Ответить» под сохраненным сообщением. Отправленное сообщение фиксируется даже в том случае, если в настройках исключены исходящие обновления.
- Нажмите кнопку «Пресс» под текущей кнопкой обратного вызова или текстовой кнопкой. Сервер повторно загрузит сообщение и отклонит действие, если текст на клавиатуре отличается от сохраненной версии. В подтверждениях обратного вызова сохраняются всплывающий текст Telegram, флаг оповещения и URL-адрес; ответ также отображается под перепиской. URL-адреса остаются выделяемым текстом и не открываются автоматически.
- Нажмите + → Открыть ссылку Telegram, введите
@username, публичную ссылкуhttps://t.me/name,https://t.me/+invite/joinchat/inviteили ссылку на бота с параметром?start=parameter, а затем нажмите Сохранить предварительный просмотр. Исходная ссылка и предварительный просмотр Telegram подписываются перед присоединением. Присоединение / открытие и наблюдение: после этого происходит вступление в группу/канал или открытие пользователя/бота, добавление чата в качестве активного источника и отправка команды/startботу с указанием его параметра запуска. Запрос на вступление, ожидающий одобрения администратора, регистрируется как «в ожидании», а не как членство.
Включите Начать наблюдение, чтобы фиксировать входящие ответы в режиме реального времени. Действия панели работают, пока наблюдение приостановлено; затем панель сохраняет свои прямые ответы, а наблюдение в режиме реального времени фиксирует остальную часть разговора. Вновь добавленные источники используют настроенный профиль/историю приёма данных, когда наблюдение запущено. Когда источник приостановлен, включите его в Дополнительные инструменты → Источники перед отправкой или нажатием его кнопок.
interaction.preview, interaction.requested и interaction.result — это обычные подписанные
события журнала, включаемые в экспорт доказательств. Запросы идентифицируют аккаунт, сообщение/кнопку
или запись предварительного просмотра, а также указывают, работала ли система наблюдения. Подтверждения различают успешное выполнение,
отказ, ожидание одобрения и неизвестный результат. Прерванный запрос мог достичь
Telegram: проверьте чат перед началом нового действия. Повторное использование идентификатора запроса позволяет получить его
сохраненное подтверждение без повторного выполнения действия, в том числе после перезапуска. Панель сохраняет
идентификатор после получения неоднозначного ответа на одно и то же действие в течение текущей сессии страницы.
Она также сохраняет этот идентификатор, если обновление окна не удаётся после успешного выполнения действия: подтверждение
остаётся видимым, и повторное нажатие позволяет его получить. RPC-вызовы обратного вызова и присоединения имеют одну попытку
выполнения; чтения с возможностью повторной попытки сохраняют настроенную политику повторных попыток. Немедленное переключение между чатами
очищает черновик и адресата ответа и отключает отправку до тех пор, пока не загрузится новый разговор.
Этот мини-клиент поддерживает текстовые кнопки и кнопки обратного вызова. При нажатии кнопок мини-приложений запускается функция Открыть мини-приложение, которая запускает приложение в изолированном браузере (мини-приложения). Для входа в систему, запросов номера телефона и местоположения, платежей, встроенных запросов и вложений по-прежнему требуется клиент Telegram; сохраненные метаданные кнопок остаются видимыми. В новых элементах управления используется текст на английском языке.
Уровни повторной проверки#
Повторные проверки запрашивают у Telegram пропущенные сообщения, правки и сообщения, которые он больше не возвращает.
Источники, помеченные звёздочкой, являются приоритетными и по умолчанию перепроверяются каждые 15 минут;
все остальные источники — каждые 6 часов. Выбранные чаты изначально являются приоритетными, а чаты, добавленные через
папку или весь аккаунт, — обычными. За один проход перепроверяется не более 30 источников, а
остальные ждут следующей минуты; после повторного подключения приоритетные источники обрабатываются в первую очередь. Оба
интервала настраиваются в разделе Дополнительные инструменты → Источники → Запись → Перепроверка (значение 0 отключает уровень) и
записываются как recheck.changed.
Пропущенные сообщения извлекаются вверх от того места, где остановился предыдущий проход, максимум
Дополнительные инструменты → Параметры → Количество восстановленных пропущенных сообщений на чат и проход (по умолчанию 1,000). Поэтому после длительной остановки
повторная проверка заполняет весь пробел, даже если сообщения в реальном времени, более свежие, чем этот пробел, были сохранены
первыми. Чат, который все еще наверстывает упущенное, повторно проверяется в следующую минуту, а не
ожидает своего интервала уровня; recheck.completed показывает continues_after, пока проверка не завершится.
Сравнения включают текст сообщений, объекты, клавиатурные вводы (в том числе удаления) и содержимое/идентификационные данные вложений. Само по себе изменение хэшей доступа к файлам или ссылок на файлы не считается редактированием, равно как и то, что Telegram заполняет самостоятельно: загрузка предварительного просмотра ссылки, просмотры историй, платные медиафайлы, разблокированные данной учётной записью, получение счёта-фактуры. Каждая сохранённая версия в «Чатах» содержит ссылку на полную запись в журнале, включая метаданные медиафайлов.
История сообщений и их авторство#
Предположим, что система сбора данных фиксирует сообщение «Встреча в 10:00», затем обнаруживает сообщение «Встреча в 11:00», а после этого получает уведомление об удалении. В результате добавляются три отдельных записи: исходный текст сохраняется, отредактированная версия хранится отдельно, а уведомление фиксирует факт обнаружения удаления.
Если сбор данных начался после исчезновения первой версии, этот текст недоступен. Если во время перерыва в работе произошло несколько изменений, сохраняются только версии, зафиксированные впоследствии. Уведомление об удалении не позволяет восстановить контент, который не был зафиксирован ранее.
Запись объединяет несколько источников:
| Источник | Сохраненная информация |
|---|---|
| Сообщение в режиме реального времени или обновление при редактировании | Идентификатор сообщения, метаданные отправителя, зафиксированная версия, время получения и указанная дата сообщения/редактирования в Telegram. |
| Уведомление об удалении в режиме реального времени | Указаны идентификаторы сообщений, время получения, исходный текст уведомления и ссылки на ранее сохраненный контент. |
| Доступный журнал администратора | Действие, участник, дата источника и предоставленное содержание сообщения, прочитанные учетной записью с необходимыми правами. |
| Взаимодействие с панелью | Запрашиваемое действие и его зафиксированный результат под выбранной учетной записью. |
| Проверьте ещё раз | Текущий ответ Telegram по сравнению с ранее сохраненным сообщением. |
observed_at — это время записи записи по часам коллектора, которое
увеличивается с seq. Записи, записанные при обработке оперативного обновления, также содержат
received_at, время, когда обновление достигло коллектора, и
processing_delay_ms, время от получения до записи; обновления, удерживаемые во время
начала наблюдения, обрабатываются в порядке поступления раньше более поздних. source_at
сохраняет дату источника, если данное событие её предоставляет. Наблюдения со смещением часов телеграммы,
записи о разрывах в часах и проверки внешнего времени обеспечивают
соответствующий контекст синхронизации. Поля обычного уведомления о сообщении описывают
само это уведомление; записи журнала администрирования и взаимодействия сохраняют свои собственные атрибуты.
Снимки истории#
Снимок запрашивает последние видимые сообщения из включенного источника, количество которых не превышает
500 на один запрос. Результаты помечаются как наблюдения в истории. Ручные снимки
выполняются параллельно с наблюдениями. Повторные наблюдения
сохраняются в виде отдельных записей. При включении источника также создается один базовый (baseline) снимок этого источника, если
не включена функция Только выбранные чаты.
Создание снимков приостанавливается, если источник отключается во время чтения. Ответы должны относиться к запрашиваемому чату и содержать строго убывающие положительные идентификаторы сообщений, расположенные ниже запрашиваемого предела. Недопустимый ответ прерывает создание снимка до сохранения этого сообщения; уже сохраненные сообщения остаются в подписанном журнале вместе с записью о прерывании.
Снимки соответствуют политике вложений, но сохраняют отдельность от переключений в режиме реального времени. Они не восстанавливают удалённые сообщения или пропущенные промежуточные версии. Вы можете запросить снимки во время паузы; любые вложения, находящиеся в очереди, ожидают начала наблюдения и запуска модуля загрузки.
Загрузка Истории — отдельная исключительная задача: она последовательно читает выбранные источники и скачивает вложения из их очереди, не запуская мониторинг. Пауза освобождает аккаунт; возобновление продолжает сохранённый запуск. Фильтры по датам, языку и ответам с использованием нескольких свободных аккаунтов описаны в разделе «Распределённая выгрузка чата».
Обработка вложений#
Загрузка вложений включена по умолчанию и приостанавливается при наличии свободного места на диске менее 1 ГиБ. Коллектор фиксирует наблюдение за сообщениями и задание на загрузку одновременно. Задание сохраняет исходный дескриптор мультимедиа и политику размера, поэтому вложение, отредактированное позднее, не заменяется незаметно.
Загрузки запускаются после захвата сообщения. Завершённая загрузка создаёт запись media.saved
с её SHA-256
и количеством байтов. Пропущенные, неудачные, повторные и прерванные
операции имеют отдельные результаты; файл считается сохранённым, если существует его запись media.saved
.
Завершённый файл также должен совпадать по количеству байтов с исходным дескриптором наблюдаемого вложения.
Короткий или неожиданно длинный ответ не регистрируется как сохранённый медиафайл.
Файл и запись о его папке записываются на диск до того, как будет записана запись media.saved. Если предыдущий процесс коллектора
завершился без упорядоченной остановки, при следующем запуске считываются все файлы, которые были отмечены как сохраненные во время того прогона. Файл,
который отсутствует или байты которого отличаются от записанного SHA-256, получает запись media.missing_after_restart, его
загрузка снова ставится в очередь, а отличающиеся байты перемещаются в папку media-damaged/. Файлы, перемещённые во внешнее хранилище,
не считываются.
В пределах одного рабочего пространства параллельные задания в очереди, относящиеся к одному и тому же представлению вложения, ожидают завершения активной передачи, а затем повторно проверяют сохраненные байты перед повторным использованием. Каждое задание хранит свой собственный результат со знаком и ссылку на предыдущую запись о сохраненном файле. Отмена ожидающего задания не приводит к отмене активной передачи; если эта передача завершится сбоем или будет отменена, следующее задание сможет повторить попытку. Различные вложения могут загружаться одновременно.
Задания с одинаковыми учетными данными, типом представления, ожидаемым размером и действием захвата остаются в очереди, пока выполняется одно задание, соответствующее этим параметрам. Они не занимают слоты для загрузки, поэтому загрузка других файлов может начаться даже в том случае, если в начале очереди находится много копий одного медленно загружаемого файла. Завершение попытки активирует очередь. Приоритетные каналы, сохраненные задержки повторных попыток и принадлежность по истории по-прежнему действуют; каждое наблюдение получает свой собственный результат.
При экспорте через чат также используется механизм активной передачи для повторного представления файлов в пределах одного и того же каталога экспорта. Каждое сообщение сохраняет ссылку на вложение, и для его повторного использования требуется новая проверка размера и SHA-256. Различные файлы можно проверять параллельно без удержания общей блокировки передачи. Временные пути загрузки и копирования являются уникальными для каждой операции; при отмене операции ожидается завершение работы всех активных локальных программ чтения файлов перед очисткой. Индекс файлов экспорта сериализует только доступ к метаданным, а не хеширование файлов или их загрузку.
Чтение хэшей на сервере для различных вложений также выполняется параллельно, используя три слота клиента для запросов файлов совместно с загрузкой байтов. При повторном чтении одного и того же представления используется только полный кэшированный результат. Чтение файлов не занимает места в обычной очереди запросов; сохраненные сроки FloodWait проверяются заново, когда запрос получает слот.
Ограничения устанавливаются для каждого типа: фотографии, видео, GIF-файлы и анимации, круглые видеосообщения,
голосовые сообщения, музыка и аудио, стикеры и файлы. Каждый тип можно отключить, и для него установлен
собственный лимит размера от 1 до 2 000 MiB; в новых рабочих пространствах по умолчанию установлены лимиты: 20 MiB для фотографий,
100 MiB для видео, 50 MiB для файлов, аудио и круговых видео, 20 MiB для голосовых сообщений и GIF-файлов, а также
5 МИБ для стикеров. В новых рабочих пространствах GIF-файлы и стикеры по умолчанию отключены до момента их включения. В рабочих пространствах
с политиками, сохраненными до введения ограничений по типам, все типы остаются включенными и сохраняют единое
ограничение для каждого типа. Максимальный размер файла устанавливается для всех типов одновременно. Отключение того или иного типа приводит к
созданию записи media.skipped; файлы неизвестного размера или превышающие ограничение не загружаются. Для загрузки больших файлов
предоставляется дополнительное время в зависимости от их размера и базовой скорости 256 КиБ/с. Задания сохраняются
после перезапуска, однако истекшие ссылки, утраченный доступ или удаленные файлы по-прежнему могут препятствовать восстановлению.
Ожидающие задания сохраняют установленный для них лимит, поэтому увеличение лимита применяется только к новым файлам.
Отключение типа или снижение его лимита также приводит к пропуску ожидающих файлов, которые он исключает, причём для каждого из них создаётся
запись media.skipped; отключение загрузок приостанавливает работу очереди до тех пор, пока их не включат снова.
Приостановка, блокировка, отключение и перезапуск#
| Действие или состояние | Эффект |
|---|---|
| Переключить рабочую область | Изменяет вид панели; состояние других сборщиков данных сохраняется. |
| Заблокируйте панель или закройте вкладку | Сервер и процесс мониторинга продолжают работать. |
| Наблюдение с паузой | Останавливает работу данного сборщика и сохраняет в очереди вложения. |
| Отключить источник | Прекращает будущий захват в заданном диапазоне; задания по обработке мультимедиа, находящиеся в очереди, приостанавливаются на время отключения данного инструмента. |
| Удалить источник | Он игнорирует его как источник и удаляет профили пользователей; уже сохраненные записи остаются в журнале, доступном только для добавления данных. Вложения, которые все ещё находятся в очереди на обработку, регистрируются как неудачные (source_removed). В режимах «папка» и «весь аккаунт» они также исключаются. |
| Измените маршрут подключения | Требует паузы, закрывает старые клиенты и отменяет незавершённый вход в систему. |
| Остановите процесс Python | Приостанавливает работу всех рабочих пространств; в режиме офлайн наблюдения не ведутся. |
| Перезапуск после активного наблюдения | Попытка возобновить работу с сохраненным диапазоном с использованием сохраненной сессии. Ручная пауза отменяет эту попытку. |
Коллектор фиксирует обнаруженные обрывы соединения, повторные попытки, ошибки, запуски/остановки и сигналы проверки работоспособности. Кратковременные обрывы могут быть пропущены при периодической проверке подключения. После перезапуска пропущенные обновления запрашиваются, начиная с сохраненной позиции обновления, а наблюдаемые чаты периодически перепроверяются; см. формат доказательств. Снимок добавляет текущее состояние в качестве контекста, а пробел остаётся зафиксированным.
Изоляция и верификация учетных записей#
Каждая рабочая область имеет собственный журнал, авторизацию, ключ подписи, политику и очередь. Только активный клиент данной рабочей области может вносить наблюдения в режиме реального времени. Клиенты со статусом «Отклонено», «В ожидании», «Заменено» и «Тест соединения» не могут записывать обновления в режиме реального времени в журнал данной рабочей области. Различные учетные записи могут наблюдать за одной и той же группой, однако их журналы остаются отдельными.
Каждое событие содержит предыдущий хеш и подпись Ed25519. Экспорт охватывает весь журнал рабочего пространства по фиксированному порядковому номеру. Панельные фильтры не влияют на содержание экспорта; сбор данных может продолжаться за пределами его границ во время подготовки экспорта.
Журнал проверки проверяет цепочку событий и подписи в пределах отображаемого диапазона. Его результаты очищаются при смене рабочей области, и панель выделяет новые записи, добавленные после проверки. Экспорт в формат ZIP также обеспечивает проверку собранных медиафайлов.
Сохраните отпечатки и контрольные точки отдельно. См. раздел « Область верификации» для проверок сбора данных в каждом режиме, а также раздел «Ежедневные операции» для рутинного сбора данных.