TgWitness / Документация

Что проверено →

Справочник / Сбор

Возможности TgWitness и охват сбора Telegram

Текущая модель сбора данных, рабочие процессы с несколькими учетными записями, экспорт данных и операционные ограничения TgWitness.

TgWitness / Документация · Ссылка на проект

Ссылка на проект

TgWitness сохраняет переписки в Telegram, доступные для подключенных учетных записей, фиксирует наблюдаемые изменения и готовит поддающиеся проверке экспортные файлы. В данном руководстве описаны модель сбора данных, текущие рабочие процессы и их ограничения.

На этой странице

Автономное приложение#

TgWitness имеет собственную процедуру установки, каталог данных и жизненный цикл выпусков. Входящий в комплект веб-интерфейс обеспечивает настройку и просмотр; экспортированные записи можно использовать независимо.

Оператор подключает свои аккаунты, выбирает источники, доступные для просмотра каждому из них, и получает сохраненный журнал наблюдений. Панель отображает контент, сохраненные изменения, происхождение данных наблюдений и известные пробелы. Другой следователь может проверить экспортированные материалы.

Панель различает авторизацию учетной записи, доступ к источнику, активность сборщика и охват записей. При оценке интервала с небольшим количеством сообщений или проблемы с подключением следует рассматривать эти состояния в совокупности.

Совместные расследования#

Администратор может выдавать токены доступа, привязанные к рабочим пространствам и отдельным чатам, с разрешениями на отдельные действия, ограничениями по IP-адресам, сроком действия, ограничениями на вход и контролем сеансов. Рецензент с правами только на чтение может изучать дело, не получая авторизацию Telegram или ключ главной панели. Доступ, ограниченный чатом, остаётся отдельным от настроек на уровне учётной записи и экспорта полного журнала.

Автоматический MTProxy поддерживает рабочие маршруты Telegram из четырёх общедоступных источников или каталога операторов. Режимы IP определяют, следует ли в случае сбоя дожидаться другого прокси-сервера или можно использовать явно разрешённый прямой маршрут. Внешние HTTP-запросы имеют отдельный маршрут и переключатель для отключения.

Инструменты для архивирования#

С версии 0.7.1 добавлены функции сбора истории, поиска и анализа в архиве, MCP только для чтения, локального OCR/транскрипции и исходящих веб-хуков. Аналитические отчеты и распознанный текст хранятся отдельно от зафиксированных событий.

Case Board добавляет закладки с ссылками на источники, цитаты, заметки и коллекции в рабочей области. Конструктор отчетов выбирает материалы, разделы и один из восьми шаблонов для экспорта в поддерживаемые форматы HTML/PDF.

Дополнительные возможности#

Стандартная настройка: аккаунт → источники → наблюдение. Дополнительные инструменты → Экстра — это отдельный раздел для независимого сбора, хранения, уровня целей и защиты, уведомлений, доказательств и резервных копий, постоянно работающего сервера, бота-свидетеля в Telegram и проверки кода. Каждый из них указывает свою доступность и требования перед отображением настроек. Выбор карточки открывает инструкции; он не приводит к регистрации или запуску службы.

Настройка бота состоит из трёх этапов: создание доступа только для чтения, выбор настроек публикации и запуск на хосте-свидетеле. Параметры сети и публикации, существующие подключения и команды проверки раскрываются по запросу. Загруженная конфигурация отличается от работающего свидетеля. При смене дополнительных параметров черновик сохраняется; изменения учетной записи и блокировка очищают временный токен и форму. Встроенное руководство содержит инструкции по запуску. GitHub Actions, запущенные из раздела Экспорт, запускают закрепленный сборщик из вашего форка, фиксируют один чат и генерируют зашифрованную передачу данных с указанием происхождения рабочего процесса.

Протокол и конфиденциальные источники#

MTProto — это протокол Telegram; Telethon — библиотека на языке Python, которую TgWitness использует для работы с MTProto. Это не альтернативные методы подключения. Функция «Сбор» использует MTProto; дополнительный модуль «Witness» публикует подписанные проверки через Bot API.

Каждая рабочая область имеет собственного авторизованного клиента и поток обновлений учетной записи. TgWitness отбирает данные из настроенных источников и отправляет отдельные явные запросы на выполнение таких функций, как создание моментальных снимков истории и загрузка мультимедиа.

Частному источнику не требуется публичное имя пользователя. Идентификаторами служат тип узла Telegram и числовой идентификатор; названия и имена пользователей могут изменяться. Доступ зависит от существующего членства и разрешений. TgWitness не присоединяется к источникам автоматически и не обходит процедуру утверждения присоединения. Хеш доступа из другой учетной записи не является универсальным токеном доступа.

Модель сбора данных должна учитывать скрытую историю до присоединения, роли участников/администраторов, отзыв сеансов, удаление или изменение прав доступа, переход из группы в супергруппу, темы/форумы, связанные обсуждения, идентификаторы каналов и недоступные вложения. Не все комбинации были проверены в реальных условиях.

Проверка доступности источника осуществляется при запуске сборщика. Отсутствие источника в ограниченном результате диалога означает, что доступ не подтверждён, а не то, что удаление доказано. Отсутствие одного источника не препятствует наблюдению за другими доступными источниками. Ни в коем случае не размещайте ссылки на приглашения или реальные сессии в общедоступных материалах.

Наличие нескольких учётных записей#

Панель поддерживает любое количество рабочих пространств, каждое из которых имеет:

  • Авторизация, зашифрованное хранилище и маршрут соединения.
  • Журнал на базе SQLite и идентификатор подписи Ed25519.
  • Выбранные источники, очередь медиафайлов и настройки захвата.
  • Состояние наблюдения, ошибки, контрольные точки и экспорт данных.

Смена отображаемого рабочего пространства не приводит к остановке работы другого сборщика данных. Повторная авторизация одной и той же учетной записи в разных рабочих пространствах не допускается. Журнал, уже привязанный к одной учетной записи Telegram, не может быть переназначен другой учетной записи; допускается повторное подключение той же учетной записи. Это позволяет сохранить идентичность учетной записи и соответствующий диапазон идентификаторов сообщений.

Приложение не устанавливает фиксированного количества рабочих пространств. Каждое рабочее пространство запускает собственные задачи коллектора для мониторинга подключений, загрузки мультимедиа, повторных проверок и приема новых чатов в рамках общего процесса Python и цикла событий. Пропускная способность зависит от рабочей нагрузки. Для изоляции процессов используйте отдельные установки, порты и каталоги данных.

Присвойте каждому аккаунту источники, к которым он имеет доступ. Разные аккаунты могут наблюдать за одной и той же группой, но их наблюдения остаются отдельными и сохраняют свое происхождение. Два аккаунта на одном компьютере, управляемом одним оператором, не являются двумя независимыми свидетелями. Экспорт группы объединяет отдельно подписанные ZIP-архивы рабочих пространств с подписанным списком файлов, содержащим их идентификаторы рабочих пространств, хэши и отпечатки ключей подписи. Каждый журнал сохраняет свои собственные границы. Создавайте объединенную временную шкалу, охватывающую несколько рабочих пространств, в заметках по делу или инструментах анализа, сохраняя при этом ссылки на источники.

Сбор данных и установление авторства#

В разделе «Источники» предусмотрены переключатели для каждого аккаунта, позволяющие выбирать: новые сообщения, правки, удаления, реакции и членство в группах. Предустановленные настройки сохраняют либо все категории, либо только сообщения, правки и удаления. Данная политика применяется к выбранным группам рабочего пространства, сохраняется после перезапуска и подписывается с указанием состояния до и после изменений. По умолчанию сохраняются все категории. Отключение категории не приводит к удалению старых записей; повторное включение не восстанавливает пропущенные события. Операционные записи, другие события, связанные с обслуживанием групп, и явные моментальные снимки истории являются отдельными. Захваченные объекты Telegram могут сохранять встроенные метаданные независимо от параметров отдельного обновления. На данный момент отсутствует возможность переопределения категорий на уровне группы.

Материалы Зафиксировано сейчас Границы
Сообщение Текст, идентификаторы участников/сообщений, метаданные отправителя, ответы и исходный конверт обновления Сохраняется в виде видимой для учетной записи заметки, подписанной сборщиком
Редактировать Новая наблюдаемая версия, ранее зафиксированные версии, время получения и указанная дата редактирования Обновления сообщений и доступные записи журнала администратора сохраняют свои соответствующие поля атрибуции.
Удаление Уведомление в Telegram, время получения и ранее зафиксированное содержимое Время действия участника и источника сохраняется, если оно указано в отдельной записи журнала администрирования.
Уведомление об удалении на уровне аккаунта Исходное уведомление; в разрешенных записях содержатся сохраненный чат и метод сопоставления Требуется ровно одно ранее сохраненное совпадение из частного чата или обычной группы, входящее в область действия; остальные идентификаторы остаются в категории «deletion.unscoped». Идентификаторы каналов и супергрупп исключаются из этой корреляции.
Реакция Предоставлены счетчики и отображаются недавние идентификационные данные Для получения полного списка доступных реакторов требуются отдельные запросы; каналы могут скрывать идентификационные данные
Членство Сервисные сообщения и обновления, отправленные участникам Доступность зависит от роли и типа чата; информация о членстве предоставляется на основе доставленных событий
Действия администратора Соответствующие предоставленные обновления и моментальный снимок журнала администратора в экспортах чатов каналов/супергрупп Функция экспорта считывает журнал, если он доступен для учетной записи администратора, осуществляющего экспорт
Вложение Описание исходной версии, количество загруженных байтов/SHA-256 и результаты попыток Исходная версия сохраняется; более поздняя версия её никогда не заменяет
История Явный снимок текущих видимых сообщений Запись в реальном времени сохраняет прежние версии и уведомления об удалении
Процесс сбора данных Запуск/остановка, пульс, ошибки, настройки, область действия и подписанное подтверждение запуска Локальный реестр; GitHub и TDX добавляют независимые проверки среды

Интерфейс указывает аккаунт, указанный в исходном событии, и сохраняет наблюдаемые имена и имена пользователей. Если в событии не указан его участник, в отчете это поле оставляется незаполненным.

Вместимость и ограничения Telegram#

Емкость рассчитывается для каждого развёртывания. Она зависит от пикового количества событий в секунду, объёма и размеров вложений, дополнительных RPC-вызовов, активных учётных записей, задержки диска/свободного места, состояния сети, ограничений Telegram, допустимой задержки и глубины очереди.

Telegram различает пассивную доставку и активный короткий опрос. В обновлённой документации описаны дополнительные вызовы updates.getChannelDifference для открытых каналов/супергрупп и рекомендуется не более десяти источников, одновременно подвергающихся короткому опросу. Это относится к короткому опросу; количество выбранных групп устанавливается отдельно.

Режим Цель Статус
Стандартное замечание Регистрация обновлений из выбранных источников Реализовано
Приоритетные повторные проверки Источники, отмеченные звездочкой, используют собственный настраиваемый интервал и имеют приоритет при каждом ограниченном цикле повторной проверки. Реализовано с помощью запросов по истории и сообщениям

Звездочка приоритета управляет этими повторными проверками. Дополнительный короткий опрос updates.getChannelDifference не предоставляется в качестве отдельного пользовательского режима.

Произвольный высокочастотный опрос, игнорирующий FloodWait или предполагающий линейную пропускную способность за счёт дополнительных учетных записей, не является допустимой моделью расчёта размера. Ограничения по умолчанию: первые 1,000 диалогов в списке, до 500 сообщений на один снимок истории, 1–2,000 MiB на каждый собранный файл по типу и 4 GiB несжатого подписанного ZIP-содержимого; каждое из этих значений изменяется для каждой рабочей области, размеры файлов — в разделе Дополнительные инструменты → Источники → Запись, а остальные — в разделе Дополнительные инструменты → Параметры. Для экспорта нет фиксированного ограничения по количеству событий. Резервный режим браузера по умолчанию ограничен 128 МБ; для CLI-интерфейса потоковой передачи предусмотрен настраиваемый лимит передачи, по умолчанию равный 5 ГБ.

Надёжность и восстановление данных#

Реализованные функции включают: WAL SQLite и синхронные транзакции; атомарную запись сообщений и медиафайлов; сохранение заданий и задержки повторных попыток; дескрипторы исходной версии; ограниченные повторные попытки; сохранение медиафайлов с помощью FloodWait; загрузка медиафайлов вне сетевого ожидания текстового события; экспорт с фиксированным префиксом при продолжении последующей записи; атомарные настройки и аудиторские записи; сохранение действующей авторизации после неудачной попытки входа при замене учетных данных; изоляцию повреждённого дополнительного рабочего пространства; явные попытки повторного подключения; отдельную отчётность о потере авторизации; а также обнаружение сдвига реального времени с использованием монотонных часов.

Параметры учетной записи и канала (pts/qts/seq) сохраняются и восстанавливаются после перезапуска, а отслеживаемые чаты периодически перепроверяются; см. формат доказательств. Периодическое сохранение позиции не является атомарным подтверждением принятия журнала без потерь данных.

При каждом запуске процесса фиксируются предыдущая начальная точка и граница автономного режима. Текущая история не рассматривается как восстановление пробелов. Объём сохраняемых данных в Telegram ограничен; differenceTooLong не может восстановить весь исчезнувший контент. Невосполнимые пробелы должны оставаться явно обозначенными, даже если последующий снэпшот истории будет успешным.

Модель доказательств#

Каждое событие фиксирует последовательность, локальное время наблюдения в формате UTC, время источника (если указано), тип, источник, участника (если указан), исходное содержимое, предыдущий хеш и подпись. При наблюдении за сообщениями также сохраняются данные об учётной записи сборщика и контексте запуска.

Подписанная квитанция о процессе содержит случайный идентификатор запуска; версии зависимостей TgWitness/Python/OS; значения SHA-256 исходных файлов и совокупный отпечаток; исходную учетную запись, область действия и настройки; показания UTC/монотонности; а также начальную запись предыдущего журнала. Изменения настроек, запуск/остановка и ошибки заносятся в тот же журнал. Контрольные точки сохраняются при запуске, каждые пять минут во время наблюдения (параметр настраивается) и при упорядоченной остановке. Сохраненная локальная контрольная точка позволяет обнаружить откат к более раннему префиксу журнала.

Механизм Что он обеспечивает
SHA-256 файла Количество байтов совпадает с известным дайджестом
Цепочка хешей событий Упорядочивание и сопоставление записей относительно известной границы
Ed25519 Подпись с использованием конкретного ключа
Независимо сохраняемый контрольный пункт Последующий текст соответствует установленным границам
Анализ размера программного файла Отчёт сборщика о проанализированных файлах
Достоверный независимый ответ TSA Наличие определённых байтов на момент времени TSA при явных допущениях о доверии

Подготовка запроса RFC 3161 и проверка ответа реализованы без OpenSSL. В режиме доказательств хеши контрольных точек также отправляются в настроенные службы меток времени. Сохраните и проверьте ответ службы меток времени, чтобы получить независимую привязку ко времени. См. TIMESTAMP.md.

Независимо сохраняйте контрольные точки, контролируйте доступ к ключам подписи, ведите учет передачи записей и проверяйте экспортированные данные с помощью надежного программного обеспечения. В разделе «Объем проверки» объясняется, как эти проверки дополняют друг друга и какие допущения о доверии применяются.

Экспорт, развертывание и передача#

Подписанный ZIP-архив содержит исходные файлы в форматах JSONL, CSV, HTML, сохраненные вложения, хэши, подписанный манифест и удобный инструмент для проверки. Он охватывает одно рабочее пространство и фиксированный полный префикс журнала. Фильтры поиска на панели не удаляют записи без уведомления. Секретные ключи, токены и сеансы Telegram исключаются; исходные записи по-прежнему могут содержать личную информацию и метаданные Telegram.

Сохраняйте дайджест ZIP-архива, доверенный отпечаток, контрольную точку, подтверждение обработки и передачу отдельно. Используйте средство проверки из надёжной установки, а не доверяйте исполняемому коду исключительно на том основании, что он содержится в проверяемом ZIP-архиве.

Интерфейс браузера поставляется локально без использования Node.js, CDN или внешних шрифтов. Управление установкой осуществляется с помощью одного токен оператора. Для удалённого доступа требуется HTTPS или SSH-туннель. Предоставляются исходные коды на языке Python и определения контейнеров, а примеры сервисов находятся в каталоге deploy/; результаты проверок платформы приведены отдельно.

Рабочая область по умолчанию использует корневой каталог данных; дополнительные рабочие области используют profiles/<id>/. Для создания резервной копии необходимо остановить процесс и иметь полный набор данных и ключей. ZIP-архивы с доказательствами не являются резервными копиями приложения. Для секретных данных можно использовать внешний мастер-ключ для нового каталога данных; шифрование журнала и мультимедиа обеспечивается диском или томом оператора. См. файлы CONNECTION-SECURITY.md и OPERATIONS.md.

Критерии стабильного выпуска#

До выхода стабильной версии следует уточнить:

  1. Реальные закрытые группы, супергруппы, форумы и каналы с ролями участников и администраторов, а также скрытой и видимой историей, включая данные о входе в систему, двухфакторной аутентификации, отзыве доступа и потере доступа.
  2. Контролируемые изменения, удаления, реакции, членство и медиафайлы в сопоставлении с известными действиями.
  3. Сбои процессов/хоста, сбои дисков/переполнение диска, ссылки на файлы с истекшим сроком действия, FloodWait, потеря сетевого соединения, повреждённые файлы и откат базы данных.
  4. Длительное использование нескольких учетных записей с контролируемыми задержками, очередями, объёмом памяти и дисковым пространством, включая как «тихие», так и «шумные» источники одновременно.
  5. Задержка между переходом в следующее состояние протокола MTProto и принятием записи в журнал.
  6. Чистая установка на целевой матрице ОС/контейнеров и проверенное восстановление резервной копии.
  7. Независимый обзор вопросов безопасности, подписей и утверждений об авторстве/доказательствах.

Доступ к панели с ограниченной областью действия описан в разделе Доступ и разрешения. Начиная с версии 0.6, TgWitness поддерживает ограниченный импорт TData для одной учетной записи и импорт файлов учетных записей, описанный в файле ACCOUNTS.md. Перед публикацией ознакомьтесь с условиями использования API Telegram. Ссылки на исследования и выводы по платформе находятся в файле RESEARCH.md.