Справочник / Сбор
Возможности TgWitness и охват сбора Telegram
Текущая модель сбора данных, рабочие процессы с несколькими учетными записями, экспорт данных и операционные ограничения TgWitness.
TgWitness / Документация · Ссылка на проект
TgWitness сохраняет переписки в Telegram, доступные для подключенных учетных записей, фиксирует наблюдаемые изменения и готовит поддающиеся проверке экспортные файлы. В данном руководстве описаны модель сбора данных, текущие рабочие процессы и их ограничения.
На этой странице
- Автономное приложение
- Совместные расследования
- Инструменты архивирования
- Дополнительные возможности
- Протокол и закрытые источники
- Несколько учетных записей
- Захват и указание авторства
- Пропускная способность и ограничения Telegram
- Надёжность и восстановление
- Модель доказательств
- Экспорт, развертывание и передача
- Критерии стабильного выпуска
Автономное приложение#
TgWitness имеет собственную процедуру установки, каталог данных и жизненный цикл выпусков. Входящий в комплект веб-интерфейс обеспечивает настройку и просмотр; экспортированные записи можно использовать независимо.
Оператор подключает свои аккаунты, выбирает источники, доступные для просмотра каждому из них, и получает сохраненный журнал наблюдений. Панель отображает контент, сохраненные изменения, происхождение данных наблюдений и известные пробелы. Другой следователь может проверить экспортированные материалы.
Панель различает авторизацию учетной записи, доступ к источнику, активность сборщика и охват записей. При оценке интервала с небольшим количеством сообщений или проблемы с подключением следует рассматривать эти состояния в совокупности.
Совместные расследования#
Администратор может выдавать токены доступа, привязанные к рабочим пространствам и отдельным чатам, с разрешениями на отдельные действия, ограничениями по IP-адресам, сроком действия, ограничениями на вход и контролем сеансов. Рецензент с правами только на чтение может изучать дело, не получая авторизацию Telegram или ключ главной панели. Доступ, ограниченный чатом, остаётся отдельным от настроек на уровне учётной записи и экспорта полного журнала.
Автоматический MTProxy поддерживает рабочие маршруты Telegram из четырёх общедоступных источников или каталога операторов. Режимы IP определяют, следует ли в случае сбоя дожидаться другого прокси-сервера или можно использовать явно разрешённый прямой маршрут. Внешние HTTP-запросы имеют отдельный маршрут и переключатель для отключения.
Инструменты для архивирования#
С версии 0.7.1 добавлены функции сбора истории, поиска и анализа в архиве, MCP только для чтения, локального OCR/транскрипции и исходящих веб-хуков. Аналитические отчеты и распознанный текст хранятся отдельно от зафиксированных событий.
Case Board добавляет закладки с ссылками на источники, цитаты, заметки и коллекции в рабочей области. Конструктор отчетов выбирает материалы, разделы и один из восьми шаблонов для экспорта в поддерживаемые форматы HTML/PDF.
Дополнительные возможности#
Стандартная настройка: аккаунт → источники → наблюдение. Дополнительные инструменты → Экстра — это отдельный раздел для независимого сбора, хранения, уровня целей и защиты, уведомлений, доказательств и резервных копий, постоянно работающего сервера, бота-свидетеля в Telegram и проверки кода. Каждый из них указывает свою доступность и требования перед отображением настроек. Выбор карточки открывает инструкции; он не приводит к регистрации или запуску службы.
Настройка бота состоит из трёх этапов: создание доступа только для чтения, выбор настроек публикации и запуск на хосте-свидетеле. Параметры сети и публикации, существующие подключения и команды проверки раскрываются по запросу. Загруженная конфигурация отличается от работающего свидетеля. При смене дополнительных параметров черновик сохраняется; изменения учетной записи и блокировка очищают временный токен и форму. Встроенное руководство содержит инструкции по запуску. GitHub Actions, запущенные из раздела Экспорт, запускают закрепленный сборщик из вашего форка, фиксируют один чат и генерируют зашифрованную передачу данных с указанием происхождения рабочего процесса.
Протокол и конфиденциальные источники#
MTProto — это протокол Telegram; Telethon — библиотека на языке Python, которую TgWitness использует для работы с MTProto. Это не альтернативные методы подключения. Функция «Сбор» использует MTProto; дополнительный модуль «Witness» публикует подписанные проверки через Bot API.
Каждая рабочая область имеет собственного авторизованного клиента и поток обновлений учетной записи. TgWitness отбирает данные из настроенных источников и отправляет отдельные явные запросы на выполнение таких функций, как создание моментальных снимков истории и загрузка мультимедиа.
Частному источнику не требуется публичное имя пользователя. Идентификаторами служат тип узла Telegram и числовой идентификатор; названия и имена пользователей могут изменяться. Доступ зависит от существующего членства и разрешений. TgWitness не присоединяется к источникам автоматически и не обходит процедуру утверждения присоединения. Хеш доступа из другой учетной записи не является универсальным токеном доступа.
Модель сбора данных должна учитывать скрытую историю до присоединения, роли участников/администраторов, отзыв сеансов, удаление или изменение прав доступа, переход из группы в супергруппу, темы/форумы, связанные обсуждения, идентификаторы каналов и недоступные вложения. Не все комбинации были проверены в реальных условиях.
Проверка доступности источника осуществляется при запуске сборщика. Отсутствие источника в ограниченном результате диалога означает, что доступ не подтверждён, а не то, что удаление доказано. Отсутствие одного источника не препятствует наблюдению за другими доступными источниками. Ни в коем случае не размещайте ссылки на приглашения или реальные сессии в общедоступных материалах.
Наличие нескольких учётных записей#
Панель поддерживает любое количество рабочих пространств, каждое из которых имеет:
- Авторизация, зашифрованное хранилище и маршрут соединения.
- Журнал на базе SQLite и идентификатор подписи Ed25519.
- Выбранные источники, очередь медиафайлов и настройки захвата.
- Состояние наблюдения, ошибки, контрольные точки и экспорт данных.
Смена отображаемого рабочего пространства не приводит к остановке работы другого сборщика данных. Повторная авторизация одной и той же учетной записи в разных рабочих пространствах не допускается. Журнал, уже привязанный к одной учетной записи Telegram, не может быть переназначен другой учетной записи; допускается повторное подключение той же учетной записи. Это позволяет сохранить идентичность учетной записи и соответствующий диапазон идентификаторов сообщений.
Приложение не устанавливает фиксированного количества рабочих пространств. Каждое рабочее пространство запускает собственные задачи коллектора для мониторинга подключений, загрузки мультимедиа, повторных проверок и приема новых чатов в рамках общего процесса Python и цикла событий. Пропускная способность зависит от рабочей нагрузки. Для изоляции процессов используйте отдельные установки, порты и каталоги данных.
Присвойте каждому аккаунту источники, к которым он имеет доступ. Разные аккаунты могут наблюдать за одной и той же группой, но их наблюдения остаются отдельными и сохраняют свое происхождение. Два аккаунта на одном компьютере, управляемом одним оператором, не являются двумя независимыми свидетелями. Экспорт группы объединяет отдельно подписанные ZIP-архивы рабочих пространств с подписанным списком файлов, содержащим их идентификаторы рабочих пространств, хэши и отпечатки ключей подписи. Каждый журнал сохраняет свои собственные границы. Создавайте объединенную временную шкалу, охватывающую несколько рабочих пространств, в заметках по делу или инструментах анализа, сохраняя при этом ссылки на источники.
Сбор данных и установление авторства#
В разделе «Источники» предусмотрены переключатели для каждого аккаунта, позволяющие выбирать: новые сообщения, правки, удаления, реакции и членство в группах. Предустановленные настройки сохраняют либо все категории, либо только сообщения, правки и удаления. Данная политика применяется к выбранным группам рабочего пространства, сохраняется после перезапуска и подписывается с указанием состояния до и после изменений. По умолчанию сохраняются все категории. Отключение категории не приводит к удалению старых записей; повторное включение не восстанавливает пропущенные события. Операционные записи, другие события, связанные с обслуживанием групп, и явные моментальные снимки истории являются отдельными. Захваченные объекты Telegram могут сохранять встроенные метаданные независимо от параметров отдельного обновления. На данный момент отсутствует возможность переопределения категорий на уровне группы.
| Материалы | Зафиксировано сейчас | Границы |
|---|---|---|
| Сообщение | Текст, идентификаторы участников/сообщений, метаданные отправителя, ответы и исходный конверт обновления | Сохраняется в виде видимой для учетной записи заметки, подписанной сборщиком |
| Редактировать | Новая наблюдаемая версия, ранее зафиксированные версии, время получения и указанная дата редактирования | Обновления сообщений и доступные записи журнала администратора сохраняют свои соответствующие поля атрибуции. |
| Удаление | Уведомление в Telegram, время получения и ранее зафиксированное содержимое | Время действия участника и источника сохраняется, если оно указано в отдельной записи журнала администрирования. |
| Уведомление об удалении на уровне аккаунта | Исходное уведомление; в разрешенных записях содержатся сохраненный чат и метод сопоставления | Требуется ровно одно ранее сохраненное совпадение из частного чата или обычной группы, входящее в область действия; остальные идентификаторы остаются в категории «deletion.unscoped». Идентификаторы каналов и супергрупп исключаются из этой корреляции. |
| Реакция | Предоставлены счетчики и отображаются недавние идентификационные данные | Для получения полного списка доступных реакторов требуются отдельные запросы; каналы могут скрывать идентификационные данные |
| Членство | Сервисные сообщения и обновления, отправленные участникам | Доступность зависит от роли и типа чата; информация о членстве предоставляется на основе доставленных событий |
| Действия администратора | Соответствующие предоставленные обновления и моментальный снимок журнала администратора в экспортах чатов каналов/супергрупп | Функция экспорта считывает журнал, если он доступен для учетной записи администратора, осуществляющего экспорт |
| Вложение | Описание исходной версии, количество загруженных байтов/SHA-256 и результаты попыток | Исходная версия сохраняется; более поздняя версия её никогда не заменяет |
| История | Явный снимок текущих видимых сообщений | Запись в реальном времени сохраняет прежние версии и уведомления об удалении |
| Процесс сбора данных | Запуск/остановка, пульс, ошибки, настройки, область действия и подписанное подтверждение запуска | Локальный реестр; GitHub и TDX добавляют независимые проверки среды |
Интерфейс указывает аккаунт, указанный в исходном событии, и сохраняет наблюдаемые имена и имена пользователей. Если в событии не указан его участник, в отчете это поле оставляется незаполненным.
Вместимость и ограничения Telegram#
Емкость рассчитывается для каждого развёртывания. Она зависит от пикового количества событий в секунду, объёма и размеров вложений, дополнительных RPC-вызовов, активных учётных записей, задержки диска/свободного места, состояния сети, ограничений Telegram, допустимой задержки и глубины очереди.
Telegram различает пассивную доставку и активный короткий опрос. В обновлённой
документации описаны дополнительные вызовы updates.getChannelDifference для открытых
каналов/супергрупп и рекомендуется не более десяти источников, одновременно подвергающихся
короткому опросу. Это относится к короткому опросу; количество выбранных групп устанавливается отдельно.
| Режим | Цель | Статус |
|---|---|---|
| Стандартное замечание | Регистрация обновлений из выбранных источников | Реализовано |
| Приоритетные повторные проверки | Источники, отмеченные звездочкой, используют собственный настраиваемый интервал и имеют приоритет при каждом ограниченном цикле повторной проверки. | Реализовано с помощью запросов по истории и сообщениям |
Звездочка приоритета управляет этими повторными проверками. Дополнительный короткий опрос updates.getChannelDifference
не предоставляется в качестве отдельного пользовательского режима.
Произвольный высокочастотный опрос, игнорирующий FloodWait или предполагающий линейную пропускную способность за счёт дополнительных учетных записей, не является допустимой моделью расчёта размера. Ограничения по умолчанию: первые 1,000 диалогов в списке, до 500 сообщений на один снимок истории, 1–2,000 MiB на каждый собранный файл по типу и 4 GiB несжатого подписанного ZIP-содержимого; каждое из этих значений изменяется для каждой рабочей области, размеры файлов — в разделе Дополнительные инструменты → Источники → Запись, а остальные — в разделе Дополнительные инструменты → Параметры. Для экспорта нет фиксированного ограничения по количеству событий. Резервный режим браузера по умолчанию ограничен 128 МБ; для CLI-интерфейса потоковой передачи предусмотрен настраиваемый лимит передачи, по умолчанию равный 5 ГБ.
Надёжность и восстановление данных#
Реализованные функции включают: WAL SQLite и синхронные транзакции; атомарную запись сообщений и медиафайлов; сохранение заданий и задержки повторных попыток; дескрипторы исходной версии; ограниченные повторные попытки; сохранение медиафайлов с помощью FloodWait; загрузка медиафайлов вне сетевого ожидания текстового события; экспорт с фиксированным префиксом при продолжении последующей записи; атомарные настройки и аудиторские записи; сохранение действующей авторизации после неудачной попытки входа при замене учетных данных; изоляцию повреждённого дополнительного рабочего пространства; явные попытки повторного подключения; отдельную отчётность о потере авторизации; а также обнаружение сдвига реального времени с использованием монотонных часов.
Параметры учетной записи и канала (pts/qts/seq) сохраняются и восстанавливаются после перезапуска, а отслеживаемые чаты периодически перепроверяются; см. формат доказательств. Периодическое сохранение позиции не является атомарным подтверждением принятия журнала без потерь данных.
При каждом запуске процесса фиксируются предыдущая начальная точка и граница автономного режима. Текущая история
не рассматривается как восстановление пробелов. Объём сохраняемых данных в Telegram ограничен;
differenceTooLong не может восстановить весь исчезнувший контент. Невосполнимые пробелы должны
оставаться явно обозначенными, даже если последующий снэпшот истории будет успешным.
Модель доказательств#
Каждое событие фиксирует последовательность, локальное время наблюдения в формате UTC, время источника (если указано), тип, источник, участника (если указан), исходное содержимое, предыдущий хеш и подпись. При наблюдении за сообщениями также сохраняются данные об учётной записи сборщика и контексте запуска.
Подписанная квитанция о процессе содержит случайный идентификатор запуска; версии зависимостей TgWitness/Python/OS; значения SHA-256 исходных файлов и совокупный отпечаток; исходную учетную запись, область действия и настройки; показания UTC/монотонности; а также начальную запись предыдущего журнала. Изменения настроек, запуск/остановка и ошибки заносятся в тот же журнал. Контрольные точки сохраняются при запуске, каждые пять минут во время наблюдения (параметр настраивается) и при упорядоченной остановке. Сохраненная локальная контрольная точка позволяет обнаружить откат к более раннему префиксу журнала.
| Механизм | Что он обеспечивает |
|---|---|
| SHA-256 файла | Количество байтов совпадает с известным дайджестом |
| Цепочка хешей событий | Упорядочивание и сопоставление записей относительно известной границы |
| Ed25519 | Подпись с использованием конкретного ключа |
| Независимо сохраняемый контрольный пункт | Последующий текст соответствует установленным границам |
| Анализ размера программного файла | Отчёт сборщика о проанализированных файлах |
| Достоверный независимый ответ TSA | Наличие определённых байтов на момент времени TSA при явных допущениях о доверии |
Подготовка запроса RFC 3161 и проверка ответа реализованы без OpenSSL. В режиме доказательств хеши контрольных точек также отправляются в настроенные службы меток времени. Сохраните и проверьте ответ службы меток времени, чтобы получить независимую привязку ко времени. См. TIMESTAMP.md.
Независимо сохраняйте контрольные точки, контролируйте доступ к ключам подписи, ведите учет передачи записей и проверяйте экспортированные данные с помощью надежного программного обеспечения. В разделе «Объем проверки» объясняется, как эти проверки дополняют друг друга и какие допущения о доверии применяются.
Экспорт, развертывание и передача#
Подписанный ZIP-архив содержит исходные файлы в форматах JSONL, CSV, HTML, сохраненные вложения, хэши, подписанный манифест и удобный инструмент для проверки. Он охватывает одно рабочее пространство и фиксированный полный префикс журнала. Фильтры поиска на панели не удаляют записи без уведомления. Секретные ключи, токены и сеансы Telegram исключаются; исходные записи по-прежнему могут содержать личную информацию и метаданные Telegram.
Сохраняйте дайджест ZIP-архива, доверенный отпечаток, контрольную точку, подтверждение обработки и передачу отдельно. Используйте средство проверки из надёжной установки, а не доверяйте исполняемому коду исключительно на том основании, что он содержится в проверяемом ZIP-архиве.
Интерфейс браузера поставляется локально без использования Node.js, CDN или внешних шрифтов. Управление установкой осуществляется с помощью одного токен оператора. Для удалённого доступа требуется HTTPS или SSH-туннель. Предоставляются исходные коды на языке Python и определения контейнеров, а примеры сервисов находятся в каталоге deploy/; результаты проверок платформы приведены отдельно.
Рабочая область по умолчанию использует корневой каталог данных; дополнительные рабочие области используют profiles/<id>/.
Для создания резервной копии необходимо остановить процесс и иметь полный набор данных и ключей. ZIP-архивы с доказательствами
не являются резервными копиями приложения. Для секретных данных можно использовать внешний мастер-ключ для нового каталога данных;
шифрование журнала и мультимедиа обеспечивается диском или томом оператора.
См. файлы CONNECTION-SECURITY.md и OPERATIONS.md.
Критерии стабильного выпуска#
До выхода стабильной версии следует уточнить:
- Реальные закрытые группы, супергруппы, форумы и каналы с ролями участников и администраторов, а также скрытой и видимой историей, включая данные о входе в систему, двухфакторной аутентификации, отзыве доступа и потере доступа.
- Контролируемые изменения, удаления, реакции, членство и медиафайлы в сопоставлении с известными действиями.
- Сбои процессов/хоста, сбои дисков/переполнение диска, ссылки на файлы с истекшим сроком действия, FloodWait, потеря сетевого соединения, повреждённые файлы и откат базы данных.
- Длительное использование нескольких учетных записей с контролируемыми задержками, очередями, объёмом памяти и дисковым пространством, включая как «тихие», так и «шумные» источники одновременно.
- Задержка между переходом в следующее состояние протокола MTProto и принятием записи в журнал.
- Чистая установка на целевой матрице ОС/контейнеров и проверенное восстановление резервной копии.
- Независимый обзор вопросов безопасности, подписей и утверждений об авторстве/доказательствах.
Доступ к панели с ограниченной областью действия описан в разделе Доступ и разрешения. Начиная с версии 0.6, TgWitness поддерживает ограниченный импорт TData для одной учетной записи и импорт файлов учетных записей, описанный в файле ACCOUNTS.md. Перед публикацией ознакомьтесь с условиями использования API Telegram. Ссылки на исследования и выводы по платформе находятся в файле RESEARCH.md.