Довідка / Зібрати
Telegram · Можливості та охоплення
Поточна модель збору даних, робочі процеси з кількома обліковими записами, експорт даних та операційні обмеження TgWitness.
TgWitness / Документація · Довідка про проєкт
TgWitness зберігає переписки в Telegram, доступні для підключених облікових записів, фіксує виявлені зміни та готує експортні файли, що піддаються перевірці. Цей довідник описує модель збору даних, поточні робочі процеси та їхні обмеження.
На цій сторінці
- Автономний додаток
- Спільні розслідування
- Інструменти архівування
- Додаткові опції
- Протокол та приватні джерела
- Кілька облікових записів
- Збір даних та вказівка джерел
- Пропускна здатність та обмеження Telegram
- Надійність та відновлення
- Модель доказів
- Експорт, розгортання та передача
- Критерії стабільного випуску
Автономний додаток#
TgWitness має власну процедуру встановлення, каталог даних та цикл випуску версій. Вбудований веб-інтерфейс забезпечує налаштування та перегляд; експортовані записи можна використовувати самостійно.
Користувач підключає свої акаунти, обирає джерела, доступні для кожного з них, та отримує збережений журнал спостережень. Панель відображає вміст, збережені зміни, походження спостережень та відомі прогалини. Інший слідчий може перевірити експортовані матеріали.
Панель розрізняє авторизацію облікового запису, доступ до джерела, активність колектора та охоплення записів. Переглядайте ці стани разом під час оцінки інтервалу з невеликою кількістю повідомлень або проблеми з підключенням.
Спільні розслідування#
Адміністратор може видавати токени доступу, обмежені робочими просторами та окремими чатами, з правами доступу для кожної дії, обмеженнями за IP-адресою, терміном дії, обмеженнями входу та контролем сеансів. Рецензент із правом лише на читання може перевіряти справу без отримання авторизації Telegram або ключа головної панелі. Доступ, обмежений чатом, залишається окремим від налаштувань на рівні облікового запису та повного експорту журналу.
Автоматичний MTProxy підтримує робочі маршрути Telegram із чотирьох публічних джерел або каталогу операторів. Режими IP визначають, чи у разі збою потрібно чекати на інший проксі-сервер, чи можна використовувати явно дозволений прямий маршрут. Зовнішні HTTP-запити мають окремий маршрут та перемикач для вимкнення.
Інструменти архівування#
З версії 0.7.1 додано функції отримання історії, пошуку та аналізу в архіві, MCP тільки для читання, локального OCR/транскрипції та вихідних веб-хуків. Аналітичні звіти та розпізнаний текст зберігаються окремо від зафіксованих подій.
Case Board додає пов’язані з джерелами закладки, цитати, нотатки та колекції в межах робочого простору. Конструктор звітів дозволяє вибрати матеріал, розділи та один із восьми макетів для експорту у форматах HTML/PDF, що підтримуються.
Додаткові опції#
Повсякденна настройка: обліковий запис → джерела → спостереження. Більше інструментів → Додаткові — це окремий розділ для незалежного збору, зберігання, цілей та рівня захисту, сповіщень, доказів та резервних копій, постійно активного сервера, бота-свідка у Telegram та перевірки коду. Кожен з них вказує свою доступність та вимоги перед показом налаштувань. Вибір картки відкриває інструкції; це не призводить до реєстрації чи запуску служби.
Налаштування бота складається з трьох етапів: створення доступу тільки для читання, вибір параметрів публікації та запуск на хості свідка. Параметри мережі та публікації, існуючі з’єднання та команди верифікації надаються за запитом. Завантажена конфігурація відрізняється від запущеного свідка. При зміні додаткових параметрів чернетка зберігається; зміни облікового запису та блокування очищають тимчасовий токен і форму. Вбудований посібник містить інструкції щодо запуску. GitHub Actions capture, що відкривається з розділу Експорт, запускає закріплений колектор із вашого форку, фіксує один чат і створює зашифровану передачу з інформацією про походження робочого процесу.
Протокол та приватні джерела#
MTProto — це протокол Telegram; Telethon — це бібліотека Python, яку TgWitness використовує для роботи з MTProto. Це не альтернативні методи підключення. Функція «Збір» використовує MTProto; опціональний «свідок» публікує підписані перевірки через Bot API.
Кожна робоча область має власного авторизованого клієнта та потік оновлень облікового запису. TgWitness відбирає спостереження з налаштованих джерел і надсилає окремі явні запити для таких функцій, як створення знімків історії та завантаження медіафайлів.
Приватному джерелу не потрібне публічне ім’я користувача. Ідентифікаторами є тип вузла Telegram та числовий ідентифікатор; назви та імена користувачів можуть змінюватися. Доступ залежить від існуючого членства та дозволів. TgWitness не приєднується до джерел автоматично та не обходить процедуру затвердження приєднання. Хеш доступу з іншого облікового запису не є універсальним токеном доступу.
Модель збору даних повинна враховувати приховану історію до приєднання, ролі учасників/адміністраторів, скасування сеансів, видалення або зміну дозволів, міграцію з групи до супергрупи, теми/форуми, пов’язані обговорення, ідентифікатори каналів та недоступні вкладення. Не кожна комбінація була перевірена в реальному часі.
Видимість джерела перевіряється під час запуску колектора. Відсутність джерела у результаті обмеженого діалогу означає, що доступ не підтверджено, а не те, що видалення доведено. Одне недоступне джерело не заважає спостереженню за іншими доступними джерелами. Ніколи не розміщуйте посилання на запрошення або реальні сесії у публічних фіксаціях.
Кілька облікових записів#
Панель підтримує будь-яку кількість робочих просторів, кожен із яких має:
- Авторизація, зашифроване сховище та маршрут з’єднання.
- Журнал на базі SQLite та ідентифікатор підпису Ed25519.
- Вибрані джерела, черга медіафайлів та налаштування збору даних.
- Стан спостереження, помилки, контрольні точки та експорт даних.
Перемикання відображуваного робочого простору не зупиняє роботу іншого колектора. Дублювання авторизації облікового запису у різних робочих просторах не допускається. Журнал, який уже прив’язаний до одного облікового запису Telegram, не можна перепризначити іншому; дозволено повторне підключення того самого облікового запису. Це зберігає ідентичність облікового запису та відповідну область ідентифікаторів повідомлень.
Додаток не встановлює фіксованої кількості робочих просторів. Кожен робочий простір виконує власні завдання колектора щодо моніторингу з’єднань, завантаження медіафайлів, повторних перевірок та прийому нових чатів у рамках спільного процесу Python та циклу подій. Пропускна здатність залежить від навантаження. Для ізоляції процесів використовуйте окремі інсталяції, порти та каталоги даних.
Призначте кожному обліковому запису джерела, до яких він має доступ. Різні облікові записи можуть спостерігати за однією й тією ж групою, але їхні спостереження залишаються окремими та зберігають своє походження. Два облікові записи на одному комп’ютері, що керується оператором, не є двома незалежними свідками. Експорт групи об’єднує окремо підписані ZIP-архіви робочих просторів із підписаним списком файлів, що містить їхні ідентифікатори робочих просторів, хеші та відбитки ключів підпису. Кожен журнал зберігає власні межі. Створіть об’єднану хронологію для всіх робочих просторів у примітках до справи або в інструментах аналізу, зберігаючи ці посилання на джерела.
Збір даних та вказівка джерел#
У розділі «Джерела» передбачені налаштування для кожного облікового запису щодо нових повідомлень, редагувань, видалень, реакцій та членства у групах. У пресетах зберігаються або всі категорії, або лише повідомлення/редагування/видалення. Ця політика застосовується до вибраних груп робочого простору, зберігається після перезапуску та підписується з зазначенням стану до та після змін. За замовчуванням зберігаються всі категорії. Вимкнення категорії не видаляє старі записи; повторне ввімкнення не відновлює пропущені події. Операційні записи, інші події групового сервісу та явні знімки історії є окремими. Зафіксовані об’єкти Telegram можуть зберігати вбудовані метадані незалежно від параметрів окремого оновлення. Наразі немає можливості заміни категорій для окремих груп.
| Матеріал | Зафіксовано зараз | Межі |
|---|---|---|
| Повідомлення | Текст, ідентифікатори учасників/повідомлень, метадані відправника, відповіді та оригінальний конверт оновлення | Збережено як спостереження, видиме для облікового запису, підписане збирачем даних |
| Редагувати | Нова спостережувана версія, раніше зафіксовані версії, час отримання та вказана дата редагування | Оновлення повідомлень та доступні записи журналу адміністратора зберігають свої відповідні поля атрибуції |
| Видалення | Повідомлення Telegram, час отримання та раніше записаний вміст | Час дії суб’єкта та джерела зберігається, якщо він надається окремим записом журналу адміністратора |
| Повідомлення про видалення на рівні облікового запису | Оригінальне повідомлення; вирішені записи містять збережений чат та метод кореляції | Потрібно, щоб у межах обсягу було точно одне раніше збережене співпадіння приватного чату або звичайної групи; інші ідентифікатори залишаються в категорії «deletion.unscoped». Ідентифікатори каналів та супергруп виключаються з цієї кореляції. |
| Реакція | Надані лічильники та видимі останні ідентифікатори | Для отримання повного списку доступних реакторів потрібні окремі запити; канали можуть приховувати ідентифікаційні дані |
| Членство | Сервісні повідомлення та оновлення для учасників, яким було надіслано повідомлення | Видимість залежить від ролі та типу чату; інформація про членство надходить із доставлених подій |
| Дії адміністратора | Відповідні надані оновлення та знімок журналу адміністратора в експортованих даних чатів каналів/супергруп | Функція експорту зчитує журнал, якщо він доступний для облікового запису адміністратора, що здійснює експорт |
| Вкладення | Опис оригінальної версії, завантажені байти/SHA-256 та результати спроб | Початкова версія зберігається; пізніша версія її ніколи не замінює |
| Історія | Чіткий знімок поточних видимих повідомлень | Запис у реальному часі зберігає попередні версії та сповіщення про видалення |
| Процес збору даних | Запуск/зупинка, сигнал активності, помилки, налаштування, область дії та підписане підтвердження виконання | Локальний інвентар; GitHub та TDX додають незалежні перевірки середовища |
Інтерфейс вказує обліковий запис, наданий у вихідній події, та зберігає спостережувані імена та імена користувачів. Якщо в події не вказано її учасника, у звіті це поле залишається незаповненим.
Ємність та обмеження Telegram#
Ємність визначається для кожного розгортання. Вона залежить від пікової кількості подій за секунду, обсягу та розмірів вкладень, додаткових RPC, активних облікових записів, затримки диска/вільного місця, стану мережі, обмежень Telegram, допустимої затримки та глибини черги.
Telegram розрізняє пасивну доставку та активне коротке опитування. У його оновленій
документації описано додаткові виклики updates.getChannelDifference для відкритих
каналів/супергруп та рекомендовано не більше десяти джерел, що одночасно підлягають короткому опитуванню
. Це стосується короткого опитування; кількість обраних груп встановлюється окремо.
| Режим | Мета | Статус |
|---|---|---|
| Стандартне зауваження | Запис оновлень, отриманих із вибраних джерел | Реалізовано |
| Пріоритетні перевірки | Джерела, позначені зірочкою, використовують власний настроюваний інтервал і мають пріоритет у кожному обмеженому циклі повторної перевірки | Реалізовано за допомогою запитів щодо історії та повідомлень |
Зірочка пріоритету керує цими повторними перевірками. Додаткове коротке опитування updates.getChannelDifference
не виводиться як окремий режим користувача.
Довільне високочастотне опитування, ігнорування FloodWait або припущення про лінійну пропускну здатність за рахунок додаткових облікових записів не є прийнятною моделлю визначення розміру. Стандартні обмеження становлять: перші 1,000 діалогів у списку, до 500 повідомлень на знімок історії, 1–2,000 MiB на зібраний файл за типом та 4 GiB нестисненого підписаного вмісту ZIP; кожне обмеження змінюється для кожного робочого простору, розміри файлів — у розділі Додаткові інструменти → Джерела → Запис, а інші — у розділі Додаткові інструменти → Параметри. Експорт не має фіксованого обмеження кількості подій. За замовчуванням резервний режим браузера обмежений до 128 Мб; CLI для потокової передачі має налаштовуване обмеження передачі, за замовчуванням — 5 Гб.
Надійність та відновлення#
Реалізовані функції включають: транзакції SQLite WAL/синхронні; атомарні записи повідомлень та мультимедійних завдань; постійні завдання та затримки повторних спроб; дескриптори оригінальної версії; обмежені повторні спроби; збереження медіа-задачі FloodWait; завантаження медіа поза межами мережевого очікування текстової події; експорт зі стабільним префіксом під час продовження подальшого запису; атомарні налаштування та записи аудиту; збереження робочої авторизації після невдалого входу для заміни; ізоляцію пошкодженого додаткового робочого простору; явні спроби повторного підключення; чітке повідомлення про втрату авторизації; та виявлення змін за реальним часом за допомогою монотонного годинника.
Параметри pts/qts/seq облікових записів та каналів зберігаються та відновлюються після перезапуску, а відстежувані чати періодично перевіряються повторно; див. формат доказів. Періодичне збереження позиції не є атомарним підтвердженням прийняття журналу без втрат даних.
На початку кожного процесу фіксуються попередній покажчик та межа офлайн-періоду. Поточна історія
не розглядається як заповнення прогалин. Обсяг збережених даних у Telegram є обмеженим;
differenceTooLong не може відтворити весь зниклий вміст. Невідновлювані прогалини повинні
залишатися явно позначеними, навіть якщо пізніший знімок історії буде успішним.
Модель доказів#
Кожна подія фіксує послідовність, місцевий час спостереження за UTC, час джерела (якщо вказано), тип, джерело, учасника (якщо вказано), оригінальний вміст, попередній хеш та підпис. Спостереження за повідомленнями також зберігають обліковий запис колектора та контекст запуску.
Підписана квитанція про процес містить випадковий ідентифікатор запуску; версії залежностей TgWitness/Python/OS; значення SHA-256 вихідних файлів та сукупний відбиток; початковий обліковий запис, область дії та налаштування; показники UTC/монотонності; а також попередній заголовок журналу. Зміни налаштувань, запуск/зупинка та помилки заносяться до того самого журналу. Контрольні точки зберігаються під час запуску, кожні п’ять хвилин під час спостереження (параметр можна змінити) та при упорядкованій зупинці. Збережена локальна контрольна точка дозволяє виявити відкат до попереднього префікса журналу.
| Механізм | Що він встановлює |
|---|---|
| SHA-256 файлу | Байти збігаються з відомим дайджестом |
| Ланцюжок хеш-кодів подій | Запис упорядкування/взаємозв’язку відносно відомої межі |
| Ed25519 | Підпис за допомогою певного ключа |
| Незалежно збережений контрольний пункт | Наступні матеріали відповідають встановленим межам |
| Вимірювання розміру програмного файлу | Звіт колектора про виміряні файли |
| Дійсна незалежна відповідь TSA | Наявність певних байтів на момент часу TSA за умови явних припущень щодо надійності |
Підготовку запиту RFC 3161 і перевірку відповіді реалізовано без OpenSSL. У режимі доказів хеші контрольних точок також надсилаються до налаштованих служб міток часу. Збережіть і перевірте відповідь служби міток часу, щоб отримати незалежну прив’язку до часу. Див. TIMESTAMP.md.
Зберігайте контрольні точки окремо, контролюйте доступ до ключів підпису, ведіть облік передачі даних та перевіряйте експортовані дані за допомогою надійного програмного забезпечення. У розділі «Обсяг перевірки» пояснюється, як ці перевірки доповнюють одна одну та які припущення щодо довіри застосовуються.
Експорт, розгортання та передача#
Підписаний ZIP-архів містить оригінальні файли у форматах JSONL, CSV, HTML, збережені вкладення, хеші, підписаний маніфест та зручний засіб перевірки. Він охоплює одну робочу область та фіксований повний префікс журналу. Фільтри пошуку на панелі не видаляють записи без попередження. Секретні ключі, токенів та сеансів Telegram виключаються; оригінальні записи все ще можуть містити особисту інформацію та метадані Telegram.
Зберігайте дайджест ZIP-архіву, надійний відбиток, контрольну точку, підтвердження обробки та передачі окремо. Використовуйте верифікатор із надійної інсталяції, а не довіряйте виконуваному коду лише тому, що він міститься у перевіреному ZIP-архіві.
Інтерфейс браузера поставляється локально без Node.js, CDN або зовнішніх шрифтів. Установкою керує один токен оператора. Для віддаленого доступу потрібен HTTPS або SSH-тунель. Надаються нативні визначення на Python та для контейнерів, а приклади служб містяться в каталозі deploy/; виконані перевірки платформи перелічені окремо.
Робоча область за замовчуванням використовує кореневий каталог даних; додаткові робочі області використовують profiles/<id>/.
Для створення резервної копії потрібно зупинити процес та мати повний набір даних/ключів. ZIP-файли з доказами
не є резервними копіями програми. Для секретних даних можна використовувати зовнішній головний ключ для нового каталогу
даних; шифрування журналу/медіа забезпечується диском/томом оператора.
Див. CONNECTION-SECURITY.md та OPERATIONS.md.
Критерії стабільного випуску#
До випуску стабільної версії слід зазначити:
- Реальні приватні групи, супергрупи, форуми та канали з ролями учасників/адміністраторів та прихованою/видимою історією, включаючи дані про вхід/двофакторну автентифікацію, скасування доступу та втрату доступу.
- Контрольовані редагування, видалення, реакції, членство та медіа-матеріали у порівнянні з відомими діями.
- Збої процесів/хостингу, несправності диска/переповнення диска, посилання на файли, термін дії яких закінчився, FloodWait, втрата мережевого з’єднання, пошкоджені файли та відкат бази даних.
- Тривале використання декількох облікових записів із контрольованими затримками, чергами, пам’яттю та дисковим простором, включаючи як «тихі», так і «гучні» джерела разом.
- Перерва між переходом у наступний стан MTProto та прийняттям запису до журналу.
- Чиста інсталяція на передбаченій матриці ОС/контейнерів та перевірене відновлення резервної копії.
- Незалежний огляд питань безпеки, підписів та тверджень щодо авторства/доказів.
Доступ до панелі з обмеженою сферою дії описано в розділі Доступ та дозволи. Починаючи з версії 0.6, TgWitness підтримує обмежений імпорт TData для одного облікового запису та імпорт файлів облікових записів, описаний у файлі ACCOUNTS.md. Перед публікацією ознайомтеся з умовами використання API Telegram. Дослідницькі посилання та висновки щодо платформи знаходяться у файлі RESEARCH.md.