TgWitness / Документація

Що було протестовано →

Деякі частини цієї сторінки досі залишаються англійською мовою: англійський оригінал зазнав змін після перекладу.

Довідка / Докази

Telegram · Формат доказів

Вміст підписаного ZIP-архіву, типи записів, підтвердження обробки, профілі користувачів, зовнішні копії та офлайн-перевірка.

TgWitness / Документація

Докази та верифікація

TgWitness зберігає спостереження Telegram, видимі для облікового запису, у підписаному журналі. Одержувачі можуть перевірити збережені записи, вкладення та звіти за допомогою надійного ключа колектора, перевірити зовнішній час від третьої сторони для останнього запису та порівняти журнал із контрольною точкою, яку вони зберегли раніше. На цій сторінці описано формати, перевірки та матеріали, які слід зберегти для передачі.

Користувачі можуть розпочати з VERIFY.cmd у Windows: програма запитує оригінальний ZIP-файл та незалежно отриманий відбиток ключа, відображає результат із поясненнями, а також зберігає окремий протокол верифікації. Дивіться запускачі verification та портативне середовище виконання для налаштування та обмежень довіри.

На цій сторінці

Що підписується#

Матеріал Захист Що слід зберігати
Кожен запис у журналі, включаючи оперативні події Ланцюжок SHA-256 та підпис Ed25519 для кожної події Оригінальний events.jsonl — відбиток надійного ключа та збережений контрольний пункт
Вміст ZIP-архіву з доказами manifest.sig підписує канонічний маніфест, у якому перелічено хеші файлів вмісту Повний ZIP-архів, що містить маніфест та підпис
Збережені вкладення SHA-256 та кількість байтів у підписаній події media.saved; хеш файлу у підписаному маніфесті ZIP Оригінальні байти всередині перевіреного ZIP-файлу
Контрольна точка Підпис Ed25519, що охоплює довжину журналу, хеш заголовка, відкритий ключ та час створення Незалежна копія, збережена до внесення спірного зміни
Квитанція про виконання Підписаний запис про версію колектора, хеші вихідних файлів та початкові налаштування, також включений у process.started Квитанція, відповідний журнал та докази середовища для обраного режиму верифікації
Зрозумілі звіти: report.html та його частини, report.json, report.pdf, chat.pdf На кожному файлі розміщується печатка Ed25519, що підтверджує його вміст; PDF також містить стандартний підпис PDF (див. Читабельні звіти ) Отриманий файл та відбиток надійного ключа; ZIP-архів, який він описує
Автономний CSV Відсутність окремого криптографічного підпису; самих хеш-значень подій недостатньо Для перевірки цілісності використовуйте точну копію, що міститься у перевіреному ZIP-файлі
Знімки екрана, роздруківки або PDF-файли, створені браузером Відсутність підпису TgWitness на похідному матеріалі Зберігайте оригінальний перевірений пакет і задокументуйте, як було створено похідний пакет

Колектор перевіряє підписи журналу перед генерацією кожного формату експорту. Зручні для читання звіти у форматах HTML та PDF мають власні печатки; автономний файл CSV перевіряється як частина підписаного ZIP-архіву. Зберігайте ZIP-архів, щоб зберегти байти вкладень та маніфест, а також окремий контрольний пункт для перевірки журналу щодо попередньої межі.

Формати та шляхи верифікації#

Режим збору та формат виводу дають відповіді на різні питання. Режим надає докази щодо збору та середовища; кожен формат зберігає або представляє частину цього запису з урахуванням наведених нижче перевірок.

Вихідні дані Перевірка та використання
Докази ZIP Канонічні події, підписаний маніфест, охоплення, записи про зберігання, вкладення та наявні зовнішні квитанції; перевірте архів та обраний режим його отримання.
Контейнер ASiC-E Архів ZIP із даними у форматі контейнера ETSI ASiC-E (EN 319 162-1), що містить запис про тип медіа (mimetype) та файл META-INF/ASiCManifest.xml, підписаний за допомогою CAdES власним сертифікатом робочого простору на рівні B-B або B-T, якщо увімкнено функцію часової мітки. Валідатори, такі як EU DSS, перевіряють формат та цілісність і, оскільки сертифікат видано самостійно, повідомляють про відсутність опорного пункту довіри. EU DSS 6.3 із налаштуваннями за замовчуванням відхиляє контейнер, що містить понад 1000 файлів («Виявлено занадто багато файлів»). verify.py перевіряє маніфест Ed25519 та кожен файл у списку, значення SHA-256 у файлі META-INF/ASiCManifest.xml та у доданому файлі ASiCManifestNNN.xml або ASiCEvidenceRecordManifest.xml, і видає помилку, якщо зустрічається запис у META-INF/, який жоден із них не охоплює. Програма не перевіряє підписи CAdES і повідомляє про це.
Звіти у форматах HTML та JSON Індивідуально запечатані перегляди з посиланнями на джерела, також перелічені в маніфесті ZIP-архіву. Їхні зафіксовані підрахунки узагальнюють типи подій журналу.
Звіти у форматі PDF Печатка Ed25519 та базовий PDF-підпис PAdES для діапазону байтів: B-B або B-T із міткою часу підпису, якщо функція мітки часу увімкнена. Верифікатор TgWitness використовує надійний ключ Ed25519; відображення довіри до сертифіката у переглядачі є окремою перевіркою.
CSV Вигляд електронної таблиці, що охоплюється маніфестом ZIP. Ескейп формул захищає використання електронної таблиці; оригінальний підписаний текст залишається в журналі.
JSONL Підписані записи подій, включаючи посилання на вкладення. ZIP-архів з доказами додатково містить збережені байти вкладень.
Експорт чатів та перегляди, сумісні з настільними ПК Збір історії та доступних записів журналу адміністратора із запитуваним відтворенням та підписаним архівом. Збережені версії моніторингу в режимі реального часу — це окремий шлях збору даних.
Медіафайли та записи, що містять лише хеш-значення Збережені байти перевіряються за їхнім SHA-256 та посиланням на повідомлення. Збір лише хеш-значень зберігає доступні метадані хеш-значень для подальшого порівняння з байтами файлу.
STIX/MISP та профілі осіб Витягнуті спостереження з посиланнями на джерела, ідентифікатори облікових записів та аналітичні збіги. Сигнатури профілів та хеші записів можна перевіряти порівняно з оригінальними доказами; походження кешу аватарів позначається окремо.
Витяг із протоколу передачі Підписані правила розкриття, незмінені записи та позначені мінімізовані записи, що зберігають оригінальні хеші/підписи. Використовуйте збережений оригінал для порівняння, яке вимагає прихованих полів.
Свідок та квитанції про час Раніше — межі журналу, безперервність та окремі перевірені часові заявки. Вони супроводжують перевірки збору та архівування.
Доставка, захищена паролем Захищає вкладений пакет під час передачі. .tgwpw використовує шифрування з автентифікацією AES-GCM, включаючи автентифікований кінцевий запис; вкладене журнальне файли зберігає свої підписи та квитанції про отримання.

Роздруківка або знімок екрана — це представлення підписаного матеріалу. Його ідентифікатор звіту, відбиток ключа та QR-посилання допомагають знайти оригінальний файл для перевірки. Декларації про зберігання фіксують інформацію про призначеного експерта та передачу даних; результати перевірки та квитанції про отримання зберігаються як окремі докази.

Зовнішні підписи#

Підпис також може походити від ключа, якого TgWitness ніколи не зберігає, наприклад, від кваліфікованого електронного підпису слідчого або печатки організації. Щодо експорту: зовнішній підпис на готовому експорті без пароля надає байти для підписання: новий META-INF/ASiCManifestNNN.xml список усіх файлів із їхніми SHA-256 для контейнера ASiC-E або імпорту manifest.json для ZIP-файлу. Підписувач повертає CMS (CAdES) .p7s, окремий або з вбудованим вмістом.

TgWitness перевіряє, чи підпис охоплює саме ці байти, та здійснює верифікацію за допомогою сертифіката підписувача (RSA PKCS#1 v1.5, RSASSA-PSS, ECDSA, Ed25519, Ed448). Ланцюжок перевіряється лише щодо кореневих сертифікатів, наданих оператором; скасування, списки довірених сертифікатів та кваліфікований статус не перевіряються. Панель показує один стан для кожного підпису: очікування підпису, додано та не перевірено, перевірено, алгоритм не підтримується, підпис недійсний, підписані байти не збігаються або сертифікат не пов’язаний із наданим кореневим сертифікатом. Зміна експорту після розподілу байтів встановлює для всіх його підписів стан «підписані байти не збігаються».

Завантаження з підписами додає підписи та їхні маніфести до META-INF у контейнер ASiC-E. У випадку ZIP-файлу додається незмінений ZIP-файл, а також .p7s файли та SIGNATURES.txt у зовнішній ZIP-файл. Недійсні підписи та підписи, накладені на інші байти, виключаються. Підпис з алгоритмом, який TgWitness не може перевірити, включається; панель показує його стан, як і SIGNATURES.txt у випадку ZIP-файлу.

Зображення з підписаним чатом#

Завантаження підписаного ZIP-файлу з попереднім переглядом зображення дозволяє зберегти сторінки у форматі PNG, pages.sig.json а README.txt. Кожна сторінка закінчується номерами записів журналу, які на ній відображаються, чатом, часом візуалізації, відбитком ключа робочої області та командою, що його перевіряє. Панель надсилає лише SHA-256 та номери записів кожної сторінки; сервер підтверджує, що записи належать до чату, підписує заяву (tgwitness-image-attestation-v1) за допомогою ключа робочої області та фіксує підписання у журналі як export.image_attested.

python verify.py page-01.png page-02.png pages.sig.json
python verify.py page-*.png pages.sig.json --fingerprint TRUSTED_SHA256 --evidence evidence.zip

Верифікатор перевіряє підпис, зіставляє кожен файл PNG із підписаною сторінкою та повідомляє відбиток ключа. --fingerprint Порівнює підписника з відбитком ключа, отриманим від відправника незалежно. --evidence зчитує підписаний ZIP-архів доказів з тієї самої робочої області та вимагає, щоб кожен запис зображень мав однаковий хеш. Змінений піксель, змінене твердження або інший ключ призводять до провалу перевірки. Зображення показують збережені записи у власному форматі TgWitness; вони не відображають те, що Telegram показував будь-кому.

Порівняння експортованих даних чатів#

Перевірити та порівняти два підписані ZIP-файли з експортом чатів із незалежно збереженими відбитками підписувачів: відбитки:

python -m tgwitness.verify first.zip --compare second.zip \
  --fingerprint FIRST_TRUSTED_KEY_SHA256 --compare-fingerprint SECOND_TRUSTED_KEY_SHA256

Параметри --require та --require-tier не допускаються разом із --compare; перевірте необхідний профіль кожного архіву за допомогою відповідної перевірки.

Коли обидва архіви фіксують однакові числові ідентифікатори облікового запису та чату, записи поєднуються за ідентифікатором повідомлення. Незмінно означає рівність повного збереженого запису JSON: повний текст, автор, дати, адресат відповіді, вкладені метадані та невідомі поля — все це включено. Порядок ключів об’єкта JSON не має значення; значення мають відсутні поля, нульові значення, типи значень та порядок масивів. Попередній перегляд із 300 символів призначений лише для відображення. Змінені записи вказують на відмінності у верхньому рівні changed_fields, включаючи зміни, невидимі в цьому попередньому перегляді. Дублікати ідентифікаторів повідомлень відхиляються, а не перезаписують один одного під час зіставлення.

Відмінність може полягати у зміні імені для відображення, кількості переглядів, анотації колекції або інших метаданих спостереження. Редагування в Telegram відображаються як окремі події редагування, а перевірка кожного архіву показує, чи є цей архів цілісним. Нерозпарсовані записи залишаються у порівнянні та порівнюються за їхнім збереженим представленням.

У разі відмінних або відсутніх ідентифікаторів облікових записів/чатів інструмент знаходить можливі відповідності, використовуючи відправника, повний текст, хеш файлу, тип медіа та п’ятисекундний часовий допуск, і позначає їх як Збіг (Matched), а не Без змін (Unchanged). Непроаналізовані записи залишаються без відповідності. Відмінності у спарених записах перелічуються у changed, у тому числі в режимі вмісту. З параметром --json matched підраховує потенційні пари, а unchanged — пари, повні збережені записи яких є однаковими. Існуючі виводи changed_fields та цілочисельний unchanged залишаються сумісними з попередніми результатами порівняння. Формат архіву та перевірка підпису не зазнали змін.

Передача розслідування#

  1. Зафіксуйте номер справи, ім’я оператора, числовий ідентифікатор облікового запису Telegram, вибрані джерела, політику збору даних та період збору у своїх нотатках щодо справи. TgWitness зберігає спостереження та підтримує нотатки й збір даних, пов’язані з джерелами, у Case Board. Зберігайте записи про передачу та зберігання разом із матеріалами справи . Перевірте налаштування збору даних, що відповідають вашим потребам, за допомогою процедури приймання в режимі реального часу.
  2. Перед тим, як покладатися на експортовані дані, незалежно збережіть відбиток відкритого ключа робочого простору. Залиште увімкненим режим підтвердження (за замовчуванням), щоб контрольні точки отримували квитанції згідно з RFC 3161 та OpenTimestamps. Під час збору даних зберігайте підписані контрольні точки поза межами колектора. Реєструйте переривання та обмеження видимості облікового запису.
  3. Експортуйте підписаний ZIP-файл і збережіть підписану квитанцію про виконання. Використовуйте контрольну точку на межі експортованого журналу або перед нею. Пізніша контрольна точка може правильно відхилити раніше експортований файл як занадто короткий. Експорт включає повний журнал робочого простору, незалежно від фільтрів панелі; перегляньте матеріал перед тим, як поділитися ним.
  4. Нехай одержувач перевірить ZIP-архів за допомогою надійної копії верифікатора, незалежно наданого відбитка та кореневого сертифіката служби міток часу, отриманого окремо. З надійного робочого середовища з активним середовищем Python:

    python -m tgwitness.verify evidence.zip --fingerprint TRUSTED_PUBLIC_KEY_SHA256 --tsa-ca TSA-ROOT.pem --checkpoint retained-checkpoint.json --require evidence

    Відбиток та перевірена мітка часу останнього запису відповідають мінімальним вимогам до доказів; у протилежному випадку --require evidence завершує роботу з кодом 2. Контрольна точка є підтверджувальною перевіркою, оскільки вона підписана ключем колектора. У разі успішного виконання виводиться key_pinned: true та checkpoint_checked: true, якщо обидва вхідні параметри надані та прийняті. Збережіть результат верифікації.

    For a handover requiring the final exported record to be witnessed, use
    `--witness witness.zip --witness-fingerprint TRUSTED_WITNESS_SHA256 --require-witness`.
    This refuses an export with an unwitnessed tail. Add
    `--channel https://t.me/s/WITNESS_CHANNEL` to read the dates Telegram set on the
    witness posts as external time. See the
    [witness handover procedure](WITNESS.md#require-a-witnessed-export-boundary).
    
    1. Зафіксуйте SHA-256 архіву, межу експорту, дату передачі, відправника та одержувача у вашому протоколі зберігання. Зберігайте оригінальний пакет у незмінному вигляді та працюйте з копіями. Поділіться файлами доказів, а не каталогом приватних даних програми, який також містить сесії облікових записів та секрети підпису. Для передачі виберіть захищений паролем ZIP-архів із шифруванням AES-256 або більш надійний контейнер .tgwpw . ZIP використовує недосконалий алгоритм генерації пароля WinZip; використовуйте довгу випадкову парольну фразу. .tgwpw використовує scrypt та AES-256-GCM і відкривається за допомогою команди unseal-password автономного верифікатора. Пароль не зберігається і служить лише для захисту конфіденційності; одержувач розшифровує архів і перевіряє підписаний експортний файл усередині, який залишається незмінним.
    2. Щоб поставити часовий штамп на контрольну точку поза режимом доказів, дотримуйтесь процедури RFC 3161 та збережіть запит, контрольну точку, інформацію про довірений центр сертифікації та перевірену відповідь служби міток часу. Сама лише підготовка запиту не забезпечує отримання часового штампу.

Для .tgwpw використовуйте незалежно отриманий верифікатор і виберіть новий вихідний файл з оригінальним розширенням: python verify.py unseal-password export.tgwpw --out evidence.zip. Команда запитує пароль; --password-stdin зчитує один рядок для автоматизації. Вона ніколи не перезаписує існуючий файл і публікує відкритий текст лише після того, як усі записи пройдуть автентифікацію. Після цього виконайте звичайну перевірку підпису на розшифрованому файлі. Контейнер використовує scrypt (N=131072, r=8, p=1, 16-байтовий соль; приблизно 128 МіБ оперативної пам’яті) та AES-256-GCM із записами розміром 1 МіБ та автентифікованим кінцевим записом. Зашифрований запис метаданих зберігає внутрішнє ім’я файлу, тому завантажені контейнери можна перейменовувати.

Успішна верифікація підтверджує цілісність щодо довіреного ключа колектора та збережених меж. Див. сферу верифікації для ознайомлення з припущеннями щодо довіри та результатами перевірки виконаних тестів.

Витяг із протоколу передачі#

Підписаний ZIP-файл містить повний журнал робочого простору. Якщо суду, адвокату або службі з питань зловживань потрібні лише деякі чати, певний період або конкретні особи, функція «Експорт → Витяг для передачі» готує мінімізовану копію (tgwitness-handover-v1) відповідно до обраних правил розкриття інформації. Оператор вказує мету та обирає чати, опціональний період (UTC), осіб, яких стосується витяг, що відбувається з усіма іншими (показуються, замінюються псевдонімами P01, P02… або виключені ), які тексти повідомлень залишаються, які вкладення та фотографії профілів включено, а також чи маскуються номери телефонів та адреси електронної пошти в текстах. Мета та ці правила містяться у підписаному маніфесті та у звіті; журнал реєструє запис «handover.exported» із зазначенням доступу, який його підготував, та SHA-256-сумою файлу, а не його вмістом.

Скрипт verify.py перевіряє витяг двома способами. Запис, який позначено як незмінений, перевіряється повністю: його вміст порівнюється з хешем, підписом Ed25519 та посиланням на попередній запис, що входить до складу. У зменшеному записі зберігаються оригінальний хеш та підпис, тому підпис все ще перевіряється, але приховані поля неможливо перерахувати на його основі; у записі вказано, що саме було приховано, а звіт позначає це. Записи про обслуговування на рівні облікового запису (запуски та зупинки, прогалини в покритті, повідомлення про з’єднання, мережу та сховище, зміни обсягу та налаштувань) зберігають лише поля, перелічені для їхнього типу: списки чатів у них скорочуються до обраних чатів, а їхні загальні показники перераховуються; прогалина в режимі реального часу в чаті, що не входить до вибору, призводить до втрати цього чату, його номерів повідомлень та облікового запису свідка; у вибраному чаті для перевірки обліковий запис свідка замінюється його псевдонімом, якщо тільки не показано всіх учасників або це одна з вибраних осіб. Маніфест вказує довжину журналу та його заголовок із підписом збирача над цим заголовком, а також підраховує кількість пропущених записів; файл `coverage.json` описує обрані чати. Нові витяги також містять файл `proofs.jsonl`: для кожного включеного запису та для заголовка журналу — шлях Меркла від оригінального хешу запису до кореня журналу, зазначеного в підписаному маніфесті. verify.py перевіряє кожен шлях, тож для кожного запису підтверджується, що він належить до того самого журналу з зазначеною довжиною та заголовком, без повного журналу; витяг із 100 повідомлень перевіряється приблизно за секунду незалежно від розміру журналу. --range=CHAT:FROM-TO додатково підтверджує, що повідомлення від FROM до TO у чаті містяться у витягу, та повідомляє, скільки записів було перевірено щодо них. Імена всередині імен файлів не виявляються. Перегляньте кінцеві файли перед тим, як поділитися ними: вільний текст, імена файлів та вибрані вкладення все ще можуть ідентифікувати людей. Зберігайте повний підписаний ZIP-файл: витяг є розкриттям інформації, а не заміною.

Зрозумілі звіти#

Підписані докази, передані матеріали та ZIP-архіви чатів містять читабельні звіти у форматах HTML та JSON, а також PDF, якщо доступні необхідні шрифти, мовою, обраною для звіту. Кожен звіт зашифровано ключем Ed25519 робочого простору та його можна перевірити окремо: python -m tgwitness.verify FILE --fingerprint KEY [--evidence ZIP].

  • report.html / chat.html: оператор запечатування (tgwitness-report-seal-v1) закриває файл і підписує SHA-256 кожного байта, що йде перед ним. Довгі журнали та чати розділяються на частини настроюваного розміру (Налаштування звіту, від 500 до 100 000 записів; за замовчуванням — 5 000): records/records-0001.html або messages/messages-0001.html, кожна з яких завірена своїм номером, діапазоном та загальною кількістю, і вказана разом із своїм SHA-256 у підписаному маніфесті. Серії сигналів активності колектора відображаються одним рядком, якщо в налаштуваннях звіту не вказано, що їх слід показувати окремо.
  • report.json (tgwitness-report-json-v1, ключі format, report, seal): печатка підписує SHA-256 канонічного JSON report, завдяки чому факти можуть бути прочитані системами розгляду справ та скриптами, а також на їх основі можна здійснити вибірку для захисту даних, при цьому підписаний файл залишається цілісним.
  • report.pdf / chat.pdf: офіційний документ для друку та архівування, підписаний двічі на одних і тих самих байтах, у всьому файлі, за винятком значення підпису (/ByteRange). Стандартним підписом у форматі PDF є PAdES baseline (ETSI EN 319 142-1, /SubFilter /ETSI.CAdES.detached: CMS із SHA-256 та ECDSA P-256, signing-certificate-v2, без часу підписання CMS; заявлений час становить /M) на рівні B-B або B-T із міткою часу підпису RFC 3161 у CMS, коли функція мітки часу увімкнена, а центр міток часу відповідає через маршрут на запити поза межами Telegram. Використовується самовиданий сертифікат для підписання документів, що зберігається у сховищі робочого простору; його серійний номер суб’єкта є відбитком ключа Ed25519. Печатка Ed25519 передається всередині CMS як непідписаний атрибут 2.25.240684792623320047764573196045913242332 і вказує SHA-256 сертифіката з "content": "pdf-byte-range", тож ключ Ed25519 гарантує справжність сертифіката. Сертифікат не є кваліфікованим: програма для перегляду PDF-файлів показує підпис як дійсний, а підписувача — як невідомого або ненадійного, доки сертифікат не буде визнано надійним; замість цього порівняйте відбиток ключа Ed25519 . Для PDF-файлів китайською, японською та корейською мовами потрібен шрифт на сервері (або в TGWITNESS_FONT_DIR); без нього ZIP-архів містить лише звіти у форматі HTML та JSON .
  • report.en.html, report.en.pdf / chat.en.html, chat.en.pdf: англійський оригінал того самого звіту, якщо мова звіту не англійська; він опечатаний і підписаний так само та зазначений у підписаному маніфесті під report.original. Звіт вибраною мовою починається з рекомендації подати англійський оригінал разом із завіреним або присяжним перекладом; див. Переклад звітів для суду.

У каналі або супергрупі Telegram нумерує повідомлення 1, 2, 3… по порядку. Експорт чату містить перший і останній номер, кількість присутніх повідомлень та кожну серію відсутніх номерів у message-ids.json , маніфесті та заголовку chat.json , а також позначає кожну прогалину там, де вона трапляється у транскрипті. verify.py перераховує їх, починаючи з chat.json . Відсутній номер — це повідомлення, яке Telegram не повернуло (видалено до експорту або невидиме для облікового запису); у приватних чатах та базових групах номери спільні для всіх чатів облікового запису, і пропуски не враховуються.

Після зчитування історії експорт знову запитує у Telegram усі відсутні номери за номером (channels.getMessages, до 10 000 номерів, включаючи 1 000 номерів нижче першого повідомлення, рівномірно розподілених по всіх прогалинах, якщо їх більше). Результат міститься в message-ids.json та у звіті. Порожня відповідь фіксує, що номер недоступний для цього облікового запису на момент повторної перевірки; причина залишається невизначеною. Повідомлення, отримане під час повторної перевірки, додається до експорту та позначається found_on_recheck.

Коли робоча область спостереження виявляла, що повідомлення чату були видалені, відсутні під час повторної перевірки або відредаговані, експорт чату додає journal-changes.jsonl: ці записи журналу, кожну збережену версію та відповідне повідомлення, кожен із яких містить хеш та підпис Ed25519, отримані ним у журналі. verify.py перераховує хеш кожного запису, перевіряє його підпис за ключем експорту та порівнює кількість із підписаним маніфестом; експорт доказів містить повний ланцюжок хешів. У звіті ці повідомлення перелічені в розділах «Видалення» та «Попередні версії».

Кожен звіт починається з розділу Коротко: один абзац, потім — що показує матеріал і що містить запис. Власна печатка сторінки стає бурштиновою, коли браузер перевірив підпис печатки, а не саму сторінку: браузер не надає сторінці власних байтів. Вона стає зеленою лише тоді, коли читач перетягує файл у поле перевірки внизу сторінки і кожен байт збігається, і лише якщо сторінка, що відображається, є саме цим файлом; в іншому разі вона стає червоною.

У кожному звіті вказується точна назва програми: git-комміт, коли колектор запускається з чек-ауту або інсталятор встановлює TGWITNESS_COMMIT, а також SHA-256 його вихідних файлів (source_tree_sha256, канонічний JSON шляху → SHA-256 кожного файлу .py, .js, .css, .html та .svg у пакеті), які відтворюються при чек-ауті цього комміту, якщо файли не були змінені. Клієнт Telegram називається за назвою його бібліотеки, рівня API та центру обробки даних. Коли починається спостереження та коли починається й закінчується експорт чату, колектор запитує у Telegram його час (updates.getState, цілі секунди) і фіксує час Telegram мінус час за годинником колектора, з похибкою, пов’язаною з часом проходження сигналу в обидва боки; у звітах ці вимірювання наводяться у розділі «Ланцюг відповідальності». Експорт чату також фіксує час зчитування історії, окрім дат повідомлень.

Посібник з офлайн-перегляду звітів та архівування#

Розпакуйте повний ZIP-архів перед тим, як відкривати chat.html або report.html. Переглядач надає функції пошуку, фільтрів, учасників, індикаторів, деталей записів та вибірки JSON/CSV без використання сервера. Зберігайте viewer/ та media/ поруч із звітом. Вибірки є похідними: використовуйте verify.py SELECTION.json --evidence ARCHIVE.zip, щоб порівняти їх із підписаним архівом. Верифікатор перевіряє ідентифікатор звіту, ключ підпису, межі архіву та кожен вибраний елемент; відредаговані, відсутні та дубльовані елементи не проходять перевірку. Примітки до вибору та час створення залишаються непідписаними метаданими.

Пропуски в номерах повідомлень відображаються лише для повного, нефільтрованого чату в порядку зростання номерів. Приховування категорії або неможливість завантаження блоку даних не повинні перетворювати пропущений рядок на доказ відсутності повідомлення. Підсвічування результатів пошуку здійснюється на основі простого тексту до ескейпу HTML, зберігаючи літеральну розмітку.

Браузер перевіряє підписи маніфесту, ідентифікатор звіту та ключ, а також усі вказані хеші файлів. Він відхиляє неоднозначні або неправильно сформовані ZIP-структури, дублікати імен та небезпечні шляхи, а також обмежує розмір файлів до 256 МіБ, а загальний обсяг вмісту — до 4 ГіБ. Для архівів більшого розміру використовуйте автономний верифікатор. Ця перевірка браузером доповнює перевірки верифікатора щодо ланцюгів журналів та семантики даних.

Файл README.txt містить посібник для початківців, вирівняний перелік файлів, інструкції з верифікації та примітки щодо формату даних мовою звіту, а також повний посібник англійською мовою. SHA256SUMS охоплює перелічені в ньому файли, за винятком самого цього файлу, manifest.json та manifest.sig; підписаний маніфест також охоплює SHA256SUMS. Залиште оригінальний ZIP-архів без змін і зберігайте робочі файли поза розпакованою папкою. Звіти PDF містять закладки розділів та ідентифікацію справи/звіту на наступних сторінках.

Чат на момент експорту#

Експорт чату фіксує те, що Telegram вказав про чат на момент початку експорту: власні мітки Telegram (scam, fake, restricted з відповідними причинами, verified), імена користувачів, опис, кількість учасників та адміністраторів, пов’язану дискусію, захист вмісту, чи бачать нові учасники попередні повідомлення та з якого повідомлення цей обліковий запис має доступ до історії (available_min_id), дату першого повідомлення, якщо це момент створення чату, та SHA-256 — фото чату (збережене в media/). Він фіксує місце облікового запису, що експортує дані, у чаті: роль, дату приєднання, хто його запросив, а для адміністратора — його права. Натомість вказується запит Telegram, який було відхилено.

Якщо обліковий запис, що здійснює експорт, належить адміністратору, експорт зчитує журнал адміністратора чату (Telegram зберігає його приблизно 48 годин) у файл admin-log.json: видалення та редагування із зазначенням наданого вмісту, облікового запису, що здійснив дію, та дати дії джерела. Ці записи доповнюють збережені версії активного журналу та записи про отримання повідомлень про видалення.

Індикатори#

У списку звітів та архіві містяться такі записи: indicators.csv , indicators.stix.json (STIX 2.1 ) та indicators.misp.json (подія MISP ), на які служба з боротьби зі зловживаннями може реагувати у записаних повідомленнях: посилання та домени (у тому числі приховані за текстом, у кнопках та у попередньому перегляді посилань), адреси криптовалют, імена користувачів та посилання для запрошення Telegram , номери телефонів, адреси електронної пошти та збережені зображення. Адреси Bitcoin, Litecoin, Dogecoin та TRON вказуються лише тоді, коли їхня контрольна сума base58 збігається, адреси segwit — коли збігається їхня контрольна сума bech32 або bech32m, а адреси TON — коли збігається їхня CRC; адреси EVM та Solana позначаються як неперевірені. Зображення містять SHA-256 та перцепційний хеш (dHash, 64 біти), який залишається майже незмінним у перекомпресованих або змінених за розміром копіях. Звіти записують індикатори так, щоб вони не відкривалися випадково (hxxps[://]example[.]com ); файли зберігають значення такими, якими вони були. Кожен індикатор позначається як невідомий і не призначений для автоматичного виявлення (STIX , indicator_types: unknown , MISP , to_ids: false , розповсюдження у власній організації): наявність у списку означає, що повідомлення містило його, а не те, що він є шкідливим. Посилання, текст якого показує іншу адресу, ніж та, що відкривається, позначається у звіті.

Звіти формату «PDF» закінчуються заявою експерта, яку потрібно підписати власноруч, контрольним списком для нотаріуса або судового експерта, а також QR-кодом (який також розміщений на першій сторінці) з ідентифікатором звіту, відбитком ключа та ідентифікатором «SHA-256» авторитетних даних, завдяки чому роздруківка дозволяє відстежити її походження до архіву.

Канонізація подій#

Вхідні дані хешу складаються саме з таких полів:

seq, observed_at, source_at, kind, chat_id, message_id, actor_id, payload, previous_hash

Серіалізація за допомогою JSON, сумісного з Python, у кодуванні UTF-8, із відсортованими ключами об’єктів, без ASCII- ескейпу, без незначущих пробілів та без NaN/infinity:

json.dumps(value, ensure_ascii=False, sort_keys=True,
           separators=(",", ":"), allow_nan=False).encode("utf-8")

SHA-256 цих байтів стає хешем події. Підпис генерується за алгоритмом Ed25519 над 32 необробленими байтами хешу, а потім кодується у форматі base64. Перший previous_hash складається з 64 нулів. Порядкові номери починаються з 1 і збільшуються на 1. Усі події, включаючи оперативні події, об’єднуються в один ланцюжок. Придушення дублювання доставки не відбувається: повторювані спостереження є окремими підтвердженнями отримання, а не твердженням про окремі дії Telegram.

Необроблені дані Telegram — це рядки у форматі ISO; бінарні поля перетворюються на об’єкти, що містять bytes_base64. Текст повідомлення, об’єкти, дескриптори мультимедіа, метадані відповіді, реакції та дії сервісу зберігаються в необроблених метаданих повідомлення, якщо вони були надані. У разі повідомлення в режимі реального часу також зберігається оновлення Telegram, яке його доставило, transport_update; коли це оновлення містить те саме повідомлення, що й raw, його message поле {"same_as": "raw"} замість другої копії.

observed_at — це час (UTC) створення запису колектором; source_at — це дата, надана цією подією Telegram. До записів, записаних під час обробки оновлення в режимі реального часу, додається payload.received_atчас UTC, коли оновлення надійшло до колектора, а payload.processing_delay_ms. Редагування в режимі реального часу зберігають надану дату редагування, знімки історії зберігають дату повідомлення з поточним часом спостереження, а звичайне повідомлення про видалення фіксує час отримання з нульовою датою джерела. Записи в журналі адміністратора зберігають надану дату дії окремо. Порядок отримання та порядок подій джерела — це різні часові шкали, де для порівняння доступні дані годинника та зовнішні підтвердження отримання.

Семантика учасників#

Атрибуція відповідає джерелу події. message.new.actor_id та message.edited.payload.sender_id зберігають ідентифікатор відправника повідомлення. Звичайні повідомлення message.deleted містять ідентифікатори повідомлень і мають поле actor із значенням null; доступні записи журналу адміністратора містять вказані дію, учасника та дату. Повідомлення служби членства зберігають відправника та тип дії, необроблені оновлення учасників зберігають вказаний actor_id, а знімки реакцій зберігають вказані кількість та видимі ідентифікатори. Читайте ці записи разом із зафіксованими версіями та квитанціями взаємодії з панеллю.

Повідомлення про видалення для приватних чатів та звичайних груп містять лише ідентифікатори повідомлень. Ці чати мають спільну послідовність ідентифікаторів для всього облікового запису, тому ідентифікатор ідентифікує одне повідомлення цього облікового запису. Коли повідомлення з цим ідентифікатором було раніше збережено в цьому журналі, видалення фіксується в цьому чаті як `message.deleted` із `payload.chat_resolution`, що вказує на метод. Ідентифікатори, які ніколи не зберігалися, зберігаються як deletion.unscoped: це фактичне повідомлення про видалення, чат якого не було співвіднесено. Це відрізняється від message.missing_on_recheck, яке фіксує недоступний результат запиту, та від пропуску у збережених ідентифікаторах повідомлень. Канали та супергрупи нумерують повідомлення за кожним чатом і ніколи не зіставляються таким чином. Коли видалене повідомлення було надіслано обстежуваним обліковим записом, payload.deleted_message_was_outgoing має значення true; інформація про особу, яка здійснила видалення, все ще не вказана.

Повідомлення без області дії зберігає власний ярлик, оскільки відповідний чат може перебувати поза поточної області спостереження або не мати унікального збігу. Повторна перевірка відсутності залишається окремим спостереженням від повідомлення про видалення в підрахунках звітів, фільтрах та ярликах. Пізніше відновлення скасовує поточний стан відсутності, зберігаючи при цьому попередню невдалу перевірку в підписаній історії; повідомлення про видалення залишаються окремим типом події.

Кілька ідентифікаторів, що відносяться до одного й того самого чату з одного повідомлення, групуються як deletion.batch, незалежно від їхньої кількості, з ідентифікаторами повідомлень саме в тому вигляді, у якому їх надіслав Telegram, та незалежно від того, скільки з них надіслав цей акаунт. У повідомленні Telegram перелічено ці повідомлення; у журналі адміністратора чату вказано ім’я адміністратора, який вжив заходів, і цей акаунт може ознайомитися з цією інформацією. Зв’язок (message.deletion_attributed) встановлюється залежно від того, що надійшло першим: запит, який побачив запис у журналі адміністратора до повідомлення про видалення, зіставляється, коли повідомлення записується.

Охоплення: безперервність, прогалини та неспостережувані ідентифікатори#

Кожен підписаний ZIP-файл містить coverage.json, HTML-звіт відкривається з тим самим резюме, а verify.py перераховує його на основі events.jsonl, замість того щоб довіряти файлу:

  • Безперервне спостереження від X до Y. Період починається з observation.started і закінчується при паузі, зупинці, втраті з’єднання з Telegram, виході з системи, запуску процесу без послідовної зупинки або проходженні більше трьох хвилин без жодного запису під час спостереження (сигнали пульсу записуються щохвилини, тому відсутність сигналів означає, що процес зупинився, завис або комп’ютер перейшов у режим сну). Коли інтервал heartbeat змінюється в меню Додаткові інструменти → Параметри, кожен heartbeat фіксує це, і допустима пауза становить три інтервали, але ніколи менше трьох хвилин.
  • У списку прогалин вказано час між періодами та причину. Прогалина, яка все ще залишається відкритою на момент останнього запису, позначається як not_resumed_by_last_record.
  • Ідентифікатори повідомлень не фіксуються. Для каналів та супергруп, у яких повідомлення нумеруються за чатом, ідентифікатори, що відсутні між зафіксованими, вказуються у вигляді діапазонів. Вони позначаються як не зафіксовані — видалені, ніколи не доставлені або поза збереженою історією — ніколи як видалені. Приватні чати та звичайні групи використовують спільну послідовність для всього облікового запису, тому пропуски всередині одного такого чату нічого не означають і там не вказуються.
  • Повідомлення про прогалини на рівні чату (наприклад, запит Telegram щодо відновлення втрачених даних в одному каналі) враховуються як примітки; вони не переривають загального охоплення.
  • Записи сеансів. Окремо перелічуються сеанси, під час яких лічильник оновлень Telegram збільшувався, хоча жодне оновлення не надійшло до цього сеансу (updates_diverted), цей сеанс вийшов зі списку сеансів Telegram, хоча його з’єднання продовжувало працювати (session_revoked_externally), або відповідь на запит свідка надійшла лише з історії (probe_ack_missed_live). Верифікатор також повідомляє, звідки походить сесійний ключ Telegram, про інші сесії, що були увійшли в систему на момент початку спостереження, сесії, додані під час спостереження, повідомлення про безпеку Telegram (777000), інші сесії, завершені з робочого простору, періоди, коли була активна лише одна сесія, кількість запитів до свідка та оновлення телефонних дзвінків. Див. облікові записи. Коли увімкнено режим Суворі вибрані чати (scope.strict у observation.started), список сеансів (за винятком випадків, коли це єдиний сеанс або коли увімкнено Пристрої Telegram), повідомлення про безпеку та оновлення телефонних дзвінків не збираються, тому їхня відсутність нічого не означає, а видалення співвідноситься з сеансом лише в тому випадку, якщо вона відбувалася протягом 10 хвилин до цього.

Послідовність оновлень (pts)#

Telegram повідомляє про оновлення, пов’язані з повідомленнями, за допомогою pts: одна послідовність для облікового запису (приватні чати та звичайні групи разом) та одна для кожного каналу або супергрупи. Колектор реєструє кожну отриману без пропусків послідовність як coverage.sequence запис: перший та останній pts, кількість оновлень кожного типу та те, чи вони були надіслані в режимі реального часу, чи повернуті getDifference чи getChannelDifference. Перерва — це coverage.gap запис, і coverage.gap_closed вказує pts з якого послідовність знову стає цілою.

Безперервний ланцюжок показує, що кожне оновлення Telegram, пронумероване в цій послідовності між першим і останнім pts , надійшло до клієнта Telegram цього колекціонера. Це нічого не говорить про вміст, який Telegram ніколи не надсилав на цей обліковий запис, про час до першого зафіксованого pts, або про проміжки, які колекціонер не зафіксував. pts Проміжок, який не охоплює жоден зафіксований проміжок або різниця, відображається як розрив.

GET /api/continuity відповіді для інтервалу (since, until, chat_id), чи кожна послідовність є безперервною, та перелічує розриви з зазначенням їх причин. verify.py виводить те саме з записів архіву в розділі «Неперервність послідовностей».

Відсутні номери повідомлень (gap_summary)#

For a reader's guide to this section and to observation periods and gaps, see Coverage and missing material.

Попередній перегляд. coverage.json → gap_summary Вимірює номери, присвоєні Telegram, які цей збірник даних ніколи не бачив. Telegram нумерує повідомлення один раз на канал або супергрупу, та один раз на обліковий запис у приватних чатах, ботах та звичайних групах. Номер між двома зафіксованими повідомленнями є або зафіксованим, або відсутнім; суцільний діапазон є підтвердженням того, що усі повідомлення, пронумеровані в ньому, були зафіксовані. Пропуск не вказує на жодного учасника та жодної причини.

Галузь Значення
status on або off, якщо вимкнено в Додаткові інструменти → Параметри → Аналіз розбіжностей
parameters Параметри, за допомогою яких було отримано результат, щоб його можна було відтворити
chats[] Один запис на канал або супергрупу, кожен із яких має власний номер
account Послідовність приватних чатів, ботів та звичайних груп у межах всього облікового запису
status (за кожною послідовністю) applicable, або not_applicable з reason
observed_from, observed_to, span Перший та останній номер, що спостерігався, а також розмір діапазону
observed, observed_without_content Спостережувані номери; ті, що відомі лише з запису про видалення або повторну перевірку
missing, density, gap_ranges, largest_gap Кількість, що ніколи не спостерігалася, її частка в діапазоні, кількість прогонів, найдовший прогін
clusters[] Перелік прогалин: low, high, missing, а також сусідні спостережувані номери after / before з часом їх спостереження
service_estimate Тільки якщо функція увімкнена: скільки відсутніх номерів могли б бути службовими повідомленнями, виходячи з їхньої частки у спостереженнях. Ніколи не віднімається від missing

Дійсність виводиться з журналу, її ніколи не приймають за даність:

  • Канали та супергрупи обліковуються за кожним чатом, а також під час експорту вибраних чатів. Записи, вибрані за відправником, формують дані обліку not_applicable.
  • Послідовність для всього акаунта вимірюється лише від першого до останнього повідомлення, яке надходило під час увімкненого режиму збору даних для всього акаунта, і включає приватні чати, боти, звичайні групи та власні повідомлення акаунта, без виключення жодного такого чату (scope.changed). Числа, позначені deletion.unscoped вважаються спостереженими без урахування вмісту. Експорт або передача вибраних чатів не дозволяє виміряти цю послідовність. Якщо збір даних з усього облікового запису було вимкнено та знову увімкнено, у примітці зазначається, що номери, використані в цей проміжок часу, відображаються як пропуски.
  • Сервісні повідомлення — це записи в журналі з власними номерами, тому вони самостійно заповнюють прогалини; опціональна оцінка слугує лише для контексту.

verify.py перераховує gap_summary з events.jsonl з параметрами у підписаному coverage.json елемента (за замовчуванням для старих архівів) та виводить рядок для всього облікового запису у зведеній таблиці охоплення. get_capture_status(MCP та командний рядок) повертає однакове значення для чатів, які може переглянути користувач; послідовність для всього облікового запису — лише для доступу, що охоплює весь робочий простір.

Повторні спостереження одного повідомлення служби враховуються один раз, а оцінка служби облікового запису використовує лише числа в межах вимірюваного діапазону. Застосована область дії повинна явно зберігати власні повідомлення облікового запису до того, як буде увімкнено вимірювання на рівні облікового запису; вимірювання починається з записів, що містять цю інформацію. Вимірюваний діапазон охоплює поточне спостереження, а його відновлення фіксується. Запит до архіву в режимі реального часу має часовий бюджет, включаючи сканування бази даних, і позначає незавершене вимірювання як часткове.

Telegram документує окремі послідовності ідентифікаторів повідомлень. Ці номери описують спостереження; повідомлення про видалення, повторні перевірки та запис у журналі адміністратора, що пояснює, чому номер відсутній там, де Telegram його повідомляє.

Коли Telegram припиняє приймати обліковий запис, запис coverage.gap, що завершує спостереження, містить cause (account_banned, account_frozen, account_deleted, session_duplicated, session_revoked, session_expired, session_ended або not_authorized) та Telegram помилку; verify.py вказує причину, через яку період завершується.

Покриття поєднує записані періоди спостереження, переривання та результати повідомлень. Оцініть його разом із вибраними чатами, періодом та політикою щодо вкладень; повторна перевірка результатів та зафіксованих прогалин показує, наскільки повно було відстежено оновлення облікового запису.

Виробник#

Підписаний маніфест ZIP-архівів з доказами, експортованих чатів, журналів свідків та файлів профілів користувачів містить producer: програмне забезпечення, версію, проєкт (PhishDestroy), домашню сторінку та репозиторій вихідного коду. HTML-звіт та верифікатор відображають цей підписаний запис про виробника. Хеші вихідних файлів ідентифікують записане дерево вихідного коду для порівняння з надійною версією коду. Походження виконання перевіряється окремо за допомогою атестації придбання GitHub або вимірювань Intel TDX, якщо вони увімкнені. Архіви, створені до появи поля виробник, залишаються підтримуваними та ідентифікуються як застарілі записи.

Кожен запис observation.started також вказує клієнт Telegram, який здійснював спостереження: його api_id (ніколи не хеш), незалежно від того, чи це вбудована публічна пара, чи власний додаток оператора, опис клієнта, надісланий у запиті на з’єднання Telegram, та тип маршруту з’єднання з режимом IP (без проксі-адреси чи секрету). У звіті та записі custody.json перелічено кожного унікального клієнта та маршрут із зазначенням часу їх реєстрації, а також випадків, коли жоден із перелічених проксі-серверів не відповів, і запис Telegram зафіксував адресу сервера. Про це свідчать журнали, записані раніше.

Профілі користувачів#

Файл профілю (tgwitness-dossier-v1, JSON) формується на запит на основі записів, що вже містяться у журналі для одного чату; нічого не отримується з Telegram, а вміст профілю ніколи не записується до журналу (увімкнення та вимкнення профілів фіксується як dossier.changed). Для кожної особи, повідомлення якої збережено, вказуються ім’я та історія імен користувача, позначки Telegram (бот, шахрайство, фейк, преміум, підтверджений, обмежений, видалений) станом на момент збереження, ідентифікатори профілю фото-ідентифікатори, SHA-256 та перцепційний хеш (pHash, сумісний з imagehash.phash) аватара з локального кешу аватарів із подібними аватарами, активність (перше та останнє повідомлення, кількість, відредаговані та видалені публікації, повідомлення за годинами за UTC), хто кому відповідає, інші чати у цьому журналі, де ця особа писала, та згадані гаманці (BTC, EVM, TRON, TON, LTC, DOGE, XMR, SOL; адреси Base58Check перевірені за контрольною сумою), номери телефонів, імена користувачів та посилання, включаючи посилання, приховані за текстом.

Кожен факт містить посилання на записи журналу (seq), з яких він походить, а record_hashes містить хеш кожного запису, на який є посилання. Заява підписана ключем робочого простору:

python verify.py tgwitness-dossier-CHAT.json --fingerprint TRUSTED_SHA256 --evidence tgwitness-evidence.zip

Перевіряє підпис, перевіряє сам експорт доказів (підпис, ланцюжок хеш-кодів та файли) та наявність кожного згаданого запису без змін у цьому експорті з того самого робочого простору. Хеш-коди аватарів позначені як такі, що походять із локального кешу (а не із записів журналу). Згадки є збігами за шаблоном і підказками для перевірки. Профілі вмикаються для кожного чату окремо, можуть експортуватися у вигляді ZIP-архіву з шифруванням AES-256 та паролем, і видаляються при вимкненні або коли чат видаляється з джерел.

Незалежний свідок#

Журнал свідка (tgwitness-witness-v1) та його публікації в каналі перевіряються на відповідність експорту доказів за допомогою verify.py --witness … --channel …; див. незалежний свідок. За допомогою публічної адреси https://t.me/s/… або https://telegram.me/s/… верифікатор зчитує дату кожної публікації з Telegram, а найраніша така дата публікації на початку експорту є зовнішнім часом для останнього запису. Дати з будь-якого іншого джерела є наданими метаданими.

Маніфест та контрольні точки#

Файл manifest.json містить формат, час експорту, відкритий ключ, відбиток, довжину журналу, хеш заголовка, область дії, виробника, обмеження та SHA-256 кожного елемента вмісту, крім самих manifest.json та manifest.sig. manifest.sig — це підпис у форматі base64 за алгоритмом Ed25519 над канонічним маніфестом JSON. Верифікатор відхиляє несподівані/відсутні елементи, дублікати імен, пошкоджені файли, порушену послідовність/ланцюг, недійсні підписи та невідповідність наданій контрольній точці. Він ніколи не витягує шляхи до архівів. Він обмежує загальний заявлений розмір у нестисненому вигляді до 4 ГіБ; --max-gib N дозволяє створювати більші архіви за допомогою підвищеного обмеження в розділі Більше інструментів → Параметри.

Великий архів перевіряється одночасно кількома процесами: елементи архіву хешуються паралельно, а після перших 5 000 записів хеш вмісту та підпис кожного запису перевіряються робочими процесами, тоді як головний процес послідовно відстежує ланцюжок, охоплення та зв’язки . --jobs N встановлює кількість процесів; за замовчуванням auto використовує по одному на кожен процесор, максимум 16, а --jobs 1 зберігає все в одному процесі. Результат однаковий у обох випадках, а зміна відхиляється з однаковим повідомленням. Хеші у позиціях, зазначених збереженими контрольними точками та анкерами часових міток, зберігаються протягом цього єдиного проходу, тому кожен анкер порівнюється без повторного читання журналу. На комп’ютері з 32 потоками обробка архіву розміром 10,8 ГБ із 400 000 записів зайняла 58,9 с в одному процесі, 15,2 с — у 4 процесах і 8,4 с — у 16; один прохід по записах у порядку їхнього розташування встановлює межу.

Виконайте перевірку з вашої встановленої версії TgWitness або перевіреної версії. Копія, що міститься в архіві, підтримує переносне використання; порівняйте цю копію з вашою довірчою інсталяцією перед її запуском.

Контрольна точка підписує заяву, що містить відкритий ключ, довжину журналу, хеш заголовка та час створення. Вона також містить найновіший раунд drand, який робоча область отримала (drand_anchor ): колектор запитує ретранслятор drand через зовнішній маршрут робочої області перед кожною періодичною контрольною точкою, тому застосовуються Hide IP, проксі-сервери та вимкнений зовнішній маршрут, і сама контрольна точка ніколи не встановлює з’єднання ззовні. Верифікатор може перевірити, чи містить пізніший архів той самий префікс. За допомогою --checkpoint та --check-drand він підтверджує цей раунд із ретрансляторами drand і повідомляє, що контрольна точка була підписана не раніше, ніж час раунду; раунд не змінює рівень гарантії. Зберігайте контрольну точку поза колектором, щоб під час подальшої верифікації архів порівнювався з еталоном, що зберігається окремо від нього. Ключ колектора підписує його, тому він пов’язує записи з ним лише в тому випадку, якщо одержувач отримав його до архіву через інший канал; сам по собі він не відповідає мінімальним вимогам щодо доказів.

Читання результату верифікації#

Верифікатор окремо повідомляє про цілісність архіву, прив’язку підписувача та перевірки достовірності. Дійсний підпис свідчить про те, що байти не зазнали змін з моменту їх підписання. Оператор передає відбиток ключа одержувачу через окремий канал. Без --fingerprintцілісний архів успішно проходить перевірки підпису та формату , signer_pinned: false, а остання рядок починається з EVIDENCE: minimum not met · missing: confirmed signer key.

Для автоматизованої політики локального архівування, яка вимагає закріпленого підписувача та мінімального обсягу доказів:

python -m tgwitness.verify evidence.zip --strict --json --fingerprint TRUSTED_KEY_SHA256 --tsa-ca TSA-ROOT.pem --require evidence

Використовуйте відбиток, збережений через довірений канал одержувача. Довірений свідок також може закріпити колектор за допомогою узгодженого журналу зі свідченням; вкажіть параметри --witness, --witness-fingerprint та --require-witness. Параметр --strict завершує роботу зі статусом 2 у разі незакріпленого підписувача; невиконання вимог --require-tier або --require evidence також призводить до завершення роботи зі статусом 2. Параметр --require evidence вимагає наявності --fingerprint та зовнішнього часу від сторонньої сторони, що охоплює останній запис. Слід зважати на signer_pinned, requirements_met та результати перевірки достовірності, а не лише на код завершення. Натомість Sealed Acquisition використовує свій верифікатор засвідчення та затверджену політику для автентифікації дайджесту придбання.

Обсяг перевірки#

Перевірка стосується архіву та режиму збору даних, який використовувався для його створення. Оберіть режим, межа довіри якого відповідає конкретному випадку, а потім збережіть його вхідні дані для перевірки.

Режим збору даних Що перевіряє верифікатор Вхідні дані для верифікації та межа довіри
Локальна робоча область Запишіть підписи, ланцюжок хеш-кодів, маніфест та байти вкладень Відбиток колектора, збережений одержувачем, та зовнішній час від третьої сторони: перевірені квитанції за стандартом RFC 3161 або OpenTimestamps, або публікації свідків, прочитані з t.me. Збережені контрольні точки та записи свідків слугують підтвердженням перевірок
Локальна робоча область із незалежним свідком Перевірка архіву та відповідність префіксу попереднього журналу, збереженого свідком Відбиток і записи свідка; запис зберігача про контроль над ключем показує, у кого перебуває ключ свідка. З --channel https://t.me/s/… дати, які Telegram проставив на дописах, дають зовнішній час
Запис дій у GitHub Actions Підтвердження на GitHub дайджесту архіву, затвердженого робочого процесу та комітів колектора, розміщеного запуску, нового походження сесії/ключа та цілісності внутрішнього архіву Політика довіреного верифікатора, репозиторій викликів та пакет атестації GitHub; збір даних відбувається в рамках закріпленого робочого процесу
Розгортання у хмарі Записи про життєвий цикл та доступ провайдера, стан брандмауера та Cloudflare, а також підписаний запис про роботу колектора Запити до провайдера та Cloudflare лише для читання; доступність окремих перевірок залежить від провайдера
Конфіденційна віртуальна машина Intel TDX Вказати підпис та стан платформи, прив’язати до заяви збирача, скласти та вимірювання ОС Ланцюг довіри Intel та очікувані показники розгортання; зберегти результати кожної необхідної перевірки TDX

Під час запечатаного збору затверджений збирач отримує дані через аутентифіковане з’єднання Telegram у перевіреному середовищі. Атестація пов’язує архів із цим виконанням, тому перевірка охоплює як сам збір, так і подальшу цілісність файлів. Це базується на затвердженому коді та ланцюжку довіри платформи, перелічених вище. Перевірка збору даних на GitHub вимагає сеансу, створеного в межах запуску, і відхиляє збори даних з імпортованих сеансів.

У квитанції про запуск фіксуються версія колектора, хеші файлів та параметри запуску. Дані про походження з GitHub та вимірювання TDX забезпечують перевірку середовища; запис валідації ідентифікує протестовані конфігурації.

Звідки надходять повідомлення#

Telegram доставляє повідомлення кожному клієнту, включаючи офіційні додатки, у межах сеансу MTProto. Ключ авторизації сеансу узгоджується з зафіксованим серверним ключем Telegram, і кожне оновлення надходить у зашифрованому вигляді та перевіряється на цілісність за допомогою цього ключа. Колектор отримує повідомлення через аутентифікований сеанс облікового запису та підписує кожне спостереження в журналі одразу після його надходження, вказуючи ідентифікатори чату, повідомлення та відправника, а також дату, встановлену Telegram для кожного повідомлення. У GitHub Actions та розгортаннях Intel TDX засвідчення також пов’язує цю сесію та ключ підпису з затвердженим запуском колектора.

Журнал фіксує, звідки походить ключ авторизації. Увійти за допомогою телефону або QR-коду, або незалежний вхід із файлу сеансу записує account.authorized із key_origin: "created"; збір даних за імпортованим ключем .session, TData або JSON записує imported. Імпортований ключ також існує незалежно від того, звідки він походить. Засвідчені розгортання відхиляють імпортовані ключі.

Походження запису в Telegram ґрунтується на автентифікованому з’єднанні облікового запису, записах про з’єднання та фіксацію в журналі, зафіксованих кадрах MTProto, що відповідають записам у журналі (tgwitness/forensics/), даті Telegram кожного повідомлення та, у разі засвідченої фіксації, перевіреному середовищі виконання. Архівні підписи зберігають цей запис для подальшої перевірки. Збережені контрольні точки фіксують попередні межі журналу, записи про охоплення показують результати збору, а перевірені зовнішні часові мітки фіксують момент запису байтів у часі.

Для локального робочого простору одержувач надає вхідні дані від довіреного колектора або свідка. Для запечатаного збору даних довірена політика та засвідчення пов’язують дайджест архіву з затвердженим виконанням колектора. Це різні шляхи верифікації; повідомте про перевірки, виконані для обраного шляху.

Вкладення#

Файли ідентифікуються за допомогою SHA-256 у каталозі media/. Подія media.saved пов’язує хеш та довжину у байтах із конкретною подією повідомлення. Необроблені імена файлів є метаданими, а не локальними шляхами. Байти мультимедіа завантажуються асинхронно, тому негайне видалення може перешкодити їхньому збереженню. У результатах відображаються випадки вимкненого збору, файли надмірного розміру або невідомого розміру, помилки завантаження та перервані завантаження. Збій процесу може залишити неповні файли без посилань; вони не включаються в експортні дані.

Експортер у форматі ZIP перевіряє збережені медіафайли на відповідність їхнім іменам. Експорт у форматах JSONL, CSV та HTML перевіряє сигнатури подій, але не передає байти медіафайлів. Похідні звіти є допоміжними; файл events.jsonl є авторитетним представленням подій.

Повний експорт чату зберігає вкладення відповідно до налаштувань робочого простору у папці media/, присвоюючи їм імена у форматі SHA-256. Кожен запис повідомлення у файлі chat.json містить назву файлу (file, file_sha256) або причину його відсутності (file_status), а також те, що бачив читач навколо тексту: посилання за текстом, джерело пересилання, кнопки ботів, підпис, перегляди та таймер автоматичного видалення. Файл verify.py перевіряє, чи кожен названий файл міститься у підписаному маніфесті під цим хешем.

Довготривале збирання та обробка квитанцій (0.2)#

Медіа-завдання та фіксація події повідомлення відбуваються в одній транзакції. Завдання зберігає оригінальний дескриптор повідомлення TL; підписане спостереження пов’язує його SHA-256, обліковий запис та політику розміру. Функція відновлення перевіряє цю прив’язку перед завантаженням. Вона ніколи не завантажує поточне повідомлення і непомітно замінює його на новіше вкладення. Перервані завдання повторюються, тоді як постійна помилка залишається явним результатом.

Кожна робоча область має власний журнал та ідентифікатор підпису. Подія process.started містить ідентифікатор запуску, час за локальним годинником, версії залежностей, хеші вихідних файлів, початковий обліковий запис/область дії, а також налаштування збору даних. Імпульси містять ідентифікатор запуску, монотонний час та стан черги. Квитанцію про виконання також можна завантажити як окремо підписану заяву. Для перевірки середовища виконання поєднайте її з атестацією GitHub або перевірками TDX, описаними у розділі «Перевірка сфери дії».

Автоматичні контрольні точки зберігаються локально під час запуску, кожні п’ять хвилин під час спостереження (Більше інструментів → Параметри → Підписана контрольна точка кожні) та під час упорядкованого зупинення. Перевірка під час запуску та експорт порівнюють журнал з останньою збереженою локальною контрольною точкою. Це дозволяє виявити відкат бази даних, якщо контрольна точка збереглася. Незалежне зберігання забезпечує доступність цього посилання поза робочою областю; перевірена зовнішня мітка часу додатково закріплює його в часі.

Після перезапуску відновлюється збережена позиція оновлення Telegram (catch_up_from в observation.started) та запитуються пропущені оновлення. Збережена позиція охоплює лише ті оновлення, обробка яких завершилася, тому оновлення, що все ще очікували на обробку на момент розриву з’єднання або зупинки процесу, запитуються знову. Періодична повторна перевірка фіксує message.recovered на наявність пропущених повідомлень та message.missing_on_recheck коли Telegram більше не повертає збережене повідомлення; останнє не є повідомленням про видалення і не вказує ні того, хто видалив, ні часу.

Зовнішнє копіювання та відновлення (S3)#

Зовнішня копія (Налаштування → Повідомлення та зовнішня копія → Зовнішня копія, або Більше інструментів → Додаткові функції → Докази та резервні копії; за замовчуванням вимкнено) завантажує сегменти журналу, збережені файли, контрольні точки з їхніми часовими мітками та готові експортовані чати до сховища, сумісного з S3, зашифровані за допомогою AES-256-GCM перед завантаженням за допомогою ключа, що зберігається у сховищі робочого простору; застосовується функція збереження Object Lock, якщо контейнер її підтримує. Без завантаженого ключа копію неможливо прочитати. Відновлення та перевірка за допомогою команди python -m tgwitness.replica restore --key-file KEY.json --out DIR.

Для відновлення потрібен порожній звичайний каталог. Завантажені та розшифровані об’єкти залишаються у приватному тимчасовому сховищі, доки не буде перевірено весь журнал та кожну збережену контрольну точку. Небезпечні шляхи до об’єктів, непослідовні діапазони сегментів та журнали, коротші за контрольну точку, відхиляються; у разі невдалої перевірки відновлені файли не публікуються. Перевірки збереження порівнюють повернутий режим Object Lock та дату з кінцевим терміном, надісланим під час завантаження (допуск на округлення — одна секунда). Термін, що минув, недійсний або скорочений, не вважається перевіреним. Статус повідомляє про об’єкт, з якого взято зразок, збереження якого було зчитано для цього циклу завантаження.

Відсутність або пошкодження локальних носіїв фіксується як помилка циклу і курсор залишається перед цим місцем, щоб файл було перепробувано під час наступного циклу; файли, контрольні точки та експортовані дані, що йдуть за ним, все одно копіюються. Під час відновлення перевіряються всі посилання на збережені носії на відповідність розшифрованим хешам та записаним розмірам. Ідентичні перекриваючі сегменти журналу від перерваних завантажень дублюються; конфліктні перекриття відхиляються. Контрольні точки, створені під час завантаження, відкладаються доти, доки відповідні записи журналу не будуть скопійовані, тому завершений прохід не публікує контрольну точку раніше, ніж відповідний запис у журналі.

Потокове експортування знімків екрана#

Експорт у режимі потокової передачі використовує стабільний знімок для читання SQLite. Його початок може бути старішим за поточний активний журнал на момент завершення завантаження. Контрольна точка, створена після цього знімка, може правильно вказувати, що архів є коротшим; порівнюйте з контрольною точкою на рівні або перед експортованим префіксом, а не з довільною пізнішою контрольною точкою.

Підготовка RFC 3161 та перевірка відповідей (0.2)#

У режимі «Evidence» до перелічених авторитетів RFC 3161 та календарів OpenTimestamps надсилається лише SHA-256-хаш кожної підписаної контрольної точки через маршрут робочого простору, але ніколи через MTProxy. Функція «Timestamps» увімкнена за замовчуванням у кожній меті налаштування; у режимі Evidence для кожної справи також фіксується drand. Відповіді зберігаються у checkpoints/anchors/, експортуються як .tsr та .ots файли в папці anchors/, а також перевіряються verify.py (--tsa-ca перевіряє підпис TSA; підтверджує докази OpenTimestamps за допомогою ots upgrade та ots verify).

Служба міток часу RFC 3161, яка двічі поспіль не відповіла, чекає перед наступною спробою: один інтервал, потім два, чотири і так далі до шести годин або стільки, скільки просить її Retry-After, але не більше доби. Прохід, у якому залишилися лише служби, що очікують, запису не створює; інакше anchor.completed перелічує їх у deferred з retry_at. Доки вони знову не відповідять, панель показує мітки часу у стані Деградація.

Панель готує архів запитів, що містить канонічні байти checkpoint.json, відбиток повідомлення SHA-256 та випадковий нонс у файлі timestamp.tsq, контрольні суми та інструкції. Мережеві запити не надсилаються; міткою часу є токен, який служба міток часу поверне на цей запит.

python -m tgwitness.anchor verify звіряє відповідь із байтами контрольної точки та початковим запитом без OpenSSL. Файл довіреного CA потрібно вказати явно; вкладені сертифікати автоматично довіреними не вважаються. У CLI перевірка запиту необов’язкова, тому збережіть запит і передайте --request, щоб перевірити nonce. У результаті зазначено, чи виконувалася ця перевірка. Підпис контрольної точки колектора та журнал однаково треба окремо перевірити за довіреним відбитком колектора.

Верифікація перевіряє підпис відповіді, байти контрольної точки та, якщо надано, оригінальний запит у рамках зазначеного довірчого центру (CA). Для часових міток, отриманих у режимі доказів, verify.py також перевіряє збережені докази OCSP або CRL (скасування сертифіката підпису). Дивіться процедуру та результати валідації.

Необов’язкові записи в режимі доказів: пристрої drand та Telegram#

Ще два записи можуть виконуватися в тих самих циклах, що й мітки часу. Обидва діють лише тоді, коли увімкнено режим доказів. Наявність доказів у справі вмикає drand; в іншому разі обидва записи спочатку вимкнені. Перемикайте їх у меню «Додаткові інструменти» → «Додаткові функції» → «Докази та резервні копії» → Більше свідків · за бажанням, або "drand": true та "devices": true у POST /api/evidence. Збій в роботі одного з них не зупиняє роботу іншого або міток часу; панель показує найновіший результат кожного з них під формою.

drand (beacon.drand ). Кожен прохід записує найновіший раунд drand quicknet, публічну випадковість «Ліги ентропії» (один раунд кожні 3 секунди), у журнал: chain , round , randomness , signature , round_time та relay , що відповіла. Перевірений непередбачуваний раунд забезпечує нижню часову відмітку для наступного матеріалу, пов’язаного хешем. Перевірена часова мітка на пізнішому контрольному пункті забезпечує верхню часову відмітку. Ці перевірки обмежують пов’язаний матеріал. Збирач спочатку звертається до drand.cloudflare.com , а потім до ретрансляторів Protocol Labs через маршрут робочого простору, по одному запиту на прохід.

verify.py перевіряє, чи кожна випадкова величина є SHA-256 свого підпису та чи правильний час раунду, а також повідомляє про раунди, найдовший проміжок часу без раунду та наскільки годинник колектора відставав від drand. --check-drand порівнює раунди з ретранслятором Cloudflare та ретранслятором Protocol Labs — усіма ними або випадковою вибіркою зі 100 у довгому журналі; раунд, що відрізняється, не проходить перевірку.

Пристрої , Telegram, (account.devices). Кожен цикл зчитує сесії облікового запису з account.getAuthorizations, список Telegram відображається в меню «Налаштування» → «Пристрої», і записує їх: повністю, якщо він змінився з моменту попереднього проходу, із хешами сеансів added та removed, в іншому випадку — лише його кількість та SHA-256. Зберігаються модель пристрою, платформа, додаток та версія, час створення та останньої активності, країна та регіон; IP-адреси не зберігаються, оскільки експорт доказів виходить за межі вашого контролю. Власна сесія колектора активна постійно, тому як зміна враховується лише активність інших сесій. verify.py повідомляє, як часто список записувався, а також про кожну нову та завершену сесію. Він зчитує список лише під час роботи спостереження.

Що вони показують: drand упорядковує записи за публічним часом, а список пристроїв — це заява Telegram через колектор, підписана колектором, як і кожен інший запис.

Журнал Cloudflare Gateway (cloudflare.gateway_dns). Для сервера, який здійснює вирішення через Cloudflare Gateway ( Gateway DNS ), кожен цикл копіює те, що Gateway записав у журнал з моменту попереднього копіювання: один запис на вікно тривалістю не більше трьох годин із from, until, location_id, address сервера, якщо він встановлений, та queries як [at, name, type, rcode, decision, colo], навіть якщо їх не було. Налаштуйте це в «Журнал шлюзу Cloudflare» : обліковий запис, місцезнаходження, опціональна адреса та токен тільки для читання (Account Analytics Read; Zero Trust PII Read для збереження однієї адреси спільного розташування). Панель перевіряє їх одним запитом перед збереженням; токен залишається зашифрованим і ніколи не потрапляє до журналу. verify.py перелічує вікна, найчастіше шукані імена та будь-який час, який не охоплює жодна копія; запис, кількість запитів якого не збігається з кількістю запитів, вважається невдалим. Вікно, яке містить більше ніж одну сторінку запитів за одну секунду, зберігає цю сторінку і вказує, що решта відсутня. Копія — це відповідь Cloudflare через колектор, підписана колектором; протягом 24 годин будь-хто, хто має токен лише для читання, може порівняти її з даними Cloudflare.