Деякі частини цієї сторінки досі залишаються англійською мовою: англійський оригінал зазнав змін після перекладу.
Довідка / Зібрати
Telegram · Як відбувається збір даних
Обсяг спостереження, оновлення в режимі реального часу, повторні перевірки, вкладення, власні дії та значення пропусків — запис за записом.
TgWitness / Документація · Колекція
TgWitness фіксує те, що спостерігає підключений акаунт Telegram. Моніторинг у реальному часі зберігає повідомлення, зафіксовані редагування, сповіщення про видалення та вкладення разом із часом спостереження та контекстом джерела. Історія переглядів, повторних перевірок та доступні записи журналу адміністратора додають до цього запису окремо ідентифіковані спостереження.
На цій сторінці
- Від входу в систему до журналу
- Обсяг спостереження: вибрані чати, папка або весь акаунт
- Сфера застосування та вибір подій
- Власні дії
- Режим розслідування: приєднання до команд та спілкування з ботами
- Рівні повторної перевірки
- Історія повідомлень та атрибуція
- Знімки історії
- Обробка вкладень
- Призупинити, заблокувати, відключити та перезапустити
- Ізоляція та верифікація облікових записів
Від входу в систему до журналу#
Щодо фотографій та файлів, що самознищуються, див. Медіа, що самознищуються. Тут пояснюються пріоритетний робочий процес, збережені та недоступні результати, а також обмеження блокування підтвердження прочитання в API-колекторі.
Діаграма у вигляді тексту
- Авторизація облікового запису користувача → Виберіть доступні групи та канали
- Виберіть доступні групи та канали → Зберегти налаштування подій та вкладень
- Зберегти налаштування подій та вкладень → Почати спостереження
- Почати спостереження → Отримуйте оновлення від активного клієнта
- Отримуйте оновлення від активного клієнта → Дотримуватися політики щодо джерел та подій
- Дотримуватися політики щодо джерел та подій → Додати підписане спостереження
- Додати підписане спостереження → Переглянути або експортувати журнал
- Додати підписане спостереження → Обробка будь-яких вкладень у черзі
- Обробка будь-яких вкладень у черзі → Додайте результат завантаження
Авторизація, доступ до джерела, запущений колектор та повна доставка — це різні питання. Успішний вхід у систему не надає доступу до всіх груп. Доставку відстежують окремо: записи про охоплення, відновлення прогалин в оновленнях та повторні перевірки показують, що саме надійшло.
Обсяг спостереження: вибрані чати, папка або весь акаунт#
Більше інструментів → Джерела → Область застосування визначає, які чати реєструє робоча область.
Нове налаштування починається з пункту Вибрати чати. Існуючі збережені налаштування залишаються без змін. При виборі опції Усі чати у майстрі налаштування з’являється запит на підтвердження, якщо завантажений список містить більше 50 чатів; оцінка розміру залишається окремою операцією, що базується на вибірці.
| Режим | Записи | Нові чати |
|---|---|---|
| Вибрані чати (за замовчуванням) | Лише ті чати, які ви додаєте вручну | Ніколи не додається автоматично |
| Папка Telegram | Чати в одній із папок облікового запису: чати, включені за назвою, а також категорії папки (контакти, неконтакти, групи, канали, боти), за вирахуванням виключених чатів та, якщо це зазначено в папці, архівних чатів | Відповідні чати додаються, щойно вони стають активними; чати, які ви додаєте до папки в Telegram, додаються протягом години |
| Весь опис | Кожен чат, який бачить цей акаунт | Кожен новий чат, група, приватний чат або бот додається в той самий момент, коли надходить його перше оновлення |
- Типи джерел (канали, групи, приватні чати, боти) обмежують роботу в режимах «папка» та «весь акаунт». Вибрані чати можуть бути будь-якого типу, включаючи приватні чати та ботів; типи джерел ніколи не блокують чат, доданий вручну. Вимкнений тип, виключення або перехід до вибраних чатів зупиняють автоматично додані джерела одразу після збереження, до того, як список джерел буде перераховано, а також у разі, коли Telegram недоступний: їхні нові повідомлення, історія спілкування, історія нових чатів, налаштування контактів та спостереження за профілями.
- Чати, додані вручну, залишаються записаними в режимах «папка» та «весь обліковий запис», навіть якщо вони знаходяться поза межами папки; їх можна зупинити лише за допомогою функцій Виключити, Видалити або призупинення. Чати, додані автоматично, слідують за папкою: той, що виходить за її межі, призупиняється під час наступного перерахунку.
- Виключені чати ніколи не записуються, у будь-якому режимі. У режимах «Папка» та «Весь обліковий запис» вибір опцій Виключити та Видалити у джерелі додає чат до цього списку, щоб система не додавала його знову. Якщо знову вибрати чат вручну (у розділі «Джерела», у списку «Чати» або в меню «Налаштування» → Які чати?), він буде вилучений зі списку. Список вміщує до 5 000 чатів; якщо їх кількість перевищує цю межу, команда Видалити не спрацьовує, і замість цього чат можна призупинити.
- Власні дії (увімкнено за замовчуванням): повідомлення, які надсилає цей обліковий запис, його редагування та натискання клавіш на клавіатурі для відповіді. Якщо функція вимкнена, вихідні повідомлення та редагування пропускаються.
- При переході до папки або всього облікового запису з’являється запит на підтвердження: ці режими записують
приватні чати та повідомлення третіх осіб і призначені виключно для спеціального облікового запису.
Підтвердження та кожна зміна області дії фіксуються у записах типу
scope.changed. На обліковому записі, налаштованому як основний, форма вибору області дії та функція «Дослідження» відхиляють вибір папки або всього облікового запису, як це робить функція «Старт»; їх можна використовувати лише для одноразового копіювання без запису. - Чати, додані за допомогою scope, відображаються як джерела з позначкою auto і записуються як
scope.applied(на початку та щогодини) абоsource.discovered(новий чат під час спостереження). Повернення до вибраних чатів одразу призупиняє всі автоматично додані джерела, без повторного зчитування списку чатів облікового запису. Виключений чат перестає записуватися, щойно область застосування збережено, а його джерело призупиняється навіть тоді, коли Telegram не повертає список чатів. Під час спостереження збереження області застосування застосовує її знову, навіть якщо значення не змінилися.
Сфера застосування цих режимів:
- У Секретних чатах використовується вбудована інтеграція Pseudo-secret, з модулем протоколу, встановленим через панель управління, та перемикачем увімкнення для кожного облікового запису. Хмарний архів та функція «Takeout» використовують окремий шлях збору даних.
- Періоди офлайн-роботи. Після перезапуску TgWitness відновлює збережену позицію оновлення, запитує
у Telegram про пропущені оновлення та повторно перевіряє чати. Telegram зберігає обмежений обсяг накопичених даних, тому після
тривалого збою звіти та
verify.pyвказують залишковий інтервал як прогалину (див. покриття). - Спочатку відображаються лише перші 1,000 діалогів (обмеження налаштовується в розділі Додаткові інструменти → Параметри); старіші чати додаються, коли вони знову стають активними. Рання історія доданого чату не завантажується — зробіть знімок історії або повний експорт чату, коли це буде потрібно.
- Умови папок, що постійно змінюються (приховані, прочитані), не застосовуються: такі чати залишаються під спостереженням.
- Натискання вбудованих (з зворотним викликом) кнопок бота в іншому додатку є невидимими для другої
сесії; відповідь або редагування бота фіксуються. Натискання клавіш під час відповіді надходять як вихідні
повідомлення та позначаються як
button_press. - Чим більше чатів, тим більше запитів. Telegram обмежує акаунти за обсягом, який вважає надмірним, що є ще однією причиною використовувати спеціальні акаунти.
Ретельно відібрані чати#
Strict: read only the chosen chats appears under Chosen chats and is off by default. It is meant for a permission that covers the chosen chats only. While it is on:
- Повідомлення служби Telegram (777000) не читаються: ні на початку, ні в кінці спостереження, а також не щохвилини
під час спостереження. Записи
session.security_baselineтаaccount.security_eventне записуються. - The account's session list is not read: not when observation starts or stops (the panel's question about
other sessions for Evidence for a case and the evidence protection modes is skipped too), not every two
minutes while observing, not when a connection opens, and not by the connection check, whose Current
authorization entry is shown as skipped. The two-step verification status used by the takeover check is not
read either. So
account.sessions,session.concurrent_at_startandsession.takeover_riskare not written, and a session ended from another device is not reported assession_revoked_externally. - Хоча це єдина сесія для цього облікового запису (встановіть цю сесію як єдину або її автоматичну версію),
список сесій все одно зчитується кожні дві хвилини під час спостереження та при відкритті з’єднання, тому
при появі іншої сесії фіксується значення
session.exclusive_ended. 777000 залишається непрочитаним у цей період, хоча запис `session.exclusive_from` свідчить, що повідомлення про вхід у Telegram продовжують реєструватися. - Повідомлення про видалення порівнюються з результатами перевірки сеансу лише в тому випадку, якщо така перевірка відбулася протягом останніх 10 хвилин (якщо це єдиний сеанс або після відкриття сторінки Сеанси цього облікового запису). В іншому випадку, якщо остання перевірка прав не показала, що цей обліковий запис не міг видалити повідомлення (що ніколи не трапляється у приватних чатах та звичайних групах), з’являється таке повідомлення: Невідомо, хто його видалив: це міг зробити сам цей обліковий запис, з іншої сесії або з іншого пристрою.
- Якщо сесійний ключ було імпортовано, у журналі немає даних про час входу в цю сесію, доки не буде
зчитано список сесій (наприклад, у розділі Сесії цього облікового запису). До цього моменту під час експорту чатів та автоматичного
експорту облікових записів використовується звичайна сесія замість Takeout із причиною
session_age_unknown. - Увімкнення чату не призводить до зчитування його попередніх повідомлень. Якщо цей перемикач вимкнено, кожен увімкнений чат (у розділі «Джерела», у
«Чатів», приєднавшись з панелі або у майстрі налаштування) отримує один базовий знімок (
baseline) своїх останніх повідомлень, до кількості, вказаної в Додаткові інструменти → Параметри → Найбільший знімок історії (за замовчуванням 500), під час наступного запуску спостереження. Знімок, час отримання якого настає під час увімкнення цього перемикача, ігнорується. У чаті, до якого приєдналися з панелі, останні повідомлення також не зчитуються як у новому чаті (лічильник Коли з’являється новий чат або бот, за замовчуванням 100), а відкриття обраного чату без збережених повідомлень у розділі «Чати» не завантажує останні 100 повідомлень автоматично. Завантаження історії та знімків, які ви запускаєте самостійно, все одно дозволяє переглянути історію. - Налаштування щодо конфіденційного вмісту облікового запису не зчитується і не змінюється. Якщо перемикач відсутній, вхід у систему та кожне нове
підключення вмикають його, коли він вимкнений, і Telegram дозволяє змінити це налаштування (
account.content_settings); це налаштування належить обліковому запису і діє в усіх додатках Telegram. Вміст, який Telegram позначає як конфіденційний, може залишатися прихованим. - Оновлення, пов’язані з телефонними дзвінками, не записуються як
account.phone_call. - При зупинці спостереження записується лише відбиток сесійного ключа; список сесій та 777000 не зчитуються.
Це не обмежує обсяг даних, які надсилає Telegram: оновлення всіх чатів як і раніше надходять у цю сесію, а записуються лише вибрані
чати. Список чатів облікового запису (аж до чатів, прочитаних зі списку облікового запису) та його папки
як і раніше зчитуються під час запуску, а також під час збереження області дії під час спостереження, щоб знайти вибрані чати. Повідомлення про
видалення без чату (deletion.unscoped) все одно записуються: вони містять лише ідентифікатори повідомлень і можуть належати до
обраного приватного чату або звичайної групи. Перевірка замороженого облікового запису (help.getAppConfig), інші перевірки з’єднання
та функції, які ви вмикаєте самостійно (автоматичне завершення інших сесій, перевірка свідків,
псевдо-секретні чати, «Сесії цього облікового запису» та список підключених пристроїв Telegram у розділі «Більше
«Свідки», який зчитує список сесій при кожному проходженні мітки часу та який відстежує виконання цілей «Стежити за чатами»
та «Докази для справи») продовжують працювати.
Увімкніть цю функцію перед входом у систему; інакше під час самого входу система перевіряє поточний рівень авторизації та вмикає відображення конфіденційного
вмісту. Кожна зміна фіксується у підписаному записі scope.changed, а observation.started містить значення, що відповідає
scope.strict. Перехід до папки або до всього облікового запису вимикає цю функцію.
Сфера застосування та вибір подій#
Кожна робоча область має власні джерела. TgWitness не приєднується до груп, не приймає запрошення та не перелічує всіх учасників автоматично. Джерела вже мають бути доступними для облікового запису. Під час запуску колектор перевіряє вибрані джерела на відповідність видимим діалоговим вікнам облікового запису; перевіряються перші 1,000 діалогових вікон, якщо у розділі Більше інструментів → Параметри → Чати, зчитані зі списку облікового запису не вказано інше. Відсутнє джерело позначається як доступ не підтверджено, а не як таке, що видалило вас.
| Налаштування | Збирає | Наслідки у разі вимкнення |
|---|---|---|
| Нові повідомлення | Звичайні надіслані повідомлення | У разі пізніших редагувань/видалень може не бути раніше збереженого тексту для порівняння. |
| Редагування | Надано відредаговані версії повідомлень | Проміжні зміни згодом не відтворюються. |
| Видалення | Повідомлення про видалення в межах певного діапазону та повідомлення на рівні облікового запису без обмеження діапазону | Повідомлення про видалення не додаються до журналу. |
| Реакції | Надані знімки реакцій | Окремі оновлення щодо реакції не додаються. |
| Членство | Надсилання повідомлень про послуги для членів та оновлень для учасників | Ці спостереження щодо членства не додаються. |
Налаштування застосовуються до всіх вибраних джерел у робочому просторі. Збережіть форму, щоб застосувати зміни; зміни фіксуються із підписаними значеннями «до» та «після». Вимкнення категорії не призводить до видалення попередніх записів. Повторне ввімкнення не відновлює пропущені оновлення.
Операційні записи та інші події, пов’язані з роботою групи, залишаються окремими від цих параметрів. Повідомлення служби членства можуть створювати записи повідомлень, коли функція членства увімкнена, навіть якщо звичайне фіксування нових повідомлень вимкнено. Зафіксовані об’єкти Telegram зберігають вбудовані метадані; параметр не є правилом редагування.
Видалення у приватних чатах та звичайних групах надходять у вигляді ідентифікаторів повідомлень без вказівки чату.
Ці чати використовують одну послідовність ідентифікаторів повідомлень для всього облікового запису, тому коли повідомлення з цим ідентифікатором було
збережено раніше, його чат відомий: видалення фіксується в цьому чаті з
поясненням способу видалення у полі chat_resolution. Ідентифікатори, які ніколи не зберігалися, залишаються видаленням без контексту з
явно невизначеним чатом. Це сповіщення про видалення в Telegram, які зберігаються навіть
тоді, коли їхній чат ще не можна встановити. Схема сповіщення містить ідентифікатори;
журнал додає час отримання та будь-який збережений контекст повідомлення, включаючи
deleted_message_was_outgoing. Доступні записи журналу адміністратора надають окреме
джерело дії, виконавця та час джерела.
Власні дії#
Повідомлення, надіслані з обстежуваного облікового запису, позначаються як outgoing. Щодо редагування вихідного
повідомлення зазначається, що в приватних чатах та групах його може редагувати лише автор, тоді як дописи в каналах
можуть редагувати інші адміністратори. Коли вихідне повідомлення повторює текст кнопки
з останньої збереженої клавіатури відповідей у цьому чаті, воно має позначку «button_press» із посиланням на
запис цієї клавіатури.
Виключення власних дій також поширюється на фонові перепровірки та автоматичну історію нових чатів. Пропущені вихідні повідомлення зміщують позицію перепровірки вперед, щоб вони не могли блокувати пізніші вхідні повідомлення. Явні дії на панелі та знімки історії, запитувані вручну, залишаються записаними.
Режим розслідування: приєднання до команд та спілкування з ботами#
Більше інструментів → Джерела → Область дії → Режим розслідування готує область дії для спеціального облікового запису, який приєднується до командних чатів, запускає ботів та пише їм: весь обліковий запис, кожен тип джерела, власні дії, а також для кожного чату чи бота, що з’являється, — його профіль та останні 200-ти видимих повідомлень. Перегляньте форму та натисніть «Зберегти область дії»; перехід до всього облікового запису вимагає звичайного підтвердження.
- Кнопки. Кнопки під повідомленням зберігаються разом із ним і відображаються в чатах: посилання, веб- додатки, посилання для входу, текст для копіювання, дані для зворотного дзвінка, вбудовані запити, запити на номер телефону або місцезнаходження. Посилання відображаються у вигляді тексту й ніколи не відкриваються панеллю. Коли бот змінює лише кнопки (нове посилання для оплати), це вважається новою версією повідомлення як під час оперативних оновлень, так і під час повторної перевірки.
-
Нові чати та боти. У режимах «У папці» та «Весь обліковий запис», коли з’являється новий чат або бот, дані зберігаються одразу після їх появи:
- його профіль у вигляді запису
source.profile: опис бота та команди, текст «Про» користувача, групи чи каналу, учасники, пов’язаний чат та посилання на запрошення, якщо Telegram його надає; - його останні видимі повідомлення (до 1 000) у вигляді знімка історії з позначкою
new_chat: попередні повідомлення у груповому чаті, до якого щойно приєдналися, або те, що сказав бот до того, як система спостереження зафіксувала цей чат. Повідомлення, які вже збережено в режимі реального часу, не повторюються.
Нововибрані чати використовують ці налаштування після застосування сфери дії, включаючи чати, які вже є у списку діалогів облікового запису. Початкове завантаження профілю та історії відбувається одночасно для не більше ніж трьох чатів; операції щодо одного й того самого чату виконуються послідовно. Кожен етап обробки історії/профілю використовує налаштований час очікування операції, тому завислі запити звільняють відповідний робочий процес. Історія зберігається до опціонального зчитування профілю; невдача зчитування профілю не заважає збереженню історії. Етапи, що завершилися невдачею, повторюються через 5 секунд, з подвоєнням часу очікування до максимум 5 хвилин без задіяння робочого процесу під час затримки. Ідентифікатори в очікуванні, терміни повторних спроб та завершені етапи зберігаються локально. Після перезапуску відновлюються лише незавершені етапи; повторна спроба завантаження профілю не повторює вже завершене читання історії. Джерела, вимкнені до настання їхньої черги, пропускаються. У загальному огляді активні, очікувані та повторювані завантаження чатів відображаються окремо від завантажень вкладень. FloodWait призупиняє цю роботу, яка відновлюється згодом; збої фіксуються, а запис чату в режимі реального часу продовжується. Сюди входять очікування під час визначення ідентичності нового чату: завдання щодо профілю/історії, що очікує на виконання, зберігається для повторної спроби, а існуюче триваліше очікування на рівні облікового запису не скорочується. Робочі процеси спільно використовують це очікування; паралельність не обходить обмеження на запити Telegram. - Профілі за запитом. Чати → Профіль → Зберегти профіль тепер зберігає поточний профіль будь-якого джерела; найновіший профіль відображається над повідомленнями. - Знімки стану чату (попередній перегляд). Стан поза потоком повідомлень змінюється без повідомлення: зняття фіксації будь-якого повідомлення не залишає сліду на рівні повідомлення, адміністратор втрачає права, подарунок приховується, конвертується, оновлюється або повертається. Під час спостереження кожне увімкнене джерело періодично зчитується та зберігається як підписаний
chat.stateзапис: заголовок, імена користувачів, опис, кількість учасників та адміністраторів, пов’язаний чат, уповільнений режим, ідентифікатори закріплених повідомлень (до 100), адміністратори з їхніми правами та званнями, а також подарунки, що відображаються на каналах та у профілях користувачів (до 100). У кожному записі перелічено відмінності від попереднього знімка: змінені поля з значеннями «до» та «після», закріплені повідомлення, додані або видалені, адміністратори та подарунки, додані, змінені або більше не вказані у списку. - Частина, яку Telegram відмовляється надати (наприклад, список адміністраторів каналу для учасника, який не є адміністратором), вказується вerrors; її попереднє значення зберігається та вказане уcarried_forward, і ніколи не позначається як видалений. - Запис, єдиними змінами в якому є кількість, а також перевірка, що не виявила змін, посилається на останній повний стан ізstate_seqта накопичувальнимstate_overrides. Повний стан записується щонайменше кожні сім днів та щоразу, коли змінюється щось, окрім кількості. -parts_completeпозначає обмежені списки. Для додавання потрібен повний попередній список, для видалення — повний поточний список, а явні порожні значення фіксують очищення запису. - Більше інструментів → Параметри → Стан чату дозволяє встановити інтервал (за замовчуванням — 12 годин, 0 вимикає створення знімків ), паузу між джерелами, які частини читаються, а також чи фіксуються перевірки, що не виявили змін.FLOOD_WAITтаFLOOD_PREMIUM_WAITзупиняє решту запитів на знімки, зберігає будь-який триваліший термін дії для всього облікового запису та залишає перерваний чат придатним для повторної спроби після закінчення цього очікування. - Невидиме. Кнопки в тексті (зворотні виклики), натиснуті в іншому додатку Telegram, спливаюче вікно або посилання, яким бот відповідає на таке натискання, а також посилання-запрошення, використані в іншому додатку, не надходять до TgWitness. Те, що бот надсилає або редагує згодом, фіксується. - його профіль у вигляді запису
Дія з панелі#
У розділі «Чати» тепер доступний міні-клієнт, що використовує обліковий запис Telegram обраного робочого простору:
- Напишіть повідомлення простим текстом або виберіть «Відповісти» під збереженим повідомленням. Повернуте вихідне повідомлення записується навіть тоді, коли сфера дії не охоплює вихідні оновлення.
- Натисніть кнопку «Press» під поточним кнопкою зворотного виклику або текстовою кнопкою. Сервер знову отримує повідомлення та відхиляє дію, якщо текст на клавіатурі відрізняється від збереженої версії. Квитанції зворотного виклику зберігають спливаючий текст Telegram, прапорець сповіщення та URL-адресу; відповідь також відображається під розмовою. URL-адреси залишаються текстом, який можна виділити, і не відкриваються автоматично.
- Натисніть + → Відкрити посилання Telegram, введіть
@username, публічне посиланняhttps://t.me/name,https://t.me/+invite/joinchat/inviteабо посилання на бота з?start=parameter, а потім натисніть Зберегти попередній перегляд. Оригінальне посилання та попередній перегляд Telegram підписуються перед приєднанням. Приєднання / відкриття та спостереження: після цього відбувається приєднання до групи/каналу або відкриття профілю користувача/бота, додавання чату як активного джерела та надсилання команді бота/start, включаючи його параметр запуску. Запит на приєднання, що очікує на затвердження адміністратора, реєструється як «у процесі», а не як членство.
Увімкніть Почати спостереження, щоб фіксувати вхідні відповіді в режимі реального часу. Дії панелі працюють, коли спостереження призупинено; після цього панель зберігає свої безпосередні відповіді, а спостереження в режимі реального часу фіксує решту розмови. Новододані джерела використовують налаштований профіль/історію під час виконання спостереження. Коли джерело призупинено, увімкніть його в Додаткові інструменти → Джерела перед надсиланням або натисканням його кнопок.
interaction.preview, interaction.requested та interaction.result — це звичайні підписані
події журналу, що включаються в експорт доказів. Запити ідентифікують обліковий запис, повідомлення/кнопку
або запис попереднього перегляду, а також вказують, чи працював модуль спостереження. Квитанції розрізняють успіх,
відмову, очікування затвердження та невідомий результат. Перерваний запит міг надійти до
Telegram: перевірте чат перед початком нової дії. Повторне використання ідентифікатора запиту дозволяє отримати його
збережене підтвердження без повторення дії, у тому числі після перезапуску. Панель зберігає
ідентифікатор після неоднозначної відповіді на ту саму дію протягом поточної сесії сторінки.
Вона також зберігає цей ідентифікатор, коли оновлення екрана не вдається після успішної дії: підтвердження
залишається видимим, і повторне натискання дозволяє його отримати. RPC-виклики зворотного виклику та приєднання мають одну спробу
виконання; операції читання з можливістю повторення зберігають налаштовану політику повторних спроб. Перемикання чатів негайно
очищає чернетку та адресата відповіді й вимикає надсилання до завантаження нової розмови.
Цей міні-клієнт підтримує текстові кнопки та кнопки зворотного виклику. Кнопки міні-додатків мають функцію Відкрити міні-додаток, яка запускає додаток в ізольованому браузері (міні-додатки). Для входу, запитів щодо номера телефону та місцезнаходження, платежів, вбудованих запитів та вкладень як і раніше потрібен клієнт Telegram; метадані збережених кнопок залишаються видимими. У нових елементах керування використовується англійський текст.
Перевірте рівні ще раз#
Повторні перевірки знову запитують Telegram про пропущені повідомлення, редагування та повідомлення, які він більше не повертає.
Джерела, позначені зірочкою, є пріоритетними й за замовчуванням перевіряються кожні 15 хвилин;
усі інші джерела — кожні 6 годин. Вибрані чати спочатку є пріоритетними джерелами, а чати, додані через
папку або весь обліковий запис, — звичайними. За один прохід перевіряється не більше 30 джерел, а
решта чекає до наступної хвилини; після повторного підключення пріоритетні джерела перевіряються першими. Обидва
інтервали налаштовуються в меню Додаткові інструменти → Джерела → Запис → Повторна перевірка (значення 0 вимикає рівень) і
записуються як recheck.changed.
Пропущені повідомлення завантажуються вгору від місця, де зупинився попередній прохід, максимум —
Більше інструментів → Параметри → Відновлені пропущені повідомлення за чатом і проходом (за замовчуванням — 1,000). Тому після тривалої зупинки
повторна перевірка заповнює весь пробіл, навіть якщо спочатку були збережені поточні повідомлення, новіші за цей пробіл.
Чат, який ще наздоганяє, перевіряється знову через наступну хвилину, замість того щоб
чекати на його інтервал рівня; recheck.completed показує continues_after, доки це не завершиться.
Порівняння охоплюють текст повідомлень, об’єкти, клавіатурні введення (включно з видаленням) та вміст/ідентифікацію вкладень. Сама по собі зміна хеш-кодів доступу до файлів або посилань на файли не вважається редагуванням, так само як і те, що Telegram заповнює самостійно: завантаження попереднього перегляду посилання, перегляди історій, платні медіа, розблоковані цим обліковим записом, отримання рахунку-фактури. Кожна збережена версія в чатах містить посилання на повний запис у журналі, включаючи метадані медіафайлів.
Історія повідомлень та їхнє походження#
Припустимо, що система збору даних фіксує «Зустріч о 10:00», згодом бачить «Зустріч о 11:00», а потім отримує повідомлення про видалення. Вона додає три окремі записи. Оригінальний текст залишається, редагування є окремою версією, а повідомлення фіксує, що було зафіксовано видалення.
Якщо збір даних розпочався після зникнення першої версії, цей текст недоступний. Якщо під час перебування процесу в автономному режимі відбулося кілька редагувань, зберегти можна лише ті версії, які були зафіксовані пізніше. Повідомлення про видалення не дозволяє відновити вміст, який ніколи не був зафіксований.
Запис поєднує кілька джерел:
| Джерело | Збережена інформація |
|---|---|
| Повідомлення в режимі реального часу або оновлення редагування | Ідентифікатор повідомлення, метадані відправника, версія, що була зафіксована, час отримання та вказана дата повідомлення/редагування у Telegram. |
| Повідомлення про видалення в режимі реального часу | Вказані ідентифікатори повідомлень, час отримання, необроблене повідомлення та посилання на раніше збережений вміст. |
| Доступний журнал адміністратора | Дія, виконавець, дата джерела та наданий вміст повідомлення, прочитані обліковим записом із необхідними правами. |
| Взаємодія з панеллю | Запитана дія та її зафіксований результат під обраним обліковим записом. |
| Перевірити ще раз | Поточна відповідь Telegram у порівнянні з раніше збереженим повідомленням. |
observed_at — це час, коли запис було зроблено за годинником колектора, і
збільшується на seq. Записи, записані під час обробки оновлення в режимі реального часу, також містять
received_at, час, коли оновлення надійшло до колектора, та
processing_delay_ms, час від отримання до запису; оновлення, що утримуються під час
початку спостереження, обробляються в порядку надходження раніше за пізніші. source_at
зберігає дату джерела, якщо ця подія її надає. Спостереження за зсувом годинника телеграми,
записи про розрив годинника та зовнішні перевірки часу забезпечують
відповідний контекст часових даних. Поля звичайного повідомлення про сповіщення описують
це сповіщення; записи журналу адміністратора та взаємодії зберігають власні атрибути.
Знімки історії#
Знімок запитує останні видимі повідомлення з увімкненого джерела, максимум
500 на запит. Результати позначаються як спостереження в історії. Ручні знімки
виконуються паралельно зі спостереженням. Повторні спостереження
зберігаються як окремі записи. Увімкнення джерела також супроводжується створенням одного базового (baseline) знімка цього джерела, якщо
не ввімкнено опцію Тільки вибрані чати.
Створення знімків припиняється, якщо джерело вимкнено під час читання. Відповіді повинні належати до запитаного чату та містити суто спадаючі додатні ідентифікатори повідомлень, що знаходяться нижче запитуваної межі. Недійсна відповідь перериває створення знімка до того, як це повідомлення буде збережено; вже збережені повідомлення залишаються у підписаному журналі разом із записом про переривання.
Знімки відповідають політиці щодо вкладень, але залишаються окремими від перемикань під час реального часу. Вони не відтворюють видалені повідомлення або пропущені проміжні версії. Ви можете запросити знімок під час паузи; будь-які вкладення, що знаходяться в черзі, очікують до початку спостереження та запуску модуля завантаження.
Завантаження Історії — окреме завдання з виключним доступом: воно послідовно читає вибрані джерела та завантажує вкладення з їхньої черги, не запускаючи моніторинг. Пауза звільняє обліковий запис; відновлення продовжує збережений запуск. Фільтри дат, мови й відповідей для кількох вільних облікових записів описано в розділі «Розподілений експорт чату».
Обробка вкладень#
Завантаження вкладень увімкнено за замовчуванням і призупиняється, якщо вільного місця на диску менше 1 ГіБ. Колектор виконує спостереження за повідомленнями та завантаження одночасно. Задача зберігає оригінальний дескриптор медіафайлу та політику розміру, тому вкладення, яке було відредаговано пізніше, не замінюється без попередження.
Завантаження виконуються після захоплення повідомлення. Завершене завантаження створює запис media.saved
із його SHA-256
та кількістю байтів. Пропущені, невдалі, повторені та перервані
операції мають окремі результати; файл вважається збереженим, коли існує його запис media.saved
.
Завершений файл також повинен відповідати кількості байтів у оригінальному дескрипторі спостережуваного вкладення.
Коротка або несподівано довга відповідь не реєструється як збережений медіафайл.
Файл та відповідний запис у папці записуються на диск до того, як буде записано значення media.saved. Якщо попередній процес колектора
завершився без упорядкованого зупинення, під час наступного запуску зчитуються всі файли, які під час того циклу були зафіксовані як збережені. Файл,
який відсутній або байти якого відрізняються від записаного SHA-256, отримує запис media.missing_after_restart, його
завантаження знову ставиться в чергу, а байти, що відрізняються, переміщуються до папки media-damaged/. Файли, переміщені до зовнішнього сховища,
не зчитуються.
У межах одного робочого простору паралельні завдання в черзі, що стосуються одного й того самого представлення вкладення, очікують на активну передачу, а потім повторно перевіряють збережені байти перед повторним використанням. Кожне завдання зберігає власний результат із знаком та посилання на попередній запис про збережений файл. Скасування завдання, що очікує, не скасовує активну передачу; якщо ця передача завершиться невдало або буде скасована, наступне завдання може спробувати ще раз. Різні вкладення можуть завантажуватися одночасно.
Завдання з однаковим обліковим записом, представленням, очікуваним розміром та дією запису залишаються у черзі, поки виконується одне відповідне завдання. Вони не займають слоти для завантаження, тому завантаження інших файлів може розпочатися навіть тоді, коли на початку черги є багато копій одного повільного файлу. Завершення спроби активує чергу. Пріоритетні смуги, збережені затримки повторних спроб та історія власності залишаються чинними; кожне спостереження отримує власний результат.
Експорт через чат також використовує механізм активної передачі для повторного представлення файлів у тому самому каталозі експорту. Кожне повідомлення зберігає посилання на вкладене, і для його повторного використання необхідно виконати нову перевірку розміру та SHA-256. Різні файли можна перевіряти паралельно без утримання загальної блокування передачі. Тимчасові шляхи завантаження та копіювання є унікальними для кожної операції; у разі скасування операція очікує завершення роботи будь-якого активного локального засобу читання файлів перед очищенням. Індекс файлів експорту серіалізує лише доступ до метаданих, а не хешування файлів чи їх завантаження.
Зчитування хеш-значень на сервері для різних вкладень також виконується паралельно, використовуючи три слоти запитів на файли клієнта разом із завантаженням байтів. При повторному зчитуванні одного й того самого представлення використовується лише повний кешований результат. Зчитування файлів не завантажує звичайну чергу запитів; збережені терміни FloodWait перевіряються знову, коли запит отримує слот.
Обмеження встановлюються для кожного типу: фотографії, відео, GIF-файли та анімації, кругові відеозвернення,
голосові повідомлення, музика та аудіо, стікери та файли. Кожен тип можна вимкнути, і для нього встановлено
власне обмеження розміру від 1 до 2 000 МіБ; нові робочі простори починаються з 20 МіБ для фотографій,
100 МіБ для відео, 50 МіБ для файлів, аудіо та круглих відео, 20 МіБ для голосових повідомлень та GIF-файлів і
5 Мб для стікерів. У нових робочих просторах GIF-файли та стікери залишаються вимкненими, доки їх не увімкнуть. У робочих просторах
із політиками, збереженими до введення обмежень за типами, усі типи залишаються увімкненими та зберігають єдине
обмеження для кожного типу. Максимальний розмір файлу встановлюється для всіх типів одночасно. Вимкнений тип створює
запис media.skipped; файли невідомого розміру або файли, що перевищують обмеження, не завантажуються. Великі файли отримують
додатковий час завантаження, що залежить від їхнього розміру та базової швидкості 256 КіБ/с. Задачі зберігаються
після перезапуску, але посилання, термін дії яких закінчився, втрачений доступ або видалені файли все одно можуть перешкоджати відновленню.
Завдання, що перебувають у стані очікування, зберігають встановлений для них ліміт, тому підвищення ліміту застосовується лише до нових файлів.
Вимкнення типу або зниження його ліміту також пропускає файли, що перебувають у стані очікування та виключені з цього типу, для кожного з яких створюється
запис media.skipped; вимкнення завантажень призупиняє чергу доти, доки їх знову не увімкнуть.
Призупинення, блокування, відключення та перезапуск#
| Дія або стан | Ефект |
|---|---|
| Перейти до робочого простору | Змінює вигляд панелі; інші колектори зберігають свій стан. |
| Заблокувати панель або закрити вкладку | Сервер та спостереження продовжують працювати. |
| Призупинити спостереження | Припиняє роботу цього збирача та зберігає в черзі вкладені файли. |
| Вимкнути джерело | Припиняє подальший запис у заданому діапазоні; завдання з обробки мультимедіа, що знаходяться в черзі, очікують, поки функція вимкнена. |
| Видалити джерело | Він ігнорує це джерело та видаляє профілі його користувачів; вже збережені записи залишаються у журналі, до якого можна лише додавати дані. Вкладення, що все ще очікують на обробку, фіксуються як невдалі (source_removed). У режимах «папка» та «весь обліковий запис» вони також виключаються. |
| Змінити маршрут з’єднання | Вимагає паузи, закриває старі клієнти та скасовує незавершений вхід. |
| Зупинити процес Python | Призупиняє роботу всіх робочих просторів; під час перебування в режимі офлайн спостереження не здійснюються. |
| Перезапуск після активного спостереження | Спроба відновити збережений діапазон за допомогою збереженої сесії. Ручна пауза скасовує цю спробу. |
Колектор фіксує виявлені розриви з’єднання, повторні спроби, помилки, запуски/зупинки та сигнали активності. Короткі переривання можуть бути пропущені під час періодичних перевірок з’єднання. Після перезапуску пропущені оновлення запитуються, починаючи з збереженої позиції оновлення, а спостережувані чати періодично перевіряються повторно; див. формат доказів. Знімок додає поточний стан як контекст, а пропуск залишається зафіксованим.
Ізоляція та верифікація облікових записів#
Кожна робоча область має власний журнал, авторизацію, ключ підпису, політику та чергу. Лише активний клієнт може вносити спостереження в режимі реального часу. Відхилені, очікувані, замінені та клієнти, що перевіряють з’єднання, не можуть записувати оновлення в режимі реального часу до цього журналу. Різні облікові записи можуть спостерігати за однією й тією ж групою, але їхні журнали залишаються окремими.
Кожна подія містить попередній хеш та підпис Ed25519. Експорт охоплює весь журнал робочого простору за допомогою фіксованого порядкового номера. Фільтри панелі не фільтрують експорт; збір даних може тривати за межами його меж під час підготовки.
Журнал перевірки перевіряє ланцюжок подій та підписи в межах відображеної межі. Його результат очищується при зміні робочого простору, а панель ідентифікує нові записи, додані після перевірки. Експорт у форматі ZIP також перевіряє зібрані мультимедійні файли.
Зберегти відбитки та контрольні точки окремо. Див. розділ « Обсяг верифікації» для перевірок збору даних у кожному режимі, а також розділ «щоденні операції» для рутинного збору даних.