TgWitness / Dokumentacja

Co zostało przetestowane →

Odniesienie / Zbieraj

Telegram · Funkcje i zakres

Obecny model gromadzenia danych, procesy obsługi wielu kont, eksporty oraz ograniczenia operacyjne programu TgWitness.

TgWitness / Dokumentacja · Informacje o projekcie

Informacje o projekcie

TgWitness archiwizuje rozmowy w Telegramie dostępne dla połączonych kont, rejestruje zaobserwowane zmiany i przygotowuje weryfikowalne eksporty. Niniejszy dokument opisuje model gromadzenia danych, aktualne procesy oraz ich ograniczenia.

Na tej stronie

Aplikacja samodzielna#

TgWitness posiada własną instalację, katalog danych oraz cykl życia wersji. Dołączony interfejs internetowy obsługuje konfigurację i przeglądanie; wyeksportowane zapisy mogą być wykorzystywane niezależnie.

Użytkownik łączy swoje konta, wybiera źródła widoczne dla każdego z nich i uzyskuje zapisany dziennik obserwacji. Panel przedstawia treść, zapisane zmiany, pochodzenie obserwacji oraz znane luki. Inny śledczy może zweryfikować wyeksportowany materiał.

Panel rozróżnia autoryzację konta, dostęp do źródła, aktywność modułu zbierającego oraz zakres rejestracji. Należy przeanalizować te stany łącznie podczas oceny okresu, w którym odnotowano niewielką liczbę wiadomości lub wystąpił problem z połączeniem.

Wspólne dochodzenia#

Administrator może wydawać tokeny dostępu ograniczone do obszarów roboczych i poszczególnych czatów, z uprawnieniami dla poszczególnych działań, ograniczeniami adresów IP, terminem ważności, limitami logowań oraz kontrolą sesji. Osoba sprawdzająca z uprawnieniami tylko do odczytu może przeglądać sprawę bez otrzymywania autoryzacji Telegramu ani klucza do panelu głównego. Dostęp ograniczony do czatu pozostaje oddzielony od ustawień dotyczących całego konta oraz eksportów pełnego dziennika.

Automatyczny MTProxy utrzymuje działające trasy Telegramu z czterech źródeł publicznych lub katalogu operatora. Tryby IP określają, czy w przypadku awarii należy czekać na inny serwer proxy, czy też można skorzystać z wyraźnie dozwolonej trasy bezpośredniej. Zewnętrzne żądania HTTP mają oddzielną trasę oraz opcję wyłączenia.

Narzędzia archiwizacyjne#

Pobieranie historii, wyszukiwanie i analiza archiwów, MCP tylko do odczytu, lokalne OCR/transkrypcja oraz wychodzące webhooki zostały dodane od wersji 0.7.1. Raporty analityczne i rozpoznany tekst pozostają oddzielone od przechwyconych zdarzeń.

Case Board dodaje zakładki powiązane ze źródłami, cytaty, notatki i kolekcje w obrębie obszaru roboczego. Kreator raportów wybiera materiał, sekcje oraz jeden z ośmiu szablonów do eksportu w obsługiwanych formatach HTML/PDF.

Opcjonalne dodatki#

Codzienna konfiguracja to: konto → źródła → obserwacja. Więcej narzędzi → Dodatki to oddzielna sekcja przeznaczona do niezależnego przechwytywania, przechowywania, ustalania celów i poziomu ochrony, powiadomień, dowodów i kopii zapasowych, serwera działającego w trybie ciągłym, bota-świadka w Telegramie oraz sprawdzania kodu. Każda z tych opcji podaje informacje o swojej dostępności i wymaganiach przed wyświetleniem ustawień. Wybranie karty otwiera instrukcje; nie powoduje to rejestracji ani uruchomienia usługi.

Konfiguracja bota składa się z trzech kroków: utworzenie dostępu tylko do odczytu, wybór ustawień publikacji oraz uruchomienie na hoście świadka. Opcje sieciowe i publikacyjne, istniejące połączenia oraz polecenia weryfikacyjne są ujawniane na żądanie. Pobrana konfiguracja jest odrębna od uruchomionego świadka. Zmiana dodatków powoduje zachowanie wersji roboczej; zmiany na koncie i zablokowanie usuwają tymczasowy token i formularz. Wbudowany przewodnik zawiera instrukcje uruchamiania. Akcja GitHub Actions capture, otwierana z sekcji Exports, uruchamia przypięty kolektor z Twojego forku, przechwytuje jedną rozmowę i generuje zaszyfrowane przekazanie wraz z pochodzeniem przepływu pracy.

Protokół i źródła prywatne#

MTProto to protokół serwisu Telegram; Telethon to biblioteka języka Python, z której korzysta TgWitness w celu komunikacji za pomocą protokołu MTProto. Nie są to alternatywne metody połączenia. Funkcja „Collection” wykorzystuje protokół MTProto; opcjonalny moduł „witness” publikuje podpisane raporty weryfikacyjne za pośrednictwem interfejsu API bota.

Każdy obszar roboczy posiada własnego autoryzowanego klienta oraz strumień aktualizacji konta. TgWitness wybiera obserwacje ze skonfigurowanych źródeł i wysyła oddzielne, wyraźne żądania dotyczące takich funkcji, jak migawki historii oraz pobieranie plików multimedialnych.

Prywatne źródło nie wymaga publicznej nazwy użytkownika. Identyfikatorami są typ węzła w sieci Telegram oraz identyfikator numeryczny; tytuły i nazwy użytkowników mogą ulegać zmianom. Dostęp zależy od aktualnego członkostwa i uprawnień. TgWitness nie dołącza automatycznie do źródeł ani nie omija procesu zatwierdzania dołączenia. Skrót dostępu z innego konta nie stanowi uniwersalnego tokenu dostępu.

Model gromadzenia danych musi uwzględniać ukrytą historię sprzed dołączenia do grupy, role uczestników/administratorów, unieważnienie sesji, usunięcie lub zmianę uprawnień, migrację z grupy do supergrupy, tematy/fora, powiązane dyskusje, tożsamości kanałów oraz niedostępne załączniki. Nie każda kombinacja została jeszcze przetestowana w warunkach rzeczywistych.

Widoczność źródła jest sprawdzana przy uruchomieniu modułu zbierającego. Brak źródła w ograniczonym wyniku dialogu oznacza, że dostęp nie został potwierdzony, a nie że usunięcie zostało udowodnione. Jedno niedostępne źródło nie uniemożliwia obserwacji innych dostępnych źródeł. Nigdy nie umieszczaj linków zaproszeniowych ani prawdziwych sesji w publicznych zestawach danych.

Wiele kont#

Panel obsługuje dowolną liczbę obszarów roboczych, z których każdy posiada:

  • Autoryzacja, zaszyfrowany sejf oraz trasa połączenia.
  • Dziennik w formacie SQLite oraz tożsamość podpisująca Ed25519.
  • Wybrane źródła, kolejka mediów oraz ustawienia przechwytywania.
  • Stan obserwacji, błędy, punkty kontrolne i eksporty.

Zmiana wyświetlanego obszaru roboczego nie powoduje zatrzymania działania innego modułu zbierającego dane. Podwójna autoryzacja konta w różnych obszarach roboczych jest odrzucana. Dziennik już powiązany z jednym kontem w Telegramie nie może zostać przypisany do innego; dozwolone jest ponowne połączenie tego samego konta. Pozwala to zachować tożsamość konta oraz odpowiedni zakres identyfikatorów wiadomości.

Aplikacja nie określa stałej liczby obszarów roboczych. Każdy obszar roboczy uruchamia własne zadania kolektora służące do monitorowania połączeń, pobierania multimediów, ponownych kontroli oraz przyjmowania nowych czatów w ramach wspólnego procesu w języku Python i pętli zdarzeń. Przepustowość zależy od obciążenia. W celu izolacji procesów należy stosować oddzielne instalacje, porty i katalogi danych.

Każdemu kontu należy przypisać źródła, do których ma ono dostęp. Różne konta mogą obserwować tę samą grupę, ale ich obserwacje pozostają oddzielne i zachowują swoje pochodzenie. Dwa konta na jednym komputerze kontrolowanym przez operatora nie stanowią dwóch niezależnych świadków. Eksport grupy łączy osobno podpisane pliki ZIP obszarów roboczych z podpisaną listą plików zawierającą ich identyfikatory obszarów roboczych, skróty i odciski palców kluczy podpisujących. Każdy dziennik zachowuje własne granice. Twórz połączoną oś czasu obejmującą różne obszary robocze w notatkach dotyczących sprawy lub narzędziach analitycznych, zachowując te odniesienia do źródeł.

Rejestrowanie i przypisywanie autorstwa#

W sekcji „Źródła” dostępne są przełączniki dla poszczególnych kont, dotyczące nowych wiadomości, edycji, usunięć, reakcji oraz członkostwa. Ustawienia wstępne pozwalają zachować albo wszystkie kategorie, albo wiadomości/edycje/usunięcia. Polityka ta ma zastosowanie do wybranych grup w obszarze roboczym, pozostaje aktywna po ponownym uruchomieniu i jest podpisana z podaniem stanu przed i po wprowadzeniu zmian. Ustawienia domyślne zachowują wszystkie kategorie. Wyłączenie kategorii nie powoduje usunięcia starych zapisów; ponowne jej włączenie nie odtwarza pominiętych zdarzeń. Zapisy operacyjne, inne zdarzenia związane z obsługą grup oraz wyraźne migawki historii są oddzielne. Przechwycone obiekty Telegramu mogą zachowywać osadzone metadane niezależnie od ustawień dotyczących oddzielnych aktualizacji. Nie ma jeszcze możliwości nadpisywania kategorii na poziomie grupy.

Materiały Zarejestrowano właśnie Zakres
Wiadomość Tekst, identyfikatory rozmówców/wiadomości, metadane nadawcy, odpowiedzi oraz oryginalna kopertka aktualizacji Zachowane jako obserwacja widoczna na koncie, podpisana przez osobę gromadzącą dane
Edytuj Nowa zaobserwowana wersja, wcześniej zarejestrowane wersje, czas odbioru oraz podana data edycji Aktualizacje wiadomości i dostępne wpisy w dzienniku administracyjnym zachowują swoje odpowiednie pola atrybucji
Usunięcie Powiadomienie w Telegramie, czas odbioru i wcześniej zarejestrowana treść Czas działania podmiotu i źródła jest zachowywany, jeśli został podany w oddzielnym wpisie dziennika administracyjnego
Powiadomienie o usunięciu na poziomie konta Oryginalne powiadomienie; rozwiązane zapisy obejmują zapisany czat oraz metodę korelacji Wymagane jest dokładnie jedno wcześniej zapisane dopasowanie czatu prywatnego lub zwykłej grupy w zakresie; pozostałe identyfikatory pozostają w stanie „deletion.unscoped”. Identyfikatory kanałów i supergrup są wyłączone z tej korelacji.
Reakcja Dostarczone liczniki i widoczne najnowsze tożsamości Uzyskanie pełnej listy dostępnych serwerów wymaga złożenia oddzielnych zapytań; kanały mogą ukrywać tożsamość użytkowników
Członkostwo Komunikaty serwisowe oraz aktualizacje przekazywane uczestnikom Widoczność zależy od roli i typu czatu; przynależność jest zgłaszana na podstawie dostarczonych zdarzeń
Działania administratora Odpowiednie dostarczone aktualizacje oraz migawka dziennika administratora w eksportach czatów z kanałów/supergrup Funkcja eksportu odczytuje dziennik, o ile jest on dostępny dla konta administratora odpowiedzialnego za eksport
Załącznik Opis wersji oryginalnej, liczba pobranych bajtów/SHA-256 oraz wyniki prób Pierwotna wersja zostaje zachowana; późniejsza wersja nigdy jej nie zastępuje
Historia Wyraźny zrzut ekranu przedstawiający aktualnie widoczne wiadomości Nagrywanie na żywo zachowuje wcześniejsze wersje i powiadomienia o usunięciu
Proces gromadzenia danych Uruchomienie/zatrzymanie, sygnał kontrolny, błędy, ustawienia, zakres oraz podpisane potwierdzenie uruchomienia Lokalny spis zasobów; GitHub i TDX dodają niezależne kontrole środowiska

Interfejs określa nazwę konta podaną w zdarzeniu źródłowym oraz zachowuje zaobserwowane nazwy i nazwy użytkowników. Gdy w zdarzeniu pominięto podmiot, w raporcie pole to pozostaje nieokreślone.

Pojemność i ograniczenia serwisu Telegram#

Pojemność jest ustalana dla każdego wdrożenia. Zależy ona od szczytowej liczby zdarzeń na sekundę, liczby i rozmiarów załączników, dodatkowych wywołań RPC, aktywnych kont, opóźnień dyskowych/wolnego miejsca, warunków sieciowych, limitów serwisu Telegram, dopuszczalnego opóźnienia oraz głębokości kolejki.

Telegram rozróżnia dostarczanie pasywne od aktywnego krótkiego odpytywania. Jego zaktualizowana dokumentacja opisuje dodatkowe wywołania updates.getChannelDifference dla otwartych kanałów/supergrup i zaleca maksymalnie dziesięć źródeł poddawanych jednocześnie krótkiemu odpytywaniu . Dotyczy to krótkiego odpytywania; liczba wybranych grup jest ustalana oddzielnie.

Tryb Cel Status
Standardowa uwaga Rejestruj dostarczone aktualizacje z wybranych źródeł Zrealizowano
Priorytetowe weryfikacje Źródła oznaczone gwiazdką wykorzystują własne, konfigurowalne interwały i mają pierwszeństwo w każdym ograniczonym cyklu ponownej weryfikacji Zaimplementowano funkcje wyszukiwania historii i wiadomości

Gwiazdka priorytetu kontroluje te ponowne sprawdzania. Dodatkowe krótkie odpytywanie funkcji `updates.getChannelDifference ` nie jest udostępniane jako oddzielny tryb użytkownika.

Dowolne odpytywanie z dużą częstotliwością, ignorowanie FloodWait lub zakładanie liniowej pojemności z dodatkowych kont nie stanowi prawidłowego modelu wymiarowania. Domyślne limity to pierwsze 1,000 wymienionych okien dialogowych, do 500 wiadomości na migawkę historii, 1–2,000 MiB na zebrany plik według typu oraz 4 GiB nieskompresowanej, podpisanej zawartości ZIP; każda z tych wartości można zmienić dla poszczególnych obszarów roboczych – rozmiary plików w sekcji Więcej narzędzi → Źródła → Rejestracja, a pozostałe w sekcji Więcej narzędzi → Parametry. Eksporty nie mają ustalonego limitu liczby zdarzeń. Tryb awaryjny przeglądarki jest domyślnie ograniczony do 128 MiB; interfejs CLI do przesyłania strumieniowego ma konfigurowalny limit transferu, domyślnie wynoszący 5 GiB.

Niezawodność i odzyskiwanie danych#

Zaimplementowane funkcje obejmują transakcje SQLite WAL/synchroniczne; atomowe zapisy wiadomości i zadań związanych z multimediami; zadania trwałe i opóźnienia ponownych prób; deskryptory wersji oryginalnej; ograniczone ponowne próby; trwałe oczekiwanie na pliki multimedialne (FloodWait); pobieranie plików multimedialnych poza okresem oczekiwania sieciowego zdarzenia tekstowego; eksporty ze stabilnym prefiksem przy kontynuacji późniejszych zapisów; atomowe ustawienia i zapisy audytowe; zachowanie aktualnych uprawnień po nieudanej próbie ponownego logowania; izolację uszkodzonego dodatkowego obszaru roboczego; jawne próby ponownego połączenia; wyraźne raportowanie utraty uprawnień; oraz wykrywanie zmian czasu zegarowego przy użyciu zegara monotonicznego.

Pozycje (pts/qts/seq) kont i kanałów są zapisywane i przywracane po ponownym uruchomieniu, a obserwowane czaty są okresowo ponownie sprawdzane; patrz format dowodów. Okresowe zapisywanie pozycji nie stanowi atomowego, bezstratnego potwierdzenia akceptacji dziennika.

Każde uruchomienie procesu rejestruje poprzednią pozycję wskaźnika oraz granicę trybu offline. Bieżąca historia nie jest traktowana jako uzupełnienie luk. Pojemność bufora różnicowego w Telegramie jest ograniczona; differenceTooLong nie jest w stanie odtworzyć wszystkich znikniętych treści. Luki niemożliwe do odtworzenia muszą pozostać wyraźnie zaznaczone, nawet jeśli późniejsza migawka historii zakończy się powodzeniem.

Model dowodowy#

Każde zdarzenie zawiera sekwencję, lokalny czas obserwacji w strefie UTC, czas źródłowy (o ile został podany), rodzaj, źródło, podmiot (o ile został podany), oryginalną treść, poprzedni skrót oraz podpis. Obserwacje wiadomości zachowują również informacje o koncie kolektora oraz kontekście uruchomienia.

Podpisane potwierdzenie procesu zawiera losowy identyfikator przebiegu; wersje bibliotek zależnych TgWitness/Python/OS; wartości SHA-256 plików źródłowych oraz zagregowany odcisk cyfrowy; początkowe dane konta, zakres i ustawienia; odczyty czasu UTC oraz wartości monotoniczne; a także poprzedni nagłówek dziennika. Zmiany ustawień, uruchomienia/zatrzymania oraz błędy są zapisywane w tym samym dzienniku. Punkty kontrolne są zachowywane podczas uruchamiania, co pięć minut w trakcie obserwacji (czas ten można zmienić) oraz przy prawidłowym zakończeniu działania. Zachowany lokalny punkt kontrolny umożliwia wykrycie cofnięcia do wcześniejszego prefiksu dziennika.

Mechanizm Co określa
Suma kontrolna pliku SHA-256 Liczba bajtów jest zgodna ze znanym skrótem
Łańcuch skrótów zdarzeń Porządkowanie i powiązanie zapisów względem znanej granicy
Ed25519 Podpis wygenerowany przy użyciu określonego klucza
Niezależnie utrzymywany punkt kontrolny Późniejsze treści są zgodne z zachowaną granicą
Analiza plików programu Raport własny modułu zbierającego dotyczący zmierzonych plików
Ważna, niezależna odpowiedź TSA Istnienie określonych bajtów w momencie TSA przy wyraźnych założeniach dotyczących zaufania

Przygotowanie żądań RFC 3161 i weryfikacja odpowiedzi działają bez OpenSSL. Tryb dowodowy wysyła też skróty punktów kontrolnych do skonfigurowanych usług znaczników czasu. Zachowaj i zweryfikuj odpowiedź urzędu, aby uzyskać niezależne zakotwiczenie w czasie. Zob. TIMESTAMP.md.

Należy niezależnie zachowywać punkty kontrolne, kontrolować dostęp do kluczy podpisujących, przechowywać zapisy transferów oraz weryfikować eksporty za pomocą zaufanego oprogramowania. Zakres weryfikacji wyjaśnia, w jaki sposób te kontrole wzajemnie się uzupełniają oraz jakie założenia dotyczące zaufania mają zastosowanie.

Eksport, wdrożenie i przekazanie#

Podpisany plik ZIP zawiera oryginalne pliki JSONL, CSV, HTML, zachowane załączniki, skróty, podpisany manifest oraz narzędzie ułatwiające weryfikację. Obejmuje on jeden obszar roboczy oraz stały, pełny prefiks dziennika. Filtry wyszukiwania w panelu nie usuwają rekordów w sposób niewidoczny. Klucze tajne, tokeny oraz sesje Telegrama są wykluczone; oryginalne obserwacje mogą nadal zawierać dane osobowe oraz metadane Telegrama.

Należy oddzielnie zachować skrót pliku ZIP, zaufany odcisk cyfrowy, punkt kontrolny, potwierdzenie przetworzenia oraz zapis przekazania. Należy korzystać z narzędzia weryfikującego pochodzącego z zaufanej instalacji, zamiast polegać wyłącznie na kodzie wykonywalnym tylko dlatego, że znajduje się on w badanym pliku ZIP.

Interfejs przeglądarkowy działa lokalnie bez konieczności korzystania z Node.js, sieci CDN ani zewnętrznych czcionek. Instalacją zarządza jeden token operatora. Dostęp zdalny wymaga protokołu HTTPS lub tunelu SSH. Dostarczane są natywne definicje w języku Python oraz definicje kontenerów, a przykłady usług znajdują się w katalogu deploy/; wyniki przeprowadzonych testów platformy są wymienione oddzielnie.

Domyślny obszar roboczy wykorzystuje katalog główny danych; dodatkowe obszary robocze wykorzystują katalog profiles/<id>/. Tworzenie kopii zapasowej wymaga zatrzymania procesu oraz kompletnego zestawu danych i kluczy. Pliki ZIP z dowodami nie są kopiami zapasowymi aplikacji. W przypadku danych poufnych można użyć zewnętrznego klucza głównego dla nowego katalogu danych; szyfrowanie dziennika i multimediów zapewnia dysk lub wolumin operatora. Zob. pliki CONNECTION-SECURITY.md oraz OPERATIONS.md.

Kryteria wydania stabilnej wersji#

Przed wydaniem stabilnej wersji należy zaznaczyć:

  1. Prawdziwe grupy prywatne, supergrupy, fora i kanały wraz z rolami członków/administratorów oraz ukrytą/widoczną historią, w tym danymi logowania/uwierzytelnianiem dwuskładnikowym (2FA), unieważnieniem uprawnień i utratą dostępu.
  2. Kontrolowane zmiany, usunięcia, reakcje, członkostwo oraz materiały multimedialne w kontekście znanych działań.
  3. Awarie procesu/serwera, awarie dysków/przepełnienie dysku, wygasłe odwołania do plików, błąd FloodWait, utrata połączenia sieciowego, uszkodzone pliki oraz przywrócenie bazy danych do poprzedniego stanu.
  4. Długotrwałe korzystanie z wielu kont z uwzględnieniem opóźnień, kolejek, pamięci i miejsca na dysku, w tym zarówno cichych, jak i hałaśliwych źródeł jednocześnie.
  5. Przerwa między zmianą stanu protokołu MTProto a zatwierdzeniem wpisu w dzienniku.
  6. Prawidłowa instalacja w docelowej matrycy systemów operacyjnych/kontenerów oraz zweryfikowane przywracanie kopii zapasowej.
  7. Niezależna ocena kwestii bezpieczeństwa, podpisów oraz twierdzeń dotyczących przypisania autorstwa i dowodów.

Dostęp do paneli w określonym zakresie opisano w sekcji Dostęp i uprawnienia. Od wersji 0.6 TgWitness obsługuje ograniczone do jednego konta TData oraz import plików kont opisany w pliku ACCOUNTS.md. Przed publikacją należy zapoznać się z warunkami korzystania z API Telegramu. Referencje badawcze i ustalenia dotyczące platformy znajdują się w pliku RESEARCH.md.