TgWitness / תיעוד

מה נבדק ←

חלקים מדף זה עדיין באנגלית: הטקסט המקורי באנגלית שונה לאחר תרגומו.

הפניה / אסף

Telegram · כיצד מתבצע האיסוף

היקף התצפית, עדכונים בזמן אמת, בדיקות חוזרות, קבצים מצורפים, פעולות עצמיות ומשמעותו של "פער", רשומה אחר רשומה.

TgWitness / תיעוד · אוסף

אוסף

TgWitness מתעד את מה שחשבון Telegram מחובר מתבונן בו. ניטור בזמן אמת שומר הודעות, עריכות שנתפסו, התראות מחיקה וקבצים מצורפים עם זמני התצפית וההקשר המקורי שלהם. קריאות היסטוריה, בדיקות חוזרות ורשומות יומן מנהל זמינות מוסיפות תצפיות שזוהו בנפרד לאותה רשומה.

בעמוד זה

מהכניסה למערכת ועד ליומן#

לגבי תמונות וקבצים המתכלים מעצמם, ראו מדיה המתכלה מעצמה. המסמך מסביר את ה-priority worker, תוצאות שנשמרו ותוצאות שאינן זמינות, וכן את המגבלות של חסימת אישור הקריאה באספן ה-API.

תרשים זרימהאישור חשבון משתמש → בחר קבוצות וערוצים נגישים; בחר קבוצות וערוצים נגישים → שמור את הגדרות האירוע והקבצים המצורפים; שמור את הגדרות האירוע והקבצים המצורפים → התחל במעקב; התחל במעקב → קבל עדכונים מהלקוח הפעיל; קבל עדכונים מהלקוח הפעיל → יש ליישם את מדיניות המקורות והאירועים; יש ליישם את מדיניות המקורות והאירועים → הוסף תצפית חתומה; הוסף תצפית חתומה → סקירת היומן או ייצואו; הוסף תצפית חתומה → עיבוד כל קובץ מצורף בתור; עיבוד כל קובץ מצורף בתור → הוסף את תוצאת ההורדהאישור חשבון משתמשבחר קבוצות וערוציםנגישיםשמור את הגדרות האירועוהקבצים המצורפיםהתחל במעקבקבל עדכונים מהלקוחהפעיליש ליישם את מדיניותהמקורות והאירועיםהוסף תצפית חתומהסקירת היומן או ייצואועיבוד כל קובץ מצורףבתורהוסף את תוצאת ההורדה
תרשים כטקסט
  1. אישור חשבון משתמש → בחר קבוצות וערוצים נגישים
  2. בחר קבוצות וערוצים נגישים → שמור את הגדרות האירוע והקבצים המצורפים
  3. שמור את הגדרות האירוע והקבצים המצורפים → התחל במעקב
  4. התחל במעקב → קבל עדכונים מהלקוח הפעיל
  5. קבל עדכונים מהלקוח הפעיל → יש ליישם את מדיניות המקורות והאירועים
  6. יש ליישם את מדיניות המקורות והאירועים → הוסף תצפית חתומה
  7. הוסף תצפית חתומה → סקירת היומן או ייצואו
  8. הוסף תצפית חתומה → עיבוד כל קובץ מצורף בתור
  9. עיבוד כל קובץ מצורף בתור → הוסף את תוצאת ההורדה

אישור, גישה למקור, אספן פועל ומסירה מלאה הם נושאים נפרדים. כניסה מוצלחת אינה מעניקה גישה לכל קבוצה. המסירה נעקבת בנפרד: רשומות כיסוי, התאוששות מפער עדכונים ובדיקות חוזרות מראות מה הגיע.

היקף הניטור: צ'אטים נבחרים, תיקייה או החשבון כולו#

כלים נוספים → מקורות → היקף קובע אילו צ'אטים מתועדים בסביבת העבודה.

ההגדרה החדשה מתחילה ב"בחירת צ'אטים". הבחירות השמורות הקיימות נשמרות. בחירה באפשרות " כל הצ'אטים" באשף ההגדרה תדרוש אישור כאשר הרשימה שנטענה מכילה יותר מ-50 צ'אטים; אומדן הגודל נותר פעולה נפרדת, המבוססת על מדגם.

מצב תיעוד שיחות חדשות
צ'אטים נבחרים (ברירת מחדל) רק הצ'אטים שתוסיף באופן ידני לעולם לא מתווסף באופן אוטומטי
תיקיית טלגרם שיחות באחת התיקיות של החשבון: שיחות הכלולות לפי שם, בתוספת הקטגוריות של התיקיה (אנשי קשר, שאינם אנשי קשר, קבוצות, ערוצים, בוטים), בניכוי השיחות שלא נכללו, ובמידה והתיקיה מציינת זאת, גם שיחות בארכיון שיחות תואמות מתווספות ברגע שהן הופכות לפעילות; שיחות שאתם מוסיפים לתיקייה ב-Telegram נלקחות תוך שעה
החשבון המלא כל צ'אט שהחשבון רואה כל צ'אט חדש, קבוצה, צ'אט פרטי או בוט מתווסף ברגע שמגיע העדכון הראשון שלו
  • סוגי המקורות (ערוצים, קבוצות, צ'אטים פרטיים, בוטים) מצמצמים את מצבי התיקייה ו מצבי החשבון כולו. הצ'אטים הנבחרים יכולים להיות מכל סוג, כולל צ'אטים פרטיים ובוטים; סוגי המקורות לעולם אינם חוסמים צ'אט שהוספת ידנית. סוג שנכבה, החרגה או מעבר לצ'אטים נבחרים עוצרים מקורות שנוספו אוטומטית מיד עם שמירת השינוי, לפני שרשימת המקורות מחושבת מחדש וגם כאשר לא ניתן להגיע ל-Telegram: ההודעות החדשות שלהם, היסטוריית ההודעות, היסטוריית הצ'אטים החדשים, הגדרות עמיתים ותצפיות בפרופיל.
  • שיחות שאתם מוסיפים ידנית נשמרות במצבי "תיקייה" ו"כל החשבון" גם כאשר הן נמצאות מחוץ לתיקייה; רק פעולות "החרגה", "הסרה" או "השהיה" עוצרות אותן. שיחות שנוספו (באופן אוטומטי) עוקבות אחר התיקייה: שיחה שיוצאת ממנה תושהה בעת החישוב הבא.
  • צ'אטים שהוחרגו אינם מוקלטים לעולם, בשום מצב. במצבי "תיקייה" ו"חשבון שלם", הפעלת האפשרויות "החרג" ו"הסר" במקור מוסיפה אותם לרשימה זו, כך שההיקף אינו מוסיף אותם שוב. בחירה ידנית מחודשת של הצ'אט (ב"מקורות", מ"צ'אטים" או תחת "הגדרות" → "אילו צ'אטים?") מסירה אותו מהרשימה. הרשימה מכילה עד 5,000 צ'אטים; מעבר לכך, הפקודה "הסר" נדחית ו ניתן במקום זאת להשהות את הצ'אט.
  • פעולות משלך (מופעל כברירת מחדל): הודעות שהחשבון הזה שולח, העריכות שלו ולחיצות על כפתורי המקלדת בתגובה. כאשר האפשרות כבויה, הודעות יוצאות ועריכות לא נכללות.
  • מעבר לתיקיה או לחשבון כולו מחייב אישור: מצבים אלה מתעדים שיחות פרטיות והודעות של צדדים שלישיים, והם מיועדים אך ורק לחשבון ייעודי. האישור וכל שינוי בהיקף נרשמים כרישומי scope.changed. בחשבון שהוגדר כחשבון הראשי שלך, טופס ההיקף ו"חקירה" מסרבים לאפשר גישה לתיקייה או לחשבון כולו, כמו ב"התחלה"; רק העתקה חד-פעמית ללא הקלטה רשאית להשתמש בהם.
  • צ'אטים שנוספו על ידי ה-scope מופיעים כמקורות המסומנים כ-auto, ונרשמים כ-scope.applied (בתחילת התהליך ובכל שעה) או כ-source.discovered (צ'אט חדש במהלך התצפית). חזרה לצ'אטים שנבחרו מעכבת בבת אחת את כל המקורות שנוספו אוטומטית, מבלי לקרוא שוב את רשימת הצ'אטים של החשבון. צ'אט שהוחרג מפסיק להירשם ברגע שההיקף נשמר, והמקור שלו מושעה גם כאשר Telegram אינו מחזיר את רשימת הצ'אטים. במהלך הניטור, שמירת ההיקף מחילה אותו שוב, גם כאשר הערכים לא השתנו.

היקף מצבים אלה:

  • שיחות סודיות משתמשות בשילוב ה-Pseudo-secret המובנה, עם מודול פרוטוקול המותקן מהלוח ומתג הפעלה לכל חשבון. היסטוריית הענן ו-"Takeout" משתמשות בנתיב איסוף נפרד.
  • תקופות לא מקוונות. לאחר הפעלה מחדש, TgWitness חוזר למיקום העדכון שנשמר, מבקש מ-Telegram עדכונים שהוחמצו ובודק מחדש את הצ'אטים. Telegram שומר על צבר מוגבל, ולכן לאחר הפסקת שירות ממושכת, הדוחות ו-verify.py מציינים את פרק הזמן הנותר כפער (ראו כיסוי).
  • רק ה-1,000 שיחות הראשונות מופיעות ברשימה בתחילת התהליך (ניתן להגדיר את המגבלה תחת כלים נוספים → פרמטרים); שיחות ישנות יותר מתווספות כאשר הן הופכות לפעילות שוב. ההיסטוריה המוקדמת יותר של שיחה שנוספה אינה נטענת — צרו תמונת מצב של ההיסטוריה או ייצאו את השיחה במלואה בעת הצורך.
  • תנאי תיקיות המשתנים כל הזמן (מושתק, נקרא) אינם חלים: צ'אטים כאלה נשארים תחת מעקב.
  • לחיצות על כפתורי הבוט המוטמעים (callback) באפליקציה אחרת אינן נראות במושב השני; תגובת הבוט או העריכה שלו נרשמות. לחיצות על מקשי התגובה מגיעות כהודעות יוצאות ומסומנות כ-button_press.
  • יותר צ'אטים פירושם יותר בקשות. טלגרם מגבילה חשבונות בשל נפח שהיא רואה כמוגזם, וזו סיבה נוספת להשתמש בחשבונות ייעודיים.

צ'אטים שנבחרו בקפידה#

הגדרות קפדניות: רק הצ'אטים שנבחרו מופיעים תחת צ'אטים נבחרים, והאפשרות כבויה כברירת מחדל. היא מיועדת להרשאה החלה אך ורק על הצ'אטים שנבחרו. כאשר האפשרות מופעלת:

  • ההתראות של שירות Telegram (777000) אינן נקראות: לא בתחילת התצפית ולא בסיומה, וגם לא בכל דקה במהלך התצפית. לא נרשמים רשומות מסוג session.security_baseline או account.security_event.
  • רשימת ההפעלות של החשבון אינה נקראת: לא בתחילת או בסיום התצפית (גם השאלה בלוח בנוגע להפעלות אחרות עבור "ראיות לתיק" ומצבי הגנת הראיות מדלגת), לא כל שתי דקות במהלך התצפית, לא כאשר נפתח חיבור, ולא על ידי בדיקת החיבור, שהערך "Current" מוצג כ"דילוג". גם מצב האימות הדו-שלבי שבו משתמשת בדיקת ההשתלטות אינו נקרא. לפיכך, account.sessions, session.concurrent_at_start ו-session.takeover_risk אינם נכתבים, והפעלה שהסתיימה ממכשיר אחר אינה מדווחת כ-session_revoked_externally.
  • אמנם זו ההפעלה היחידה של החשבון (הגדר זאת כהפעלה היחידה או כגרסתה האוטומטית), אך רשימת ההפעלות עדיין נקראת כל שתי דקות במהלך הניטור, וכאשר נפתח חיבור, כך ש- `session.exclusive_ended` נרשם כאשר מופיעה הפעלה אחרת. 777000 נשאר בלתי נקרא בתקופה זו, אף על פי שהרישום ב-session.exclusive_from מצביע על כך שהודעות הכניסה ל-Telegram ממשיכות להירשם.
  • הודעות מחיקה מושוות לבדיקת הפעלה רק אם בוצעה כזו ב-10 הדקות האחרונות (כל עוד זו ההפעלה היחידה, או לאחר פתיחת 'הפעלות' של חשבון זה). אחרת, אלא אם בדיקת ההרשאות האחרונה מראה כי חשבון זה לא יכול היה למחוק את ההודעה (מה שלעולם לא קורה בצ'אטים פרטיים ובקבוצות רגילות), ההודעה תציג: לא ידוע מי מחק אותה: ייתכן שהחשבון עצמו, מהפעלה אחרת או ממכשיר אחר, מחק אותה.
  • כאשר מפתח הפעלה יובא, אין ביומן שום מידע המציין את שעת הכניסה של הפעלה זו עד לקריאת רשימת ההפעלות (למשל, תחת הפעלות בחשבון זה). עד אז, ייצוא צ'אט וייצוא אוטומטי של חשבונות משתמשים בהפעלה הרגילה במקום ב-Takeout, עם הסיבה session_age_unknown.
  • Turning a chat on does not read its earlier messages. Without the switch, each chat turned on (in Sources, in Chats, by joining from the panel or in the setup wizard) gets one baseline snapshot of its latest messages, up to More tools → Parameters → Largest history snapshot (500 by default), when observation next runs. A waiting snapshot that comes due while the switch is on is dropped. A chat joined from the panel does not get its latest messages read as a new chat either (the When a new chat or bot appears count, 100 by default), and opening a chosen chat with no saved messages in Chats does not load its last 100 messages by itself. Load history and snapshots you start yourself still read history.
  • הגדרת התוכן הרגיש של החשבון אינה נקראת ואינה משתנה. ללא המתג, הכניסה וכל חיבור חדש מפעילים אותה כאשר היא כבויה, ו-Telegram מאפשרת את השינוי (account.content_settings); ההגדרה שייכת לחשבון וחלה בכל אפליקציית Telegram. תוכן ש-Telegram מסמן כרגיש עשוי להישאר מוסתר.
  • עדכונים הנובעים משיחות טלפון אינם נרשמים תחת ה-account.phone_call.
  • הפסקת התצפית כותבת רק את טביעת האצבע של מפתח ההפעלה; היא אינה קוראת את רשימת ההפעלות או את 777000.

הדבר אינו מצמצם את התוכן ש-Telegram שולח: עדכונים מכל צ'אט עדיין מגיעים למפגש זה, ורק הצ'אטים הנבחרים מוקלטים. רשימת הצ'אטים של החשבון (עד ל"צ'אטים שנקראו" מרשימת החשבון) והתיקיות שלו עדיין נקראות בתחילת התהליך, ושוב כאשר טווח ההקלטה נשמר במהלך הצפייה, כדי לאתר את הצ'אטים הנבחרים. הודעות מחיקה ללא צ'אט (deletion.unscoped) עדיין נרשמות: הן נושאות רק מזהי הודעות ועשויות להשתייך לצ'אט פרטי שנבחר או לקבוצה רגילה. בדיקת החשבון הקפוא (help.getAppConfig), בדיקות החיבור האחרות והתכונות שאתה מפעיל בעצמך (סיום אוטומטי של מפגשים אחרים, בדיקת העד, צ'אטים "כמעט-סודיים", "מפגשים של חשבון זה" ורשימת המכשירים המחוברים של טלגרם תחת "עדים נוספים" 'עדים', הקוראת את רשימת ההפעלות בכל מעבר של חותמת זמן ומגדירה סימונים עבור היעדים 'עקוב אחר צ'אטים' ו'ראיות לתיק') ממשיכות לפעול.

הפעל את האפשרות לפני הכניסה; אחרת, תהליך הכניסה עצמו בודק את ההרשאה הנוכחית ומפעיל את התוכן הרגיש. כל שינוי הוא רשומה חתומה מסוג `scope.changed`, והרשומה `observation.started` נושאת את הערך כ- `scope.strict`. מעבר לתיקיה או לחשבון כולו מכבה את האפשרות.

היקף ובחירת אירועים#

לכל סביבת עבודה יש מקורות משלה. TgWitness אינו מצטרף לקבוצות, אינו מקבל הזמנות ואינו מונה את כל החברים באופן אוטומטי. המקורות חייבים להיות כבר נגישים לחשבון. בעת ההפעלה, האספן בודק את המקורות הנבחרים כנגד הדיאלוגים הגלויים של החשבון; 1,000 הדיאלוגים הראשונים נבדקים, אלא אם כן "כלים נוספים → פרמטרים → צ'אטים הנקראים מרשימת החשבון" קובע אחרת. מקור נעדר מסומן כ"גישה לא מאושרת", ולא בהנחה שהוא הסיר אותך.

הגדרה אוסף השפעה כאשר האפשרות מושבתת
הודעות חדשות הודעות שנשלחו כרגיל בעריכות/מחיקות מאוחרות יותר ייתכן שלא יהיה טקסט שנלכד קודם לכן לשם השוואה.
עריכות גרסאות ערוכות של ההודעות שינויים ביניים אינם משוחזרים בהמשך.
מחיקות הודעות מחיקה מוגבלות בהיקף והודעות ברמת החשבון שאינן מוגבלות בהיקף הודעות על מחיקה אינן מתווספות ליומן.
תגובות תמונות מצב של תגובות לא מתווספים עדכוני תגובה נפרדים.
חברות נשלחו הודעות שירות לחברים ועדכונים למשתתפים הערות אלה של החברים אינן נכללות.

ההגדרות חלות על כל המקורות שנבחרו בסביבת העבודה. שמור את הטופס כדי להחיל את השינויים; השינויים נרשמים עם ערכים חתומים של "לפני" ו"אחרי". השבתת קטגוריה אינה מוחקת רשומות קודמות. הפעלתה מחדש אינה משלימה עדכונים שהוחמצו.

רישומי פעילות ואירועים אחרים הקשורים לשירות הקבוצתי נשארים נפרדים מההגדרות הללו. הודעות שירות לחברים יכולות ליצור רישומי הודעות כאשר שירות החברות מופעל, גם אם תיעוד הודעות חדשות רגיל מושבת. אובייקטים של טלגרם שנלכדו שומרים על מטא-נתונים מוטמעים; הגדרה אינה מהווה כלל צנזורה.

מחיקות בצ'אטים פרטיים ובקבוצות רגילות מגיעות כ-ID של הודעות ללא צ'אט. צ'אטים אלה חולקים רצף ID אחד של הודעות לכל החשבון, ולכן כאשר הודעה עם ה-ID הזה נשמרה קודם לכן, הצ'אט שלה ידוע: המחיקה נרשמת באותו צ'אט עם chat_resolution המסביר כיצד. ID-ים שמעולם לא נשמרו נשארים כמחיקה ללא היקף עם צ'אט מפורש שלא נפתר. אלה הן התראות מחיקה של טלגרם, הנשמרות גם כאשר עדיין לא ניתן לקשר את הצ'אט שלהן. הסכימה של ההודעה מכילה מזהים; היומן מוסיף את זמן הקבלה ואת כל הקשר של ההודעה שנשמרה, כולל deleted_message_was_outgoing. רשומות זמינות ביומן המנהל מספקות מקור נפרד לפעולה, למבצע ולזמן המקור.

פעולות עצמיות#

הודעות שנשלחו מהחשבון הנצפה מסומנות כ-outgoing. עריכה של הודעה יוצאת מציינת שבצ'אטים פרטיים ובקבוצות רק מחבר ההודעה יכול לערוך אותה, בעוד שפרסומים בערוצים יכולים לעבור עריכה על ידי מנהלים אחרים. כאשר הודעה יוצאת חוזרת על הטקסט של כפתור מהמקלדת של התשובה השמורה האחרונה באותו צ'אט, היא נושאת את הסימון button_press עם קישור לרישום של המקלדת.

האי-הכללת פעולות המשתמש עצמו חלה גם על בדיקות רקע חוזרות ועל היסטוריית צ'אטים חדשים אוטומטית. הודעות יוצאות שדילגו מקדמות את נקודת הבדיקה החוזרת, כך שהן אינן יכולות לחסום הודעות נכנסות מאוחרות יותר. פעולות מפורשות בלוח הבקרה ותמונות מצב של ההיסטוריה שהוזמנו ידנית נותרות מתועדות.

מצב חקירה: הצטרפות לצוותים ושיחה עם בוטים#

כלים נוספים → מקורות → היקף → מצב חקירה מכין את ההיקף לחשבון ייעודי המצטרף לצ'אטים קבוצתיים, מפעיל בוטים וכותב אליהם: החשבון כולו, כל סוג מקור, פעולות עצמיות, ולכל צ'אט או בוט שמופיע – הפרופיל שלו ו-200 ההודעות הגלויות האחרונות שלו. עברו על הטופס ולחצו על 'שמור היקף'; המעבר לחשבון השלם דורש אישור כרגיל.

  • כפתורים. כפתורים המופיעים מתחת להודעה נשמרים יחד איתה ומוצגים ב"צ'אטים": קישורים, אפליקציות אינטרנט, קישורי כניסה, טקסטים להעתקה, נתוני החזרה, שאילתות מוטמעות, בקשות למספר טלפון או מיקום. קישורים מוצגים כטקסט ואינם נפתחים לעולם על ידי הפאנל. כאשר בוט משנה רק את הכפתורים (קישור תשלום חדש), זו נחשבת לגרסה חדשה של ההודעה, הן בעדכונים בזמן אמת והן בבדיקות חוזרות.
  • צ'אטים ובוטים חדשים. במצבי "תיקייה" ו"חשבון שלם", כאשר צ'אט או בוט חדש מופיע, הוא נשמר מיד לאחר הופעתו:

    • הפרופיל שלו כקובץ source.profile: תיאור הבוט והפקודות, הטקסט "אודות" של משתמש, קבוצה או ערוץ, חברים, צ'אט מקושר וקישור הזמנה כאשר Telegram מחזיר אחד כזה;
    • ההודעות הגלויות האחרונות שלו (עד 1,000) כתמונת מצב של ההיסטוריה המסומנת ב-new_chat: ההודעות המוקדמות יותר בצ'אט קבוצתי שאליו הצטרף זה עתה, או מה שהבוט אמר לפני שהמעקב הבחין בצ'אט. הודעות שכבר נשמרו בזמן אמת אינן חוזרות על עצמן.

    צ'אטים שנבחרו זה עתה משתמשים בהגדרות אלה כאשר ההיקף מוחל, כולל צ'אטים שכבר קיימים ברשימת הדיאלוגים של החשבון. הטעינה הראשונית של הפרופיל וההיסטוריה מתבצעת עבור עד שלושה צ'אטים במקביל; פעולות עבור אותו צ'אט נשמרות לפי הסדר. כל שלב בהיסטוריה/בפרופיל משתמש בזמן ההמתנה המוגדר לפעולה, כך שבקשות שנתקעו משחררות את העובד המטפל בהן. ההיסטוריה נשמרת לפני קריאת הפרופיל האופציונלית; כישלון בקריאת הפרופיל אינו מונע את תיעוד ההיסטוריה. שלבים שנכשלו מנסים שוב לאחר 5 שניות, והזמן מכפיל את עצמו עד למקסימום של 5 דקות מבלי לתפוס עובד במהלך העיכוב. מזהים בהמתנה, מועדי ניסיון חוזר ושלבים שהושלמו נשמרים באופן מקומי. הפעלה מחדש ממשיכה רק שלבים שלא הושלמו; ניסיון חוזר לפרופיל אינו חוזר על קריאת היסטוריה שהושלמה. מקורות שהושבתו לפני תורם מדלגים. הסקירה הכללית מציגה טעינות צ'אט פעילות, בהמתנה ובניסיון חוזר בנפרד מהורדות קבצים מצורפים. FloodWait מעכב עבודה זו והיא מתחדשת לאחר מכן; כשלים נרשמים וההקלטה החייה של הצ'אט נמשכת. זה כולל המתנות בזמן פתרון זהותו של הצ'אט החדש: המשימה הממתינה של הפרופיל/ההיסטוריה נשמרת לניסיון חוזר, והמתנה קיימת וארוכה יותר ברמת החשבון כולו אינה מתקצרת. העובדים חולקים המתנה זו; ריבוי משימות אינו עוקף את מגבלות הבקשות של Telegram. - פרופילים יימסרו על פי בקשה. צ'אטים → פרופיל → שמור את הפרופיל עכשיו שומר את הפרופיל הנוכחי של כל מקור; הפרופיל העדכני ביותר מוצג מעל ההודעות. - תמונות מצב של הצ'אט (תצוגה מקדימה). שינויים במצב מחוץ לזרם ההודעות ללא הודעה: הסרת הסימון מכל הודעה אינה מותירה עקבות ברמת ההודעה; מנהל מאבד את זכויותיו; מתנה מוסתרת, מומררת, משודרגת או מוחזרת. במהלך המעקב, כל מקור מופעל נקרא מעת לעת ונשמר כקובץ חתום chat.state רשומה: כותרת, שמות משתמש, תיאור, מספר החברים והמנהלים, צ'אט מקושר, מצב איטי, מזהי הודעות מוצמדות (עד 100), מנהלים עם זכויותיהם ותאריהם, ומתנות המוצגות בערוצים וב פרופילי המשתמשים (עד 100). כל רשומה מפרטת את ההבדלים ביחס לתמונת המצב הקודמת: שדות ששונו עם מצב לפני ואחרי, הודעות מוצמדות שנוספו או הוסרו, מנהלים ו מתנות שנוספו, שונו או אינן מופיעות עוד ברשימה. - חלק ש-Telegram מסרב לחשוף (לדוגמה, רשימת המנהלים של ערוץ עבור חבר שאינו מנהל) מוזכר ב- errors; הערך הקודם שלו נשמר ומופיע ב- carried_forward, שמעולם לא דווח כמחוק. - רשומה שהשינויים היחידים בה הם במספרים, ובדיקה שלא מצאה שינוי, מתייחסת למצב המלא האחרון עם state_seq ו-מצטבר state_overrides. מצב מלא נרשם לפחות אחת לשבעה ימים ובכל פעם שמתרחש שינוי שאינו קשור למספר. - parts_complete מסמן רשימות סגורות. הוספות מחייבות רשימה קודמת שלמה, הסרות מחייבות רשימה נוכחית שלמה, וערכים ריקים מפורשים מציינים מחיקה. - כלים נוספים → פרמטרים → מצב הצ'אט קובע את המרווח (12 שעות כברירת מחדל, 0 מבטל את הצילום המיידי), את ההפסקה בין המקורות, אילו חלקים נקראים, והאם יש לתעד בדיקות שלא מצאו שינוי. FLOOD_WAIT ו- FLOOD_PREMIUM_WAIT לעצור את בקשות הצילום הנותרות, לשמור על כל מועד אחרון שנותר ברמת החשבון, ולהשאיר את הצ'אט שנקטע זכאי לניסיון נוסף לאחר תקופת ההמתנה הזו. - לא נראה לעין. כפתורי Inline (callback) שנלחצו באפליקציית Telegram אחרת, החלון הקופץ או הקישור שבו הבוט מגיב ללחיצה כזו, וכן קישורי הזמנה המשמשים באפליקציה אחרת – כל אלה אינם מגיעים ל-TgWitness. מה שהבוט שולח או עורך לאחר מכן נרשם.

פעולה מהפאנל#

השיחות כוללות כעת מיני-לקוח המשתמש בחשבון ה-Telegram של סביבת העבודה הנבחרת:

  • כתוב הודעה בטקסט רגיל או בחר באפשרות "השב" מתחת להודעה שנשמרה. ההודעה היוצאת המוחזרת נרשמת גם כאשר ההגדרה אינה כוללת עדכונים יוצאים.
  • לחץ על כפתור "Press" מתחת לכפתור החזרה או הטקסט הנוכחי. השרת מביא את ההודעה שוב ומסרב לבצע את הפעולה אם המקלדת שונה מהגרסה השמורה. אישורי החזרה שומרים על הטקסט המוקפץ של טלגרם, דגל ההתראה וה-URL; התשובה מוצגת גם מתחת לשיחה. כתובות ה-URL נותרות טקסט שניתן לבחור ואינן נפתחות באופן אוטומטי.
  • לחץ על + → פתח קישור טלגרם, הזן @username, קישור ציבורי https://t.me/name, https://t.me/+invite / joinchat/invite, או קישור לבוט עם ?start=parameter, ולחץ על 'שמור תצוגה מקדימה'. הקישור המקורי והתצוגה המקדימה של טלגרם נחתמים לפני ההצטרפות. הצטרף / פתח ותצפה – לאחר מכן מצטרף לקבוצה/לערוץ או פותח את המשתמש/הבוט, מוסיף את הצ'אט כמקור מופעל, ושולח /start לבוט, כולל פרמטר ההתחלה שלו. בקשת הצטרפות הממתינה לאישור מנהל נרשמת כ"ממתינה", ולא כחברות.

הפעל את "התחל תצפית" כדי ללכוד תגובות נכנסות בזמן אמת. פעולות הפאנל פועלות בזמן שהתצפית מושהית; לאחר מכן, הפאנל שומר את התגובות הישירות שלו, והתצפית בזמן אמת לוכדת את שאר השיחה. מקורות שנוספו לאחרונה משתמשים בקליטת הפרופיל/ההיסטוריה שהוגדרה כאשר התצפית פועלת. כאשר מקור מושהה, הפעל אותו ב"כלים נוספים" → "מקורות" לפני שליחה או לחיצה על הכפתורים שלו.

interaction.preview, interaction.requested ו-interaction.result הם אירועים רגילים וחתומים ביומן, הכלולים בייצוא הראיות. בקשות מזהות את החשבון, את ההודעה/הכפתור או את רשומת התצוגה המקדימה, וכן אם התצפית הייתה פעילה. אישורים מבחינים בין הצלחה, דחייה, אישור בהמתנה ותוצאה לא ידועה. ייתכן שבקשה שנקטעה הגיעה ל-Telegram: בדקו את הצ'אט לפני שתתחילו פעולה חדשה. שימוש חוזר במזהה בקשה מאחזר את הקבלה השמורה שלה מבלי לחזור על הפעולה, כולל לאחר הפעלה מחדש. הלוח שומר את המזהה לאחר תגובה לא ברורה לאותה פעולה במהלך הפעלת הדף הנוכחית. הוא גם שומר את המזהה הזה כאשר רענון התצוגה נכשל לאחר פעולה מוצלחת: הקבלה נשארת גלויה, ולחיצה נוספת מאחזרת אותה. ל-RPCs של Callback ו-join יש ניסיון אחד ביישום; קריאות הניתנות לניסיון חוזר שומרות על מדיניות הניסיון החוזר שהוגדרה להן. מעבר מיידי בין צ'אטים מחק את הטיוטה ואת יעד התשובה ומבטל את השליחה עד שהשיחה החדשה נטענת.

מיני-לקוח זה מטפל בכפתורי טקסט וכפתורי החזרה. כפתורי מיני-אפליקציות מפעילים את האפשרות פתח מיני-אפליקציה, אשר פותחת את האפליקציה בדפדפן מבודד (מיני-אפליקציות). בקשות לכניסה, למספר טלפון ולמיקום, תשלומים, שאילתות מוטמעות וקבצים מצורפים עדיין מצריכים לקוח Telegram; מטא-הנתונים של הכפתורים השמורים נשארים גלויים. הפקדים החדשים משתמשים בטקסט באנגלית.

רמות בדיקה חוזרת#

בדיקות חוזרות מבקשות מ-Telegram שוב הודעות שהוחמצו, עריכות והודעות שהיא כבר לא מחזירה. מקורות המסומנים בכוכבית הם מקורות בעדיפות, הנבדקים מחדש כל 15 דקות כברירת מחדל; כל שאר המקורות נבדקים כל 6 שעות. צ'אטים שנבחרו מתחילים כמקורות בעדיפות, צ'אטים שנוספו על ידי תיקייה או החשבון כולו כמקורות רגילים. בכל מחזור נבדקים מחדש לכל היותר 30 מקורות, והשאר ממתינים לדקה הבאה; לאחר התחברות מחדש, מקורות בעדיפות נבדקים ראשונים. שני האינטרוולים מוגדרים תחת 'כלים נוספים' → 'מקורות' → 'הקלטה' → 'בדיקה חוזרת' (0 מבטל שכבה) ונרשמים כ-recheck.changed.

הודעות שהוחמצו נאספות כלפי מעלה מהמקום שבו נעצר המעבר הקודם, עד לכל היותר כלים נוספים → פרמטרים → הודעות שהוחמצו ששוחזרו לכל צ'אט ומעבר (1,000 כברירת מחדל). לאחר הפסקה ממושכת, הבדיקה החוזרת ממלאת אפוא את כל הפער, גם כאשר הודעות בזמן אמת חדשות יותר מהפער נשמרו ראשית. צ'אט שעדיין נמצא בתהליך השלמת הפער נבדק שוב בדקה הבאה במקום להמתין למרווח הזמן שלו; recheck.completed מציג continues_after עד לסיום התהליך.

ההשוואות כוללות טקסט הודעות, ישויות, מקלדות (כולל מחיקה) ותוכן/זהות הקובץ המצורף. שינוי חתימות הגישה לקבצים או הפניות לקבצים בלבד אינו מהווה עריכה, וכך גם מה ש-Telegram ממלאת באופן אוטומטי: טעינת תצוגה מקדימה של קישור, צפיות בסיפורים, מדיה בתשלום שנפתחה על ידי חשבון זה, קבלת חשבונית. כל גרסה שנשמרה ב"צ'אטים" מקושרת לרישום המלא ביומן, כולל מטא-נתוני המדיה.

היסטוריית הודעות וייחוס#

נניח שהאספן מבחין ב"פגישה ב-10:00", מאוחר יותר רואה "פגישה ב-11:00", ואז מקבל הודעת מחיקה. הוא מצרף שלוש תצפיות נפרדות. הטקסט המקורי נשאר, העריכה היא גרסה נפרדת, וההודעה מתעדת כי נצפתה מחיקה.

אם האיסוף החל לאחר שהגרסה הראשונה נעלמה, הטקסט הזה אינו זמין. אם בוצעו מספר עריכות בזמן שהמערכת הייתה במצב לא מקוון, ניתן לשמור רק את הגרסאות שנצפו לאחר מכן. הודעת מחיקה אינה יכולה לשחזר תוכן שמעולם לא נלכד.

הרשומה משלבת מספר מקורות:

מקור מידע שנשמר
הודעה חיה או עדכון עריכה מזהה ההודעה, מטא-נתוני השולח, הגרסה שנלכדה, זמן הקבלה ותאריך ההודעה/העריכה של Telegram שסופק.
התראה על מחיקה בזמן אמת מזהי הודעות שדווחו, זמן קבלה, התראה גולמית וקישורים לתוכן שנשמר בעבר.
יומן מנהל זמין פעולה, מבצע, תאריך המקור ותוכן ההודעה שנמסר, הנקראים על ידי חשבון בעל ההרשאות הנדרשות.
אינטראקציה עם לוח הבקרה הפעולה המבוקשת ותוצאתה המתועדת תחת החשבון הנבחר.
בדוק שוב התגובה הנוכחית של Telegram בהשוואה להודעה שנשמרה בעבר.

observed_at הוא הזמן שבו נרשמה ההקלטה בשעון האספן, והוא גדל עם seq. רשומות שנכתבו במהלך טיפול בעדכון בזמן אמת נושאות גם received_at, הזמן שבו הגיע העדכון לאספן, וכן processing_delay_ms, הזמן שחלף מהקליטה ועד לכתיבה; עדכונים שהוחזקו בזמן תחילת התצפית מעובדים לפי סדר הגעתם, לפני אלה שהגיעו מאוחר יותר. source_at שומר את תאריך המקור כאשר האירוע מספק אותו. תצפיות על הפרשי שעון בטלגרמה, רשומות על הפסקות בשעון ובדיקות זמן חיצוניות מספקות את הקשר התזמוני הנלווה. השדות של הודעת הודעה רגילה מתארים את אותה הודעה; רשומות יומן הניהול ורשומות האינטראקציה שומרות על הייחוס שלהן.

תמונות מצב היסטוריות#

תמונת מצב מבקשת את ההודעות הגלויות האחרונות ממקור מופעל, עד 500 לכל בקשה. התוצאות מסומנות כ"תצפיות היסטוריה". תמונות מצב ידניות מתבצעות במקביל לתצפית. תצפיות חוזרות נשמרות כרשומות נפרדות. הפעלת מקור גם יוצרת תמונת מצב אחת של ה-baseline שלו, אלא אם כן האפשרות "צ'אטים נבחרים בלבד" מופעלת.

צילומי מצב יופסקו אם המקור יושבת במהלך הקריאה. התשובות חייבות להיות שייכות לצ'אט המבוקש ולכלול מזהי הודעות חיוביים, המסודרים בסדר יורד קפדני, הנמצאים מתחת לגבול המבוקש. תשובה לא חוקית תביא להפסקת צילום המצב לפני שההודעה תישמר; הודעות שכבר נשמרו יישארו ביומן החתום יחד עם רישום ההפרעה.

תמונות המסך עוקבות אחר מדיניות הקבצים המצורפים אך נותרות נפרדות ממעברי אירועים בזמן אמת. הן אינן משחזרות הודעות שנמחקו או גרסאות ביניים שהוחמצו. ניתן לבקש תמונת מסך בזמן ההשהיה; כל הקבצים המצורפים בתור ממתינים עד לתחילת התצפית והפעלת תהליך ההורדה.

הרצת היסטוריה היא משימה נפרדת ובלעדית: היא קוראת את המקורות שנבחרו ומורידה את הקבצים המצורפים שבתור ברצף, בלי להתחיל ניטור. השהיה משחררת את החשבון; חידוש ממשיך את ההרצה השמורה. לסינון לפי תאריכים, שפה ותשובות בכמה חשבונות פנויים, ראו ייצוא שיחות מבוזר.

טיפול בקבצים מצורפים#

הורדת קבצים מצורפים מופעלת כברירת מחדל ומושהית כאשר שטח הדיסק הפנוי נמוך מ-1 GiB. האספן מבצע את משימת התצפית על ההודעות והורדתן במקביל. המשימה שומרת על תיאור המדיה המקורי ומדיניות הגודל, כך שקובץ מצורף שעבר עריכה מאוחרת יותר לא יוחלף באופן סמוי.

ההורדות מתבצעות לאחר לכידת ההודעה. הורדה שהושלמה יוצרת רשומת media.saved עם ה-SHA-256 שלה ומספר הבתים. לפעולות שהוחמצו, נכשלו, ננסו מחדש והופסקו יש תוצאות נפרדות; קובץ נחשב כמשומר כאשר קיימת רשומת media.saved שלו. הקובץ שהושלם חייב גם להתאים למספר הבתים בתיאור הקובץ המצורף המקורי שנצפה. תגובה קצרה או ארוכה באופן בלתי צפוי אינה נרשמת כמדיה משומרת.

הקובץ והרשומה של התיקייה שלו נשמרים בדיסק לפני כתיבת ה-media.saved. כאשר תהליך האספן הקודם הסתיים ללא כיבוי מסודר, ההפעלה הבאה קוראת כל קובץ שנרשם כ"שמור" במהלך אותה הפעלה. קובץ שחסר או שהבייטים שלו שונים מה-SHA-256 שנרשם מקבל רשומת media.missing_after_restart, ההורדה שלו נכנסת שוב לתור, והבייטים השונים מועברים לתיקיית media-damaged/. קבצים שהועברו לאחסון מחוץ לאתר אינם נקראים.

בתוך סביבת עבודה אחת, משימות הממתינות בתור במקביל לאותו ייצוג של קובץ מצורף ממתינות להעברה הפעילה, ולאחר מכן בודקות מחדש את הבתים שנשמרו לפני השימוש החוזר. כל משימה שומרת את התוצאה החתומה שלה ואת ההפניה לרשומת הקובץ שנשמרה קודם לכן. ביטול משימה הממתינה אינו מבטל את ההעברה הפעילה; אם העברה זו נכשלת או מבוטלת, המשימה הבאה יכולה לנסות שוב. קבצים מצורפים שונים יכולים להוריד במקביל.

משימות בעלות אותו חשבון, ייצוג, גודל צפוי ופעולת לכידה נשארות בתור בזמן שמשימה תואמת אחת פועלת. הן אינן תופסות משבצות הורדה, ולכן קובצים אחרים יכולים להתחיל להוריד גם כאשר התור נפתח עם עותקים רבים של קובץ איטי אחד. השלמת ניסיון מעירה את התור. נתיבי עדיפות, עיכובי ניסיון חוזר שנשמרו ו בעלות על ההיסטוריה עדיין חלים; כל תצפית מקבלת תוצאה משלה.

ייצוא הצ'אט כולל גם העברה פעילה לייצוגים חוזרים של קבצים בתוך אותה ספריית ייצוא. כל הודעה שומרת על הפניה לקובץ המצורף שלה, והשימוש החוזר מחייב בדיקה מחודשת של הגודל ושל ה-SHA-256. ניתן לבדוק קבצים שונים במקביל מבלי להחזיק במנעול העברה משותף. נתיבי ההורדה וההעתקה הזמניים הם ייחודיים לכל פעולה; ביטול הפעולה ממתין לכל קורא קבצים מקומי פעיל לפני הניקוי. אינדקס קבצי הייצוא מסדר ברצף רק את הגישה למטא-נתונים, ולא את חישוב ה-hash של הקבצים או את ההורדות.

קריאות ה-hash בשרת עבור קבצים מצורפים שונים מתבצעות גם הן במקביל, תוך שהן חולקות את שלושת משבצות בקשות הקבצים של הלקוח עם הורדות בייטים. קריאות חוזרות של אותו ייצוג משתמשות מחדש רק בתוצאה מלאה שנשמרה במטמון. קריאות קבצים משאירות את תור הבקשות הרגיל פנוי; מועדי FloodWait שנשמרו נבדקים שוב כאשר בקשה מקבלת משבצת.

הגבלות נקבעות לפי סוג: תמונות, סרטונים, GIF-ים ואנימציות, הודעות וידאו מעגליות, הודעות קוליות, מוזיקה ואודיו, מדבקות וקבצים. ניתן להשבית כל סוג, ולכל סוג יש מגבלת גודל משלו בין 1 ל-2,000 MiB; סביבות עבודה חדשות מתחילות עם 20 MiB לתמונות, 100 MiB לסרטונים, 50 MiB לקבצים, אודיו וסרטונים עגולים, 20 MiB להודעות קוליות ו-GIF-ים ו 5 MiB למדבקות. בסביבות עבודה חדשות, GIF ומדבקות נותרים כבויים עד להפעלתם. בסביבות עבודה שבהן נשמרו מדיניות לפני קביעת המגבלות לכל סוג, כל הסוגים נשארים מופעלים ושומרים על המגבלה היחידה לכל סוג. הגדרת גודל הקובץ המרבי חלה על כל הסוגים בבת אחת. סוג שנכבה מייצר רשומת media.skipped; קבצים בגודל לא ידוע או גדולים מדי אינם מורידים. קבצים גדולים מקבלים זמן הורדה נוסף בהתאם לגודלם ומהירות בסיסית של 256 KiB/s. משימות שורדות אתחול מחדש, אך הפניות שפג תוקפן, אובדן גישה או קבצים שנמחקו עדיין עלולים למנוע שחזור. משימות בהמתנה שומרות את המגבלה שנשמרה עבורן, ולכן העלאת המגבלה חלה רק על קבצים חדשים. כיבוי סוג או הורדת המגבלה שלו מדלג גם על הקבצים הממתינים שהוא מחריג, כאשר לכל אחד מהם רשומת media.skipped; כיבוי ההורדות מעכב את התור עד להפעלתן מחדש.

השהיה, נעילה, ניתוק והפעלה מחדש#

פעולה או מצב השפעה
החלף סביבת עבודה משנה את תצוגת הפאנל; אוספים אחרים שומרים על מצבם.
נעל את החלונית או סגור את הכרטיסייה השרת והמעקב ממשיכים לפעול.
השהיית התצפית עוצר את האספן ושומר על קבצים מצורפים הממתינים בתור.
השבת מקור מפסיק תיעוד עתידי בהיקף מוגדר; משימות מדיה בתור המיועדות לכך ממתינות בזמן שהכלי מושבת.
הסר מקור הכלי מתעלם ממנו כמקור ומוחק את פרופילי המשתמשים שלו; הרישומים שכבר נשמרו נשארים ביומן שניתן להוסיף אליו בלבד. הקבצים המצורפים שעדיין ממתינים נרשמים ככישלון (source_removed). במצבי "תיקייה" ו"חשבון שלם" הוא גם אינו נכלל.
שינוי מסלול החיבור מחייב הפסקה, סוגר לקוחות ישנים ומבטל התחברות שלא הושלמה.
עצור את תהליך ה-Python מפסיק את כל סביבות העבודה; לא מתבצעות תצפיות בזמן שהכלי אינו מחובר.
הפעלה מחדש לאחר תצפית פעילה מנסה לחדש את הטווח שנשמר באמצעות ההפעלה השמורה. הפסקה ידנית מבטלת כוונה זו.

האספן מתעד ניתוקים שזוהו, ניסיונות חוזרים, שגיאות, התחלות/עצירות ו- פעימות לב. הפרעות קצרות עלולות להחמיץ בבדיקות קישוריות תקופתיות. לאחר הפעלה מחדש, מתבקשים עדכונים שהוחמצו ממיקום העדכון השמור ו- צ'אטים שנצפו נבדקים מחדש באופן תקופתי; ראו פורמט הראיות. תמונת מצב מוסיפה את המצב הנוכחי כהקשר, והפער נשאר מתועד.

בידוד ואימות חשבונות#

לכל סביבת עבודה יש יומן, הרשאה, מפתח חתימה, מדיניות ותור משלה. רק הלקוח הפעיל שלה יכול לתרום תצפיות בזמן אמת. לקוחות שנדחו, נמצאים בהמתנה, הוחלפו או נמצאים בבדיקת חיבור אינם יכולים לכתוב עדכונים בזמן אמת ביומן שלה. חשבונות שונים יכולים לעקוב אחר אותה קבוצה, אך היומנים שלהם נשארים נפרדים.

כל אירוע כולל את ה-hash הקודם וחתימת Ed25519. הייצוא מכסה את כל יומן סביבת העבודה באמצעות מספר סידורי קבוע. מסנני הלוח אינם מסננים את הייצוא; האיסוף עשוי להימשך מעבר לגבולותיו בזמן הכנתו.

יומן האימות בודק את שרשרת האירועים ואת החתימות דרך הגבול המוצג. תוצאותיו נמחקות כאשר סביבת העבודה משתנה, והלוח מזהה רשומות חדשות שנוספו לאחר הבדיקה. ייצוא ZIP מאמת גם את המדיה שנאספה.

יש לשמור על טביעות אצבעות ונקודות ביקורת בנפרד. ראו את היקף האימות לבדיקות איסוף בכל מצב, ואת פעולות יומיומיות לאיסוף שגרתי.