منبع / جمعآوری
Telegram · ویژگیها و دامنه
مدل جمعآوری فعلی، گردش کارهای چندحساب، خروجیها و مرزهای عملیاتی TgWitness.
TgWitness / مستندسازی · مرجع پروژه
TgWitness گفتگوهای تلگرام را که برای حسابهای متصل قابل دسترسی هستند، حفظ میکند، تغییرات مشاهدهشده را ثبت میکند و خروجیهای قابل تأیید را آماده میسازد. این مرجع مدل جمعآوری، گردش کارهای فعلی و محدودیتهای آنها را توصیف میکند.
در این صفحه
برنامهٔ مستقل#
TgWitness دارای فرایند نصب، دایرکتوری داده و چرخهٔ انتشار مستقل است. رابط کاربری وب همراه، پیکربندی و بازبینی را مدیریت میکند؛ سوابق صادرشده را میتوان بهطور مستقل استفاده کرد.
اپراتور حسابهای خود را متصل میکند، منابعی را که برای هر یک قابل مشاهده هستند انتخاب میکند و یک دفترچه مشاهدات ذخیرهشده دریافت مینماید. پنل محتوا، تغییرات ذخیرهشده، منشأ مشاهده و شکافهای شناختهشده را نمایش میدهد. یک محقق دیگر میتواند محتوای صادرشده را تأیید کند.
پنل بین تأیید حساب، دسترسی به منبع، فعالیت گردآورنده و پوشش ثبتشده تمایز قائل میشود. هنگام ارزیابی یک بازه با پیامهای اندک یا مشکل اتصال، این وضعیتها را با هم بررسی کنید.
تحقیقات مشترک#
یک مدیر میتواند توکنهای دسترسی را که محدود به فضاهای کاری و چتهای فردی هستند، با مجوزهای هر اقدام، محدودیتهای آیپی، انقضا، محدودیتهای ورود و کنترل جلسه صادر کند. یک بازبین فقط-خوانش میتواند یک پرونده را بدون دریافت مجوز تلگرام یا کلید پنل اصلی بررسی کند. دسترسی محدود به چت، از تنظیمات کل حساب و خروجیهای کامل ژورنال مجزا باقی میماند.
MTProxy خودکار، مسیرهای فعال تلگرام را از چهار منبع عمومی یا یک کاتالوگ اپراتور حفظ میکند. حالتهای آیپی تعیین میکنند که آیا خرابی باید منتظر پروکسی دیگری بماند یا میتواند از یک مسیر مستقیم صریحاً مجاز استفاده کند. درخواستهای HTTP خارجی دارای یک مسیر جداگانه و دکمه خاموش هستند.
ابزارهای بایگانی#
از نسخه 0.7.1، قابلیتهای دریافت تاریخچه، جستوجوی آرشیو و تحلیل، MCP فقط-خواندنی، OCR/استنسخ محلی و وبهوکهای خروجی اضافه شدهاند. گزارشهای تحلیلی و متنهای شناساییشده از رویدادهای ضبطشده جدا میمانند.
کیسبورد نشانکها، نقلقولها، یادداشتها و مجموعههای مرتبط با منبع را در یک فضای کاری اضافه میکند. سازنده گزارش، محتوا، بخشها و یکی از هشت طرح را برای خروجیهای پشتیبانیشده HTML/PDF انتخاب میکند.
افزودنیهای اختیاری#
تنظیمات روزمره حساب کاربری → منابع → مشاهده است. ابزارهای بیشتر → موارد اضافی یک مقصد جداگانه برای ضبط مستقل، ذخیرهسازی، هدف و سطح حفاظت، اعلانها، شواهد و پشتیبانها، یک سرور همیشه روشن، یک ربات شاهد تلگرام و بررسی کد است. هر کدام قبل از نمایش تنظیمات، در دسترس بودن و الزامات خود را اعلام میکنند. انتخاب یک کارت، دستورالعملها را باز میکند؛ این کار سرویس را ثبتنام یا راهاندازی نمیکند.
راهاندازی ربات سه مرحله دارد: ایجاد دسترسی فقط-خواندنی، انتخاب تنظیمات انتشار، و راهاندازی روی میزبان شاهد. گزینههای شبکه و انتشار، اتصالات موجود و دستورات تأیید اعتبار در صورت نیاز فاش میشوند. پیکربندی دانلود شده با یک شاهد در حال اجرا متفاوت است. سوئیچ کردن extras، پیشنویس را حفظ میکند؛ تغییرات حساب کاربری و قفل کردن، توکن و فرم موقت را پاک میکند. راهنمای داخلی شامل دستورالعملهای راهاندازی است. GitHub Actions، که از بخش Exports باز میشود، یک جمعآورنده پینشده را از فورک شما راهاندازی میکند، یک چت را ضبط میکند و یک تحویل رمزگذاریشده با سابقه گردش کار تولید میکند.
پروتکل و منابع خصوصی#
MTProto پروتکل تلگرام است؛ Telethon کتابخانه پایتونی است که TgWitness برای ارتباط با MTProto از آن استفاده میکند. آنها روشهای اتصال جایگزین نیستند. Collection از MTProto استفاده میکند؛ Witness اختیاری از طریق Bot API چکهای امضا شده را منتشر میکند.
هر فضای کاری دارای جریان بهروزرسانی حساب کاربری و کلاینت مجاز خود است. TgWitness مشاهدات را از منابع پیکربندیشده انتخاب کرده و برای عملکردهایی مانند اسنپشاتهای تاریخچه و دانلود رسانهها، درخواستهای صریح و جداگانهای ارسال میکند.
یک منبع خصوصی به نام کاربری عمومی نیازی ندارد. نوع همتا و شناسه عددی تلگرام، شناسهها هستند؛ عناوین و نامهای کاربری میتوانند تغییر کنند. دسترسی به عضویت و مجوزهای موجود بستگی دارد. TgWitness به طور خودکار به منابع ملحق نمیشود یا تأیید عضویت را دور نمیزند. یک هش دسترسی از حساب دیگر، توکن دسترسی جهانی نیست.
مدل جمعآوری باید تاریخچه پنهان پیش از پیوستن، نقشهای شرکتکننده/مدیر، لغو جلسه، حذف یا تغییر مجوزها، مهاجرت از گروه به ابرگروه، موضوعات/انجمنها، بحثهای مرتبط، هویت کانالها و پیوستهای در دسترس نبوده را در نظر بگیرد. هر ترکیبی به صورت زنده تأیید نشده است.
در دسترس بودن منبع در شروع کار جمعآورنده بررسی میشود. عدم وجود یک منبع در نتیجهٔ دیالوگ محدود به معنای تأیید نشدن دسترسی است، نه اثبات حذف. یک منبع در دسترس نبوده مانع مشاهده سایر منابع قابل دسترسی نمیشود. هرگز لینکهای دعوت یا جلسات واقعی را در مکانهای عمومی قرار ندهید.
حسابهای متعدد#
پنل از هر تعداد فضای کاری پشتیبانی میکند، هر کدام با ویژگیهای خاص خود:
- مجازیسازی، گاوصندوق رمزگذاریشده و مسیر اتصال.
- ژورنال SQLite و هویت امضای Ed25519.
- منابع منتخب، صف رسانهای و تنظیمات ضبط.
- وضعیت مشاهده، خطاها، نقاط کنترل و خروجیها.
تغییر فضای کاری نمایشدادهشده، جمعآوریکننده دیگری را متوقف نمیکند. تأیید مجوز حساب تکراری در فضاهای کاری مختلف رد میشود. ژورنالی که قبلاً به یک حساب تلگرام متصل شده است را نمیتوان به حساب دیگری اختصاص داد؛ اما اتصال مجدد به همان حساب مجاز است. این کار هویت حساب و دامنه مرتبط با شناسه پیام را حفظ میکند.
این برنامه تعداد فضای کاری ثابتی را تعیین نمیکند. هر فضای کاری وظایف گردآورنده خود را برای نظارت بر اتصال، دانلود رسانهها، بازبینی مجدد و دریافت چتهای جدید در یک فرآیند پایتون و حلقه رویداد مشترک، اجرا میکند. توان عملیاتی به بار کاری بستگی دارد. برای جداسازی فرآیندها، از نصبها، پورتها و دایرکتوریهای داده جداگانه استفاده کنید.
به هر حساب منابعی را که میتواند به آنها دسترسی داشته باشد، اختصاص دهید. حسابهای مختلف ممکن است یک گروه را مشاهده کنند، اما مشاهدات آنها جداگانه باقی میماند و منشأ خود را حفظ میکنند. دو حساب روی یک دستگاه کنترلشده توسط یک اپراتور، دو شاهد مستقل محسوب نمیشوند. خروجی گروه، فایلهای ZIP فضای کاری را که به صورت جداگانه امضا شدهاند، با یک فهرست فایل امضاشده که حاوی شناسههای فضای کاری، هشها و اثرانگشتهای کلید امضای آنهاست، در یک بسته ترکیب میکند. هر دفترچه یادداشت مرز خود را حفظ میکند. یک خط زمانی ترکیبی بینفضاهای کاری در یادداشتهای موردی یا ابزارهای تحلیلی بسازید و به ارجاعات منبعی که حفظ شدهاند، پایبند بمانید.
ثبت و انتساب#
منابع، کلیدهای تغییر برای هر حساب کاربری در مورد پیامهای جدید، ویرایشها، حذفها، واکنشها و عضویت را فراهم میکند. تنظیمات از پیش تعیینشده، یا تمام دستهبندیها یا پیامها/ویرایشها/حذفها را حفظ میکنند. این سیاست برای گروههای انتخابشده در فضای کاری اعمال میشود، پس از راهاندازی مجدد نیز باقی میماند و با تغییرات قبل و بعد امضا میشود. تنظیمات پیشفرض تمام دستهبندیها را حفظ میکنند. غیرفعال کردن یک دستهبندی، سوابق قدیمی را حذف نمیکند؛ فعال کردن مجدد آن نیز رویدادهای از دست رفته را بازسازی نمیکند. سوابق عملیاتی، سایر رویدادهای خدمات گروه و اسنپشاتهای صریح تاریخچه، جدا هستند. اشیاء تلگرام ضبطشده ممکن است صرفنظر از سوئیچهای بهروزرسانی جداگانه، متادیتای جاسازیشده را حفظ کنند. هنوز هیچ اولویتبندی دستهبندی بر اساس گروه وجود ندارد.
| مطالب | اکنون ضبط شد | مرز |
|---|---|---|
| پیام | متن، شناسههای همپیش/پیام، متادیتای فرستنده، پاسخها و پاکت بهروزرسانی اصلی | حفظ شده بهعنوان یک مشاهده قابل مشاهده برای حساب که توسط گردآورنده امضا شده است |
| ویرایش | نسخهٔ مشاهدهشدهٔ جدید، نسخههای ضبطشدهٔ قبلی، زمان دریافت و تاریخ ویرایش ارائهشده | بهروزرسانیهای پیام و ورودیهای موجود در لاگ ادمین، فیلدهای انتساب مربوطه را حفظ میکنند. |
| حذف | اخطار تلگرام، زمان دریافت و محتوای قبلاً ضبطشده | زمان اقدام بازیگر و منبع زمانی که توسط یک رکورد جداگانه در لاگ ادمین ارائه شوند، حفظ میشوند. |
| اطلاعیه حذف در سطح حساب | اخطار اصلی؛ سوابق حلشده شامل چت ذخیره شده و روش همبستگی هستند | نیاز به دقیقاً یک تطابق پیشتر ذخیره شده از گفتگوی خصوصی یا گروه عادی در محدوده دارد؛ سایر شناسهها در حالت deletion.unscoped باقی میمانند. شناسههای کانال و ابرگروه از این همبستگی مستثنی هستند. |
| واکنش | شمارندههای تحویلشده و هویتهای اخیر قابل مشاهده | برای دریافت فهرست کامل راکتورها باید پرسوجوهای جداگانهای انجام داد؛ کانالها ممکن است هویتها را پنهان کنند |
| عضویت | پیامهای سرویس و بهروزرسانیهای تحویلشده به شرکتکنندگان | دیدبانی بستگی به نقش و نوع چت دارد؛ عضویت از رویدادهای تحویلشده گزارش میشود. |
| اقدامات ادمین | بهروزرسانیهای مرتبط تحویلشده و یک نمای کلی از لاگ ادمین در خروجیهای چت کانال/ابرگروه | خروجی، در صورت موجود بودن، لاگ را برای حساب ادمین صادرکننده میخواند |
| پیوست | توضیحدهنده نسخه اصلی، بایتهای دانلودشده/SHA-256 و نتایج تلاشها | نسخه اصلی باقی میماند؛ نسخه بعدی هرگز جایگزین آن نمیشود |
| تاریخچه | اسکرینشات صریح پیامهای قابل مشاهدهٔ فعلی | ضبط زنده نسخههای قبلی و اعلانهای حذف را نگه میدارد |
| فرآیند جمعآوری | شروع/توقف، ضربان قلب، خطاها، تنظیمات، دامنه و رسید اجرای امضا شده | فهرست محلی؛ گیتهاب و TDX بررسیهای مستقل محیط را اضافه میکنند |
رابط کاربری نام حساب ارائهشده در رویداد منبع را نامگذاری میکند و نامهای مشاهدهشده و نامهای کاربری را حفظ میکند. وقتی رویداد عامل خود را حذف کند، گزارش آن فیلد را نامشخص باقی میگذارد.
ظرفیت و محدودیتهای تلگرام#
ظرفیت به ازای هر استقرار تعیین میشود. این ظرفیت به حداکثر رویدادها در ثانیه، حجم و اندازههای پیوستها، RPCهای اضافی، حسابهای فعال، تأخیر/فضای خالی دیسک، شرایط شبکه، محدودیتهای تلگرام، تأخیر قابل قبول و عمق صف بستگی دارد.
تلگرام بین تحویل غیرفعال و استعلام کوتاه فعال تمایز قائل میشود. مستندات بهروزرسانی آن، فراخوانیهای اضافی updates.getChannelDifference را برای کانالهای باز/ابرگروهها توصیف میکند و حداکثر ده منبع استعلامشده کوتاه همزمان را توصیه میکند. این موضوع در مورد استعلام کوتاه صدق میکند؛ تعداد گروههای منتخب به طور جداگانهای تنظیم میشود.
| حالت | هدف | وضعیت |
|---|---|---|
| مشاهده استاندارد | ثبت بهروزرسانیهای ارائهشده از منابع منتخب | پیادهسازی شد |
| بازبینیهای اولویتدار | منابع ستارهدار از بازه زمانی قابلتنظیم خود استفاده میکنند و در هر چرخه بازبینی محدود اولویت دارند. | پیادهسازی شده با پرسوجوهای تاریخچه و پیام |
ستاره اولویت این بازپروهها را کنترل میکند. فراخوانی کوتاه اضافی updates.getChannelDifference
بهعنوان یک حالت کاربری جداگانه در دسترس نیست.
نظرسنجی (polling) با فرکانس بسیار بالا، نادیده گرفتن FloodWait یا فرض ظرفیت خطی از حسابهای اضافی، یک مدل اندازهگیری معتبر نیست. محدودیتهای پیشفرض عبارتند از: اولین 1,000 دیالوگ فهرستشده، تا 500 پیام در هر اسنپشات تاریخچه، 1 تا 2,000 مگابایت برای هر فایل جمعآوریشده بر اساس نوع، و 4 گیگابایت محتوای فشردهنشده ZIP امضا شده؛ هر یک از این موارد بر اساس فضای کاری تغییر میکند، اندازههای فایل در ابزارهای بیشتر → منابع → ضبط و موارد دیگر در ابزارهای بیشتر → پارامترها قرار دارند. صادرات (Exports) محدودیت ثابت تعداد رویداد ندارند. پیشفرض بازگشت به مرورگر (Browser fallback) به 128 مگابایت محدود شده است؛ CLI پخش (streaming CLI) دارای یک محدودیت انتقال قابل پیکربندی است که پیشفرض آن 5 گیگابایت است.
اعتمادپذیری و بازیابی#
رفتار پیادهسازیشده شامل تراکنشهای همزمان WAL در SQLite؛ نوشتارهای اتمی پیام و وظایف رسانهای؛ وظایف پایدار و تأخیرهای تلاش مجدد؛ توصیهگرهای نسخه اصلی؛ تلاشهای مجدد محدود؛ منتظر ماندن (FloodWait) پایدار برای رسانهها؛ دانلود رسانهها خارج از زمان انتظار شبکهای رویداد متنی؛ خروجیهای پیشوند ثابت در حالی که نوشتارهای بعدی ادامه دارند؛ تنظیمات اتمی و سوابق حسابرسی؛ حفظ مجوز فعال پس از ورود مجدد ناموفق؛ ایزولهسازی یک فضای کاری اضافی آسیبدیده؛ تلاشهای صریح برای اتصال مجدد؛ گزارشدهی متمایز از از دست رفتن مجوز؛ و تشخیص تغییر بر اساس زمان واقعی با استفاده از یک ساعت مونوتونیک.
موقعیتهای حساب کاربری و کانال (pts/qts/seq) پس از راهاندازی مجدد ذخیره و از سر گرفته میشوند، و چتهای مشاهدهشده بهطور دورهای مجدداً بررسی میشوند؛ به فرمت شواهد مراجعه کنید. ذخیره دورهای موقعیت، یک تأیید اتمی و بدونازدسترفتن پذیرش دفترچه شواهد نیست.
هر شروع فرآیند، رکوردهای قبلی و مرز آفلاین را ثبت میکند. تاریخچهٔ جاری به عنوان ترمیم شکاف در نظر گرفته نمیشود. نگهداری تفاوتها در تلگرام محدود است؛
differenceTooLong نمیتواند تمام محتوای ناپدید شده را بازسازی کند. شکافهای غیرقابل بازیابی باید حتی اگر یک اسنپشات بعدی از تاریخچه موفق شود، صریح باقی بمانند.
مدل مدرک#
هر رویداد یک توالی، زمان مشاهده محلی UTC، زمان منبع در صورت ارائه، نوع، منبع، عامل در صورت ارائه، بار باری اصلی، هش و امضای قبلی را ثبت میکند. مشاهدات پیام همچنین زمینه حساب/اجرای گردآورنده را نیز حفظ میکنند.
رسید فرایند امضا شده حاوی شناسه اجرای تصادفی؛ نسخههای وابستگی TgWitness/Python/OS؛ مقادیر SHA-256 و اثر انگشت تجمیعی فایل منبع؛ حساب کاربری اولیه، دامنه و تنظیمات؛ خوانشهای مونوتونیک UTC؛ و سرآیند ژورنال قبلی است. تغییرات تنظیمات، شروع/توقف و خطاها در همان دفترچه ثبت میشوند. نقاط کنترل در هنگام راهاندازی، هر پنج دقیقه در حین مشاهده (قابل تغییر) و در هنگام توقف منظم، حفظ میشوند. یک نقطه کنترل محلی حفظشده میتواند بازگشت به یک پیشوند دفترچه قبلی را تشخیص دهد.
| مکانیزم | آنچه اثبات میکند |
|---|---|
| SHA-256 فایل | بایتها با هَش شناختهشده مطابقت دارند |
| زنجیره هش رویداد | ثبت ترتیب/ارتباط نسبت به یک مرز شناختهشده |
| Ed25519 | امضا زیر یک کلید خاص |
| نقطهٔ کنترل مستقل نگهداریشده | مطالب بعدی با مرز حفظشده مطابقت دارد |
| اندازهگیری فایل برنامه | گزارش خوداظهاری جمعآورنده دربارهٔ فایلهای اندازهگیریشده |
| پاسخ معتبر و مستقل TSA | وجود بایتهای خاص در زمان TSA تحت فرضیات اعتماد صریح |
آمادهسازی درخواست RFC 3161 و راستیآزمایی پاسخ بدون OpenSSL پیادهسازی شده است. حالت شواهد هشهای نقاط بازبینی را نیز به سرویسهای مهر زمانی پیکربندیشده میفرستد. پاسخ مرجع را نگه دارید و راستیآزمایی کنید تا لنگر زمانی مستقل به دست آید. ببینید TIMESTAMP.md.
نقطههای کنترل را بهطور مستقل حفظ کنید، دسترسی به کلیدهای امضا را کنترل کنید، سوابق انتقال را نگهداری کرده و خروجیها را با نرمافزار مورد اعتماد تأیید کنید. دامنه اعتبارسنجی توضیح میدهد که چگونه این بررسیها یکدیگر را تکمیل میکنند و کدام فرضیات اعتماد اعمال میشوند.
صادرات، استقرار و تحویل#
یک فایل ZIP امضا شده حاوی JSONL، CSV، HTML اصلی، پیوستهای حفظشده، هشها، یک مانیفست امضا شده و یک اعتبارسنجیکنندهٔ آسان است. این فایل یک فضای کاری و یک پیشوند ثابت و کامل برای دفترچه را پوشش میدهد. فیلترهای جستجو در پنل، رکوردها را بهصورت پنهان حذف نمیکنند. کلیدهای مخفی، توکنها و جلسات تلگرام حذف میشوند؛ مشاهدات اصلی همچنان میتوانند حاوی اطلاعات شخصی و متادیتای تلگرام باشند.
هَش زیپ، اثر انگشت مورد اعتماد، نقطه کنترل، رسید فرآیند و سوابق تحویل را جداگانه نگهداری کنید. به جای اعتماد صرف به کد اجرایی صرفاً به این دلیل که در فایل زیپ بررسیشده وجود دارد، از یک اعتبارسنج از یک نصب مورد اعتماد استفاده کنید.
رابط کاربری مرورگر بهصورت محلی و بدون Node.js، CDNها یا فونتهای خارجی عرضه میشود. یک توکن اپراتور نصب را کنترل میکند. دسترسی از راه دور به HTTPS یا تونل SSH نیاز دارد. تعاریف بومی پایتون و کانتینر فراهم شده است، همراه با نمونههای سرویس در پوشه deploy/؛ بررسیهای پلتفرم اجراشده بهطور جداگانه فهرست شدهاند.
فضای کاری پیشفرض از ریشه دادهها استفاده میکند؛ فضاهای کاری اضافی از profiles/<id>/ استفاده میکنند.
برای پشتیبانگیری، متوقف شدن فرآیند و مجموعه کامل دادهها/کلیدها لازم است. فایلهای فشرده (ZIP) شواهد، پشتیبانگیری از برنامه نیستند. اسرار میتوانند از یک کلید اصلی خارجی برای یک دایرکتوری داده جدید استفاده کنند؛ رمزگذاری دفترچه/رسانه توسط دیسک/حجم اپراتور فراهم میشود.
به CONNECTION-SECURITY.md و OPERATIONS.md مراجعه کنید.
معیارهای انتشار پایدار#
پیش از انتشار پایدار، مشخص کنید:
- گروههای خصوصی واقعی، ابرگروهها، انجمنها و کانالها با نقشهای اعضا/مدیر و تاریخچه پنهان/نمایان، شامل ورود/احراز هویت دو مرحلهای، لغو دسترسی و از دست دادن دسترسی.
- ویرایشها، حذفها، واکنشها، عضویت و رسانهها کنترلشده در برابر اقدامات شناختهشده.
- خرابی/قطعی فرایند/میزبان، خرابی دیسک/پر شدن دیسک، ارجاعات فایل منقضیشده، FloodWait، از دست رفتن شبکه، فایلهای خراب و بازگشت پایگاه داده به نسخه قبلی.
- استفادهٔ مستمر از چندین حساب با تأخیر اندازهگیریشده، صفها، حافظه و دیسک، شامل منابع بیصدا و پرصدا بهطور همزمان.
- وقفه بین پیشرفت وضعیت MTProto و پذیرش دفترچه.
- نصب تمیز روی ماتریس سیستمعامل/کانتینر هدف و بازیابی پشتیبان تأییدشده.
- بازبینی مستقل ادعاهای امنیتی، امضاها و انتساب/شواهد.
دسترسی پنل محدود در بخش دسترسیها و مجوزها توضیح داده شده است. از نسخه 0.6، TgWitness از TData حساب واحد محدود و واردات فایل حساب که در ACCOUNTS.md توضیح داده شده است، پشتیبانی میکند. قبل از انتشار، شرایط API تلگرام را مرور کنید. تحقیقات، مراجع و یافتههای پلتفرم در RESEARCH.md قرار دارند.