اصل مطلب
گزارش واحد فنی در چند ماه گذشته نشان میداد که افزایش تعداد کاربران رایچت باعث ترافیک سنگین و بروز اختلالهایی در خدمترسانی شده بود. به همین علت، تصمیم بر این شد تا پیش از ارائه نسخه جدید، بروزرسانی زیرساختها و سرورهای رایچت در اولین اولویت قرار گیرد.
اما بروز برخی اتفاقها نهتنها باعث تاخیر در روند تکمیل این فرآیند شد، بلکه خدمترسانی رایچت را نیز دچار مشکل کرد. اکنون میخواهیم مروری بر این روزها داشته باشیم که با وجود سختیهای بسیار در سایه مهر و دلگرمی شما سپری شد. در این مطلب با پاسخ به برخی سوالهای شما در مورد اقدامات صورت گرفته، صحبت میکنیم.
چرا سرویسدهی رایچت در دو ماه گذشته همراه با اختلال بود؟
اجازه دهید برای پاسخ به این سوال، کمی عقربههای ساعت را به عقبتر برگردانیم. روزهایی که رایچت به جهت ارائه سرویس پایدار در وضعیت بروزرسانی و بهبود زیرساختها قرار داشت.
23 دسامبر، 3 دی
در این روز، رایچت یک تهدید سایبری را پشت سر گذاشته بود. پس از این اتفاق، دیکریپشن چتها یکی از مهمترین کارهایی بود که باید انجام میگرفت، چون تمامی چتها به جهت جلوگیری از آسیب دیتا اینکریپت شده بودند. بازیابی این حجم از اطلاعات در حین بروزرسانی و بهبود زیرساختها کار بسیار زمانبر و سختی بود.
31 ژانویه، 12 بهمن
در حالی که بازیابی دیتا مراحل پایانی خود را سپری میکرد. در ساعت 11:00 صبح 31 ژانویه گزارش جدیدی از واحد فنی دریافت شد که نشان میداد مشکلی در دیتابیس رایچت رخ داده است.
در ساعت 11:22 باب دیاچنگو محقق امنیت سایبری نیز در یک توییت، گزارشی از دسترسی غیرمجاز به دیتای رایچت را منتشر کرد.
چرا توییت اطلاعرسانی با تاخیر منتشر شد؟
پس از این اتفاق، بررسیها و اقدامهای اولیه کمی زمانبر بود. شما میتوانید جزئیات اقدامات صورت گرفته در این فاصله زمانی را در بخش تایملاین واحد فنی مشاهده کنید.
توییت اطلاعرسانی با تاخیر در ساعت 4:47 منتشر شد. در این توییت، ضمن اطلاعرسانی از کاربران خواسته شده بود تا گزارشهای بعدی رایچت را برای دریافت اطلاعات کاملتر دنبال کنند.
چرا اطلاعرسانی پس از یک ماه صورت گرفت؟
تهدید سایبری 23 دسامبر و توییتهای منتشر شده در رابطه با اینکریپت دیتا به علت شباهتهای موضوعی با توییت اطلاعرسانی جدید باعث ایجاد یک سوءتفاهم شد.
برخی از کاربران تصور کردند که دسترسی غیر مجاز در 31 ژانویه همان اتفاقیست که در 23 دسامبر رخ داده و ما با پنهان کاری، گزارش ناقصی را ارائه کردهایم. در حالی که هیچ ارتباطی بین این دو اتفاق وجود نداشت.
ما همیشه شفاف و مسئولانه پاسخگو بودهایم، چون رایچت با همراهی و حمایت شما ساخته شده است. به همین دلیل، توییت دوم در ساعت 5:28 در راستای توضیح این موضوع منتشر شد.
چرا ایمیل تغییر رمز عبور ارسال شد؟
ایجاد رمزهای عبور قوی و منحصر به فرد یکی از مهمترین توصیههایی است که متخصصان امنیت سایبری به طور مداوم به آن اشاره میکنند. در حالی که اغلبِ این توصیهها نادیده گرفته میشوند.
با وجودی که دیتا در رایچت به شکل رمزگذاری شده نگهداری میشود، اما حفظ امنیت و حریم خصوصی کاربران برای ما از اهمیت زیادی برخوردار است. به همین منظور، یکی از درخواستهای اولیه از کاربران در تهدید سایبری 23 دسامبر و دسترسی غیر مجاز به دیتای رایچت در 31 ژانویه نیز تغییر رمز عبور بود. این اطلاعیه از طریق ایمیل به کاربران ارسال گردید.
در ساعت 18:26 اطلاعیه ارسال ایمیل تغییر رمز عبور همراه با یک هشدار امنیتی توییت شد. در این توییت ضمن شرح کامل این موضوع توضیح داده شد که هیچ لینکی مبنی بر تغییر رمز عبور در ایمیل وجود ندارد. همچنین از کاربران خواسته شد تا در صورت دریافت ایمیل مشکوک، آدرس ایمیل را به رایچت گزارش دهند.
بیانیهی رایچت
گام بعدی، انتشار بیانیه رایچت با مضمون شفافیت و پاسخگویی مسئولانه به کاربران و مشتریان بود. در این بیانیه ضمن عذرخواهی از همه مشتریان و کاربران رایچت شرح داده شد که هرگونه اطلاعات در مورد امنیت دیتای کاربران و مشتریان همانند گذشته به اشتراک گذاشته شود.
گزارشهای واحد فنی پس از شناسایی دسترسی غیر مجاز
گزارش اولیه واحد فنی
- در تمامی سرورهای رایچت قوانین محدودیت دسترسی اعمال شد.
- سرورهای کلاستر پایگاه داده به جهت آنالیز از دسترس خارج شدند.
- سرورهای پشتیبان پایگاه داده از لحاظ رخنه امنیتی بررسی گردید.
- تمامی سرویسهای رایچت به سرورهای پشتیبان وصل شد.
- محدودیتها تحت نظارت مانیتورینگ به جهت بررسی هر گونه اعمال مشکوک به تدریج برداشته شدند.
- پس از تجزیه و تحلیل جزئیات (12 ساعت تحقیق و بررسی) کلاستر پایگاه داده ایمن و دیتابیس بازیابی شد.
تایملاین واحد فنی
- 11:00 موضوع شناسایی شد.
- 11:05 محدودیتها اعمال شد.
- 11:30 بررسی سرور پایگاه داده پشتیبان انجام شد.
- 12:00 سرویسها به سرورهای پشتیبان وصل شدند.
- 13:00 دسترسیهای خارجی به خدمات رایچت محدود شد.
- 15:00 به تدریج دسترسیهای خارجی به سرویسهای رایچت قطع شد.
- 23:00 بررسی امنیت کلاستر به پایان رسید.
- 05:00 پایگاه داده در کلاستر بازیابی شد.
- 09:00 رایچت دوباره در کلاستر پایگاه داده فعال شد.
چه مشکلاتی باعث بروز این اتفاق شد؟
پس از بررسیهای واحد فنی و صحبت با باب دیاچنگو، دو مورد مشخص گردید:
- پیکربندیهای نادرست در فایروالها انجام شده بود.
- سرورهای پایگاه داده دارای IP پابلیک بودند.
چه اقداماتی در بازه زمانی 1 فوریه تا 15 فوریه انجام گرفت؟
- بررسی مجدد تنظیمات تمام فایروالها در تمامی سرورهای رایچت
- بررسی مجدد تنظیمات فایروال در کلاستر پایگاه داده
- انتقال سرورهای پایگاه داده به یک شبکه خصوصی مجازی
- ارزیابی اطمینان از احراز هویت کلیدی روی مجموعه رپلیکاها (replica) به جهت جلوگیری از اتصال اعضا به اینستنسهای احراز هویت نشده مونگو (mongo)
- بررسی و بروزرسانی پالیسیها و جلوگیری از استفاده رمز عبور به عنوان متن ساده در کانکشن استرینگها (کامندلاین)
- ارزیابی اطمینان از ذخیره تمامی اعتبارنامهها (credentials) به عنوان متغیرهای محیطی در سیستمعامل
- راهاندازی سیستم اعتبار سنجی به جهت دسترسی ایمن به سرورها
چرا رایچت چند روز از دسترس خارج شد؟
پس از بررسیهای واحد فنی یک تاخیر تصادفی در شبکهی شارد اصلی و ثانویه (مستقر در دو دیتاسنتر مختلف) مشاهده شد. تشخیص این مورد به خاطر تصادفی بودن اختلالها در شبکهی دیتاسنترها کار را سختتر میکرد، تا اینکه از طریق اسکریپت مجزای مانیتورینگ و لاگهای بین سرویس اصلی و سرویس جایگزین شناسایی شد.
در روشهای تکنیکال، خطاهای تصادفی مونگو دیده شد که این خطاها بسیار کلی بودند. اسکریپت، متریکهای اختصاصی و مشخصی را ایجاد میکرد که در Prometheus و Grafana ذخیره شده بودند.
همچنین، تست سرعت نشان داد که سرعت بین سرویسها و اینیستنس مونگو در حدود 4 گیگابیت بر ثانیه و مابین سرویس اصلی و ثانویه ۵ گیگابیت بر ثانیه است. این تست به علت گزارش لحظهای نمیتوانست پیش نمایش کاملی را از وضعیت شبکه را ارائه دهد.
روند بررسی باگهای گزارش شده
- لینک ابزارک اختصاصی: برطرف شد.
- تنظیم تعداد پیامهای هوشمند: برطرف شد.
- ابزارک نشان داده شود/نشود: برطرف شد.
- خروجی آرشیو مکالمهها: در حال بررسی است.
- اختلال در اتصال به تلگرام: برطرف شد.
- اختلال در بارگذاری برخی مکالمهها: برطرف شد.
- اپ اندروید: بررسی تا آخر هفته ادامه دارد.
اقداماتی که در دستور کار قرار گرفته است
- افزایش دسترسی به تمامی خدمات رایچت در دیتاسنترهای مختلف
- ریکاوری پلن و کار روی یک طرح بهبودی در برابر تهدیدهای سایبری
- افزودن پلن باگ بانتی برای بررسیهای امنیتی سیستم توسط متخصصان و هکرهای کلاه سفید
در این مطلب با شرح جزئیات از روزهای گذشته سعی کردیم تا شما را در جریان کارهای انجام شده قرار دهیم. ما در رایچت با تمام دل و جان تلاش میکنیم تا با ارائه یک سرویس پایدار همراه با بروزرسانیهای مستمر، اطمینان خاطر و رضایت شما را فراهم کنیم. انتقادها و پیشنهادهای شما نیز در این راه به ما کمک میکند تا سریعتر به این هدف برسیم.
