پزشکی قانونی و خانه هوشمند

خانه هوشمند و اهمیت آن در زندگی امروز

یک خانه هوشمند انواع خدمات اتوماسیون را بر اساس دستگاه های اینترنت اشیاء (IoT) متصل به هاب مرکزی یا درگاه ارائه می دهد، که می‌توانند از راه دور توسط کنترل کننده هایی مانند تلفن های هوشمند، تبلت ها و بلندگوهای هوشمند کنترل شوند.

هر دستگاه هوشمند خانگی یک سرویس مستقل را ارائه می دهد، در حالی که برنامه های همراه آن، که معمولاً روی تلفن های هوشمند نصب می‌شوند، می‌توانند برای کار و نظارت بر دستگاه استفاده شوند. علاوه بر تلفن های هوشمند، از بلندگوهای هوشمند مانند Google Nest Hub و Alexa می‌توان به عنوان کنترل کننده دستگاه های خانه هوشمند متصل به یک خانه هوشمند از طریق دستورات صوتی استفاده کرد.

داده های دستگاه هایی مانند بلندگوهای هوشمند، پوشیدنی های تناسب اندام، ضربان سازهای قلب و دستگاه های بیومتریک در دادگاه ها اغلب به عنوان مدرک مورد استفاده قرار می گیرند. به عنوان مثال، پرونده ای که توسط یک بلندگوی هوشمند ضبط شده است در اثبات بی گناهی مظنون به قتل در سال 2015 نقشی حیاتی داشت. در همان سال، سوابق یک ردیاب تناسب اندام برای اثبات نادرست بودن اظهارات مظنون استفاده شد. در سال 2017، داده های ضربان ساز به عنوان شواهدی برای اثبات تقلب در بیمه استفاده شد.

دستگاه های اینترنت اشیاء به اشکال مختلف در سیستم عامل های موجود مانند خانه های هوشمند، ساختمان های هوشمند، شهرهای هوشمند، مزارع هوشمند و سیستم های AMR وجود دارند. دستگاه های متعلق به هر سیستم عامل داده ها را در یک روش ذخیره سازی و مدیریت منحصر به فرد پردازش می کنند و به دلیل اتصال بین دستگاه ها، بین داده ها رابطه دارند. بنابراین، برای استفاده از این داده ها به عنوان شواهد، لازم است رابطه داده های دستگاه های متصل و همچنین هر دستگاه تجزیه و تحلیل شود.

در این مقاله، منابع و قالب داده های خانه هوشمند را شناسایی کرده و داده های مفید را طبقه بندی می کنیم. علاوه بر این، تجزیه و تحلیل همبستگی بین داده ها برای بدست آوردن داده های دقیق و متنوع را انجام می دهیم.

این مقاله بر استفاده از داده ها در تحقیقات پزشکی قانونی متمرکز است.

چارچوب ما برای پزشکی قانونی خانه هوشمند

شکل زیر، گردش کار تحقیقات پزشکی قانونی خانه هوشمند است و روند کار چارچوب ما را نشان می دهد. گردش کار با شناسایی عملکردهای دقیق هر دستگاه خانه هوشمند و انجام آزمایش هایی برای جمع آوری داده ها آغاز می شود. نمایه عملکردی هر دستگاه خانه هوشمند برای انجام آزمایش های کارآمد و تولید مصنوعات تحقیق، مهم است.

مرحله دوم شامل جمع آوری داده هاست. با توجه به تنوع دستگاه ها در یک خانه هوشمند، چندین روش استخراج داده، یکی برای هر دستگاه، باید در نظر گرفته شود. مرحله سوم شامل تجزیه و تحلیل داده های خانه هوشمند است. به طور خاص، تجزیه و تحلیل همبستگی در این مرحله برای شناسایی روابط بین داده های به دست آمده و رفتار کاربر انجام می شود. مرحله آخر شامل استفاده از داده های تجزیه و تحلیل شده در تحقیقات پزشکی قانونی است. در این مرحله، معنای هر منبع داده مشخص شده و داده هایی که باید با هم مرتبط شوند شناسایی می‌شوند.

• مشارکت ها

این مطالعه نشان می دهد که از انواع داده های خانه هوشمند می‌توان در تحقیقات پزشکی قانونی استفاده کرد و سناریوهای استفاده از پزشکی قانونی دیجیتال در دستگاه های خانه هوشمند را پیشنهاد می‌کند. به طور خاص، سهم این مطالعه به شرح زیر است :

1. شناسایی داده هایی که می‌توانند به عنوان شواهد پزشکی قانونی مورد استفاده قرار گیرند و ایجاد منابع این داده ها: داده ها براساس عملکردهای هر دستگاه خانه هوشمند شناسایی و طبقه بندی می‌شوند.
2. توصیف روش های استفاده از داده های تجزیه و تحلیل شده در برخی از سناریوهای خاص پزشکی قانونی: نمونه هایی از منابع داده در حالات پایان نامه ها شامل دستگاه ها و تجهیزات خانه هوشمند، حرکات، دستورات صوتی و سابقه تماس پاسخ های تصادفی است.
3. انجام تجزیه و تحلیل همبستگی برای به دست آوردن اطلاعات کاربر، از جمله زمان خاص رویداد و اطلاعات رفتار کاربر و استفاده از روابط بین عناصر داده در پزشکی قانونی دیجیتال.

جدول زیر داده های در نظر گرفته شده در این مطالعه را لیست می‌کند. “مورد” به برنامه یا لیست دستگاه در حالی که “منبع” است به داده اصلی اشاره دارد. “نوع داده” به قالب داده های به دست آمده اشاره دارد. یک سناریوی بالقوه که در آن می‌توان از این اطلاعات استفاده کرد، در ادامه و در بخش بهره برداری از داده های خانه هوشمند در پزشکی قانونی دیجیتال، بحث شده است.

کارهای مرتبط

تجزیه و تحلیل داده های تولید شده توسط خانه های هوشمند برای اهداف پزشکی قانونی شامل استخراج داده ها، تجزیه و تحلیل داده ها و برنامه ای با ابزار پزشکی قانونی برای انواع دستگاه ها مانند تلویزیون های هوشمند و بلندگوهای هوشمند است. توسعه چنین ابزارهای پزشکی قانونی، از جمله روش های شامل دستیابی به امتیازات ریشه، تصویربرداری قبلی، آزمایش، تصویربرداری پس از آن و مقایسه داده های باینری از پزشکی قانونی تلویزیون هوشمند برای ردیابی رفتار کاربر در مقاله ای با عنوان Study on Smart TV Forensics نوشته .Kang, H.-S.; Park, M.-S.; Kim, S.-J شرح داده شده است.

روشی برای استخراج داده ها از تلویزیون هوشمند با استفاده از تراشه های تعبیه شده کارت چند رسانه ای (eMMC) و برنامه های همراه در مقاله ای با عنوان Smart TV forensics: Digital traces on televisions نوشته ی A.Boztas، A.R.J.Riethoven، M.Roeloffs ارائه شده است.

استخراج و تجزیه و تحلیل داده ها از باندهای تناسب اندام Xiaomi Mi Band2 و Fitbit Alta HR برای نظارت بر فعالیت کاربر و خواب، همراه با طرح هایی برای بازیابی اطلاعات حذف شده در مقاله Forensic analysis for iot fitness trackers and its application نوشته S Kang, S Kim, J Kim شرح داده شده است.

لی و همکاران در مقاله IoT forensics: Amazon Echo as a use case یک مدل پزشکی قانونی مبتنی بر اینترنت اشیاء را ارائه دادند و آن را با استفاده از Amazon Echo تأیید کردند.

سیلا و همکاران در مقاله Manual IoT Forensics of a Samsung Gear S3 Frontier Smartwatch داده های ساعت هوشمند Samsung Gear S3 Frontier را به دست آوردند و مورد تجزیه و تحلیل قرار دادند.

با توجه به این مطالعات، تحقیق در مورد جمع آوری و تجزیه و تحلیل داده ها از کنترل کننده هایی که یک یا چند دستگاه را کنترل می کنند، به جای تجزیه و تحلیل صرف داده ها از یک دستگاه، انجام شده است.

گوكيلا و همكاران در مقاله I know what you did last summer: Your smart home Internet of Things and your iPhone forensically ratting you out مصنوعات نست را كه توسط آيفون توليد شده است بررسي كردند و ابزاري قانوني به نام سيستم تجزيه و تحليل شواهد قانوني را توليد كردند.

راهنمایی در مورد جمع آوری داده های پزشکی قانونی و تجزیه و تحلیل مصنوعات از +Securifi Almond، یکی دیگر از محیط های هاب خانه هوشمند، در مقاله Welcome pwn: Almond smart home hub forensics گزارش شده است.

آمازون اکو، یک اسپیکر هوشمند که به طور گسترده به عنوان کنترل کننده دستگاه هوشمند مورد استفاده قرار می گیرد، توسط یک ابزار اثبات مفهوم به نام جعبه ابزار اینترنت اشیاء پزشکی قانونی مورد تجزیه و تحلیل قرار گرفت و در مقاله Digital forensic approaches for Amazon Alexa ecosystem نوشته Chung, H.; Park, J.; Lee, S.  مورد بررسی قرار گرفته است.

داگلاس و همکاران اظهار داشتند که ارزش اثبات داده های آمازون اکو قابل توجه است و این مسئله در Alexa, did you get that? Determining the evidentiary value of data stored by the Amazon R Echo مطرح شده است.

فنسل و همکاران یک پلت فرم معنایی اینترنت اشیاء به نام OpenFrigde را پیشنهاد دادند که شامل فناوری های اینترنت اشیاء، وب و وب معنایی بود و کاربران را برای جمع آوری، پردازش، پیوند دادن و مشاهده داده های مختلف اینترنت اشیاء قادر می ساخت و در مقاله Contributing to appliances’ energy efficiency with Internet of Things, smart data and user engagement نوشته Fensel, A.; Tomic, D.K.; Koller, A.  مطرح شده است.

بسیاری از چارچوب های پزشکی قانونی دیجیتال برای حمایت از تحقیقات و ارائه رهنمودها ارائه شده است سایر مقالات نظر سنجی بر روی الزامات ، رویکردها و چالش های پزشکی قانونی اینترنت اشیاء متمرکز شده اند.

این مقاله برای استفاده از دستگاه های مختلف اینترنت اشیاء در تحقیقات پزشکی قانونی، دستگاه های جدیدی را که قبلاً مورد مطالعه قرار نگرفته اند، در نظر می گیرد. مطالعات موجود که بر روی تجزیه و تحلیل دستگاه های تک متمرکز است، استفاده از آنها در یک محیط خانه هوشمند متصل به دستگاه های مختلف اینترنت اشیاء دشوار است. در این مطالعه، ما تجزیه و تحلیل همبستگی را با استخراج داده های مختلف دستگاه های اینترنت اشیاء در خانه هوشمند انجام می دهیم و حالاتی را ارائه می دهیم که می‌توانند از داده های آنها در تحقیقات پزشکی قانونی دیجیتال استفاده کنند.

جمع آوری داده های تجربی از دستگاه های خانه هوشمند

شکل زیر محیط خانه هوشمند را که به منظور ساخت این امکان برای جمع آوری داده ها ساخته شده است، نشان می دهد. این محیط شامل Google Nest Hub ،یک Kasa Cam، یک سنسور چند منظوره SmartThings، یک سنسور حرکت SmartThings و یک SmartThings Outlet برای خانه های هوشمند می‌باشد.

مراحل زیر برای جمع آوری داده ها به اتمام رسیده است.

• الف- فعال سازی دستگاه ؛
• ب- بارگیری برنامه همراه و ثبت نام دستگاه ؛
• ج- شناسایی عملکردهای دستگاه ها ؛
• د- آزمایش دستگاه‌ها

The SmartThing Hub متصل به دستگاه های ارزان قیمت خانگی، به عنوان یک ایستگاه پایه برای تبادل داده بین دستگاه های خانگی عمل می‌کند. هر کیت خانه هوشمند که در این آزمایش به کار گرفته می شود می‌تواند به تنهایی یا همراه با یک بلندگوی هوشمند پشتیبانی شود. در این مطالعه، Google Nest Hub با توجه به محبوبیت خود به عنوان یک سخنران هوشمند استفاده شد. دستگاه های خانه هوشمند نصب شده توسط بلندگوی هوشمند با استفاده از دستورات صوتی یا برنامه در تلفن هوشمند قابل کنترل هستند. در جدول زیر دستگاه های به کار رفته در این آزمایش آورده شده است.

جدول زیر نیز ویژگی ها و عملکردهای هر دستگاه مورد استفاده در آزمایش ها را فهرست می‌کند. Google Nest Hub می‌تواند عناصر زیادی از خانه را از خروجی گرفته تا دوربین کنترل کند.

هاب به نمایشگر مجهز است و امکان مشاهده و کنترل دستگاه های متصل را در یک پنجره بدون نیاز به تعویض بین برنامه ها فراهم می‌کند. این صفحه همچنین می‌تواند فیلم ها را از دوربین های هوشمند، دوربین Kasa نشان دهد. امکان برقراری تماس بین تلفن هوشمند و Google Nest Hub از طریق تماس ویدیویی با برنامه Google Duo امکان پذیر است. Kasa Cam را می‌توان به صورت زنده تماشا کرد.

متناوبا، از سوی دیگر، اطلاعات اولیه را می‌توان با استفاده از برنامه Kasa Smart در تلفن هوشمند ضبط کرد. با تشخیص حرکت و صدا، دوربین اعلانی را به تلفن هوشمند ارسال می‌کند و فیلم را ذخیره می‌کند. این بادامک دارای میکروفون و بلندگوی داخلی است که امکان ارتباط دو طرفه را از طریق دوربین و برنامه همراه آن فراهم می‌کند. SmartThings Outlet می‌تواند روشن یا خاموش بودن برق را کنترل کند. سنسور چند منظوره SmartThings می‌تواند وضعیت باز و بسته و همچنین لرزش را تشخیص دهد. سنسور چند منظوره و سنسور حرکت می‌توانند دما را تشخیص دهند.

کسب اطلاعات از دستگاه های هوشمند خانگی

در این مطالعه، داده های برنامه همراه برای تلفن های هوشمند Android از دستگاه های خانه هوشمند جمع آوری شده است.

داده های Google Nest Hub از رابط برنامه نویسی برنامه (API) و صفحات وب بازگردانده شده توسط Google بدست آمده است.

• برنامه های همراه

تولید کنندگان دستگاه های خانه هوشمند برنامه های همراه هوشمد را فراهم می کنند که با آنها همگام سازی شده باشد.

دستگاه ها برای کنترل، مدیریت و پیکربندی دستگاه به دلیل ظرفیت ذخیره سازی محدود دستگاه های خانه هوشمند، اطلاعات مربوط به عملکرد این دستگاه ها به طور کلی در تلفن هوشمند در پوشه ای به نام بسته برنامه همراه در پارتیشن داده ذخیره می شود. در جدول زیر نام بسته ها و نسخه های برنامه های استفاده شده در این مطالعه آورده شده است. برنامه های SmartThings و SmartThings Classic از دستگاه های خانه هوشمند سامسونگ پشتیبانی می کنند.

برنامه SmartThings Classic یک نسخه قدیمی است و برنامه SmartThings یک نسخه جدید است.

• رابط وب گوگل

 از برنامه رابط وب گوگل  به نام My Activity برای تولید داده استفاده شده است، از جمله سابقه استفاده از سرویس برای برنامه هایی مانند YouTube ،Google Maps، مرورگر Chrome و برنامه های مختلف دیگر را دارد. از دستورات صوتی Google Nest Hub برای بدست آوردن داده های مربوط به استفاده از سرویس های Google استفاده شده است اما برای دسترسی به این برنامه، حساب گوگل لازم است.

مسیری که ما برای به دست آوردن داده های محصول Google در My Activity استفاده کردیم، “حساب Google> داده و شخصی سازی> بارگیری داده های خود” بود. مراحل زیر برای دستیابی به داده انجام شد:

الف- داده ها را انتخاب کنید.

داده های محصول در «برنامه اصلی» و «فعالیت من» ذخیره می شود. داده های برنامه خانگی فقط می‌توانند در قالب JSON صادرشوند، در حالی که داده های My Activity می‌تواند در قالب HTML یا JSON صادر شوند.

ب- قالب بایگانی را سفارشی کنید

پیوندی برای بارگیری داده ها می‌تواند از طریق ایمیل ارسال شود یا داده ها به یک درایو، Dropbox  One Drive یا Box اضافه شوند. نوع فایل یا .zip یا .tgz است. بایگانی های بزرگ را می‌توان به چندین پرونده تقسیم کرد.

ج- پرونده تولید شده

قالب نام فایل خروجی “YYYYMMDDThhmmssZ-number” است. در صورت تقسیم داده های بدست آمده در چندین پرونده ، قسمت “number” ترتیب را نشان می دهد. مهر زمان نام پرونده تنظیم شده است به UTC + 0.

• API خصوصی صفحه اصلی گوگل

برنامه صفحه اصلی گوگل امکان برقراری ارتباط API های محلی با دستگاه ها را فراهم می‌کند. در حالی که اکثر API ها به صورت عمومی در دسترس نیستند، ما با مراجعه به اسناد خصوصی که از طریق انجمن هایی مانند GitHub در دسترس هستند، نحوه استفاده از API ها را یاد گرفتیم. داده های Google Home با استفاده از روش HTTP API های محلی Google Home به دست آمده است.

از روش GET برای بدست آوردن داده ها از صفحه اصلی گوگل به جای روش POST استفاده شده است. مورد دوم عمدتا برای تغییر تنظیمات استفاده می شود. روش GET درخواست را از طریق مرورگر انجام می دهد. هنگامی که درخواست به URL پایه متصل شود و به سرور ارسال شود، داده های پاسخ را می‌توان در قالب JSON دریافت کرد. از آنجا که Google Home از پورت سرور 8008 استفاده می‌کند، درخواست را می‌توان به صورت http: // (google-home ip): 8008 / (درخواست) ارسال کرد. در اینجا می‌توانید IP Home Google را از طریق برنامه Google Home (Device Settings-Info) یا Google Nest Hub (تنظیمات سیستم) شناسایی کنید.

تجزیه و تحلیل داده های تولید شده توسط دستگاه های خانه هوشمند

این بخش تجزیه و تحلیل داده های به دست آمده از برنامه های همراه، رابط های وب و یک API را ارائه می دهد. به طور خاص، مسیر و محتوای ذخیره شده از داده های جمع آوری شده شناسایی و داده های مفید طبقه بندی شدند.

• برنامه های همراه

هر برنامه همراه می‌تواند یک دستگاه خانه هوشمند مربوطه را ثبت کند و هر زمان که دستگاه اقدامی را تشخیص داد ، سوابق فعالیت ایجاد شده را مدیریت کند. جدول زیر مسیر پرونده داده های ذخیره شده توسط برنامه های خانه هوشمند را لیست می‌کند.

1. Google Nest Hub

Google Nest Hub داده های مربوط به موقعیت مکانی، حساب ها، Wi-Fi SSID، گروه اصلی و دستگاه های ثبت شده را در تلفن هوشمند ذخیره می‌کند. اطلاعاتی مانند دستورات صوتی به عنوان بخشی از داده های برنامه ضبط نمی‌شوند.

فایل home.graph_Base64Encoding (حساب Google ) proto. ، که شامل گروه اصلی و اطلاعات دستگاه ثبت شده است، از یک بافر پروتکل رمزگذاری شده برای ذخیره داده ها استفاده می‌کند. بنابراین، رمزگشایی برای تأیید محتوا لازم است. رمزگشایی را می‌توان با استفاده از یک ابزار رمزگشایی آنلاین انجام داد.

سابقه تماس بین تلفن های هوشمند و Google Nest Hub به عنوان داده های برنامه duo ذخیره می شود.

در tachyon.db، [تاریخ_ فعالیت] سابقه تماس را ذخیره می‌کند. ستون other_id شماره تلفن طرف مقابل و ستون self_id شماره تلفن کاربر را ذخیره می‌کند.

Google Nest Hub همان شماره تلفن و حساب Google را تنظیم کرده است.

اگر other_id و self_id یکسان باشند، این بدان معنی است که تماس بین تلفن هوشمند و Google Nest Hub رخ می دهد. مقدار 1 در call_state نشان دهنده عدم موفقیت یک تماس است، در حالی که مقدار 2 به معنای موفقیت تماس است. مدت زمان تماس را می‌توان از داده های برنامه تماس اولیه بدست آورد.

2. Kasa Cam

دوربین TP-Link فیلم های ضبط شده توسط کاربران، یا به صورت خودکار هنگام تشخیص حرکت یا صدا را ذخیره می‌کند.

با توجه به محدودیت حافظه 1 گیگابایتی، سابقه ویدیو به صورت پیش فرض حداکثر تا دو روز کمتر از چهار ساعت فیلم  1080p ذخیره می شود. با این حال، داده های ویدیویی فقط در صورت بارگیری کاربران ذخیره می‌شوند. در غیر این صورت، فقط پرونده تصویر کوچک باقی می ماند.

قالب عنوان ویدیو “KC_Camera name_ddmmyyyy_msmsmsms.mp4” است و فایل های ویدیویی بارگیری شده در گالری ذخیره می‌شوند.

تصاویر کوچک یا فیلم ضبط شده هنگام تشخیص حرکت یا عکس برداری را هنگام مشاهده فیلم زنده از طریق برنامه تلفن هوشمند نشان می دهد. اولی یک فایل .PNG تولید می‌کند، در حالی که دومی یک پرونده .JPG ایجاد می‌کند. با این حال، از آنجا که پسوند تصویر کوچک ثبت شده در داده های برنامه 0 است، لازم است پس از بررسی امضا، پسوند را تغییر دهید تا بتوانید تصویر را مشاهده کنید.

دوربین مجهز به میکروفون و اسپیکر داخلی است که امکان ارتباط دو طرفه با دوربین و برنامه همراه تلفن  را فراهم می‌کند.

3. Samsung SmartThings

درب و سنسور حرکت SmartThings می‌تواند حالت باز و بسته شدن در، حرکت و دما را تشخیص دهد. با تغییر دما، سنسور داده های جدید را به یک تلفن هوشمند ارسال می‌کند و در آنجا ذخیره می شود. خروجی همچنین داده هایی را در مورد مصرف برق و حالت روشن یا خاموش بودن ثبت می‌کند.

4. برنامه کلاسیک SmartThings

فهرست راهنمای http شامل دو فایل bytes_hex_value.0 16 و bytes_hex_value.1 16 است.

پرونده bytes_hex_value.0 16 اطلاعات مربوط به پرونده bytes_hex_value.1 16 مانند نوع محتوای آن، وضعیت رمزگذاری و زمان سنجی را ذخیره می‌کند. اگر قسمت رمزگذاری محتوا وجود نداشته باشد، پرونده کدگذاری نمی شود.

اگر نوع پرونده Gzip bytes_hex_value.1 16  است ، یک فایل JSON را می‌توان با باز کردن فایل از آن بدست آورد. پرونده JSON شامل نام سنسور ، تاریخ ، زمان یونیکس و رویداد حسگر است. تاریخ به صورت UTC + 0 بیان می شود ، بنابراین ممکن است لازم باشد که به منطقه زمانی مورد نظر تبدیل شود.

5. برنامه SmartThings

بر خلاف برنامه Samsung SmartThings Classic، تمام داده های تولید شده توسط برنامه Samsung SmartThings در پایگاه داده ذخیره می‌شوند. در ActivityLogDb.db، [فعالیت ورود به سیستم] و [جدول دستگاه] حاوی گزارش فعالیت های حسگر است.

در CloudDb.db ستون های [دستگاه ها]، [گروه ها] و [مکانها] از پایگاه داده به ترتیب شامل دستگاه های ثبت شده ، اطلاعات گروه و موقعیت مکانی است. در Favorite.db ، [Favorite] حاوی دستگاه های دلخواه تنظیم شده توسط کاربر است. در InternalSettings.db ، [isettings] حاوی اطلاعات کاربر مانند نام کاربر و شناسه است. در NotificationDb.db و NotificationUIDb.db ، [پیام ها] و [messagesUI] حاوی اطلاعات اعلانی هستند که هنگام هشدار برنامه توسط تلفن هوشمند ایجاد می‌شوند.

• رابط وب Google

My Activity تاریخچه فعالیت کاربر را به ترتیب زمانی نشان می دهد. جزئیات مورد شامل دستورات صوتی، سوابق صوتی و پاسخ های Google Nest Hub، زمان، نوع دستگاه و مکان است. هر دستور به Google Nest Hub به عنوان یک فرمان صوتی ضبط می شود، اما ضبط صدا فقط برای دستورات صوتی وجود دارد.

مکان تعریف شده توسط طول و عرض جغرافیایی، موقعیت مربوط به Google Map را نشان دهد.

My Activity وصفحه اصلی Google داده های به دست آمده از وب با توجه به گزینه انتخاب شده در پرونده های MyActivity.json یا MyActivity.html ذخیره می شود. دایرکتوری های «دستیار» و «صوتی و صوتی» حاوی فایل های .mp3 از دستورات صوتی هستند.

قالب نام پرونده YYYY-MM- DD_hh_mm_fff_UTC.mp3 است.پرونده HomeApp.json شامل تمام داده های برنامه Google Nest Hub مانند ایمیل ها و خانه ها، اتاق ها و موقعیت مکانی و جزئیات دستگاه های نقشه برداری در اتاق ها است.

پرونده My Activity> Voice and Audio> MyActivity.json شامل اشیاءیی است که شامل یک هدر، عنوان، عنوانUrl، زمان، فایل های صوتی، محصولات و جزئیات می باشد. معنی هر مقدار به شرح زیر است:

سربرگ: هدف از دستور.

• عنوان: دستور کاربر ؛
• عنوان Url: نشانی اینترنتی پاسخ جستجو ؛
• زمان: زمان وقوع ؛
• فایل های صوتی : نام فایل صوتی ذخیره شده
• محصولات: دسته بندی
• جزئیات: دستور اقدام در داخل دستگاه.

پرونده My Activity> Assistant> MyActivity.json حاوی یک عنوان، عنوانUrl، زیرنویس، زمان، محصولات و مکان ها (نام ، آدرس اینترنتی) است. معنی هر مقداری که در بالا تعریف نشده است به شرح زیر است:

• زیرنویس: پاسخ به دستور کاربر

– نام: پاسخ به دستور کاربر ؛

– Url: نشانی اینترنتی پاسخ به جستجو  پرس و جو.

• مکان ها: اطلاعات مکان دستگاه

– نام: اقدام در داخل دستگاه ؛

– Url: آدرس Google Map موقعیت مکانی.

فهرست صوتی و صوتی نه تنها داده های صوتی پردازش شده توسط دستیار بلکه داده های مورد استفاده برای یادگیری صدا، مانند تطابق صدا را نیز ذخیره می‌کند.بنابراین دایرکتوری دستیار زیرمجموعه ای از فهرست صوتی و صوتی است، اما پرونده MyACtivity.json دستیار دقیق تر از صوت و صدا است.

•  API های خصوصی Google Home

داده های Google Nest Hub را می‌توان از طریق API های خصوصی و وب در قالب JSON بدست آورد.

در جدول زیر، API هایی که به عنوان مفید برای پزشکی قانونی دیجیتال در میان همه API های خصوصی Google Home انتخاب شده است، ذکر شده اند. نوع محتوای خروجی JSON است، بنابراین ما می‌توانیم داده ها را به راحتی از هم تفکیک کنیم.

توابع راه اندازی مجدد و تنظیم مجدد کارخانه، که می‌تواند به عنوان رویکردهای ضد پزشکی قانونی عمل کند، با استفاده از API های خصوصی Google Home در دسترس است. راه اندازی مجدد می‌تواند باعث از بین رفتن داده های باقیمانده در حافظه شود، در حالی که با تنظیم مجدد کارخانه، تمام اطلاعات از جمله حساب کاربری و اطلاعات تنظیمات و سایر موارد حذف می شود.

این دو عملکرد می‌تواند توسط مهاجمی که در همان شبکه Google Nest Hub است و آدرس IP آن را می داند، مورد سو استفاده قرار گیرد. توابع راه اندازی مجدد و تنظیم مجدد کارخانه با ابزارهایی مانند curl با استفاده از روش POST در دسترس هستند.

بهره برداری از داده های خانه هوشمند در پزشکی قانونی دیجیتال

این بخش سناریوهای احتمالی استفاده از داده های خانه هوشمند را که در بخش های قبلی در پزشکی قانونی دیجیتال شرح داده شده است، بیان می‌کند.

تمرکز بر روی داده های تولید شده توسط سنسور حرکت / درب و بلندگوی AI برای تشخیص نفوذ است. تجزیه و تحلیل همبستگی برای ارائه بینش در مورد معنی داده نشان داده شده است.

•  اطلاعات از دستگاه های خانه هوشمند

به دلیل کوچک سازی و تنوع دستگاه های خانه هوشمند، شناسایی مواردی که می‌توانند برای پزشکی قانونی دیجیتال مفید باشند دشوار است.

از اطلاعات پیکربندی یک خانه هوشمند می‌توان به عنوان پایه ای برای شناسایی دستگاه های خانه هوشمند استفاده کرد. پرونده .proto (برنامه Google Home) و پرونده HomeApp.json (برنامه Google My Activity) حاوی اطلاعاتی درباره خانه هوشمندی است که در اطراف Google Nest Hub سازماندهی شده است. پرونده ها می‌توانند جزئیاتی مانند نام خانه هوشمند، اطلاعات مربوط به هر اتاق و لیستی از دستگاه های نصب شده در هر اتاق را ارائه دهند. در Samsung SmartThings، اطلاعات دستگاه در جدول “دستگاه ها” cloudDb.db موجود است. بر اساس این جزئیات، محقق می‌تواند تصمیم بگیرد کدام دستگاه ها و داده ها را هدف قرار دهد.

•  اطلاعات مربوط به جنبش

داده های مربوط به حرکت می‌تواند به تعیین زمان حمله در صورت وقوع یک حمله کمک کند. به عنوان مثال، می‌توان از چنین داده هایی برای تعیین زمان واقعی حمله استفاده کرد و تشخیص داد که آیا صاحب خانه اظهار نادرستی کرده است.

سنسورهای چند منظوره SmartThings که می‌توانند به عنوان سنسور درب یا پنجره مورد استفاده قرار گیرند، حالت باز و بسته شدن اجسامی را که به آن متصل هستند تشخیص می دهند. داده های جمع آوری شده توسط هر یک از این قبیل حسگر در ActivityLogDb.db ثبت شده است

(برنامه SmartThings سامسونگ) و /cache/http/16bytes_hex_value.1

(برنامه Samsung Classic SmartThings) ،که شامل موارد زیر است:

شتاب سنسور: فعال / غیر فعال ؛

• وضعیت سنسور: باز / بسته

این داده ها می‌تواند اطلاعاتی راجع به اینکه شخص در یک زمان خاص در مکان خاصی بوده است یا مدت زمان اقامت، فراهم کند. داده های حرکت را می‌توان از دو دستگاه حسگر حرکت Samsung SmartThings و دوربین TP-Link بدست آورد. در SmartThings  Samsung، داده های سنسور حرکت مانند زمان شروع و پایان حرکت و دما در همان پرونده داده های سنسور چند منظوره ذخیره می‌شوند. دوربین TP-Link تصاویر کوچک فیلم های ضبط شده هنگام حرکت  را در / cache / image manager disk cache / 32bytes_hex_value.0 ذخیره می‌کند.

به عنوان مثال، این تصاویر کوچک می‌توانند اطلاعاتی در مورد ظاهر یا شکل مظنون در یک حادثه خانمان سوز ارائه دهند. با ترکیب اطلاعات سنسور حرکت و در، می‌توان تعیین کرد که شخصی وارد خانه شده یا از خانه خارج شده است. باز و بسته شدن سنسور درب قبل یا بعد از تشخیص حرکت نشان می دهد که شخصی به ترتیب وارد خانه شده یا از آن خارج شده است.

•  اطلاعات مربوط به دستورات صوتی

اطلاعات صوتی می‌تواند برای شناسایی بسیار مفید باشد.هنگام استفاده از دستورات صوتی برای کنترل دستگاه ها یا بازیابی اطلاعات، پرونده های صوتی تولید می‌شوند. این داده ها اطلاعاتی در مورد تاریخچه فعالیت و صدای کاربران ارائه می دهند. مثلا، فرض کنید شخصی به عنوان مظنون به جرم شناخته شده است، از یک دستور صوتی از Google Nest Hub می‌توان برای دستیابی به مسیرهای جنایت استفاده کرد.

محققان می‌توانند صدا را از طریق پرونده ضبط شده شناسایی کنند. از داده های فرمان صوتی همچنین می‌توان برای مقاصدی مانند تأیید اظهارات یا درک شرایط موجود در سایت استفاده کرد.

•  اطلاعات مربوط به تماس ها

گزارش های تماس کاربر، که شامل مدت زمان تماس و اطلاعات مربوط به طرف مقابل است، می‌تواند به عنوان شواهد بسیار مهمی مورد استفاده قرار گیرد.

اگر کاربری با Google Nest Hub گزارش تماس داشته باشد، محققان می‌توانندحدس بزنند که شخصی در آن زمان در خانه بوده است. برای ترتیب تماس بین Google Nest Hub و تلفن هوشمند، کاربر می‌تواند از عملکرد “با دستگاه های خانگی من تماس بگیرید” در برنامه Google Duo استفاده کند.

در این حالت، شماره تلفن های other_id و self_id در گزارش تماس برنامه Duo یکسان است. در صورت استفاده سعی می‌کند با استفاده از برنامه تماس سیستم پیش فرض با شماره تلفن همراه خود تماس بگیرد، تماس به پیام صوتی هدایت می شود. این به این معنی است که ورود تماس در برنامه تماس سیستم پیش فرض به شما امکان نمی دهد که آیا کاربر سعی کرده است با Google Nest Hub تماس بگیرد یا پست صوتی را بررسی کند.

در این حالت ، محققان باید برنامه پیش فرض تماس سیستم و داده های برنامه Google Duo را برای شناسایی اطلاعات مقایسه کنند.

هدف تماس اگر ضبط تماس در برنامه تماس سیستم پیش فرض وجود دارد اما در برنامه Google Duo وجود ندارد ، این بدان معنی است که تماس به پست صوتی متصل شده است. در غیر این صورت ، این نشان می دهد که کاربر سعی کرده است با Google Nest Hub تماس بگیرد.

شکل زیر منابع به دست آوردن انواع مختلف اطلاعات را تجسم می‌کند.

برنامه های Google Home ،SmartThings ،SmartThings Classic و Google Duo (اما نه برنامه Kasa Smart) به کاربران اجازه نمی دهند اطلاعات کاربر را در برنامه حذف کنند مگر اینکه برنامه یا حساب را حذف کنید. از این رو کاربران نمی‌توانند خودسرانه داده ها را دستکاری کنند. بنابراین، انتظار می رود منابع داده ای که در این مطالعه شناسایی شده اند برای ارائه شواهد قانع کننده در دادگاه ها مفید باشند.

نتیجه گیری و توسعه آینده

این مطالعه داده هایی را که می‌توان از تلفن های هوشمند، رابط وب Google و API های خصوصی Google Home بدست آورد، بررسی کرد. و مواردی را که می‌تواند برای تجزیه و تحلیل پزشکی قانونی دیجیتال مفید باشد، شناسایی کرد. برنامه های همراه نصب شده بر روی تلفن های هوشمند و جفت شده با دستگاه های هوشمند خانگی می‌توانند اطلاعات مربوط به موقعیت و مدل هر دستگاه را ارائه دهند.

سابقه فعالیت ثبت شده توسط هر دستگاه می‌تواند برای تحقیقات پزشکی قانونی مفید باشد. به عنوان مثال، گفته های مظنون را می‌توان از طریق حرکت، دما، فرمان و داده های صوتی تأیید کرد، که برای استنباط زمان وقوع یک واقعه نیز مفید هستند. این مطالعه منابع انواع مختلف داده های تولید شده توسط تعداد معینی از دستگاه های خانه هوشمند را شناسایی کرده است که می‌توانند برای تعیین ترتیب واقعی وقایع مورد بررسی قرار گیرند. کارهای آینده باید بر روی تجزیه و تحلیل طیف وسیعی از دستگاه های خانه هوشمند متمرکز باشد تا سناریوهای مختلف را در طول تحقیقات پزشکی قانونی پوشش دهد، زیرا نوع و مقدار داده تولید شده توسط دستگاه های خانه هوشمند در تولید کنندگان و مدل های دستگاه متفاوت است. علاوه بر این، تحقیقات پزشکی قانونی حافظه فیزیکی دستگاه های خانه هوشمند را باید شامل شود.