علیرضا عابدینی
کارشناس ارشد فناوری اطلاعات و مدرس کامپیوتر

رودررویی موتورهای جستجوگر و سیاه چاله های اینترنتی

دوره های شبکه، برنامه نویسی، مجازی سازی، امنیت، نفوذ و ... با برترین های ایران

||http://tosinso.com/files/get/4e9159ea-5e11-4c43-bd11-8f68b54087b8||
!!! شرحی بر موتورهای جستجو گر و سیاه چاله های اینترنتی
--
موتورهای جستجوگر اینترنتی برنامه هایی هستند که با استفاده از کلمات کلیدی ای که در فایلها و صفحات وب وجود دارد، اقدام به پیدا کردن اطلاعات مورد نظر کاربر پرداخته. تمام تلاش کمپانی های فعال در این حوزه این بوده که با استفاده از الگوریتم ها و سیاست های مختلف بتوانند نتایج بهتر و سالمتر و امنتری را در سریعترین زمان که به خواسته کاربر نزدیکتر باشد، فراهم کنند.موتورهای جستجوگر را می توان به دسته کلی تقسیم کرد، موتورهای جستجوی پیمایشی، فهرست‌های تکمیل‌دستی و ابر جستجوگر ها.
!!! موتورهای جستجوی پیمایشی
--
 با پیمایش و رصد وب، اقدام به ذخیره سازی اطلاعات مربوطه می کنند و اطلاعاتی از قبیل عنوان، محتوا و موارد دیگر صفحه را در فهرست خود لیست می کنند و سپس از طریق ایندکس گذاری، جستجوی آنها را برای کاربران با سرعت بیشتر فراهم می کنند. این روشیست که موتور جستجوگر قدرتمند و محبوب گوگل از آن استفاده می کند، بطوریکه می توان گفت گوگل، تعداد 130 تریلیون صفحه را ایندکس گذاری کرده که نسبت به سال 2013 که برابر با 100 تریلیون صفحه بود، رشد قابل توجه ای داشته. البته گوگل اقدامات زیادی رو هم جهت امن سازی جستجو گر خود انجام داده تا نتایج امنتر و سالمتری را در اختیار کاربر قرار دهد، بطور نمونه گوگل با استفاده از سرویس Safe Browsing ، به شما خواهد گفت، وب سایتی که باز کرده اید، آیا یک سایت مزاحم است یا نه. گوگل وب سایت هایی را که سیاست های این شرکت را در حوزه های ، فیشینگ و موارد مشابه رعایت نکرده اند را بعنوان وب سایت های ناامن شناخته و هرگاه کاربر این وب سایت را باز کند ، از سمت گوگل برای کاربر تا موقعیکه داخل آن سایت هست، پیغامی در غالب هشدار ظاهر شده که این وب سایت ، یک سایت نا امن و بد نام است.گوگل در این راستا چیزی در حدود دو میلیارد تبلیغات بد را در سال ۲۰۱۶ شناسایی و حذف کرد که تقریبا دو برابر سال ۲۰۱۵ است. این تبلیغات، آگهی های نامناسب در اینترنت است که موجبب سوء استفاده از کاربران می شود. 
!!! موتورهای جستجوی فهرست تکمیل دستی
--
در این موتورها، کاربر صفحه خود را از طریق ویراستارهای موجود در فهرست وارد می کند.  
نکته : برخی از موتورهای جستجوگر همانند msn بصورت ترکیبی از هر دو روش فوق برای جستجو استفاده می کند.
!!! ابر جستجوگرها
--
این موتورهای جستجوگر با ترکیب نتایج حاصل از جستجو در چند جستجوگر و بر اساس الگوریتم موجود، اقدام به نمایش نتیجه مربوطه می کند.به  عنوان نمونه Dogpile که از نتایج جستجوی موتورهای Google - Yahoo - MSN و ASK استفاده می کند. 
||http://tosinso.com/files/get/3cf6ec30-c1ae-4272-934a-4c2eadf44bd6||
اما برگردیم به موضوع اصلی، یعنی سیاه چاله های اینترنتی، باید توجه داشته باشید صفحات اینترنتی که توسط موتورهای جستجوگر یافت می شوند ، تنها درصد بسیار پایینی از صفحات وب موجود در فضای اینترنت هستند، شاید در حالت خوش بینانه این مقدار زیر 10 درصد بوده و بعبارتی چیزی در حدود 90 درصد از اینترنت را ما نمی بینیم و یا بعبارتی توسط موتورهای جستجوگر به دلایل مختلف، یافت نمی شوند. این دلایل می تواند فنی باشد، بطور مثال، گوگل با استفاده از الگوریتم های امنیتی که برای خود دارد، صفحات مشکوک و یا تبلیغات تقلبی را نمایش نمی دهد و یا  توانایی لازم برای شناسایی و ایندکس کردن اطلاعات وب ندارند. دقیقا مشکل موضوع همین جاست، فضایی که صفحات ایندکس نمی شوند و موجب ایجاد فضایی رو می کنند که از آن به سیاه چاله‌های اطلاعاتی اسم می برند و با توجه به وضعیت موجود و رشد روزافزون صفحات وب و وبلاگ ها، اندازه این سیاه چاله ها بزرگ و بزرگتر می شود.
||http://tosinso.com/files/get/bd9b6eb9-31ee-467b-93f0-24fbc03b5922||
بزرگ شدن سیاه چاله ها، موجب خورده شدن صفحات وب سالم و کاربردی شده، بطوریکه اطلاعات سالم در این لایه ها گیر افتاده و موتورهای جستجوگر با الگوریتم های فعلی، توانایی شناسایی آنها را نخواهند داشت.
!!! نمونه هایی از افزایش حجم سیاه چاله ها
--
بطور نمونه طی تصمیم جدیدی که مارک زاکربرگ گرفته، قصد دارد با تدوین سیاست های جدید، مانع نمایش محتوای شبکه‌های اجتماعی در نتایج جستجوی گوگل شود. شبکه های اجتماعی ای که بخش بزرگی از محتوای اینترنت را تشکیل می دهند و حاوی اطلاعات بسیاری هستند، به‌طوری‌که بر اساس آمار، بیش از ۳۱ درصد از کاربران اینترنت حداقل یک حساب کاربری در یکی از شبکه‌های اجتماعی موجود دارند. برای مثال در فیس‌بوک، توییتر و اینستاگرام هر دقیقه بیش از ۴ میلیون پست ایجاد می‌شود و در همین بازه‌ی زمانی در مجموع بیش از ۴۰۰ ساعت ویدیو در یوتیوب آپلود می‌شود. حال فرض کنید، این حجم ازاطلاعا ت دیگر قابل جستجو توسط موتورهای جستجوگر نباشد و نهایت اینکه به همین حجم به سیاه چاله ها اضافه شده.
||http://tosinso.com/files/get/d00105b8-76c7-4170-a6ae-dc1239b7a5ae||
مورد بعدی ، اطلاعات موجود در اپلیکیشن‌ها بوده که در گوشی های هوشمند در انواع و اقسام مختلف وجود دارند و قوانین حاکم بر آنها هنوز مربوط به سال ۲۰۰۷ و تولد گوشی‌های هوشمند بوده، لذا محتوای آنها به این دلیل که جستجوگرها، تنها به مرورگرها محدود شده‌اند و نمی‌توانند خارج از دنیای مرورگرهایی که خود یک اپلیکیشن هستند، حرکت کنند، قابل ایندکس شدن نبوده و نتیجه اینکه این محتوا هم ، بخشی از سیاه چاله ها رو تشکیل می دهد.
||http://tosinso.com/files/get/094dbbb5-c70f-4cde-9669-55631cc426f1||
تولید و رواج صفحات وب یک صفحه ای، به دلیل اینکه محتوای آنها درون تگ های HTML قرار می گیرند و پشت کد‌های جاوا اسکریپت هستند، قایل شناسایی توسط موتورهای جستجوگر نبوده و این حجم از اطلاعات هم که روز به روز در حال گسترش است، به سیاه چاله های اینترنتی اضافه خواهد شد.
||http://tosinso.com/files/get/195903c8-9c98-4218-a12f-37deb80f5fa4||
و مواردی این چنینی که موجب بزرگ شدن و فربه شدن سیاه چاله های اینترنتی می شود، بسیار است. شاید آینده، جنگ ما بین موتورهای جستجوگر و سیاه چاله ها باشد. جنگی که در یک طرف آن، جستجوگرهایی هستند که تمام تلاش خود را می کنند تا بهترین خدمات رو به مشتریان و کاربران خود ارائه دهند و از طرف دیگر محتواهایی هستند که با گم شدن در فضای اینترنت، قابل جستجو نیستند. اطلاعاتی که در فضا و خلا بسر می برند تا اینکه روزی توسط موتورهای جستجو شناسایی و پیدا شوند و این حجم از اطلاعات کم نیستند، 90 درصد از محتوای کل فضای اینترنت که رو به افزایش هم می باشند. شاید نیاز به یک اجماع و تصمیم متمرکز از جانب یک موسسه بین المللی برای استاندارد سازی این اطلاعات باشد.

نویسنده : علیرضا(ARAF)
منبع : ITPRO
هرگونه نشر و کپی برداری بدون ذکر منبع و نام نویسنده دارای اشکال اخلاقی می باشد.

شرحی بر موتورهای جستجو گر و سیاه چاله های اینترنتی


موتورهای جستجوگر اینترنتی برنامه هایی هستند که با استفاده از کلمات کلیدی ای که در فایلها و صفحات وب وجود دارد، اقدام به پیدا کردن اطلاعات مورد نظر کاربر پرداخته. تمام تلاش کمپانی های فعال در این حوزه این بوده که با استفاده از الگوریتم ها و سیاست های مختلف بتوانند نتایج بهتر و سالمتر و امنتری را در سریعترین زمان که به خواسته کاربر نزدیکتر باشد، فراهم کنند.موتورهای جستجوگر را می توان به دسته کلی تقسیم کرد، موتورهای جستجوی پیمایشی، فهرست‌های تکمیل‌دستی و ابر جستجوگر ها.

موتورهای جستجوی پیمایشی


با پیمایش و رصد وب، اقدام به ذخیره سازی اطلاعات مربوطه می کنند و اطلاعاتی از قبیل عنوان، محتوا و موارد دیگر صفحه را در فهرست خود لیست می کنند و سپس از طریق ایندکس گذاری، جستجوی آنها را برای کاربران با سرعت بیشتر فراهم می کنند. این روشیست که موتور جستجوگر قدرتمند و محبوب گوگل از آن استفاده می کند، بطوریکه می توان گفت گوگل، تعداد 130 تریلیون صفحه را ایندکس گذاری کرده که نسبت به سال 2013 که برابر با 100 تریلیون صفحه بود، رشد قابل توجه ای داشته. البته گوگل اقدامات زیادی رو هم جهت امن سازی جستجو گر خود انجام داده تا نتایج امنتر و سالمتری را در اختیار کاربر قرار دهد، بطور نمونه گوگل با استفاده از سرویس Safe Browsing ، به شما خواهد گفت، وب سایتی که باز کرده اید، آیا یک سایت مزاحم است یا نه. گوگل وب سایت هایی را که سیاست های این شرکت را در حوزه های ، فیشینگ و موارد مشابه رعایت نکرده اند را بعنوان وب سایت های ناامن شناخته و هرگاه کاربر این وب سایت را باز کند ، از سمت گوگل برای کاربر تا موقعیکه داخل آن سایت هست، پیغامی در غالب هشدار ظاهر شده که این وب سایت ، یک سایت نا امن و بد نام است.گوگل در این راستا چیزی در حدود دو میلیارد تبلیغات بد را در سال ۲۰۱۶ شناسایی و حذف کرد که تقریبا دو برابر سال ۲۰۱۵ است. این تبلیغات، آگهی های نامناسب در اینترنت است که موجبب سوء استفاده از کاربران می شود.

موتورهای جستجوی فهرست تکمیل دستی


در این موتورها، کاربر صفحه خود را از طریق ویراستارهای موجود در فهرست وارد می کند.

نکته : برخی از موتورهای جستجوگر همانند msn بصورت ترکیبی از هر دو روش فوق برای جستجو استفاده می کند.

ابر جستجوگرها


این موتورهای جستجوگر با ترکیب نتایج حاصل از جستجو در چند جستجوگر و بر اساس الگوریتم موجود، اقدام به نمایش نتیجه مربوطه می کند.به عنوان نمونه Dogpile که از نتایج جستجوی موتورهای Google - Yahoo - MSN و ASK استفاده می کند.


||http://tosinso.com/files/get/4e9159ea-5e11-4c43-bd11-8f68b54087b8||
!!! شرحی بر موتورهای جستجو گر و سیاه چاله های اینترنتی
--
موتورهای جستجوگر اینترنتی برنامه هایی هستند که با استفاده از کلمات کلیدی ای که در فایلها و صفحات وب وجود دارد، اقدام به پیدا کردن اطلاعات مورد نظر کاربر پرداخته. تمام تلاش کمپانی های فعال در این حوزه این بوده که با استفاده از الگوریتم ها و سیاست های مختلف بتوانند نتایج بهتر و سالمتر و امنتری را در سریعترین زمان که به خواسته کاربر نزدیکتر باشد، فراهم کنند.موتورهای جستجوگر را می توان به دسته کلی تقسیم کرد، موتورهای جستجوی پیمایشی، فهرست‌های تکمیل‌دستی و ابر جستجوگر ها.
!!! موتورهای جستجوی پیمایشی
--
 با پیمایش و رصد وب، اقدام به ذخیره سازی اطلاعات مربوطه می کنند و اطلاعاتی از قبیل عنوان، محتوا و موارد دیگر صفحه را در فهرست خود لیست می کنند و سپس از طریق ایندکس گذاری، جستجوی آنها را برای کاربران با سرعت بیشتر فراهم می کنند. این روشیست که موتور جستجوگر قدرتمند و محبوب گوگل از آن استفاده می کند، بطوریکه می توان گفت گوگل، تعداد 130 تریلیون صفحه را ایندکس گذاری کرده که نسبت به سال 2013 که برابر با 100 تریلیون صفحه بود، رشد قابل توجه ای داشته. البته گوگل اقدامات زیادی رو هم جهت امن سازی جستجو گر خود انجام داده تا نتایج امنتر و سالمتری را در اختیار کاربر قرار دهد، بطور نمونه گوگل با استفاده از سرویس Safe Browsing ، به شما خواهد گفت، وب سایتی که باز کرده اید، آیا یک سایت مزاحم است یا نه. گوگل وب سایت هایی را که سیاست های این شرکت را در حوزه های ، فیشینگ و موارد مشابه رعایت نکرده اند را بعنوان وب سایت های ناامن شناخته و هرگاه کاربر این وب سایت را باز کند ، از سمت گوگل برای کاربر تا موقعیکه داخل آن سایت هست، پیغامی در غالب هشدار ظاهر شده که این وب سایت ، یک سایت نا امن و بد نام است.گوگل در این راستا چیزی در حدود دو میلیارد تبلیغات بد را در سال ۲۰۱۶ شناسایی و حذف کرد که تقریبا دو برابر سال ۲۰۱۵ است. این تبلیغات، آگهی های نامناسب در اینترنت است که موجبب سوء استفاده از کاربران می شود. 
!!! موتورهای جستجوی فهرست تکمیل دستی
--
در این موتورها، کاربر صفحه خود را از طریق ویراستارهای موجود در فهرست وارد می کند.  
نکته : برخی از موتورهای جستجوگر همانند msn بصورت ترکیبی از هر دو روش فوق برای جستجو استفاده می کند.
!!! ابر جستجوگرها
--
این موتورهای جستجوگر با ترکیب نتایج حاصل از جستجو در چند جستجوگر و بر اساس الگوریتم موجود، اقدام به نمایش نتیجه مربوطه می کند.به  عنوان نمونه Dogpile که از نتایج جستجوی موتورهای Google - Yahoo - MSN و ASK استفاده می کند. 
||http://tosinso.com/files/get/3cf6ec30-c1ae-4272-934a-4c2eadf44bd6||
اما برگردیم به موضوع اصلی، یعنی سیاه چاله های اینترنتی، باید توجه داشته باشید صفحات اینترنتی که توسط موتورهای جستجوگر یافت می شوند ، تنها درصد بسیار پایینی از صفحات وب موجود در فضای اینترنت هستند، شاید در حالت خوش بینانه این مقدار زیر 10 درصد بوده و بعبارتی چیزی در حدود 90 درصد از اینترنت را ما نمی بینیم و یا بعبارتی توسط موتورهای جستجوگر به دلایل مختلف، یافت نمی شوند. این دلایل می تواند فنی باشد، بطور مثال، گوگل با استفاده از الگوریتم های امنیتی که برای خود دارد، صفحات مشکوک و یا تبلیغات تقلبی را نمایش نمی دهد و یا  توانایی لازم برای شناسایی و ایندکس کردن اطلاعات وب ندارند. دقیقا مشکل موضوع همین جاست، فضایی که صفحات ایندکس نمی شوند و موجب ایجاد فضایی رو می کنند که از آن به سیاه چاله‌های اطلاعاتی اسم می برند و با توجه به وضعیت موجود و رشد روزافزون صفحات وب و وبلاگ ها، اندازه این سیاه چاله ها بزرگ و بزرگتر می شود.
||http://tosinso.com/files/get/bd9b6eb9-31ee-467b-93f0-24fbc03b5922||
بزرگ شدن سیاه چاله ها، موجب خورده شدن صفحات وب سالم و کاربردی شده، بطوریکه اطلاعات سالم در این لایه ها گیر افتاده و موتورهای جستجوگر با الگوریتم های فعلی، توانایی شناسایی آنها را نخواهند داشت.
!!! نمونه هایی از افزایش حجم سیاه چاله ها
--
بطور نمونه طی تصمیم جدیدی که مارک زاکربرگ گرفته، قصد دارد با تدوین سیاست های جدید، مانع نمایش محتوای شبکه‌های اجتماعی در نتایج جستجوی گوگل شود. شبکه های اجتماعی ای که بخش بزرگی از محتوای اینترنت را تشکیل می دهند و حاوی اطلاعات بسیاری هستند، به‌طوری‌که بر اساس آمار، بیش از ۳۱ درصد از کاربران اینترنت حداقل یک حساب کاربری در یکی از شبکه‌های اجتماعی موجود دارند. برای مثال در فیس‌بوک، توییتر و اینستاگرام هر دقیقه بیش از ۴ میلیون پست ایجاد می‌شود و در همین بازه‌ی زمانی در مجموع بیش از ۴۰۰ ساعت ویدیو در یوتیوب آپلود می‌شود. حال فرض کنید، این حجم ازاطلاعا ت دیگر قابل جستجو توسط موتورهای جستجوگر نباشد و نهایت اینکه به همین حجم به سیاه چاله ها اضافه شده.
||http://tosinso.com/files/get/d00105b8-76c7-4170-a6ae-dc1239b7a5ae||
مورد بعدی ، اطلاعات موجود در اپلیکیشن‌ها بوده که در گوشی های هوشمند در انواع و اقسام مختلف وجود دارند و قوانین حاکم بر آنها هنوز مربوط به سال ۲۰۰۷ و تولد گوشی‌های هوشمند بوده، لذا محتوای آنها به این دلیل که جستجوگرها، تنها به مرورگرها محدود شده‌اند و نمی‌توانند خارج از دنیای مرورگرهایی که خود یک اپلیکیشن هستند، حرکت کنند، قابل ایندکس شدن نبوده و نتیجه اینکه این محتوا هم ، بخشی از سیاه چاله ها رو تشکیل می دهد.
||http://tosinso.com/files/get/094dbbb5-c70f-4cde-9669-55631cc426f1||
تولید و رواج صفحات وب یک صفحه ای، به دلیل اینکه محتوای آنها درون تگ های HTML قرار می گیرند و پشت کد‌های جاوا اسکریپت هستند، قایل شناسایی توسط موتورهای جستجوگر نبوده و این حجم از اطلاعات هم که روز به روز در حال گسترش است، به سیاه چاله های اینترنتی اضافه خواهد شد.
||http://tosinso.com/files/get/195903c8-9c98-4218-a12f-37deb80f5fa4||
و مواردی این چنینی که موجب بزرگ شدن و فربه شدن سیاه چاله های اینترنتی می شود، بسیار است. شاید آینده، جنگ ما بین موتورهای جستجوگر و سیاه چاله ها باشد. جنگی که در یک طرف آن، جستجوگرهایی هستند که تمام تلاش خود را می کنند تا بهترین خدمات رو به مشتریان و کاربران خود ارائه دهند و از طرف دیگر محتواهایی هستند که با گم شدن در فضای اینترنت، قابل جستجو نیستند. اطلاعاتی که در فضا و خلا بسر می برند تا اینکه روزی توسط موتورهای جستجو شناسایی و پیدا شوند و این حجم از اطلاعات کم نیستند، 90 درصد از محتوای کل فضای اینترنت که رو به افزایش هم می باشند. شاید نیاز به یک اجماع و تصمیم متمرکز از جانب یک موسسه بین المللی برای استاندارد سازی این اطلاعات باشد.

نویسنده : علیرضا(ARAF)
منبع : ITPRO
هرگونه نشر و کپی برداری بدون ذکر منبع و نام نویسنده دارای اشکال اخلاقی می باشد.

اما برگردیم به موضوع اصلی، یعنی سیاه چاله های اینترنتی، باید توجه داشته باشید صفحات اینترنتی که توسط موتورهای جستجوگر یافت می شوند ، تنها درصد بسیار پایینی از صفحات وب موجود در فضای اینترنت هستند، شاید در حالت خوش بینانه این مقدار زیر 10 درصد بوده و بعبارتی چیزی در حدود 90 درصد از اینترنت را ما نمی بینیم و یا بعبارتی توسط موتورهای جستجوگر به دلایل مختلف، یافت نمی شوند. این دلایل می تواند فنی باشد، بطور مثال، گوگل با استفاده از الگوریتم های امنیتی که برای خود دارد، صفحات مشکوک و یا تبلیغات تقلبی را نمایش نمی دهد و یا توانایی لازم برای شناسایی و ایندکس کردن اطلاعات وب ندارند. دقیقا مشکل موضوع همین جاست، فضایی که صفحات ایندکس نمی شوند و موجب ایجاد فضایی رو می کنند که از آن به سیاه چاله‌های اطلاعاتی اسم می برند و با توجه به وضعیت موجود و رشد روزافزون صفحات وب و وبلاگ ها، اندازه این سیاه چاله ها بزرگ و بزرگتر می شود.


||http://tosinso.com/files/get/4e9159ea-5e11-4c43-bd11-8f68b54087b8||
!!! شرحی بر موتورهای جستجو گر و سیاه چاله های اینترنتی
--
موتورهای جستجوگر اینترنتی برنامه هایی هستند که با استفاده از کلمات کلیدی ای که در فایلها و صفحات وب وجود دارد، اقدام به پیدا کردن اطلاعات مورد نظر کاربر پرداخته. تمام تلاش کمپانی های فعال در این حوزه این بوده که با استفاده از الگوریتم ها و سیاست های مختلف بتوانند نتایج بهتر و سالمتر و امنتری را در سریعترین زمان که به خواسته کاربر نزدیکتر باشد، فراهم کنند.موتورهای جستجوگر را می توان به دسته کلی تقسیم کرد، موتورهای جستجوی پیمایشی، فهرست‌های تکمیل‌دستی و ابر جستجوگر ها.
!!! موتورهای جستجوی پیمایشی
--
 با پیمایش و رصد وب، اقدام به ذخیره سازی اطلاعات مربوطه می کنند و اطلاعاتی از قبیل عنوان، محتوا و موارد دیگر صفحه را در فهرست خود لیست می کنند و سپس از طریق ایندکس گذاری، جستجوی آنها را برای کاربران با سرعت بیشتر فراهم می کنند. این روشیست که موتور جستجوگر قدرتمند و محبوب گوگل از آن استفاده می کند، بطوریکه می توان گفت گوگل، تعداد 130 تریلیون صفحه را ایندکس گذاری کرده که نسبت به سال 2013 که برابر با 100 تریلیون صفحه بود، رشد قابل توجه ای داشته. البته گوگل اقدامات زیادی رو هم جهت امن سازی جستجو گر خود انجام داده تا نتایج امنتر و سالمتری را در اختیار کاربر قرار دهد، بطور نمونه گوگل با استفاده از سرویس Safe Browsing ، به شما خواهد گفت، وب سایتی که باز کرده اید، آیا یک سایت مزاحم است یا نه. گوگل وب سایت هایی را که سیاست های این شرکت را در حوزه های ، فیشینگ و موارد مشابه رعایت نکرده اند را بعنوان وب سایت های ناامن شناخته و هرگاه کاربر این وب سایت را باز کند ، از سمت گوگل برای کاربر تا موقعیکه داخل آن سایت هست، پیغامی در غالب هشدار ظاهر شده که این وب سایت ، یک سایت نا امن و بد نام است.گوگل در این راستا چیزی در حدود دو میلیارد تبلیغات بد را در سال ۲۰۱۶ شناسایی و حذف کرد که تقریبا دو برابر سال ۲۰۱۵ است. این تبلیغات، آگهی های نامناسب در اینترنت است که موجبب سوء استفاده از کاربران می شود. 
!!! موتورهای جستجوی فهرست تکمیل دستی
--
در این موتورها، کاربر صفحه خود را از طریق ویراستارهای موجود در فهرست وارد می کند.  
نکته : برخی از موتورهای جستجوگر همانند msn بصورت ترکیبی از هر دو روش فوق برای جستجو استفاده می کند.
!!! ابر جستجوگرها
--
این موتورهای جستجوگر با ترکیب نتایج حاصل از جستجو در چند جستجوگر و بر اساس الگوریتم موجود، اقدام به نمایش نتیجه مربوطه می کند.به  عنوان نمونه Dogpile که از نتایج جستجوی موتورهای Google - Yahoo - MSN و ASK استفاده می کند. 
||http://tosinso.com/files/get/3cf6ec30-c1ae-4272-934a-4c2eadf44bd6||
اما برگردیم به موضوع اصلی، یعنی سیاه چاله های اینترنتی، باید توجه داشته باشید صفحات اینترنتی که توسط موتورهای جستجوگر یافت می شوند ، تنها درصد بسیار پایینی از صفحات وب موجود در فضای اینترنت هستند، شاید در حالت خوش بینانه این مقدار زیر 10 درصد بوده و بعبارتی چیزی در حدود 90 درصد از اینترنت را ما نمی بینیم و یا بعبارتی توسط موتورهای جستجوگر به دلایل مختلف، یافت نمی شوند. این دلایل می تواند فنی باشد، بطور مثال، گوگل با استفاده از الگوریتم های امنیتی که برای خود دارد، صفحات مشکوک و یا تبلیغات تقلبی را نمایش نمی دهد و یا  توانایی لازم برای شناسایی و ایندکس کردن اطلاعات وب ندارند. دقیقا مشکل موضوع همین جاست، فضایی که صفحات ایندکس نمی شوند و موجب ایجاد فضایی رو می کنند که از آن به سیاه چاله‌های اطلاعاتی اسم می برند و با توجه به وضعیت موجود و رشد روزافزون صفحات وب و وبلاگ ها، اندازه این سیاه چاله ها بزرگ و بزرگتر می شود.
||http://tosinso.com/files/get/bd9b6eb9-31ee-467b-93f0-24fbc03b5922||
بزرگ شدن سیاه چاله ها، موجب خورده شدن صفحات وب سالم و کاربردی شده، بطوریکه اطلاعات سالم در این لایه ها گیر افتاده و موتورهای جستجوگر با الگوریتم های فعلی، توانایی شناسایی آنها را نخواهند داشت.
!!! نمونه هایی از افزایش حجم سیاه چاله ها
--
بطور نمونه طی تصمیم جدیدی که مارک زاکربرگ گرفته، قصد دارد با تدوین سیاست های جدید، مانع نمایش محتوای شبکه‌های اجتماعی در نتایج جستجوی گوگل شود. شبکه های اجتماعی ای که بخش بزرگی از محتوای اینترنت را تشکیل می دهند و حاوی اطلاعات بسیاری هستند، به‌طوری‌که بر اساس آمار، بیش از ۳۱ درصد از کاربران اینترنت حداقل یک حساب کاربری در یکی از شبکه‌های اجتماعی موجود دارند. برای مثال در فیس‌بوک، توییتر و اینستاگرام هر دقیقه بیش از ۴ میلیون پست ایجاد می‌شود و در همین بازه‌ی زمانی در مجموع بیش از ۴۰۰ ساعت ویدیو در یوتیوب آپلود می‌شود. حال فرض کنید، این حجم ازاطلاعا ت دیگر قابل جستجو توسط موتورهای جستجوگر نباشد و نهایت اینکه به همین حجم به سیاه چاله ها اضافه شده.
||http://tosinso.com/files/get/d00105b8-76c7-4170-a6ae-dc1239b7a5ae||
مورد بعدی ، اطلاعات موجود در اپلیکیشن‌ها بوده که در گوشی های هوشمند در انواع و اقسام مختلف وجود دارند و قوانین حاکم بر آنها هنوز مربوط به سال ۲۰۰۷ و تولد گوشی‌های هوشمند بوده، لذا محتوای آنها به این دلیل که جستجوگرها، تنها به مرورگرها محدود شده‌اند و نمی‌توانند خارج از دنیای مرورگرهایی که خود یک اپلیکیشن هستند، حرکت کنند، قابل ایندکس شدن نبوده و نتیجه اینکه این محتوا هم ، بخشی از سیاه چاله ها رو تشکیل می دهد.
||http://tosinso.com/files/get/094dbbb5-c70f-4cde-9669-55631cc426f1||
تولید و رواج صفحات وب یک صفحه ای، به دلیل اینکه محتوای آنها درون تگ های HTML قرار می گیرند و پشت کد‌های جاوا اسکریپت هستند، قایل شناسایی توسط موتورهای جستجوگر نبوده و این حجم از اطلاعات هم که روز به روز در حال گسترش است، به سیاه چاله های اینترنتی اضافه خواهد شد.
||http://tosinso.com/files/get/195903c8-9c98-4218-a12f-37deb80f5fa4||
و مواردی این چنینی که موجب بزرگ شدن و فربه شدن سیاه چاله های اینترنتی می شود، بسیار است. شاید آینده، جنگ ما بین موتورهای جستجوگر و سیاه چاله ها باشد. جنگی که در یک طرف آن، جستجوگرهایی هستند که تمام تلاش خود را می کنند تا بهترین خدمات رو به مشتریان و کاربران خود ارائه دهند و از طرف دیگر محتواهایی هستند که با گم شدن در فضای اینترنت، قابل جستجو نیستند. اطلاعاتی که در فضا و خلا بسر می برند تا اینکه روزی توسط موتورهای جستجو شناسایی و پیدا شوند و این حجم از اطلاعات کم نیستند، 90 درصد از محتوای کل فضای اینترنت که رو به افزایش هم می باشند. شاید نیاز به یک اجماع و تصمیم متمرکز از جانب یک موسسه بین المللی برای استاندارد سازی این اطلاعات باشد.

نویسنده : علیرضا(ARAF)
منبع : ITPRO
هرگونه نشر و کپی برداری بدون ذکر منبع و نام نویسنده دارای اشکال اخلاقی می باشد.

بزرگ شدن سیاه چاله ها، موجب خورده شدن صفحات وب سالم و کاربردی شده، بطوریکه اطلاعات سالم در این لایه ها گیر افتاده و موتورهای جستجوگر با الگوریتم های فعلی، توانایی شناسایی آنها را نخواهند داشت.

نمونه هایی از افزایش حجم سیاه چاله ها


بطور نمونه طی تصمیم جدیدی که مارک زاکربرگ گرفته، قصد دارد با تدوین سیاست های جدید، مانع نمایش محتوای شبکه‌های اجتماعی در نتایج جستجوی گوگل شود. شبکه های اجتماعی ای که بخش بزرگی از محتوای اینترنت را تشکیل می دهند و حاوی اطلاعات بسیاری هستند، به‌طوری‌که بر اساس آمار، بیش از ۳۱ درصد از کاربران اینترنت حداقل یک حساب کاربری در یکی از شبکه‌های اجتماعی موجود دارند. برای مثال در فیس‌بوک، توییتر و اینستاگرام هر دقیقه بیش از ۴ میلیون پست ایجاد می‌شود و در همین بازه‌ی زمانی در مجموع بیش از ۴۰۰ ساعت ویدیو در یوتیوب آپلود می‌شود. حال فرض کنید، این حجم ازاطلاعا ت دیگر قابل جستجو توسط موتورهای جستجوگر نباشد و نهایت اینکه به همین حجم به سیاه چاله ها اضافه شده.


||http://tosinso.com/files/get/4e9159ea-5e11-4c43-bd11-8f68b54087b8||
!!! شرحی بر موتورهای جستجو گر و سیاه چاله های اینترنتی
--
موتورهای جستجوگر اینترنتی برنامه هایی هستند که با استفاده از کلمات کلیدی ای که در فایلها و صفحات وب وجود دارد، اقدام به پیدا کردن اطلاعات مورد نظر کاربر پرداخته. تمام تلاش کمپانی های فعال در این حوزه این بوده که با استفاده از الگوریتم ها و سیاست های مختلف بتوانند نتایج بهتر و سالمتر و امنتری را در سریعترین زمان که به خواسته کاربر نزدیکتر باشد، فراهم کنند.موتورهای جستجوگر را می توان به دسته کلی تقسیم کرد، موتورهای جستجوی پیمایشی، فهرست‌های تکمیل‌دستی و ابر جستجوگر ها.
!!! موتورهای جستجوی پیمایشی
--
 با پیمایش و رصد وب، اقدام به ذخیره سازی اطلاعات مربوطه می کنند و اطلاعاتی از قبیل عنوان، محتوا و موارد دیگر صفحه را در فهرست خود لیست می کنند و سپس از طریق ایندکس گذاری، جستجوی آنها را برای کاربران با سرعت بیشتر فراهم می کنند. این روشیست که موتور جستجوگر قدرتمند و محبوب گوگل از آن استفاده می کند، بطوریکه می توان گفت گوگل، تعداد 130 تریلیون صفحه را ایندکس گذاری کرده که نسبت به سال 2013 که برابر با 100 تریلیون صفحه بود، رشد قابل توجه ای داشته. البته گوگل اقدامات زیادی رو هم جهت امن سازی جستجو گر خود انجام داده تا نتایج امنتر و سالمتری را در اختیار کاربر قرار دهد، بطور نمونه گوگل با استفاده از سرویس Safe Browsing ، به شما خواهد گفت، وب سایتی که باز کرده اید، آیا یک سایت مزاحم است یا نه. گوگل وب سایت هایی را که سیاست های این شرکت را در حوزه های ، فیشینگ و موارد مشابه رعایت نکرده اند را بعنوان وب سایت های ناامن شناخته و هرگاه کاربر این وب سایت را باز کند ، از سمت گوگل برای کاربر تا موقعیکه داخل آن سایت هست، پیغامی در غالب هشدار ظاهر شده که این وب سایت ، یک سایت نا امن و بد نام است.گوگل در این راستا چیزی در حدود دو میلیارد تبلیغات بد را در سال ۲۰۱۶ شناسایی و حذف کرد که تقریبا دو برابر سال ۲۰۱۵ است. این تبلیغات، آگهی های نامناسب در اینترنت است که موجبب سوء استفاده از کاربران می شود. 
!!! موتورهای جستجوی فهرست تکمیل دستی
--
در این موتورها، کاربر صفحه خود را از طریق ویراستارهای موجود در فهرست وارد می کند.  
نکته : برخی از موتورهای جستجوگر همانند msn بصورت ترکیبی از هر دو روش فوق برای جستجو استفاده می کند.
!!! ابر جستجوگرها
--
این موتورهای جستجوگر با ترکیب نتایج حاصل از جستجو در چند جستجوگر و بر اساس الگوریتم موجود، اقدام به نمایش نتیجه مربوطه می کند.به  عنوان نمونه Dogpile که از نتایج جستجوی موتورهای Google - Yahoo - MSN و ASK استفاده می کند. 
||http://tosinso.com/files/get/3cf6ec30-c1ae-4272-934a-4c2eadf44bd6||
اما برگردیم به موضوع اصلی، یعنی سیاه چاله های اینترنتی، باید توجه داشته باشید صفحات اینترنتی که توسط موتورهای جستجوگر یافت می شوند ، تنها درصد بسیار پایینی از صفحات وب موجود در فضای اینترنت هستند، شاید در حالت خوش بینانه این مقدار زیر 10 درصد بوده و بعبارتی چیزی در حدود 90 درصد از اینترنت را ما نمی بینیم و یا بعبارتی توسط موتورهای جستجوگر به دلایل مختلف، یافت نمی شوند. این دلایل می تواند فنی باشد، بطور مثال، گوگل با استفاده از الگوریتم های امنیتی که برای خود دارد، صفحات مشکوک و یا تبلیغات تقلبی را نمایش نمی دهد و یا  توانایی لازم برای شناسایی و ایندکس کردن اطلاعات وب ندارند. دقیقا مشکل موضوع همین جاست، فضایی که صفحات ایندکس نمی شوند و موجب ایجاد فضایی رو می کنند که از آن به سیاه چاله‌های اطلاعاتی اسم می برند و با توجه به وضعیت موجود و رشد روزافزون صفحات وب و وبلاگ ها، اندازه این سیاه چاله ها بزرگ و بزرگتر می شود.
||http://tosinso.com/files/get/bd9b6eb9-31ee-467b-93f0-24fbc03b5922||
بزرگ شدن سیاه چاله ها، موجب خورده شدن صفحات وب سالم و کاربردی شده، بطوریکه اطلاعات سالم در این لایه ها گیر افتاده و موتورهای جستجوگر با الگوریتم های فعلی، توانایی شناسایی آنها را نخواهند داشت.
!!! نمونه هایی از افزایش حجم سیاه چاله ها
--
بطور نمونه طی تصمیم جدیدی که مارک زاکربرگ گرفته، قصد دارد با تدوین سیاست های جدید، مانع نمایش محتوای شبکه‌های اجتماعی در نتایج جستجوی گوگل شود. شبکه های اجتماعی ای که بخش بزرگی از محتوای اینترنت را تشکیل می دهند و حاوی اطلاعات بسیاری هستند، به‌طوری‌که بر اساس آمار، بیش از ۳۱ درصد از کاربران اینترنت حداقل یک حساب کاربری در یکی از شبکه‌های اجتماعی موجود دارند. برای مثال در فیس‌بوک، توییتر و اینستاگرام هر دقیقه بیش از ۴ میلیون پست ایجاد می‌شود و در همین بازه‌ی زمانی در مجموع بیش از ۴۰۰ ساعت ویدیو در یوتیوب آپلود می‌شود. حال فرض کنید، این حجم ازاطلاعا ت دیگر قابل جستجو توسط موتورهای جستجوگر نباشد و نهایت اینکه به همین حجم به سیاه چاله ها اضافه شده.
||http://tosinso.com/files/get/d00105b8-76c7-4170-a6ae-dc1239b7a5ae||
مورد بعدی ، اطلاعات موجود در اپلیکیشن‌ها بوده که در گوشی های هوشمند در انواع و اقسام مختلف وجود دارند و قوانین حاکم بر آنها هنوز مربوط به سال ۲۰۰۷ و تولد گوشی‌های هوشمند بوده، لذا محتوای آنها به این دلیل که جستجوگرها، تنها به مرورگرها محدود شده‌اند و نمی‌توانند خارج از دنیای مرورگرهایی که خود یک اپلیکیشن هستند، حرکت کنند، قابل ایندکس شدن نبوده و نتیجه اینکه این محتوا هم ، بخشی از سیاه چاله ها رو تشکیل می دهد.
||http://tosinso.com/files/get/094dbbb5-c70f-4cde-9669-55631cc426f1||
تولید و رواج صفحات وب یک صفحه ای، به دلیل اینکه محتوای آنها درون تگ های HTML قرار می گیرند و پشت کد‌های جاوا اسکریپت هستند، قایل شناسایی توسط موتورهای جستجوگر نبوده و این حجم از اطلاعات هم که روز به روز در حال گسترش است، به سیاه چاله های اینترنتی اضافه خواهد شد.
||http://tosinso.com/files/get/195903c8-9c98-4218-a12f-37deb80f5fa4||
و مواردی این چنینی که موجب بزرگ شدن و فربه شدن سیاه چاله های اینترنتی می شود، بسیار است. شاید آینده، جنگ ما بین موتورهای جستجوگر و سیاه چاله ها باشد. جنگی که در یک طرف آن، جستجوگرهایی هستند که تمام تلاش خود را می کنند تا بهترین خدمات رو به مشتریان و کاربران خود ارائه دهند و از طرف دیگر محتواهایی هستند که با گم شدن در فضای اینترنت، قابل جستجو نیستند. اطلاعاتی که در فضا و خلا بسر می برند تا اینکه روزی توسط موتورهای جستجو شناسایی و پیدا شوند و این حجم از اطلاعات کم نیستند، 90 درصد از محتوای کل فضای اینترنت که رو به افزایش هم می باشند. شاید نیاز به یک اجماع و تصمیم متمرکز از جانب یک موسسه بین المللی برای استاندارد سازی این اطلاعات باشد.

نویسنده : علیرضا(ARAF)
منبع : ITPRO
هرگونه نشر و کپی برداری بدون ذکر منبع و نام نویسنده دارای اشکال اخلاقی می باشد.

مورد بعدی ، اطلاعات موجود در اپلیکیشن‌ها بوده که در گوشی های هوشمند در انواع و اقسام مختلف وجود دارند و قوانین حاکم بر آنها هنوز مربوط به سال ۲۰۰۷ و تولد گوشی‌های هوشمند بوده، لذا محتوای آنها به این دلیل که جستجوگرها، تنها به مرورگرها محدود شده‌اند و نمی‌توانند خارج از دنیای مرورگرهایی که خود یک اپلیکیشن هستند، حرکت کنند، قابل ایندکس شدن نبوده و نتیجه اینکه این محتوا هم ، بخشی از سیاه چاله ها رو تشکیل می دهد.


||http://tosinso.com/files/get/4e9159ea-5e11-4c43-bd11-8f68b54087b8||
!!! شرحی بر موتورهای جستجو گر و سیاه چاله های اینترنتی
--
موتورهای جستجوگر اینترنتی برنامه هایی هستند که با استفاده از کلمات کلیدی ای که در فایلها و صفحات وب وجود دارد، اقدام به پیدا کردن اطلاعات مورد نظر کاربر پرداخته. تمام تلاش کمپانی های فعال در این حوزه این بوده که با استفاده از الگوریتم ها و سیاست های مختلف بتوانند نتایج بهتر و سالمتر و امنتری را در سریعترین زمان که به خواسته کاربر نزدیکتر باشد، فراهم کنند.موتورهای جستجوگر را می توان به دسته کلی تقسیم کرد، موتورهای جستجوی پیمایشی، فهرست‌های تکمیل‌دستی و ابر جستجوگر ها.
!!! موتورهای جستجوی پیمایشی
--
 با پیمایش و رصد وب، اقدام به ذخیره سازی اطلاعات مربوطه می کنند و اطلاعاتی از قبیل عنوان، محتوا و موارد دیگر صفحه را در فهرست خود لیست می کنند و سپس از طریق ایندکس گذاری، جستجوی آنها را برای کاربران با سرعت بیشتر فراهم می کنند. این روشیست که موتور جستجوگر قدرتمند و محبوب گوگل از آن استفاده می کند، بطوریکه می توان گفت گوگل، تعداد 130 تریلیون صفحه را ایندکس گذاری کرده که نسبت به سال 2013 که برابر با 100 تریلیون صفحه بود، رشد قابل توجه ای داشته. البته گوگل اقدامات زیادی رو هم جهت امن سازی جستجو گر خود انجام داده تا نتایج امنتر و سالمتری را در اختیار کاربر قرار دهد، بطور نمونه گوگل با استفاده از سرویس Safe Browsing ، به شما خواهد گفت، وب سایتی که باز کرده اید، آیا یک سایت مزاحم است یا نه. گوگل وب سایت هایی را که سیاست های این شرکت را در حوزه های ، فیشینگ و موارد مشابه رعایت نکرده اند را بعنوان وب سایت های ناامن شناخته و هرگاه کاربر این وب سایت را باز کند ، از سمت گوگل برای کاربر تا موقعیکه داخل آن سایت هست، پیغامی در غالب هشدار ظاهر شده که این وب سایت ، یک سایت نا امن و بد نام است.گوگل در این راستا چیزی در حدود دو میلیارد تبلیغات بد را در سال ۲۰۱۶ شناسایی و حذف کرد که تقریبا دو برابر سال ۲۰۱۵ است. این تبلیغات، آگهی های نامناسب در اینترنت است که موجبب سوء استفاده از کاربران می شود. 
!!! موتورهای جستجوی فهرست تکمیل دستی
--
در این موتورها، کاربر صفحه خود را از طریق ویراستارهای موجود در فهرست وارد می کند.  
نکته : برخی از موتورهای جستجوگر همانند msn بصورت ترکیبی از هر دو روش فوق برای جستجو استفاده می کند.
!!! ابر جستجوگرها
--
این موتورهای جستجوگر با ترکیب نتایج حاصل از جستجو در چند جستجوگر و بر اساس الگوریتم موجود، اقدام به نمایش نتیجه مربوطه می کند.به  عنوان نمونه Dogpile که از نتایج جستجوی موتورهای Google - Yahoo - MSN و ASK استفاده می کند. 
||http://tosinso.com/files/get/3cf6ec30-c1ae-4272-934a-4c2eadf44bd6||
اما برگردیم به موضوع اصلی، یعنی سیاه چاله های اینترنتی، باید توجه داشته باشید صفحات اینترنتی که توسط موتورهای جستجوگر یافت می شوند ، تنها درصد بسیار پایینی از صفحات وب موجود در فضای اینترنت هستند، شاید در حالت خوش بینانه این مقدار زیر 10 درصد بوده و بعبارتی چیزی در حدود 90 درصد از اینترنت را ما نمی بینیم و یا بعبارتی توسط موتورهای جستجوگر به دلایل مختلف، یافت نمی شوند. این دلایل می تواند فنی باشد، بطور مثال، گوگل با استفاده از الگوریتم های امنیتی که برای خود دارد، صفحات مشکوک و یا تبلیغات تقلبی را نمایش نمی دهد و یا  توانایی لازم برای شناسایی و ایندکس کردن اطلاعات وب ندارند. دقیقا مشکل موضوع همین جاست، فضایی که صفحات ایندکس نمی شوند و موجب ایجاد فضایی رو می کنند که از آن به سیاه چاله‌های اطلاعاتی اسم می برند و با توجه به وضعیت موجود و رشد روزافزون صفحات وب و وبلاگ ها، اندازه این سیاه چاله ها بزرگ و بزرگتر می شود.
||http://tosinso.com/files/get/bd9b6eb9-31ee-467b-93f0-24fbc03b5922||
بزرگ شدن سیاه چاله ها، موجب خورده شدن صفحات وب سالم و کاربردی شده، بطوریکه اطلاعات سالم در این لایه ها گیر افتاده و موتورهای جستجوگر با الگوریتم های فعلی، توانایی شناسایی آنها را نخواهند داشت.
!!! نمونه هایی از افزایش حجم سیاه چاله ها
--
بطور نمونه طی تصمیم جدیدی که مارک زاکربرگ گرفته، قصد دارد با تدوین سیاست های جدید، مانع نمایش محتوای شبکه‌های اجتماعی در نتایج جستجوی گوگل شود. شبکه های اجتماعی ای که بخش بزرگی از محتوای اینترنت را تشکیل می دهند و حاوی اطلاعات بسیاری هستند، به‌طوری‌که بر اساس آمار، بیش از ۳۱ درصد از کاربران اینترنت حداقل یک حساب کاربری در یکی از شبکه‌های اجتماعی موجود دارند. برای مثال در فیس‌بوک، توییتر و اینستاگرام هر دقیقه بیش از ۴ میلیون پست ایجاد می‌شود و در همین بازه‌ی زمانی در مجموع بیش از ۴۰۰ ساعت ویدیو در یوتیوب آپلود می‌شود. حال فرض کنید، این حجم ازاطلاعا ت دیگر قابل جستجو توسط موتورهای جستجوگر نباشد و نهایت اینکه به همین حجم به سیاه چاله ها اضافه شده.
||http://tosinso.com/files/get/d00105b8-76c7-4170-a6ae-dc1239b7a5ae||
مورد بعدی ، اطلاعات موجود در اپلیکیشن‌ها بوده که در گوشی های هوشمند در انواع و اقسام مختلف وجود دارند و قوانین حاکم بر آنها هنوز مربوط به سال ۲۰۰۷ و تولد گوشی‌های هوشمند بوده، لذا محتوای آنها به این دلیل که جستجوگرها، تنها به مرورگرها محدود شده‌اند و نمی‌توانند خارج از دنیای مرورگرهایی که خود یک اپلیکیشن هستند، حرکت کنند، قابل ایندکس شدن نبوده و نتیجه اینکه این محتوا هم ، بخشی از سیاه چاله ها رو تشکیل می دهد.
||http://tosinso.com/files/get/094dbbb5-c70f-4cde-9669-55631cc426f1||
تولید و رواج صفحات وب یک صفحه ای، به دلیل اینکه محتوای آنها درون تگ های HTML قرار می گیرند و پشت کد‌های جاوا اسکریپت هستند، قایل شناسایی توسط موتورهای جستجوگر نبوده و این حجم از اطلاعات هم که روز به روز در حال گسترش است، به سیاه چاله های اینترنتی اضافه خواهد شد.
||http://tosinso.com/files/get/195903c8-9c98-4218-a12f-37deb80f5fa4||
و مواردی این چنینی که موجب بزرگ شدن و فربه شدن سیاه چاله های اینترنتی می شود، بسیار است. شاید آینده، جنگ ما بین موتورهای جستجوگر و سیاه چاله ها باشد. جنگی که در یک طرف آن، جستجوگرهایی هستند که تمام تلاش خود را می کنند تا بهترین خدمات رو به مشتریان و کاربران خود ارائه دهند و از طرف دیگر محتواهایی هستند که با گم شدن در فضای اینترنت، قابل جستجو نیستند. اطلاعاتی که در فضا و خلا بسر می برند تا اینکه روزی توسط موتورهای جستجو شناسایی و پیدا شوند و این حجم از اطلاعات کم نیستند، 90 درصد از محتوای کل فضای اینترنت که رو به افزایش هم می باشند. شاید نیاز به یک اجماع و تصمیم متمرکز از جانب یک موسسه بین المللی برای استاندارد سازی این اطلاعات باشد.

نویسنده : علیرضا(ARAF)
منبع : ITPRO
هرگونه نشر و کپی برداری بدون ذکر منبع و نام نویسنده دارای اشکال اخلاقی می باشد.

تولید و رواج صفحات وب یک صفحه ای، به دلیل اینکه محتوای آنها درون تگ های HTML قرار می گیرند و پشت کد‌های جاوا اسکریپت هستند، قایل شناسایی توسط موتورهای جستجوگر نبوده و این حجم از اطلاعات هم که روز به روز در حال گسترش است، به سیاه چاله های اینترنتی اضافه خواهد شد.


||http://tosinso.com/files/get/4e9159ea-5e11-4c43-bd11-8f68b54087b8||
!!! شرحی بر موتورهای جستجو گر و سیاه چاله های اینترنتی
--
موتورهای جستجوگر اینترنتی برنامه هایی هستند که با استفاده از کلمات کلیدی ای که در فایلها و صفحات وب وجود دارد، اقدام به پیدا کردن اطلاعات مورد نظر کاربر پرداخته. تمام تلاش کمپانی های فعال در این حوزه این بوده که با استفاده از الگوریتم ها و سیاست های مختلف بتوانند نتایج بهتر و سالمتر و امنتری را در سریعترین زمان که به خواسته کاربر نزدیکتر باشد، فراهم کنند.موتورهای جستجوگر را می توان به دسته کلی تقسیم کرد، موتورهای جستجوی پیمایشی، فهرست‌های تکمیل‌دستی و ابر جستجوگر ها.
!!! موتورهای جستجوی پیمایشی
--
 با پیمایش و رصد وب، اقدام به ذخیره سازی اطلاعات مربوطه می کنند و اطلاعاتی از قبیل عنوان، محتوا و موارد دیگر صفحه را در فهرست خود لیست می کنند و سپس از طریق ایندکس گذاری، جستجوی آنها را برای کاربران با سرعت بیشتر فراهم می کنند. این روشیست که موتور جستجوگر قدرتمند و محبوب گوگل از آن استفاده می کند، بطوریکه می توان گفت گوگل، تعداد 130 تریلیون صفحه را ایندکس گذاری کرده که نسبت به سال 2013 که برابر با 100 تریلیون صفحه بود، رشد قابل توجه ای داشته. البته گوگل اقدامات زیادی رو هم جهت امن سازی جستجو گر خود انجام داده تا نتایج امنتر و سالمتری را در اختیار کاربر قرار دهد، بطور نمونه گوگل با استفاده از سرویس Safe Browsing ، به شما خواهد گفت، وب سایتی که باز کرده اید، آیا یک سایت مزاحم است یا نه. گوگل وب سایت هایی را که سیاست های این شرکت را در حوزه های ، فیشینگ و موارد مشابه رعایت نکرده اند را بعنوان وب سایت های ناامن شناخته و هرگاه کاربر این وب سایت را باز کند ، از سمت گوگل برای کاربر تا موقعیکه داخل آن سایت هست، پیغامی در غالب هشدار ظاهر شده که این وب سایت ، یک سایت نا امن و بد نام است.گوگل در این راستا چیزی در حدود دو میلیارد تبلیغات بد را در سال ۲۰۱۶ شناسایی و حذف کرد که تقریبا دو برابر سال ۲۰۱۵ است. این تبلیغات، آگهی های نامناسب در اینترنت است که موجبب سوء استفاده از کاربران می شود. 
!!! موتورهای جستجوی فهرست تکمیل دستی
--
در این موتورها، کاربر صفحه خود را از طریق ویراستارهای موجود در فهرست وارد می کند.  
نکته : برخی از موتورهای جستجوگر همانند msn بصورت ترکیبی از هر دو روش فوق برای جستجو استفاده می کند.
!!! ابر جستجوگرها
--
این موتورهای جستجوگر با ترکیب نتایج حاصل از جستجو در چند جستجوگر و بر اساس الگوریتم موجود، اقدام به نمایش نتیجه مربوطه می کند.به  عنوان نمونه Dogpile که از نتایج جستجوی موتورهای Google - Yahoo - MSN و ASK استفاده می کند. 
||http://tosinso.com/files/get/3cf6ec30-c1ae-4272-934a-4c2eadf44bd6||
اما برگردیم به موضوع اصلی، یعنی سیاه چاله های اینترنتی، باید توجه داشته باشید صفحات اینترنتی که توسط موتورهای جستجوگر یافت می شوند ، تنها درصد بسیار پایینی از صفحات وب موجود در فضای اینترنت هستند، شاید در حالت خوش بینانه این مقدار زیر 10 درصد بوده و بعبارتی چیزی در حدود 90 درصد از اینترنت را ما نمی بینیم و یا بعبارتی توسط موتورهای جستجوگر به دلایل مختلف، یافت نمی شوند. این دلایل می تواند فنی باشد، بطور مثال، گوگل با استفاده از الگوریتم های امنیتی که برای خود دارد، صفحات مشکوک و یا تبلیغات تقلبی را نمایش نمی دهد و یا  توانایی لازم برای شناسایی و ایندکس کردن اطلاعات وب ندارند. دقیقا مشکل موضوع همین جاست، فضایی که صفحات ایندکس نمی شوند و موجب ایجاد فضایی رو می کنند که از آن به سیاه چاله‌های اطلاعاتی اسم می برند و با توجه به وضعیت موجود و رشد روزافزون صفحات وب و وبلاگ ها، اندازه این سیاه چاله ها بزرگ و بزرگتر می شود.
||http://tosinso.com/files/get/bd9b6eb9-31ee-467b-93f0-24fbc03b5922||
بزرگ شدن سیاه چاله ها، موجب خورده شدن صفحات وب سالم و کاربردی شده، بطوریکه اطلاعات سالم در این لایه ها گیر افتاده و موتورهای جستجوگر با الگوریتم های فعلی، توانایی شناسایی آنها را نخواهند داشت.
!!! نمونه هایی از افزایش حجم سیاه چاله ها
--
بطور نمونه طی تصمیم جدیدی که مارک زاکربرگ گرفته، قصد دارد با تدوین سیاست های جدید، مانع نمایش محتوای شبکه‌های اجتماعی در نتایج جستجوی گوگل شود. شبکه های اجتماعی ای که بخش بزرگی از محتوای اینترنت را تشکیل می دهند و حاوی اطلاعات بسیاری هستند، به‌طوری‌که بر اساس آمار، بیش از ۳۱ درصد از کاربران اینترنت حداقل یک حساب کاربری در یکی از شبکه‌های اجتماعی موجود دارند. برای مثال در فیس‌بوک، توییتر و اینستاگرام هر دقیقه بیش از ۴ میلیون پست ایجاد می‌شود و در همین بازه‌ی زمانی در مجموع بیش از ۴۰۰ ساعت ویدیو در یوتیوب آپلود می‌شود. حال فرض کنید، این حجم ازاطلاعا ت دیگر قابل جستجو توسط موتورهای جستجوگر نباشد و نهایت اینکه به همین حجم به سیاه چاله ها اضافه شده.
||http://tosinso.com/files/get/d00105b8-76c7-4170-a6ae-dc1239b7a5ae||
مورد بعدی ، اطلاعات موجود در اپلیکیشن‌ها بوده که در گوشی های هوشمند در انواع و اقسام مختلف وجود دارند و قوانین حاکم بر آنها هنوز مربوط به سال ۲۰۰۷ و تولد گوشی‌های هوشمند بوده، لذا محتوای آنها به این دلیل که جستجوگرها، تنها به مرورگرها محدود شده‌اند و نمی‌توانند خارج از دنیای مرورگرهایی که خود یک اپلیکیشن هستند، حرکت کنند، قابل ایندکس شدن نبوده و نتیجه اینکه این محتوا هم ، بخشی از سیاه چاله ها رو تشکیل می دهد.
||http://tosinso.com/files/get/094dbbb5-c70f-4cde-9669-55631cc426f1||
تولید و رواج صفحات وب یک صفحه ای، به دلیل اینکه محتوای آنها درون تگ های HTML قرار می گیرند و پشت کد‌های جاوا اسکریپت هستند، قایل شناسایی توسط موتورهای جستجوگر نبوده و این حجم از اطلاعات هم که روز به روز در حال گسترش است، به سیاه چاله های اینترنتی اضافه خواهد شد.
||http://tosinso.com/files/get/195903c8-9c98-4218-a12f-37deb80f5fa4||
و مواردی این چنینی که موجب بزرگ شدن و فربه شدن سیاه چاله های اینترنتی می شود، بسیار است. شاید آینده، جنگ ما بین موتورهای جستجوگر و سیاه چاله ها باشد. جنگی که در یک طرف آن، جستجوگرهایی هستند که تمام تلاش خود را می کنند تا بهترین خدمات رو به مشتریان و کاربران خود ارائه دهند و از طرف دیگر محتواهایی هستند که با گم شدن در فضای اینترنت، قابل جستجو نیستند. اطلاعاتی که در فضا و خلا بسر می برند تا اینکه روزی توسط موتورهای جستجو شناسایی و پیدا شوند و این حجم از اطلاعات کم نیستند، 90 درصد از محتوای کل فضای اینترنت که رو به افزایش هم می باشند. شاید نیاز به یک اجماع و تصمیم متمرکز از جانب یک موسسه بین المللی برای استاندارد سازی این اطلاعات باشد.

نویسنده : علیرضا(ARAF)
منبع : ITPRO
هرگونه نشر و کپی برداری بدون ذکر منبع و نام نویسنده دارای اشکال اخلاقی می باشد.

و مواردی این چنینی که موجب بزرگ شدن و فربه شدن سیاه چاله های اینترنتی می شود، بسیار است. شاید آینده، جنگ ما بین موتورهای جستجوگر و سیاه چاله ها باشد. جنگی که در یک طرف آن، جستجوگرهایی هستند که تمام تلاش خود را می کنند تا بهترین خدمات رو به مشتریان و کاربران خود ارائه دهند و از طرف دیگر محتواهایی هستند که با گم شدن در فضای اینترنت، قابل جستجو نیستند. اطلاعاتی که در فضا و خلا بسر می برند تا اینکه روزی توسط موتورهای جستجو شناسایی و پیدا شوند و این حجم از اطلاعات کم نیستند، 90 درصد از محتوای کل فضای اینترنت که رو به افزایش هم می باشند. شاید نیاز به یک اجماع و تصمیم متمرکز از جانب یک موسسه بین المللی برای استاندارد سازی این اطلاعات باشد.

نویسنده : علیرضا(ARAF)

منبع : ITPRO

هرگونه نشر و کپی برداری بدون ذکر منبع و نام نویسنده دارای اشکال اخلاقی می باشد.


علیرضا عابدینی
علیرضا عابدینی

کارشناس ارشد فناوری اطلاعات و مدرس کامپیوتر

کارشناس ارشد فناوری اطلاعات هستم ، مدرس دوره های کامپیوتر ، مدیر فناوری اطلاعات و دارای گواهینامه های MCSA ، CCNA ، CEH و Network Plus و خوشحالم از اینکه می تونم دانشم رو در توسینسو به اشتراک بگذارم

نظرات