در طراحی سایت گرگان موتورهای جستجوی دو وظیفه اساسی دارند.
۱- خزیدن در بین سایت ها
۲- نتیجه های رتبه بندی شده که تناسب زیادی با کلمات جستجو شده توسط کابران دارند لیستی تهیه می کند.
طراحی سایت گرگان دنیای بزرگ و گسترده اینترنت را مانند تابلوهای ایست در خیابان تصور می کند. هر نقطه که مختص به تابلوی ایست و توقف است یک پرونده منحصر به فرد خاصی را به وجود می اورد. این پرونده ها در طراحی سایت گرگان یک صفحه وب است که ممکن است بعضی از مواقع به صورت پی دی اف، با فرمت تصویر و یا فرمت های فایل های دیگر نمایش داده شود. به اصطلاح طراحی سایت گرگان موتورهای جستجو در سط شهر می خزند و نقاط توقف مشخص در مسیر ها را بشناسند. اما این کار توسط بهترین و اصلی ترین روش طراحی سایت گرگان انجام می گیرد موتورهای جستجو توسط لینک ها این کار را انجام می دهند. در طراحی سایت گگران ساختمان اصلی لینک برای متصل شدن تمامی صفحات سایت کمک می کند.
میلیارد ها پرونده ایی که در دنیای اینترنت وجود دارد توسط ربات های اتوماتیک موتورهای جستجو که لینک ها به آن ها اجازه داد اند شناسایی می شوند. ربات های اتوکماتیک در طراحی سایت گرگان به عنکبوت یا خزنده معروف هستند.
با انجام این فرایند و پیدا شدن صفحات توسط موتورهای جستجو کدهای داخلی باز شده و بخش های مشخص شده در عظیم ترین پایگاه داده ذخیره می شود. این کار در طراحی سایت گرگان برای پیدا کردن آسان و راحت صفحات انجام می گیرد. به دلیل حجم زیادی از اطلاعات موتورهای جستجو مشتکل از دستگاه های زیادی هستند که این دستگاه ها قادر به انجام عملیات گسترده و متعددی در زمانی بسیار کوتاه هستند.