«Жүйе» терминінің түсінігі. Клиент-сервер архитектурасы. Провайдерлер және олардың жүйелері.

Интернет сөзі   Interconnected networks (байланысқан жүйелер) терминінен шыққан, яғни техникалық көзқараспен – бұл кіші және ірі желілер бірлестіктері. Кең мағынасында — бұл бір бірімен мәліметтермен алмасатын жер жүзіндегі миллиондаған компьютерлер арасында бөлінген ақпараттық кеңістік. Көбіне Интернет сөзімен Желінің информациялық құрамын түсінеді. Интернет – бұл өзіне уникальды жетістіктерді толығымен жинаған технология. Интернет сонымен қатар ең күшті және тәуелсіз ақпарат қоры, байланыстың сенімді және оперативті тәсілі, жер жүзіндегі миллиондаған адамдардың шығармашылық түрде өзін-өзі көрсету және ақпараттық технологияларды дамыту негізі болып табылады.Интернеттің басты тапсырмасы бұл – әр тәуліктік, жоғары сенімді байланыс. Интернетке қосылған кез келген екі компьютер (немесе басқа құрылғылар) бір-бірімен кез келген уақытта хабарласа алады. Ары қарай “Желі” сөзін қолданғанда Интернет сөзіне синоним ретінде Желімен интернет арқылы екі компьютерді байланыстыру мүмкіндігін және олардың өзара байланысын қамтамасыз етуді түсінеміз. Интернетке қосылған әрбір компьютер – бұл Желінің бір бөлігі.

Компьютер-серверлер және компьютер-клиент

Интернетке қосылған барлық компьютерлерді екі типке бөледі, олар :серверлер және клиенттер. Бір компьютерде серверді де және клиентті де орнату мағынасында бөлу онша қатаң жүргізілмейді. Жергілікті компьютерде Web-сервер орнатылуы мүмкін және осыған қарамастан, дәл осы компьютерде браузермен және почталық клиентпен де жұмыс жасауға болады.Басқа компьютерлерге анықталған сервис ұсынатын компьютерлерді серверлер (ағыл., to serve – қызмет көрсету) деп атайды, ал осы сервисті қолданатындар — клиенттер.Көп жағдайларда үйдегі клиенттік компьютерлерде әр уақытта Интернетке кіруге мүмкіндігі болмайды, сондықтан Желіге тек керек уақытта ғана қосылады. Керісінше, компьютер-серверлер мәліметтерді берудің жоғары жылдамдықты арналары арқылы Интернетпен байланысқан, сондықтан оларға сұраныс арқылы хабарласуға болады.

Қосымша-серверлер және қосымша-клиенттер

Компьютерлерді серверлер мен клиенттер деп атағаннан гөрі, оларды бағдарламалық қамсыздандыру деңгейіндегі клиенттер немесе серверлер деп атаған жөн. Бір бағдарлама клиент есебінде, ал екіншісі сервер есебінде іске қосылатын қосымшалардың өзара байланысы клиент-сервер архитектурасы деп аталады.Сервердің басты тапсырмасы – сервиске қайсыбір клиент сұраныс жібермейінше әр кезде жұмыс жасап және күту жағдайында болу болып табылады.Серверде сұраныстардың көптігінен оның жұмысы баяулап және белгілі бір сұраныстарға қызмет көрсетуді тежейді. Серверге сұраныс белгілі бір протокол шегінде болады – бұл Желіде компьютерлер арасында байланысты қамтамасыз ететін стандарттар жиыны. Серверлік бағдарламалар клиенттік бағдарламаларға қызмет көрсету үшін компьютердің аппаратты ресурстарын қолданады. Клиент-бағдарлама сұраныс құрып, оны Желі арқылы белгілі бір адреске жібереді және алдын ала белгіленген протокол арқылы сервер-бағдарламамен өзара байланысады. Сол бір компьютерде бірнеше серверлік бағдарламалар орналаса алады. Клиенттік қосымша серверлік қосымша орналасқан компьютерде де, сонымен қатар, серверден керегінше жойылған компьютерде де орналаса алады, бірақ олар Желімен байланысса, бұл айырмашылық тек уақыт бойынша жауаптың кідіруіне сәйкестеледі.                                                                                                                       Әрбір сервер-бағдарламаның типі үшін өзіндік клиент-бағдарламасы бар. Осылай, Web-клиент Web-серверге, почталық клиент – почталық серверге хабар береді және т.б. Серверлік бағдарлама әрқашан сұранысты орындауға дайын болу керек және сондықтан да сервер-бағдарлама жұмыс жасайтын компьютерлерге сенімділікке және өнімділігіне байланысты жоғары шарттар қойылады. Клиенттік компьютердің жұмысының тұрақтылығы бір адамның жұмысына әсер ететіндіктен, олардың жұмысына сенімділігіне байланысты аз талаптар қойылады, ал аппаратты сервердің жұмысының сенімділігіне байланысты көптеген клиенттердің жұмысының жүргізілуі тәуелді болады. Жоғарыда көрсетілген тәсіл (клиент-серверлік архитектура) дербес компьютердің қолданушысына өзінің жұмыс үстелінен Интернетке қосылған миллиондаған серверлердің ресурстарына қол жеткізуге мүмкіндік береді.

Провайдерлер және олардың желілері

Интернетке қарап, біз интернет-провайдерлердің қызметтерін пайдаланамыз және ISP(Internet Service Provider – Интернет қызметін жеткізуші). Көбіне ISP – бұл өзіндік желісі бар арнайы ұйым (магистральды деп аталады), оған клиенттердің көптеген саны қосылады. Провайдердің желісі ғаламның кез келген нүктесімен байланысуды қамтамасыз ететін жер жүзінің басқа да желілерімен байланысуы мүмкін. Қалыпты жағдайда ISP-провайдерлер – бұл белгілі бір аймақтарда өзіндік орналасу нүктесі (POP — Point of Presence) бар ірі компаниялар, бұл нүктелерде клиенттерінің Интернетке қосылуын қамтамасыз етуге арналған провайдердің аппаратты қамсыздығы. Ірі провайдердің әртүрлі қалаларда өзінің орналасу нүктесі мен мыңдаған клиентері болады. Бірнеше қалаларда орналасу нүктелері бар провайдерлермен қатар, бір қалада орналасу нүктесі бар провайдерлерді де атап көрсетуге болады. Телефон линиясы арқылы ISP мен байланысуды ұйымдастыру: ДК қолданушысы драйверге хабарласады және модем жинақтарының ішіндегі провайдер модемдерінің бірімен байланыс орнатады (модемді пул деп атауға болады). Қолданушы өзінің ISP не қосылғаннан кейін, ол оның желісінің бір бөлігі болып табылады. Провайдер өзінің серверінде клиенттерге әртүрлі қызмет көрсете алады: электрондық почта (e-mail), желілер жаңалықтары (Usenet) және т. б. Провайдердің магистральды желісін көбіне тіректі желі немесе бэкбоундеп атайды (ағыл. Backbone — қырат). Провайдер желілері көптеген клиенттерге қызмет көрсететіндіктен, оның жоғары жылдамдықты желісі болуы және жоғары трафикті қамтамасыз етуі керек (желі бойымен берілетін мәліметтер көлемі). Өзінің барлық орналасу нүктелерін біріктіру үшін, провайдер ірі коммуникациялық компаниялардан жоғары жылдамдықты арналарды жалға ала алады, сонымен қатар, өзінің арналарын тарта алады. Ірі коммуникациялық компаниялардың өздерінің жоғары жылдамдықты каналдары бар.

Провайдерлердің желілерін біріктіру

Кейбір провайдерлердің клиенттері, мысалы, ISP-A бір бірімен өздерінің жеке желілері арқылы өзара байланысады, ал басқа ISP-В компаниясының клиенттері өздерінің, бірақ егер ISP-A және ISP-B желілерінің арасында байланыс болмаса, онда А компаниясының клиенттері және В компаниясының клиенттері бір бірімен байланыса алмайды. Өздерінің клиенттерін бір желіде біріктіру мақсатында А және В әр қалада желілік кіруді (NAP — Network Access Points) қамтамасыз ететін нүктелер арқылы өз араларында тікелей байланысты орнатады. Осылайша, басқа провайдерлердің магистральды желілеріне қосылу құрылады, нәтижесінде жоғары деңгейлі көптеген желілердің бірігуі болады.

Интернетте жүздеген ірі интернет-провайдерлер орналасады және олардың магистральды желілері NAP арқылы әр түрлі қалаларда жасалады, және мәліметтердің үлкен ағыны NAP-түйіннің әр түрлі желілері арқылы таралады.

Үлкен және кіші желілердің бірігуі (Интернетті құрайтын) негізінде шартты келісімдер жатады. Әрбір клиенттің белгілі бір ISP пен өзінің компьютерін немесе жергілікті желісін провайдер желісіне қосу туралы келісім шарты бар. Кейбір ISP-A провайдерлердің клиенттері ISP-A желісіне қосылу туралы келісім құрайды, өз кезегінде ISP-A ISP-B мен желілерін біріктіру туралы келіседі және солай жалғаса береді..

Провайдерлер желілерінің иерархиясы

Әр түрлі елдерде халықаралық, ұлттық және аймақтық болып бөлінетін жүздеген провайдерлер бар.

Аймақтық провайдерлердің желілері (екіншілік) ұлттық провайдерлердің желілерімен (біріншілік) жоғары жылдамдықты каналдар арқылы байланысады. Мысалы, АҚШ-та Т1стандартты мәліметтерді беру жылдамдығы 1,544 Мбит/с арна немесе жылдамдығы 44,74 Мбит/с жететін ТЗ арнасы.

                           

                            Интернет коммуникациясының моделі

Коммуникацияның Pull- және Push-моделі. Интернет сервисінің коммуникациялық мінездемелері (сипаттамалары).

Интернет коммуникациялық мінездемелерін қарастырайық. Дәстүрлі коммуникациялық модель негізінде «бірге бір» ережесі жүреді. Коммуникациялық құрылымға байланысты ақпарат статикалық (мәтін, графика) және/немесе динамикалық (аудио, бейне, анимация) күйінде көрсетіледі.

Бұл модельден ерекше Интернет негізінде екі басқа принциптер жатыр.Біріншіден, Байланысқа өз үлесін қосатын Интернетке коммуникация кезінде оның арнасы арқылы өтеді. Бұл модель бастапқы байланыс жіберуші мен қабылдаушы арасында емес, негізінде қолданушы мен коммуникациялық ортадағы бір кеңістік арасында болатынын көрсетеді, сонымен байланыстың екі қатысушысы да жіберуші де, қабылдаушы да болып табылады.

Интернет өзімен әрбір желі абоненті басқа абоненттерге немесе топтармен топ атымен немесе өз атымен хабарласа алтын “көпке көп” көп бағыттылы коммуникациялық модельді көрсетеді. Бұл модельде коммуникация құралы болып таратылған компьютерлік желі айтылады, ал ақпарат гипермедиялық түрде көрсетілуі мүмкін. Бұл модель интерактивті байланыс Интернеттің басқа қолданушыларымен қатар ортаның өзімен де бола алатынын, тіпті соңғы байланыстың соңғы түрі басымдылық көрсететінін білдіреді.Осындай байланыстың бар болуынан ақпарат жіберуші құралы кейде оның қолданушысы да бола алады. Бұндай модельде ақпарат және мазмұн жіберушіден қабылдаушыға беріліп қана қоймай, ортаның өзі де оның қатысушыларымен де құрылады.

Интернет ортасының моделі ашық көрсетілген кері байланыстарды көрсеткенде, жалпы коммуникацияның дәстүрлі әдістері үшін коммуникациялық модельде кері байланыс контуры болмайды. Тұтұнушымен кері байланысты жүзеге асыруға мысал ретінде электронды почтаны, қолданушылар тіркеу туралы мәліметтер, «cookie» файлдары, Web-серверлерде жазылу немесе тіркелу. Кері байланыстың болуы өзара байланыстың коммуникациялық әдістерін қолдану тиімділігін және ішкі және сыртқы ортада болатын оқиғаны қалыпты қабылдауды жоғарылатады.

Интернет коммуникациясының Pull- және Push-модельдері

Жалпыға бірдей қызмет көрсетудің дәстүрлі әдістері тұтұнушыларға ақпаратты жеткізуші push-модельді жүзеге асырады, бұнда тұтұнушылар пассивті роль атқарады және ақпараттың каналдарын таңдаудың шектеулі мүмкіндіктерінің болуы.

Ақпаратты жеткізудің дәстүрлі push-моделіне қарсы Интернет негізінде, ақпаратты сұраныс бойынша жеткізетін (demand pull) pull-моделі жатыр. Бұл Интернет ортасының ерекшелігі ақпаратты іздеуде бақылаумен негізделген және іздеу механизмін қолдануда навигация бейнесі немесе басқа да URL (uniform resource locator) бастауларына байланысты тұтұнушылардың тікелей қатысуымен байланысты. Интернетте сонымен қатар push-моделін іске асыру мүмкіндігі бар. Интернет бұл модельмен push-технологиясы арқылы жүре алады, соған байланысты қолданушыларға Интернетте ақпаратты іздеп жатудың қажеті жоқ, ол тек керекті тақырып бойынша қажетті каналға жазылса болғаны, кейін ақпарат канал жазылушыларының компьютерлеріне автоматты түрде жемкізіліп тұрады.

Интернет ортасының технологиялары push- және pull-модельдерінің тығыз байланысы бағытында дамиды. Интернеттің жоғары функционалдылығына байланысты керекті ақпаратты немесе басқа да қорларды табу мақсатында қолданушының навигация мүмкіндіктері әрқашан да болады. Басқа жағынан, қолданушылардың әрқашан ақпаратты жеткізушіні және қабылданатын push-каналдар тематикасын таңдауға мүмкіндіктері бар.

Интерактивтілік.

Internet ортасының басты сипаттамасы оның интерактивтілігі болып табылады. Интерактивтілік – бұл коммуникациялық хабарламалардың бір біріне қатысты орналасуын білдіретін, коммуникация процесінің жүзеге асуын көрсететін сипаттама. Интерактивтік өзара байланыс үшін ақпараттың немесе хабарламаның келуіне жауапты іс- әрекеттің болуы тән, сонымен қатар, жауап алдындағы хабарламаның контекстінде болуы қажет.

Жоғарыда айтылғанға орай, Интернет ортасы үшін интерактивтілікті қолданушыға ² жауап қайтару² мүмкіншілігі есебінде түсінуге болады. Осайша, интерактивтілік компьютердің қолданушының қимылын бағалап және осы бағаға байланысты жауап бере алатын мүмкіндігі бар, диалогқа қатысушы есебінде функциялық көрінісін кеңейтеді және толықтырады. Компьютерлік гиперортаны қолдану арқылы өзара байланысу процесінде клиентпен хабарласу қатынасты орнатудың ең бастапқы кезеңінде сол компьютерлік гиперортамен, клиенттің алдыңғы іс- әрекетке қалай қарағандығына байланысты жасалуы мүмкін. Internet негізінде жатқан құрамдық модельді қайта қарау барысында, Internet ортасындағы интерактивтілік енді орта арқылы жеке қатынас деңгейінде жүзеге аспай, нақты ортаның өзімен өзара байланысу деңгейінде жасалатынын көруге болады.

Өзара байланыстың интерактивті сипаты коммуникация мүшелерінің өзара байланысу әсерін жоғарылатуға мүмкіндік береді. Бұл, мысалы тәжірибе жүзінде, келісім немесе сатып алу үшін қажетті ақпаратты алу үшін кететін уақытты қысқартуға керек. Сонымен қатар, ортаның интерактивті сипаты жеке клиенттің ерешеліктеріне қатысты байланыстың қалыптасу мүмкіндігін ұсынады.

Гипермәтін

Internet ортасының гипермәтіндік табиғатының ерекшелігі аз емес. Гипермәтінге негіздерген дүние жүзіндегі ең алғашқы жүйені 5 0 жылдан астам уақыт бұрын ЭЕМ- нің алғаш құрушыларының бірі (Ванневар Буш) ұсынған. Бұл жүйе Метех деп аталады, ол қолданушының жеке кітаптарын, жазбалар мен коммуникацияларын сақтайтын құрылғы, оған жүктелу тез және оңай. 1967 жылы Нельсон (Nelson) гипертексті жүйелер көрсеткіштері мен ассоцация ретінде бейнелеп, адам ойындағы жеке мәліметтер бөліктерін ұйымдастыру және байланыстыру мүмкіндіктеріне теңеді. 1993 жылы Бомман (Bomman) гипертекстке мынандай анықтама берді: » Гипертекст концепцияның ретсіз жазба мәліметтерін құрайды, осыған орай қолданушы мәліметтер бөліктерін бір-бірімен көрсеткіштер мен байланыстар көмегімен байланыстырады. Гипертекстік жүйеде мәлімет түйін және байланыс түрінде беріледі.»

Гипертекст ұйымдстыру құралының бөліктерге бөлінген сызықты емес желілер формасымен сипатталады. Мұнда әр бөлік (фрагмент) келесі бөлікке белгілі бір байланыс типі арқылы көшеді.

Гипертекст мәліметтерді ғана емес, сонымен бірге қолайлы іздеу қондырғысын құрайды. Сонымен, гипертекстік көрініс мәліметтері қарапайым әдіске қарағанда, мәліметтерді қорытады.

Мультимедиа

Мультимедияның пайда болуына байланысты динамикалық (аудио, видео, анимация) және статикалық (текст, графикалар, суреттер) құрамы бар кмпьютерлік интеграция мүмкіндігі туды. Түйіндер мен байланыстар комбинациясы гипертекстік жүйе мультимедиасында жңа ортаны құруға мүмкіндік берді.

Гипермедиа – бұл мәліметтер көрінісі және оған кіру әдісі. Оның концепциясы граф түрінде берілген мәліметтер кеңістігінің моделінде орналасады, түйіндерінде мәліметтер, ал семантикалық байланыс граф доғасында қамтылады. Ақиқатты гипермедия жүйесіндегі сақталатын мәлімет осы заманғы компьютер шығара алатын барлық мүмкін формалармен көрсетіледі. Сонымен қатар, гипермедиа өзінде радио (аудио), теледидар (динамикалық бейне), пресса (текст, суреттер, фотосуреттер) және компьютер (видеотерминал) компьютерлік гиперортада құрамында жататын гипертекстік байланыстарды орнатады.

Болу эффектісі

Интернеттің коммуникациялық моделінің басты мәселесі «болу эффектісі» болып табылады, қоршаған ортамен клиенттің араласу процесі: жағдай, бөлме, компьютерлік жұмыс орын және т.б., компьютерлік гиперәдіспен құралатын орта құрамына кіреді. Дәреже қатынасы мен клиентке әсер ету «болу эффектінің» дәрежесін анықтайды. Айта кеткен жөн ,»болу эффектісі» өзінің табиғатына сай, интерактивтік араласу мен компьютерлік гиперортамен тығыз байланысты.

Желілік навигация

Желілік навигация компьютерлік гиперортада өзіндік қозғалыс процесі болып табылады. Сызықты емес іздеуді және мәліметтерді талап ету құрамындағы әдісті клиентке еркін түрде береді.

 

 

 Қолданушының Интернетке кіруі.  Коммутация каналының желісі.        Модем.

Қолданушылардың көп бөлігі жоғарғы жылдамдықпен желіге кіру мүмкіндіктері провайдерге қарағанда жоқ. Абонентпен провайдердің болу нүктесі арасындағы болатын байланыс технологиясы технологияның соңғы милясы деп аталады. Бұл атау шартты түрде, ал практика жүзінде осы айтылған қашықтық бір миляға сәйкес келу қажет емес. Көп жағдайларда “соңғы миля” желіден компьютер қолданушысына ақпаратты жіберу тар жол болады. Интернетке жіберу соңғы миля технологиясы әртүрлі бола алады, бірақ “кіру жылдамдығы жоғары болған сайын, каналдарды қолдану ақысы жоғары болады” деген принцип әмбебеапты болып келеді. Бар инфраструктураны қолдануға мүмкіндік беретін көптеген технологиялар бар, олар — Интернетке кіру мүмкіндігіне арналған телефонды линиялар, кабельді теледидар желілері және басқалар.Интернетке кіру әртүрлі технологиялары: телефондық линия арқылы модеммен қосылу,радиоканал арқылы қосылу,кабельді теледидардың желісімен қосылу, және де,спутникті канал көмегімен.Интернетке қосылудың әртүрлі әдістеріне қарамастан,қолданушы үшін тек қосылу тұрақтылығы,мәліметтерді жіберу жылдамдығы және жауап беру уақытында ерекшеліктер бар.Интернеттің барлық ресурстары кіру мүмкіншіліктері бар,оның көмегімен ол провайдермен қосылады. Желіге қосылудың әртүрлі варианттарын қарастырайық.

Коммутаторлық телефон линиясы арқылы қосылу.

Коммутативті телефонды линияның модем арқылы қосылуы – бұл әзірше үйдегі Интернет қолданушылардың СНГ-да таралған қосылу әдісі.

Желінің коммутациялы каналдарымен.

Коммутациялы телефонды желінің немесе желінің коммутациялы каналдарымен жұмыс принципін айтайық.Сіз біреуге қоңырау шалған кезде,сіздің аралығыңызда белгілі бір физикалық байланыс каналы орналасады,олар коммутатор арқылы байланысатын жеке учаскелерден тұрады. Абоненттің әрбір учаскесі бірінші коммутаторға дейін бөлінбейтін болып келеді.Яғни әрбір абонент осы учаскелерді жеке өзі қолданады.Желіліердің қалған учаскелері коммутатор арасында ажыратылған болып келеді,дәлірек айтқанда әртүрлі уақытта әртүрлі қолданушылармен қолданылады.Бірақ,егер қайсыбір участок бір қолданушымен бос емес болса,онда келесі біреу оны осы уақытта қолдана алмайды.Коммутативті телефонды линиямен қосылу — бұл уақытша (сеансты) қосылу дейді. Телефонды линия телефонды әңгімемен немесе мәліметтерді модем арқылы жіберумен бос болмауы мүмкін.“Модем” сөзі “МОДулятор” и “ДЕМодулятор” деген сөздерден құралады. Модем телефонды линия арқылы мәліметтерді жіберуде қолданылады.Жалпы жоспарда модем - бұл қондырғы,цифрлық кодты әртүрлі екі жиелік дыбыстардың ауысу мен кері қайту – дыбыс тербелісін цифрлық ақпаратқа ауыстырады.Екі модем қосылғаннан кейін модулятор тұрақты тербеліс периодының басты сигналымен генерацияланады және болып жатқанды өзгертіп екінші сигналды қосады.Сонымен,жүріп жатқанның бір параметрі жіберу сигналының өзгеруіне байланысты.Демодулятор анализдайды, түсетін сигнал жүріп жатқан сигналдан қалай ерекшеленеді де басты сигналды қалыптастырады.Басқаша айтқанда,жіберуші модем болып жатқан жиелікті пайдалы сигналмен моделдейді және жоғарыжиеліктегі сигналды жібереді, ал модем-адресат сигналды ASCII кодына (American Standard Code for Information Interchange – ақпараттармен алмасудың стандартты коды – машиналық көріністегі латын алфавитінің әріптері,сандар мен басқа сисволдардан тұратын 128 код символ топтамасы, олардың әрбіреуіне 7-биттық екілік сан.Сегізінші бит жіберу кодының дұрыс контроліне жұмыс жасайды) сәйкес кері цифрлы формаға демодулдейді.

Бірінші модемдер Bell Laboratories зертханалық центрінде өңделген және Bell 103 атауын алды.Бұл қондырғылар екі сыңарлы жиелікті қолданды: сыңарлы жиелік бір модемге, және сыңар екіншіге.Жіберуші модем 1,07 және 1,27 кГц арасындағы жиеліктерге ауысуы арқылы, ал жауап беруші модем 2,025 және 2,225 кГц арасындағы жиелікте мәліметтерді жіберді.

Bell 103 модемдері 300 бит/с жылдамдықпен жұмыс істеді работали со скоростью 300 бит/с,солай минутына 30-ға жуық символ жіберуге болатын болды.Мұндай жылдамдық тек қана текстік хаттамалармен алмасқасқан кезде қолайлы,себебі бұл жылдамдық адамның оқу жылдамдығымен салыстырғанда артық.Мәліметтерді 300 бит/с жіберетін модемдер 1980жылға дейін өмір сүрді.Сөйтсе де, адамдар суреттерді жібере басталғалы ондай жылдамдық аздау екені айқындалды.

1980 жылдарға қарай 1200 бит/с жылдамдықпен мәліметтерді жіберетін модемдер пайда болды.1990жылдардың басында жылдамдық 9,6 Кбит/с дейін жетіп,өсе бастады: 19,2; 28,8; 33,6 Кбит. 1998 жылы 56 Кбит/с жылдамдықпен жұмыс істейтін модемдер шықты.

Осы заманғы модемдер –бұл өте күрделі схемалы модуляцияларды қолданып,мәліметтерді жіберер кезде қаптайтын күрделі құрылғылар болып келеді. Клиенттік компьютер коммуникациондық портқа ноль мен бірдің реттелген түрге келтіріп, әр түрлі командалар мен мәліметтерді жібереді. Модем мәліметтерді қабылдап,оларды командалар және ақпаратқа ажыратады да ,телефон линиясы арқылы жіберіп жүзеге асырады.

Қолданушы модем арқылы телефондық желіге ортақ қолданумен қосылып, aл ISP, басқа модеммен, цифрлық сигнал арқылы Интернетпен қосылады.

Бүгінгі күнгі модемдер екі түрлі:ішкі және сыртқы.Ішкі модемдер кеңелмелі плата арқылы жұмыс істесе, сыртқылары бөлек құрылғы ретінде автономды блоком питаниямен істейді.

Осындай аналогты телефон каналы бар модемдердің максималды жіберу жылдамдығы 33 600 бит/с, ал қабылдау — 56 Кбит/с. Bell 103-ке қарағанда 200 есе жылдам.

 

Интернеттегі web серверлер. Web – сервер жұмысының механизмі. Статистикалық және динамикалық беттер. CGI технологиясы. Скриптер.

 

Браузердің адрестік жолындағы қажетті URLді теріп болған соң, браузер пайдаланған протокол (HTTP) жөнінде мәлімет және сервер атын алады. Сервер атын IP- адреске ауыстыру үшін браузер DNS серверіне- жүгінеді. Алынған IP- адрес негізінде браузер ізделінді Web- сервермен байланыс орнатады және HTTP протоколын пайдалана отырып ізделінді ресурсты сұрайды. Сервер браузерге серверде сақталатын HTML бетін жібереді. Браузер HTML- тэгтерін оқу нәтижесінде сіздің компьютеріңіздің экранында бет ашалады, одан сіз өз сұранысыңыздың нәтижесін көраласыз. Әдетте қарапайым Web беттерде тек текст қана емес графиктерден де тұрады, яғни әр түрлі типтегі бірнеше файлдан тұрады. Браузер ол файлдарды тану үшін, сервер қандай файлды (HTLM форматындағы текст немесе JPG форматындағы графика және т.б) жіберу керек жөнінде мәлемет береді содан соң файл мазмұны жіберіледі. Әдетте, Web беттер көптеген файлдардан түрғанына қарамастан бір рет сұраныс уақытысынды Web сервер тек қана бір файлды жібереді. Яғни, html текст алып одан графикалық элементке сілтеме тауып, браузер серверге жаңа сұраныс жібереді ( html текст келген серверге ғана жіберу міндетті емес). Әрбір жаңа файлды көшіріп алу үшін браузер жаңа HTTP сұранысын жіберу керек. Бұнда қазіргі серверлермен браузерлер көп потокты режімде жұмыс істейтіндіктен бір мезгілде бірнеше сұраныс орындалуы мүмкін. Егер берілген адресте сұранып отырған ресурс жоқ болса онда Web сервер мұнандай мәлімет береді 404/File not found ( файл табылмады).

Статистикалық және динамикалық беттер.

Статистикалық беттер Web сервер каталогында орналасқан файлдардың нақ копиясы болып табылады және өңдеуші өзі онда бір нәрсені ауыстырмайынша өзгермейді. Дегенмен беттер динамикалық түрде қалыптасады, яғни дискідегі дайын файлдан емес, белгілі бір программада сұраныстың өңделу уақытында. Осындай беттердің қалыптасуының бірнеше әдістері бар.

Тікелей Web серверде сұранысқа сәйкес қалыптастыру.

Web беттерді динамикалық қалыптастырудың мүмкіндігін жүзеге асыру үшін серверге мынадай бағыт берілуі керек, қандай файлдар “кәдімгі” болады, ал қандайы оның программалық өңделуіне нұсқаулары болады. Бұл жағдайда бетті сервердің өзі құрастырады ( арнайы командалар көмегімен немесе ішкі бағдарлама). Беттердің динамикалық қалыптастыратын командасы болатын программа мәтіні скрип деп аталады.

Тұтынушы компьютерінде қалыптастыру.

Бұл жағдайда программа мәтіні динамикалық web- парағын қалыптастыру үшін алдымен тұтынушының локальдық компьютеріне беріледі, бұнда браузер web- парағын алу және өңдеу үшін оған сәкес заттар шақыру керек. Динамикалық беттерді қалыптастыру үшін бірнеше технологиялар бар.

CGI- технологиясы.

Біздің сұранысымызға сәйкес дайындалған динамикалық беттер “жылдам қалыптасты”. Мысалы кез-келген пікірлер кітабы сізге белгілі бір форманы көрсетеді бұнда сіз өз мәтініңізді қосасыз, келесіде осы бетті ашсаңыз онда жаңа хабарлама тұрады. Web- парағына динамикалық мазмұнды қосуға мүмкіндік жасайтын технологиялардың бірі CGI (Comman Gateway Interface) болып табылады. Ол сол немесе басқа URL мен статистикалық документі емес программаны түсінуге мүмкіндік жасайды нәтижесінде нақты уақытта мәліметтер қалыптастырады. Мысалы егер сіз белгілі бір районда ауа райынын дер кезіндегі мәліметінін бергіңіз келсе онда сіз әр бір ретте жаңа бетті құруыңыз керек. Бұл CGI технологиясының негізінде жүзеге асыруы мүмкін. Серверде жұмыс істеу бастағанда CGI программасы қосылады, ол цифрлы өлшеуіш құралына айналып температура,қысым және т.б мәліметтер береді. Әр кезде осы адрестен мәлімет алу үшін байланысқаныңызда сіз сол уақыттағы мәліметті аласыз. Басқа мысал: егер сіз ізденіс жүйесінен белгілі мәлімет алғыңыз келсе онда CGI программасы жұмысының нәтижесін ізделінді адрестер жыйынтығы түрінде аласыз.

CGI программасын нақты уақыттағы Web сервердің бір бөлігі ретінде қарастыруға болады. Сервер тұтынушының сұрағын CGI программасына береді ол оларды өңдеп жұмыс нәтижесін тұтынушы экранына қайтарып береді. Клиент үшін адресте URL статистикалық құжат па немесе CGI программа ма еш қандай айырмашылығы жоқ. CGI программалары жұмысының нәтижесі статистикалық құжат сияқты форматта болады. CGI терминін тек қана программа емес протокол ретін де түсінуге болады. Бұл жағдайда CGI Web сервер үшін стандартты тәсіл болып табылады– тұтынушы сұранысын бағдарламаға беру және одан мәлімет алу. Сервер мен оның қосымшасының арасындағы бір біріне мәлімет жіберу жөніндегі CGI протоколы HTTP протоколының бір бөлігі болып табылады. CGI программасының үлкен бөлігі CGI скрипталары болып табылады. Скрип дегеніміз интерпритацияланатын немесе басқа программаларымен жұмыс жасайтын ережелер жинағы. Perl, JavaScript тілдері тура осы скрипталық тілдер түрінде ойлап табылған. Олар сценариилер жазу тілдері деп те аталады. Негізінен CGI программасы скрипталық тілде және де компилирлық тілде жазылуы мүмкін. C,C++,Delphi.

CGI альтернативті техналогиясы Micrоsoft компаниясының технологиясы болып табылады. Ол былай аталады Active Server Page (ASP) ол да сол принциппен құрылған: web- серверге қосылған скрипт, парақ тұтынушыға жіберуден бұрын серверде орындалады. Осы принциппен орындалатын басқа да бір қатар технологиялар бар. Динамикалық мазмұны сервер жағындағы қалыптасатын схемадан өзгеше динамикалық мазмұны тұтынушы жағында көрінеді. Соңғы жағдайда активті құжаттар web серверде және локольдік компьютерде сақталады. Онда белгілі бір есептеулер орындалады жіне осы есептеулер нәтижесі экранда көрсетіледі. Активті құжаттарды дайындауда түрлі технологиялар пайдаланады: бұл мәліметтер JavaScript-те Java апплеттерде.

 

Web-ресурстарды алу технологиясы. Web-парақтарды кэштау. Прокси-сервер механизімінің жұмысы.

Web-парақтарды кэштау.

Егер сервер үлкен жойылуда болса, Интернетке шығу жылдамдығы төмен болса немесе қайта қосылу режимінде жұмыс істесе, көбнесе ақпарат кешіктіріліп беріледі. Бұл кезде қосылуды жылдамдату сұрағы туындайды. Осы сұрақты шешудің бір жолы, мәліметтерді жойылған серверлерден бірнеше рет алуға болмауында. Web навигациясы кезінде көбінесе кітаптағындай “парақты артқа парақтау” сияқты, яғни параққа қайта қосылу қажеттілігі туындайды. Браузерде Артқа пернесін басып, алдында көріп өткен параққа қайта оралғанда, оны серверден қайта алудың мағынасы жоқ екені анық. Сондықтан көріп өткен құжатты компьютердің дискінің арнайы буферлік аймағында (кэште) сақтаса, қолданушы ссылкамен қайта оралғысы келген жағдайда тез ашып көруге мүмкіндігі болады. Қазіргі заманға сай браузерлер дәл осылай істейді. Мәселен сіз парақтарды 1-2-3 кезегімен қарап, 3-ші парақ 4-ге ссылкасы бар деп ойлайық. Осы жағдайда 3-ші парақтан 4-ге өтумен (Жүйеден жүктеу) салыстырғанда 2-ге өту тез (кэштан жүктеу) орындалады.

Қазіргі заманға сай браузерлерде (Internet Explorer және Netscape Navigator) кэштелген құжаттарды сақтау үшін папканың көлемін өзгерту мүмкіндігі бар.

Прокси-сервер

Кэштеу технологиясында өзінің шектеулері бар. Мысалы, сіз және сіздің әріптесіңіз Интернетке бір провайдер арқылы қосылған болсаңыз. Бір кезде сіз, алдында сіздің әріптесіңіз алған құжатты сол провайдердің каналынан сұрайсыз. Жүйеден қайта-қайта бір құжатты сұрау дұрыс емес. Мәліметтерді сервер провайдер деңгейінде кэштау дұрыс.

Бұл мәселені шешу провайдерлер прокси-серверге (ағылшынның proxy-орынбасар деген сөзінен) жүктейді. Прокси-сервер – бұл қауіпсіздікті, әкімшілік бақылауды және кэштау функцияларын жоғарылатуға мүмкіндік беретін, қолданушының жұмыс станциясы мен Интернет арасындағы посредник ролін атқаратын сервер.

Прокси-сервер қолданушыдан қандай да бір интернет-сервисті орындауға сұраныс алады, мысалы, web-парақты көріп өтуге сұраныс. Егер прокси кэштау функциясын орындаса, ол сервердің локалді кэшінда сұрап отырған парақтың жоқтығын қарайды. Егер бұл парақ бар болса, ол қолданушыға сұраныс Интернетке берілмей қайтарылады. Ал, егер кэшта бұл парақ болмаса, прокси-сервер клиент ролінде қолданушының атынан, өзінің IP-адресін қолданып, Интернеттен керек параққа сұраныс жібереді. Парақ қайта оралғанда, прокси-сервер оны қолданушыға жібереді. Прокси-сервердің кэштау функциясы Интернетпен жұмысты едәуір жылдамдата алады жене жүйелік трафиктің көлемін азайта алады. Web-парақтарды кэштеу Жүйенің жұмысын жақсартудың бір жолы болып табылады, себебі ол web-түйіннің уақытты бұзылыстарын компенсирует.

Әдетте, прокси-сервер программасы жұмыс істейтін компьютерде едәуір дисктік аула бөлінеді. Үлкен провайдерлар құжаттарды кэштеуге ондаған және жүздеген гигабайт память бөле алады.

Осылайша, үнемі ізделіп отыратын құжат тек құжатты шығарушының серверінде ғана сақталып қоймай, сонымен қатар “қолданушыға жақынырақ”, провайдер прокси-серверінде немесе қолданушының өз компьютерінде сақтала алатындықтан, іздеген құжаттарды тез көре алу мүмкіндігі бар.

Біз мыңдаған клиенттері бар провайдерлар жөнінде айтқана, жүйедегі құжаттардың белгілі бір бөлігін ғана сұрайтынын айтып өткен жөн. Мыңдаған клиенттермен жұмыс істейтін үлкен ISP-дің прокси-сервері, сұраныстардың 50%-ға жуығын өз дискінен орындайды. Әдетте ISP сервері регионның басқа интернет провайдерлардың серверлерімен байланысты. Сондықтан, егер клиентті қызықтырып отырған құжат провайдердің прокси-сервер кэшінде табылмаса, ол басқа прокси-серверлерде табылуы мүмкін. Осылайша, кэш-ауласындағы қолданушылардың көлемі көп есе көбейеді. Кэштейтін прокси-серверлерді тек ISP-провайдерлер ғана емес, сонымен қатар жүйеге деген нагрузканы азайтқысы келетін және сұраныстарды оптимально обрабатывать үшін ірі компаниялар орната алады.

Құжаттардың жарамдылық мерзімі.

Ескірген кэштелген файлды алмау үшін, кэштелген құжаттарды қашан сұранысқа қоюға болады, ал қашан қоюға болмайтығын анықтайтын бірнеше ережелер бар. Бұл ережелердің бір бөлігі HTTP протоколында жазылып өткен, ал қалғаны браузер настройкасында және прокси-сервер әкімшілігімен ұсынады. Прокси-серверде кэштеуге шешім қабылдаудың бірнеше критерилері бар. Мысалы, егер объект жасырын болса, ол кэштелмейді. Сол сияқты кэштелген құжатты клиенттің сұранысы бойынша жіберіле алуға шешім қабылданатын критерилер бар. Мысалы, егер құжаттың жарамдылық мерзімі өткен болса, онда сервер оны клиентке жібермей, сайтты құрастырушының серверінде жаңалау құжаттың бар, жоқтығын сұрайды. Жарамдылық мерзімі өтіп кеткен құжат жай жаңартылмаған, яғни ескірмеген болуы мүмкін және оны клиенттің сұранысына беруге болады.

WEB-жылдамдытқыштары.

Стандартты браузерлер кэштеу технологиясын Web-парақтарды жүктеуді жылдамдату үшін қолданатынын айтып кеткен болатынбыз. Бірақ, жүктеу процесін Internet Explorer-ға қарағанда жақсырық орындайтын арнайы программалар бар. Жылдамдатуды жүйелік қосылулардың параметрлерін оптимизациялау арқылы, мәліметтерді кэштеу және “қажеті жоқ” мәліметтерді алып тастау арқылы жүзеге асыруға болады. Кейбір программаларда жоғарыда айтып өткен механизмдердің бірден бірнешеуі жүзеге асырылған.

Кэштеу процесін оптимизациялау арқылы жылдамдату.

Мәліметтерді кэштеу кезінде Web-парақтарды жүктеуді жылдамдатуды айтқанда 3 бағытты белгілеп өткен жөн:

• IP-мекендерді кэштеу;
• Локалді компьютерде дискті кэшті оптимизациялау;
• Упреждающее чтение.

Әр бағыттың неден құралғанын түсіндіріп өтейік.

Сіз URL браузерге сол немесе басқа ресурсты жібергенде, ол DNS-серверге доменді атты IP-мекенге жіберуге сұраныс жасайтыны белгілі. Қажетті мәліметтерді табу алдында қаншама DNS-серверлерді сұрап өтеді. Әдетте, IP-мекен қолданушы компьютерінде кэштелмейді және сіз бірнеше минут алдын қолданып отырған мекен қайта сұралып отырады, ол тағы да уақыт алады. Сондықтан, Web-парақтарды көрсетуді жылдамдатудың бір жолы DNS-серверлерді едәуір оптималды сұрау жүргізетін және IP-мекендерді кештеуді ұйымдастыратын программаны қолдану болып табылады.

IP-мекенді алып болғаннан кейін, обозреватель компьютердің кэшінде көрсетілген парақ копиясының сақталғандығын тексеріп, егер кэштегі құжат жарамды болса, ол қолданушыға жіберіледі. Бұл процесс та уақыт алады және оны жылдамдату – бөлек мәселе, сондықтан оны басқа программаға жүктеуге болады. Осы мәселемен айналысатын көптеген программалар көп орын алатын, бірақ жылдам істейтін өз кэшін құрады. Жылдамдатудың екінші бағыты осыны құрайды.

Үшінші механизмді (упреждающее чтение) түсіндіру үшін, кәдімгі браузердің жұмысына қайта оралайық. Құжат браузермен көрсетілгеннен кейін, әдетте үзіліс болады. Қолданушы құжатты оқығанша жүктеу процесі тоқтатылады, яғни система простаивает. Упреждающее чтение үзіліс кезінде қосылыстарды қолдануға мүмкіндік береді, бұл кезде осы параққа ссылкасы бар құжаттар жүктеледі. Осы құжаттардың фондық режимде жүктелуі қолданушы сұраныс жібергенде тез көрсетуге мүмкіндік береді. Үшінші механизм осы упреждающее чтение немесе префетчингтан (prefetch-ағылшынның алдан-ала алып келу деген сөзінен) құралады. Кейде осы механизмді упреждающее загрузкой (ағылшынның pre-loading деген сөзінен) деп те атайды.

                                  

                              Интернеттің іздеу технологиялары.

Қажетті ақпаратты іздеу принциптері. Іздеу машинасының жұмыс механизмі. Индексті құру.

Web-тен іздеу

Интернетте миллиондаған сайттар бар, соның ішінде өзекті ақпаратпен қоса көптеген ескі қорлар орналыстырылған. Интернет – белгілі бір басқарушысы жоқ демократиялық ақпарат көзі болып табылады. Кез келген адам желіге өзінің қорын орналастыра алады. Қорытындылап келгенде, интернетте ақпараттың қайталанбауына, оның стандартқа сай келуіне көп адамдар мән бере бермейді. Желіде барлығы бар екені белгілі, бірақ желіден қажетті ақпаратты алу қиын. Яғни, мәліметті табу үшін, оны жақсы іздей білу керек. Осы бөлімде интернет желісімен жұмыс істейтін іздеу аспаптары сипатталып, іздеу жүйесінің жұмыс механизмі түсіндірілген, іздеу оптимизациясына практикалық түсініктеме берілген.

Интернетте ақпаратты іздеуге арналған мынадай әртүрлі аспаптар бар: іздеу машиналары

(поисковиктер), индекстелген каталогтер (рубрикаторлар), рейтингілер, метаіздеуіш жүйелер және тематикалық сілтемелердің тізімі, онлайн энциклопедиялары мен анықтамалар. Осы кезде әр түрлі үлгідегі ақпаратты табуда іздеу аспаптарының түрлі категорияларын қолдану тиімді болып келеді. Әр категорияны жеке қарастырайық.

Индекстелген каталогтер

Каталог дегеніміз тақырыптары бойынша топтастырылған иерархиялық құрылым түрінде берілетін мәліметтер. Иерархиялық құрылымның бірінші деңгейіндегі тематикалық бөлімі “спорт”, “демалыс”, “ғылым”, “дүкендер” сияқты кең тараған тақырыптардан тұрады. Ал әр бөлімнің бөлімшелері болады. Осылайша, біртіндеп каталог бұтақтары арқылы саяхат жасап, іздеу облысын кішірейте отырып, сіз өзіңізге керекті облысты дәл анықтай аласыз. Мысалы оқу орындарын іздеу барысында мынадай тізбек пайда болуы мүмкін: Білім-> Оқу орындары -> Жоғары оқу орындары ->Институттар. Қажетті ішкі катологты тапқаннан кейін, одан сілтемелер жинағын аласыз. Катологтерді программалар емес, адамдар құрастырғандықтан, катологтегі барлық сілтемелер профильді болып табылады. Егер сіз ортақ тақырыпта жалпы ақпарат іздесеңіз, онда каталогке қатынаған дұрыс. Ал егер сізге нақты бір құжатты табу керек болса, онда каталог тиімсіз іздеу құралы болып табылады.

Желіде ортақ қолданылатын каталогтардан басқа, ерекшеленген каталогтар да бар. Егер де бір каталогта өте көп қор орналасса, онда оларды кең таралуына байланысты бірнеше бөліктерге бөлуге (ражнирование) болады. Мысалы, Яндекс каталогында бөліктеу басқа сайттардың біздің сайттағы сілтемелерінің индексімен жүргізіледі.

Желіде каталогтардан басқа рейтингтер де бар. Каталогтан рейтингтің айырмашылығы, мұнда қорларды тікелей оның иесі суреттесе, ал каталогта — авторы, демек оның редакторлары суреттейді.

Сілтемелердің тематикалық жинағы

Сілтемелердің тематикалық жинағы – бұл кәсіби топтармен немесе жеке жинақтаушылармен құрылған тізімдер. Шектелген кәсіби тақырыпты ірі каталогтің жұмыскерлер тобына қарағанда сол жұмыстың кәсіби маманы жақсы ашуы мүмкін.

Домендік атты теру

Каталог – бұл ыңғайлы іздеу жүйесі, бірақ егер сізге Intel немесе IBM компаниясының сервері керек болса, сіз каталогке қатынай алмайсыз. Сәйкес сайттардың атын табу қиын болмайды: www.intel.com, www.ibm.com.

Сол сияқты, сізге егер ауа райына арналған сайт қажет болса, оны www.weather.com серверінен іздеген дұрыс болады. Көп жағдайларда кілттік сөз арқылы сайтты табу мәтінде көп кездесетін сөзден тұратын құжатты тапқаннан ыңғайлы.

Іздеу кезінде танымалы емес компаниялардың адресінің атын интуитивті ойдан тергенде, бірде-бір іздеу жүйесінде тіркелмеген сервермен байланыс орнатуы мүмкін болғандықтан, ол іздеудің басқа түрлерімен табысты бәсекелесе алады. Осыған ұқсас іздеулер тиімсіз, сондықтан ізделінетін сайттың атын таба алмайтын болсаң, іздеу машинасын қолдану керек.

Іздеу машиналары

Сұранысқа жауап ретінде сіз әдетте құжаттардың ұзын тізімін алаcыз, оның көбі сіздің сұрағыңызға жауап бермейді және сол тақырыпқа ешқандай қатысы болмайды. Сондай құжаттар релевантты емес (ағылшын сөзінен шыққан, relevant- лайықты, қатысты) деп аталады, ізденіс бойынша табылған құжаттар релевантты құжаттар деп аталады.

Табылған сілтемелердің тізіміндегі релевантты құжаттардың проценті сұраныстың дұрыс қойылуына байланысты болады.

Іздеу машинасы тапқан барлық құжаттардың ішіндегі релевант құжаттардың бөлігін іздеу дәлдігі деп атайды. Релевантты емес құжаттарды шуы бар құжаттар деп атайды. Егер табылған құжаттардың барлығы релевантты болып келсе (шуы жоқ құжаттар), іздеу дәлдігі 100% құрайды. Егер барлық релевантты құжаттар табылса, онда іздеу толымдығы 100% тең.

Сайып келгенде, іздеу сапасы екі өзара тәуелді параметрлермен анықталады: дәлдікпен және іздеу толықтығымен . Толықтықтың артуы дәлдікті төмендетеді және керісінше.

Іздеу машинасының жұмыс механизмі

Іздеу жүйелерін анықтама қызметімен салыстыруға болады, онда агенттер кәсіпорындарды аралап, мәліметтерді деректер базасына жинайды. Клиент анықтама қызметіне жолыққанда ақпарат сол деректер базасынан алынады. Мәліметтер базада ескіріп отырады, сондықтан агенттер оларды оқтын-оқтын жаңартады. Кейбір кәсіпорындар мәліметтерді өздері жібереді, сондықтан агенттердің оларға барудың қажеті болмайды. Басқаша айтқанда, анықтама қызметінің екі функциясы болады : жасау және деректер базасын тұрақты жаңарту және клиент сұранысы бойынша базадан хабар іздеу.

Сол сияқты, іздеу машинасы да екі бөлімнен тұрады: робот — ол берілген серверлерді аралап деректер базасын қалыптастырады, және іздеу механизмі. Робот терминінің көптеген синонимдері бар, роботтан басқа оны желілі агент немесе торапта жүргеніне байланысты құрт немесе өрмекші дейді.

Робот базасы негізі роботтың өзімен (робот өзі жаңа қорларға сілтемелер тауып алады) және аз дәрежеде өз сайттарын іздеу машиналарында тіркейтін қор иелерімен қалыптасады. Деректер базасын қалыптастыратын роботтан басқа табылған сілтемелердің рейтингісін анықтайтын программа бар.

Іздеу машинасының жұмыс принципі пайдаланушы көрсеткен кілттік сөздер арқылы ішкі каталогтан (деректер базасы) релеванттігі бойынша сұрыпталған сілтемелер тізімін беру арқылы іске асырылады.

Іздеу жүйесі тек ішкі каталогтармен операциялайтынын атап айтқан жөн. Іздеу машинасының мәліметтер базасы жүйедегі түйіндік адрестерді сұрау арқылы әрдайым жаңартылатынына қарамастан, іздеу машинасының ішкі қорларын және желі қорларын салыстыруға келмейді, сондықтан әрқашан машина ескірген адрес немесе қажетсіз ресурс табатыны өте ықтимал. Проблема тек қана ішкі қорлардың шектілігінде ғана емес, тағы роботтың жылдамдығының шектілігінде тұр. Іздеу машинасының ішкі қорларының көбеюі проблеманы шешпейді, себебі аралау жылдамдығы ақырлы.бірақ іздеу машинасының ішінде каталогтарға бөлінген Интернеттің кіріс қорларының белгілі бөлігінің көшірмесі болады деуге болмайды. Толық ақпарат (кіріс құжаттар) бәрі бірдей сақталмайды, көбіне жиі тек оның бөлігі – индекстенген тізім немесе индекс деп аталатын, құжат жолынан шағын бөлігі сақталады.

Индекс құрау үшін кіріс мәліметтер қор көлемі минималды, ал іздеу тез әрі максималды пайдалы ақпарат беретіндей түрлендіріледі. Индеккстенген тізімді түсіндіру үшін оның қағаз аналогы – конкорданс, яғни сөздікті келтіруге болады, онда белгілі жасушымен қолданылатын сөздер алфавиттік тәртіпте болады, және де жазушы шығармасында келтірілгеніне сілтеме болады.

Айтпаса да түсінікті, конкорданс (сөздік) шығарма тексінен шағын және одан керекті сөзді іздеген кітапты түгел парақтағаннан көп жеңіл.

Индексті құру

Желілік агенттер немесе робот-өрмекшілер Желі бойымен “өрмелейді”, Web – беттердіѕ талдайды және не әрі қай парақта табылғаны туралы ақпарат жинайды. Кезекті HTML-парақтарды табысымен көптеген іздеу машиналары (әр іздеу машиналарында әртүрлі) сөздерді, суреттерді, сілтемелерді және де басқа да элементтерді белгілейді. Сөздердің парақта барлығы ғана емес, әрі оның орналасуы, яғни бұл сөздің қайда орналасқаны: тақырыпта (title), таќырыпшаларда ( subtitles ), метатэгте ( meta tags ) немесе басќа орындарда . Әдетте негізгі сөз ескеріледі де, шылау мен одағайлар: “ ал ”,“ біраќ ” және “ немесе ” еленбейді. Метатегтер парақ иелерінің өзіне сол арқылы ізделінетін кілттік сөздер мен тақырыпты анықтауға мүмкіндік береді. Бұл әсіресе кілттік сөздің бірнеше мағынасы болғанда қажет. Метатегтер іздеу машинасын сөдердің бірнеше мағынасынан дұрысын таңдауға көмектеседі. Алайда метатегтер адал толтырылғанда ғана сенімді жұмыс істей алады. Web-парақтардың кейбір иелері өздерінің метатегтеріне Желіде көп аталатын өз сайт тақырыбына қатысы жоқ сөздермен толтырады, сол арқылы өзінің жаңа келушілерін тарту әрі қор қатысуы рейтингісін жоғарылату үшін жасайды. Іздеуден осы сияқты сайттарды шығару – жақсы іздеу жүйесінің тағы бір тапсырмасы. әрбір роботтың өз қараниетті жарнама үшін жазаланған қор тізімі бар.

Тапсырма берілген Web-парақтарда ақпарат жиналғаннан кейін алынған мәліметтерді индекстеу жүреді. Робот-өрмекшілер Web-парақтардың ақпараттарын қарастырып, кілттік сөздер арқылы индекстенген іздеу базасын құрады, содан кейін пайдаланушы сұранысы арқылы жүйе дұрыстығына (релевантты) қарай сайттар тізімін береді. Айқын, егер сіз сайтты “гүл” деген кілттік сөзбен іздесеңіз, онда іздеу машинасы сол сөз бар парақтарды тауып қана қоймай, бұл сөздің қай жерде сайт тақырыбына қатыстылығын анықтай алуы керек. Сөздің Web-парақтың профиліне қатыстығын анықтау үшін оның парақта қаншалықты жиі ұшырасатынын, берілген сөз туралы сілтемелердің бар-жоқтығын бағалау керек. Қысқаша айтқанда, парақта табылған сөздерді маңыздылық дәрежесіне қарай рангілеу керек.

Сөздерге салмақтылық коэфициенттері оның қанша және қайда кездесетініне қарай (парақ тақырыбында, беттің басы не аяғында, сілтемеде, метатегте және т.б) меншіктеледі. әрбір іздеу механизмі салмақ коэфициенттерін берудің өз алгоритмдері бар – бұл әртүрлі іздеу машиналарының бір кілттік сөз арқылы сұрауға әртүрлі қорлар тізімін берудің бір себебі. Парақтар әрдайым жаңартылып отыратындықтан, онда индекстеу үрдісі де жиі орындалып отырылуы керек. Робот-өрмекшілер сілтемелерді аралай жүріп, индекстен тұратын файлды құрады, ол үлкен болуы мүмкін. Оның көлемін азайту үшін ақпарат көлемін минимизациялау мен файлды сығуға жүгінеді. өңделгеннен кейін мәліметтер үнемі жанарып отыратын базада сақталады. Бірнеше роботтары бар іздеу машинасы секундына жүздеген парақтарды өңдей алады. Бүгінде мықты іздеу машиналары жүздеген миллион парақты сақтайды және күніне ондаған миллион сұранысты қабылдайды.

Индексті құруда дубликаттардың санын азайту тапсырмасы да шешіледі – қатесіз салыстыру үшін алдымен құжаттың кодировкасын анықтау қажеттігін ескерсек, тапсырма оңай емес. Бұдан да қиын тапсырмаға өте ұқсас құжаттарды айыру жатады (оларды “дубликат дерлік” деп атайды), мысалы оларға мазмұны бір ал тақырыбы әртүрлілер жатады.Бұл сияқты құжаттар Желіде өте көп – мысалы біреу рефератты көшіріп алып өз сайтында басқа атпен басып шығаруы мүмкін. Қазіргі заманғы іздеу машиналары барлық бұл проблемаларды шешуге мүмкіндік береді.

Индекс арқылы іздеу

Индекс арқылы іздеу мынадан құралады, яғни пайдаланушы сұраныс құрастырып оны іздеу машинасына береді. Бірнеше кілттік сөздерді қолдануда сұраныс тілін пайдаланған пайдалы, оның негізін буль операторлары құрайды.

Ең жиі қолданылатын буль операторлары:

• AND – бұл арқылы біріктірілген барлық терминдер ұсынылған құжатта қатысуы керек. Кейбір іздеу жүйелері “+” белгісін “AND” орнына қолданады;
• OR – кем дегенде бір кілттік сөз “OR ”-мен қатысты, ізделінетін құжатта болуы керек;
• NOT- “NOT”-тан кейінгі кілттік сөз ізделінетін құжатта кездеспеуі керек. Кейбір іздеу жүйелері “-” белгісін “NOT” орнына пайдаланады;
• FOLLOWED BY – кілттік сөздер бірінен кейін бірі кезектесіп келуі керек;
• NEAR – сөздердің бірі екінші сөзден белгілі санды сөздерден кейін келуі керек;
• Тырнақшалар – тырнақша ішіндегі сөздер- бұл текст фрагменті құжат немесе файл ішінде кездесуі тиіс. Айта кетейік, сұраныс тілі семантикасы нақты бір іздеу машиналарында бір біріне ұқсамауы мүмкін, әдетте ол туралы іздеу машинасының нұсқауында мәлімет келтіріледі.

Шектерінде логикалық комбинация анықталатын мәтін іздеу бірлігі деп аталады. Бұл сөйлем, абзац не бүкіл құжат болуы мүмкін. Түрлі іздеу жүйелерінде әртүрлі іздеу бірліктері қолданылуы мүмкін. Сөйлем шегіндегі іздеу тек индексінде толық мекенжай (адрес) бар жүйелерде ғана мүмкін.

Пайдаланушы іздеу жүйесіне сұраныс жібергеннен кейін, ол сұраныс синтаксисін өңдейді, кілттік сөздерді индекстегі сөздермен салыстырады. Содан кейін сұранысқа жауап беретін сайттар тізімі релеванттылығына қарай рангіленіп, пайдаланушыға берілетіндей іздеу нәтижесі құрастырылады.