Diplomatervemben hálózati terhelésmegosztó algoritmusokkal foglalkozom, mellyel a Traffic Enginerring egyik legérdekesebb ága kerül bemutatásra. Ezen módszerek közös és egyben legfontosabb tulajdonsága, hogy a klasszikus, egy útvonalas módszerekkel szemben, a forgalom egy adott forrás-nyelı pár között szétoszlik, azaz párhuzamosan több útvonalon is haladhat. Három különbözı módszer kerül részletes ismertetésre, illetve szimulációs vizsgálatra. Ezek rendre: egy lineáris programozáson alapuló módszer, OMP, illetve QoSPF. Az OMP, illetve QoSPF algoritmusok esetében a szimulációs implementáció elkészítése és ismertetése is a diplomaterv részét képzi. A felhasznált szimulációs platform a Network Simulator 2-es verziója (ns-2).

Jelen diplomaterv célja az elárasztáson alapuló strukturálatlan hálózatok jellegzetességeinek megállapítása, illetve egy olyan szimulációs környezet előállítása, amin belül különféle eljárások vizsgálatát lehet elvégezni egy széleskörűen paraméterezhető rendszerben. Többféle vak keresési módszer lett implementálva. Az elárasztás mellett használható a véletlen séták módszere, illetve a két módszer kombinációja. A keresések során informált lépéseket is lehet tenni, ehhez a közös érdekeltség, vagy kapacitásbeli különbségek alapján kiépített szomszédi viszonyokat lehet felhasználni. A szimulációs eredmények sokrétűek, s azt mutatják, hogy az elárasztás és a véletlen séták kombinációja bizonyos körülmények között nagyon hatékony működést biztosíthat. Mindazonáltal a hatékonyabb keresésekkel sem garantálható 100 százalékos keresési sikerességi arány.

Az elárasztás vizsgálatán kívül a diplomaterv célja röviden bemutatni a legelterjedtebb P2P hálózati architektúrákat, amiket fájlmegosztási célokra is alkalmaznak. Így bemutatásra kerülnek a DHT-k, a centrális indexelést használó megoldások, s az egyik legnépszerűbb alkalmazás a BitTorrent is. A rendszerek lehetséges előnyei és hátrányai egymáshoz képest kielemzésre kerültek. A Napster legnagyobb hátránya a könnyű támadhatósága alacsony hibatűrése miatt. A BitTorrenttel nagyon hasonló a helyzet, habár a fájlátvitel hatékonyságában az egyik legerősebb elosztott rendszer. A DHT hálózatok keresési funkcionalitása korlátozott a többi rendszerhez képest, a strukturálatlan hálózatokban az elárasztás nem skálázható.

A diplomaterv reményeim szerint azok számára lesz elsősorban hasznos, akik szeretnék közelebbről megismerni a fájlmegosztó rendszerek alapvető működési elveit, vagy fájlmegosztó alkalmazás megírására adják a fejüket.

Jelen dokumentumban bemutatásra, elemzésre és összehasonlításra kerülnek az off-site és on-site webanalitikai módszerek, illetve az on-site metrikához tartozó Page Tagging és Logfile Analysis analitikai lehetőségek. Láthatjuk majd, hogy a napjainkban népszerű Page Tagging milyen funkciókkal és mutatókkal rendelkezik. A megismert analitikai mutatók kiegészítésének és bővítésének céljából új oldalrelevancia, felhasználói és forrásjellemző mutatók kerülnek kidolgozásra, elemzésre és tesztelésre. A kidolgozott mutatók olyan információk megszerzését célozzák meg, melyek üzleti és tartalmi változtatásokhoz kapcsolódó döntésekben segíthetnek.

A mutatók a Google Analytics-ben és egy Java programban kerültek implementálásra. A teszteléshez egy saját készítésű oldal lett felhasználva, tesztközönségnek pedig informatikus és villamosmérnök hallgatók lettek felkérve. A mutatók értékeléséhez készített tesztek megmutatták, hogy ezen mutatók használatával további releváns felhasználói és weboldal információkhoz juthatunk.

A Dense Wavelength Division Multiplexing segítségével megnövelhetjük az egyes optikai szálakon átvihető adat mennyiségét, míg a Wavelength Routing használatával képesek vagyunk pusztán optikai eszközök segítségével megvalósítani a kapcsolást.

Azonban ha nem akarunk erőforrást pazarolni, akkor nem engedhetjük, hogy kis kapacitásigényű alkalmazások külön-külön csatornákat használjanak. Amennyiben lehetőségünk van rá, ezeket össze kell vonni. Ebben a forgalomcsoportosításban kap szerepet a Sub-rate Multiplexing.

Mindazonáltal lehetőségünk van még jobb, gyorsabb lézer diódák és detektorok beépítésére illetve jobb hálózati terheléselosztó algoritmusok alkalmazására is, de ne feledkezzünk meg a jel minőségének biztosításáról sem.

Jelen munkában megvizsgáljuk azokat a fizikai hatásokat, amelyek az optikai jelet érhetik annak terjedése során. Célunk továbbá, hogy az említett hálózati technológiák felhasználásával, azok előnyeivel és korlátaival együtt modellt készítsünk, melynek segítségével szimulációkat tudunk végrehajtani és ezekből következtetéseket levonni.

A tanszéki fejlesztésű Localized Urban Dissemination (LUD) protokoll egy olyan üzenetterjesztési megoldás, amely pozíció információkat felhasználva valósítja meg az üzenetszórás valószínűség alapú korlátozását városi környezetben. Kihasználva a környező épületek rádiós terjedést gátló hatását, valamint a járművek várható viselkedésének becslése alapján szerzett információkat, az üzenetet arra a célterületre igyekszik eljuttatni, ahol arra a legnagyobb szükség van.

A LUD üzenetterjesztési algoritmus részletes vizsgálatához egy összetett szimulációs környezetre volt szükség, mely a vezeték-nélküli ad-hoc hálózat összeállításában és a protokoll későbbi működésének tesztelésében is segítségül szolgált, valamint támogatta az eredmények grafikus megjelenítését is. Az elkészült protokoll analízise során kiderült, hogy megfelelően beállított paraméterek használata mellett az elméleti modelltől elvárt viselkedést produkálja, és az eddigi eredmények alapján, valamint néhány további vizsgálat után valóban szerves része lehet egy decentralizált, baleset-megelőzést támogató forgalomirányítási rendszernek.

Az összesített információk kinyerésének egy lehetséges, és gyakran használt módszere az aggregáló műveletek használata. A lehetséges aggregáló műveletek széles köre és a változók számossága miatt azonban az aggregáló műveletek alkalmazásakor sok új változó születik, ami már átláthatatlan egy adatbányászati elemzés során, így ahhoz, hogy pontos modellt tudjunk építeni, felmerül annak az igénye, hogy a célváltozó szempontjából fontos attribútumokat kiválogassuk.A feladat – amelynek kapcsán ismertetem az előfeldolgozási lépéseket – osztályozási feladat elvégzése egy banki adatbázison. A cél annak meghatározása, hogy előreláthatólag mely ügyfelek fogják visszafizetni hitelüket, illetve mely ügyfelek nem.

Dolgozatomban kitérek lehetséges aggregáló műveletek felsorolására, majd meghatározom azon aggregáló műveletek körét, amelyeket tranzakciós adatbázison alkalmazva általános információkkal szolgálnak a viselkedés leírására. (A célváltozó gyakran az ügyfél viselkedésével van összefüggésben.) Amennyiben ezen aggregáló műveleteket automatikusan végezzük el a tranzakciós adatokra, meglehetősen megnő az új változók száma, ezért szükség van a fontos változók kiválogatására. Ennek kapcsán ismertetem az aggregáló műveletekkel kapott attribútumok közül a fontos attribútumok kiválogatásának módszereit statisztikai és adatbányászati szempontból. Végül a fontos változók modellek közti stabilitását vizsgálom, hogy a célváltozó szempontjából fontos változók mely modellek számára fontosak az elemzés során. Ezt a problémát a logisztikus regresszió, a neurális háló és a C5.0 döntési fa esetén vizsgálom meg.

A célom, hogy az előfeldolgozás által minél pontosabb osztályozást lehessen az adatokon elvégezni. A dolgozat célja tehát ismertetni azokat az előfeldolgozási lépéseket, amelyek szükségesek egy tranzakciós adatbázison az elemzés elvégzéséhez.

Amióta kereskedelem létezik, mindig problémát jelentett a pontos elszámolás. Nincs ez másképp a digitális tartalmak kereskedelmében sem. A termékek sajátosságából, illetve a többszereplős piaci környezetből adódóan alakult ki a digitális világban is a bevételmegosztásos elszámolás. Azonban az adatforgalom soha nem látott mérető növekedése olyan alapvető problémákat hozott a felszínre, ami miatt teljesen új technológiájú elszámolórendszerek fejlesztésére van szükség.

Egy új, puha valós idejű elszámolórendszer tervezésénél figyelembe kell venni a korábbi rendszereknél felmerült problémákat, és lehetőség szerint az összeset el is kell kerülni. Fontos, hogy a rendszer önálló, problémamentes
működése nem garantálja a végső sikert: fel kell készülni a tökéletes együttműködésre a különböző tartalomkezelő rendszerekkel. A minden részletre kiterjedő tervezést követheti a rendszer tényleges megvalósítása.

Az új elszámolórendszer „piacra dobását” meg kell hogy előzze a teljeskörű tesztelés. Szükséges a tervezés és a megvalósítás során elkövetett hibák elkülönítése, kijavítása, valamint a más rendszerekkel történő összehasonlítás.
A tesztelés befejeztével meg lehet vizsgálni, hogy a létrehozott rendszer milyen további funkciókkal bővíthető, mi az, amit még javítani lehet rajta. Egy informatikai rendszer esetében ez kiemelt fontossággal bír, hiszen a digitális világ
fejlődése egyre gyorsabb és gyorsabb.

Az Internet nagyléptékű forgalomirányítását a BGP (Border Gateway Protocol) protokoll látja el, amely jelenleg a 4-es verziónál tart. Működésének alapját tekintve egy path vector alapú protokoll, mely kétszintű hierarchiát feltételez: az egész hálózat autonóm rendszerek (autonomous system, AS) összessége, melyek közül mindegyik egy-egy üzemeltető irányítása alatt áll. Egy ilyen AS lehet tipikusan egy internetszolgáltató vagy egy nagyvállalat saját hálózata. Ezeken a hálózatokon belül lehet tetszőleges, ún. intra-domain routing protokollt használni, kívülről, a többi hálózat felől nézve azonban az egész egy rendszert alkot. Az AS-ek szélén lévő útválasztók, amelyek a többi hálózattal összekötő kapcsolatokat menedzselik, meghirdetik egymás számára, hogy mely AS-ek érhetőek el rajtuk keresztül, majd a hirdetmények alapján eldöntik, hogy melyik subnet merre található. Amennyiben egy célhoz több útvonal is létezik, az AS Path nevű attribútum az egyik legfontosabb szempont, ami alapján kiválasztják a megfelelőt. Ez az attribútum határozza meg, hogy mely AS-eken keresztül érhető el az adott hálózat.

Egy autonóm hálózat üzemeltetője ugyan teljes mértékben irányítása alatt tudja tartani a hálózatból kiáramló csomagokat, azonban a belépő forgalomra már kevesebb ráhatása lehet, hiszen annak routingolása alapvetően a többi szereplő döntésén múlik. A BGP természetesen lehetőséget nyújt preferenciáink meghirdetésére, de az ilyen irányú döntések meghozására már nem definiál módszereket. A Vodafone, mely hazánk egyik legnagyobb vezeték nélküli internetszolgáltatója, a nagysebességű HSDPA kapcsolatok megjelenése óta szintén ilyen problémákkal küzd, melyet a külső sávszélesség növelése csak kismértékben tud orvosolni.

A belépő forgalom optimális irányításához szükség van először is annak megismerésére, ami azonban rengeteg adat feldolgozását jelenti. A hálózati eszközök a forgalom nagyságáról általában alapértelmezésben csak interfészenként vezetnek statisztikát, nekünk azonban erre ezen belül forrás illetve célcím szerinti bontásban van szükségünk. A routeren áthaladó teljes forgalmat természetesen nem vizsgálhatjuk meg bájtonként külön céleszközzel, ennek aránytalanul nagyok lennének a költségei, azonban szerencsére a mai útvonalválasztók már hardveresen képesek a csomagok legfontosabb paramétereit, így pl. az IP címeket is, eltárolni, és egy adatgyűjtő egység felé továbbítani. Ez már nagyságrendekkel kezelhetőbb mennyiség, azonban egy nagyobb szolgáltató esetén még mindig komoly erőforrásokat igényel, az adatok statisztikai feldolgozásához pedig további szűrés szükséges.

Az így kapott adatok alapján ezután már meg tudjuk vizsgálni, hogy például egy túlterhelt bejövő vonalon milyen irányokból érkező forgalom dominál, majd ez alapján a többi hálózattal együttműködve egyenletesebb terheléseloszlást tudunk elérni.

Diplomamunkám célja, hogy egy arra alkalmas technológia, a Cisco Netflow protokolljának segítségével a hálózatba belépő forgalomról források szerinti bontásban statisztikát készítsek, hogy a fenti céloknak megfelelően szükség esetén döntést lehessen ezen adatok alapján hozni. A feladat leglényegesebb részét azonban nem is ezen eredmények értékelése, hanem az adatgyűjtő és feldolgozó motor elkészítése jelenti. A Netflow protokoll által exportált adatokból ugyanis nem csak a fenti információk tudhatók meg, hanem rengeteg más monitorozási célra használható, például támadások detektálása, számlázás, hálózaton belüli nagy forgalmazók felderítése stb.

Dolgozatom során először megvizsgálom a bejövő forgalom irányításának lehetőségeit, majd bemutatom a Netflow architektúrát, illetve megvizsgálom a jelenleg is elérhető, Netflow-t támogató szoftvereket, elsősorban abból a szempontból, hogy mennyire használhatóak a gyors adatgyűjtésre és feldolgozásra. Ezután az általam megvalósított adatgyűjtő motor tervezése és felépítése következik, melynek során külön figyelmet szentelek a folyamat lehető legoptimálisabb sebességére. Végül egy virtuális teszthálózat segítségével vizsgálom a szoftver működőképességét egy több autonóm rendszerből álló topológia segítségével.

A monád funkcionális programozási konstrukció lehetővé teszi a számítások okozta mellékhatások kezelését. A monádok használatával a funkcionális nyelvekben az imperatív nyelvekhez hasonló programozási stílus követhető. A monádok elméleti hátteréül szolgáló kategóriaelméletet is áttekinthetjük.

A diplomatervben megvizsgálom a monád konstrukció Erlang nyelvben való alkalmazásának lehetőségeit, és példákat adok monadikus műveletek Erlang-beli megvalósítására.