YaCy
Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från
versionen som granskades den 11 juli 2020; kontroller kräver
12 redigeringar .
YaCy (från engelska Yet another Cyberspace , Another Cyberspace ; konsonant med engelska. Ya see ) är en fritt distribuerad decentraliserad sökmotor byggd på principen om ett peer-to- peer-nätverk (P2P). Det finns versioner för Windows, Linux, MacOSX. Den huvudsakliga mjukvarumodulen , skriven i Java , körs på flera tusen datorer (från och med 2011) av medlemmarna i YaCy-nätverket. Varje projektdeltagare utforskar Internet på egen hand, analyserar och indexerar de hittade sidorna och lägger till indexeringsresultaten i en gemensam databas (det så kallade indexet), som delas av alla YaCy-användare på P2P-basis.
Till skillnad från delvis distribuerade sökmotorer kännetecknas YaCy-nätverket av en decentraliserad arkitektur. Alla noder är likvärdiga och det finns ingen central server . Programmet kan fungera som en sökrobot eller som en lokal proxyserver , och indexerar de sidor som användaren besöker (medan det ignorerar sidor med tecken på personlig data - cookies, etc.).
Tillgång till sökfunktionalitet tillhandahålls av en lokalt körande webbserver som genererar en söksida med ett fält för att ange sökfrågor och returnerar sökresultat i samma format som andra populära sökmotorer.
Programmet distribueras under GPL-licensen . Projektet stöds av Free Software Foundation Europe (FSFE). [3]
YaCy
- projektet grundades av Michael Christen 2003 .
Fördelar och nackdelar
Fördelar
- Samarbetssökningar kan nästan alltid göras med YaCy: det finns alltid en del av nätverket som kommer att vara tillgänglig.
- Internetanvändare av YaCy-sökmotorn är oberoende av företag, deras betyg och deras censur.
- Programvaran är öppen källkod , licensierad under GNU GPL och är gratis.
- När du använder en klientproxy kan den genomsöka sidor från djupwebben eller icke-indexerade offentliga nätverk (som I2P ) som inte kan indexeras av vanliga sökrobotar som Google, Yahoo eller Bing.
- YaCy innebär inte nödvändigtvis medlemskap i ett offentligt YaCy-kluster och kan därmed användas som sökmotor på privata nätverk (som ett företags intranät) eller på privata söktjänster (och index) för en specifik grupp av sidor.
- Ju fler noder det finns i nätverket, desto mindre data lagras på varje nod i förhållande till storleken på indexet, och desto mindre blir påverkan på nätverket av att ändra antalet noder.
Nackdelar
- Spammare kan i teorin köra sina noder och returnera skräppost som ett resultat. Därför har klienten funktionen att kontrollera sidor för förekomsten av den önskade texten. [fyra]
- Eftersom YaCy behöver kontakta andra noder för frågan, och på grund av den (valfria) valideringen av resultat som nämns ovan, tar sökningar längre tid än traditionella sökmotorer. [fyra]
- Huvudklienten letar inte efter olika former av ord.
- YaCy-protokollet är organiserat med hjälp av individuella HTTP- förfrågningar, vilket medför mer latens än att använda UDP eller TCP med en beständig anslutning.
- Huvudklienten är skriven i Java och är långsam i den nuvarande implementeringen. Med tillväxten av det lokala indexet ökar minnesförbrukningen avsevärt och arbetshastigheten minskar. Att kontrollera en ~20 GB lokal databas kan ta några sekunder innan begäran skickas till andra peers.
- Det offentliga "freeworld"-nätverket har för närvarande relativt få "aktiva" "senior" noder (behåller det ackumulerade sökindexet och svarar på sökförfrågningar från andra noder) för World Wide Web-sökningar, och de kan ge relativt få resultat jämfört med stora. sökmotorer. Det finns upp till flera tiotals miljoner poster per nod, så deras fullständiga rörelse mellan noder tar en betydande tid, och plötslig avstängning eller tillägg av ett betydande antal noder kan tillfälligt försämra kvaliteten på nätverket för vissa sökfrågor, som hände efter releasen av version 1.0 i november 2011, då antalet deltagare snabbt ökade till cirka 4000 [4] eller 1000 [5] . I början av mars 2012 var cirka 1/6 av de samtidigt arbetande noderna "aktiva".
Program
Sökmotorn skiljer sig från andra sökmotorer – den är inte en central server, utan ett peer-to-peer nätverksklientprogram som körs på många datorer samtidigt. Sökresultaten visas som en webbsida på den lokala webbplatsen , som också fungerar som ett webbgränssnitt för att anpassa sökmotorn efter användarens behov.
I kombination med ytterligare P2P- system används en proxy som automatiskt indexerar besökta sidor. Indexering utförs inte i de fall data överförs via GET eller POST, eller cookies (cookies) eller HTTP-autentisering används (till exempel sidor som ingår i en specifik lösenordsskyddad zon). [6] Detta säkerställer att endast offentligt tillgängliga data faktiskt indexeras.
Andra funktioner
- YaCy förser alla användare med en proxyfunktion som gör att de också kan ansluta till andra värdar på HOSTNAME.yacy eller HASHNAME.yacyh. www.HODENAME.yacy kan vara användarens huvudsida, under share.HODENAME.yacy är en fildelningssida och HOSTNAME.yacy är standardgränssnittet för åtkomst. Andra underdomäner kan skapas speciellt genom att skapa en mapp med namnet på underdomänen. Dynamisk DNS stöds inte.
- Förutom .yacy -domänen ger YaCy möjligheten att skapa en startsida och mappar som kan associeras med den aktuella IP-adressen eller dynamiska DNS- adressen och som är tillgängliga för icke-Yacy-användare.
- YaCy har en inbyggd meddelandefunktion som låter dig skicka textmeddelanden (med wiki-formatering) samt överföra filer.
- YaCy har en inbyggd wiki och blogg .
- Det finns bokmärkeshantering, som kan vara offentlig och privat.
- Det är möjligt att lägga till vissa områden på svarta listor.
- Det finns ett OpenSearch- gränssnitt. Varje nod gör den tillgänglig på http://<node-address>:<node-port>/opensearchdescription.xml, till exempel https://web.archive.org/web/20120602233757/http://sciencenet.fzk. de:8080/opensearchdescription.xml . För att lägga till din personliga YaCy-sökmotor till Firefoxs lista över sökmotorer måste du öppna den här XML-filen i en webbläsare och spara den i mappen "searchplugins" och sedan starta om Firefox.
Teknik
Programmet är baserat på en webbserver, som också är en caching- proxy . Webbserveranvändaren kan komma åt sökskalet och hantera sin egen värd. Proxyn har en gemensam kod med skannern, vilket innebär att alla sidor som besöks genom den, som inte är personliga, automatiskt registreras i indexet som standard. Dessutom tillhandahåller YaCy en egen domän i YaCy-nätverket, som är tillgänglig via en proxyserver. Solr och Lucene är integrerade för sökning i YaCy (för version 1.6 är detta version 4.3)
Distribuerat index
Till skillnad från fildelningstjänster måste P2P-sökresultat vara tillgängliga omedelbart. För att uppnå detta använder YaCy en distribuerad hashtabell (DHT). Detta innebär att alla webbadresser och ord som känns igen av programmet skickas till noder som är lämpliga för att lagra motsvarande kontrollsummor av ord, noder eller länkar. Vid sökning fungerar det tvärtom: sökningen sker bara på noder som är lämpliga för att lagra hash av URL:en för det ordet.
Således används endast en del av noderna för att få resultaten.
Nodtyper
YaCy-nätverket består av fyra olika typer av noder:
Nybörjare
Dessa noder kan inte hittas eftersom nykomlingen inte har någon anslutning till nätverket. Således ser du bara dig själv om noden är ny.
Jr
Värden är bakom en
brandvägg . Andra klassificerar honom som en junior eller potentiell nod,
[7] de ser bara hans sista förfrågan och har inget sätt att avgöra om han fortfarande är online.
Senior
Den äldre kan nås från utsidan och är en fullvärdig medlem i YaCy-nätverket. I nätverksstatistik kallas äldre noder som för närvarande fungerar aktiva , inaktiva - passiva .
[7]
Main
En äldre som dumpar en lista över frön som används för den initiala anslutningen till andra noder.
Protokoll
YaCy-protokollet består av textbaserade servlets som tillhandahålls av den inbyggda webbservern på /yacy/servletname.html. Andra värdar skickar data via GET-parametrar och får ett svar i klartext, det exakta formatet skiljer sig för servlets.
Bootstrap
Under bootstrapping försöker noden att kommunicera med andra noder i YaCy-nätverket. Först genomsöks listor med noder. Den första adressen i superseed.txt används för att ladda ner stabila YaCy-noder. seeds.txt är länkar till andra noder och tar därmed kontakt med YaCy-nätverket. Nästa gång du startar YaCy skapas gebootstrapt från värdar kända från föregående körning. Framöver kommer nodlistor bara att behövas när de flesta av de gamla länkarna inte längre är tillgängliga.
Se även
Anteckningar
- ↑ Yacy Open Source-projektet på Open Hub: Languages-sidan - 2006.
- ↑ GitHub (engelska) - 2007.
- ↑ Webbsökning av folket, för folket: YaCy 1.0 . Datum för åtkomst: 14 december 2011. Arkiverad från originalet den 30 november 2011. (obestämd)
- ↑ 1 2 3 YaCy Bugfix Release 1.01 med nya bidrag från gemenskapen . Hämtad 6 mars 2012. Arkiverad från originalet 12 februari 2012. (obestämd)
- ↑ Kvantitetsstatistik: graf för 2011.
- ↑ Uk:Sekretess - YaCyWiki (nedlänk)
- ↑ 1 2 /Network.html
Litteratur
- M. Christen: Peer-to-Peer: Eigenes Suchportal mit Yacy einrichten in iX 02/2008, S. 102 ff.
- M. Schlenker: Gemeinsam gegen Google i OpenSource , 01/2007, november 2006, S. 94-97
- J. Bager: Europäische Gegenströmung in c't, 2006/10, 2. Mai 2006, S.172-174 ( Onlinetext )
- R. Sietmann: Wider die Monocultur. P2P-Strategien för sådana maskiner monopolisering. in c't, 2005/16, 25. Juli 2005, S.52-53 ( Onlinetext )
- M. Schwarze: Jedermanns Suchmaschine i: HAZ ( Artikel som PDF 107 kB)
- Michael Christen: YaCy - Peer-to-Peer Web-Suchmaschine i Die Datenschleuder, #86, 2005, S.54-57 ( gesamtes Heft als PDF 1,7 MB)
Länkar
I sociala nätverk |
|
---|
Tematiska platser |
|
---|
Sökmotorer och maskiner _ |
---|
Allmän |
|
---|
Regional |
- Accoona (Kina/USA)
- Alleba (Filippinerna)
- Ansearch (Australien/USA/UK/Nya Zeeland)
- Aport (Ryssland, stängt)
- Daum (Sydkorea)
- Guruji.com (Indien)
- [email protected] (Ryssland)
- Maktoob (Bl. East)
- META (Ukraina, stängt)
- Miner.hu (Ungern)
- Najdi.si (Slovenien)
- Onkosh (Bl. East)
- Rambler-Poisk (Ryssland, stängt)
- Rediff (Indien)
- SAPO (Portugal)
- Search.ch (Schweiz)
- Sesam (Norge/Sverige)
- Seznam.cz (Tjeckien)
- Sputnik (Ryssland, stängt)
- Walla! (Israel)
|
---|
ledare |
|
---|
Tematisk |
|
---|
Metasök |
- AskNet
- Brainboost
- Clusty
- Dogpile
- exactus.ru
- Ecosia
- Excitera
- FarSEER
- hotbot
- info.com
- Ixquick
- Krozilo
- Mamma
- Metacrawler
- MetalLib
- Nigma (stängt)
- Myriad sökning
- sidosteg
- Surfvax
- Turbo10
- sökrobot
- GlobalFileSearch
|
---|
öppen / gratis |
|
---|
Bebis |
- AGAKIDS (Ryssland)
- Ask Kids (Storbritannien)
- Frag Finn (Tyskland)
- Kids AOL (USA)
- Barn Yahoo! (USA)
- Quintura Kids (Ryssland)
- Familj Yandex (Ryssland)
- Gogul (Ryssland)
|
---|