Pentru proprietarii de site-uri
Agenții web codai
codai este un asistent AI cu propria căutare web. Trei agenți automați fac cereri către site-uri.
Sunt operați de Interactive Media Solutions S.R.L. (marca codai), CUI 37237457, Reg. Com. J18/241/2017, Str. 23 August nr. 1B, Et. 1, Ap. 8, Târgu Jiu, jud. Gorj, România. Contact: hello@codai.ro.
| Agent | User agent conține | Ce face |
|---|---|---|
| Crawler | codai-crawler | Vizitează pagini după un program, pentru a construi indexul de căutare codai. |
| Căutare | codai-search | Descarcă o pagină atunci când o căutare are nevoie de ea, ca să verifice că textul citat se află într-adevăr pe pagină, și verifică din când în când că paginile indexate mai există. |
| Citire | codai-fetch | Descarcă o singură adresă pentru că o persoană, sau un agent AI care lucrează pentru ea, a cerut să citească acea pagină. Nu urmează linkuri. |
Cum îi controlezi
- robots.txt: folosește numele
codai-crawlerșicodai-search. Dacă nu există un grup pentru ele, se aplică grupul*. Recitim robots.txt la 24 de ore. - Pentru a ține o pagină în afara indexului:
<meta name="robots" content="noindex">ori antetulX-Robots-Tag: noindex. - Rezervarea drepturilor pentru extragerea de text și date (Directiva (UE) 2019/790, art. 4 alin. (3)): respectăm antetul
tdm-reservation: 1și<meta name="tdm-reservation" content="1">. Aceste pagini nu sunt stocate. codai-fetchacționează la cererea directă a unei persoane, ca un browser, și nu citește robots.txt.
Cum parcurgem site-urile
- Crawlerul face cel mult o cerere pe secundă către un site, implicit, și respectă
Crawl-delayîntre 1 și 10 secunde. - Crawlerul citește doar pagini HTML, cel mult 3 MB, 10 secunde pe cerere, fără cookie-uri, fără formulare, fără autentificare.
- Folosim cereri condiționale, așa că paginile neschimbate nu sunt descărcate din nou.
Ce păstrăm și ce afișăm
- Indexul păstrează textul lizibil al paginii (cel mult 60.000 de caractere), titlul, adresa și datele.
- Rezultatele arată titlul, linkul și un citat scurt de cel mult 300 de caractere. Utilizatorii API pot cere un fragment mai lung, de cel mult 2.000 de caractere.
- Rezultatele sunt oferite oamenilor și agenților AI ca surse, întotdeauna cu linkul către pagina ta.
Eliminare și date personale
- Pentru a elimina o pagină sau un site din index, scrie la hello@codai.ro cu adresa. O eliminăm și o blocăm ca să nu mai fie adăugată.
- Dacă un rezultat arată date personale despre tine și vrei să fie eliminat, scrie la privacy@codai.ro. Răspundem în cel mult o lună. Poți depune și o plângere la ANSPDCP.
- Pentru a raporta conținut ilegal: folosește formularul de notificare.
Cum ne recunoști
Cererile noastre vin din Google Cloud (regiunea europe-west1). Nu avem încă o listă fixă de adrese IP, așa că te rugăm să ne identifici după user agent. Dacă vezi un comportament care nu corespunde acestei pagini, scrie la hello@codai.ro cu ora și adresa.