Wayback Machine

цифровий архів всесвітньої павутини та іншої інформації в Інтернеті

Wayback Machine — цифровий архів всесвітньої павутини та іншої інформації в Інтернеті. Його запустила 2001 року неприбуткова організація під назвою Internet Archive, що базується в Сан-Франциско (Каліфорнія, США).

Wayback Machine
Логотип
Логотип
Знімок часового зрізу заархівованих сторінок www.wikipedia.org на сайті Wayback Machine від 21 грудня 2015 року
Посиланняweb.archive.org
ТипArchive
РеєстраціяOptional
Мовианглійська
ВласникInternet Archive
АвторБрюстер Кейгл і Брюс Джильятd
Започатковано24 жовтня 2001; 22 роки тому (2001-10-24)[1][2]
СтанActive
Рейтинг Alexa 253 (February 2019)[3]
Мова програмуванняC, Perl, Java і Python
CMNS: Wayback Machine у Вікісховищі

Історія

ред.

2001 року засновники Internet Archive Брюстер Кале і Брюс Джилліат[en] запустили проєкт Wayback Machine, щоб розв'язати проблему зникнення контенту вебсайтів щоразу, коли їх змінюють або закривають[4]. Сервіс дозволяє користувачам переглядати архівні версії вебсторінок, як вони змінювались з часом, які в архіві називаються «тривимірним індексом»[5]. Кале і Джилліат створили сервіс, сподіваючись заархівувати весь інтернет і забезпечити «загальний доступ до всіх знань»[6].

Назву Wayback Machine вибрали як посилання на пристрій для подорожей у часі, який застосовують персонажі Містер Пібоді[en] і Шерман в анімаційному фільмі Шоу Роккі та Буллвінкля[en][7][8] під назвою «WABAC machine[en]» (вимовляється вей-бек). В одній з частин цього анімаційного мультфільму, Неймовірна історія Пібоді[en], персонажі за допомогою машини часу часто стають свідками відомих історичних подій, беруть в них участь і, здебільшого, змінюють їхній перебіг.

У травні 1996 року Wayback Machine почала архівувати кешовані вебсторінки з метою через п'ять років зробити послугу доступною громадськості[9]. Від 1996 до 2001 року інформація зберігалася на магнітних стрічках, а Кале зрідка дозволяв дослідникам і науковцям під'єднуватись до громіздкої бази даних[10]. 2001 року, коли архівові виповнилося п'ять років, відбулась церемонія його відкриття громадськості в Університеті Каліфорнії (Берклі)[11]. На час запуску Wayback Machine вона вже містила понад 10 мільярдів архівованих сторінок[12].

Нині дані зберігаються на великому кластері обчислювальних вузлів Linux компанії Internet Archive[6]. Він час від часу заново відвідує і архівує нові версії вебсайтів (див. технічні дані нижче)[13]. Сторінки також можна архівувати вручну, вводячи їх URL-адреси в поле пошуку, за умови, що вебсайти дозволяють пошуковому роботу Wayback Machine просканувати їх і зберегти дані[9].

Технічні деталі

ред.

Wayback Machine за допомогою спеціального пошукового робота сканує Інтернет і завантажує всі загальнодоступні вебсторінки, ієрархію Gopher, електронну дошку оголошень Usenet, а також завантажуване програмне забезпечення[14]. Ці роботи можуть відсканувати не всю доступну в Інтернеті інформацію, оскільки доступ до значної частини даних обмежують власники сайтів, або ж ці дані зберігається в недоступних базах даних. Щоб подолати неузгодженості частково кешованих вебсайтів, 2005 року компанія Internet Archive створила сайт Archive-It.org як засіб, що дозволяє установам і творцям контенту за власним бажанням збирати і зберігати зібрання цифрового контенту та створювати цифрові архіви[15].

Сканування надходять з різних джерел. Деякі імпортуються від третіх сторін, тоді як інші генеруються всередині самого Архіву[13]. Наприклад, сканування надходять від Фундації Альфреда Слоуна і Alexa, сканування зроблені ІА для Національного управління архівів та документації та Internet Memory Foundation[en], дзеркал Common Crawl[en][13]. «Worldwide Web Crawls» працює з 2010 року і сканує всемережжя[16][13].

Частота зроблених знімків сторінок змінюється в залежності від вебсайту[13]. Сайти у «Worldwide Web Crawls» вміщені в «список сканувань». Один сайт архівується раз за сканування[13]. Сканування може тривати кілька місяців або навіть років у залежності від розміру[13]. Наприклад, «Wide Crawl Number 13» розпочався 9 січня 2015 року й завершився 11 липня 2016 року[17]. Однак, в один і той самий час може відбуватись кілька сканувань, і сайт може бути вміщено в понад один список сканувань, тож частота сканування сайтів змінюється в широких межах[13].

Місткість сховища та її зростання

ред.

Разом з розвитком технології впродовж років зростала й місткість сховища Wayback Machine. 2003 року, через два роки після того, як доступ став публічним, Wayback Machine зростала зі швидкістю 12 терабайтів на місяць. Дані зберігаються на зробленій на замовлення системі стелажування PetaBox[en], розробленій співробітниками інтернет-архіву. Перший стелаж на 100ТВ повністю увійшов у дію в червні 2004 року, хоча невдовзі стало зрозуміло, що потрібно набагато більше обсягу пам'яті, ніж він має[18][19].

2009 року Internet Archive перевів свою спеціалізовану архітектуру зберігання до Sun Open Storage[en], і має у своїй власності новий центр обробки даних у Sun Modular Datacenter[en] у каліфорнійському кампусі Sun Microsystems[20]. Станом на 2009 Wayback Machine містила приблизно три петабайти даних і зростала зі швидкістю 100 терабайт на місяць[21].

Нова, поліпшена версія Wayback Machine, з оновленим інтерфейсом і новішим покажчиком архівних матеріалів, стала доступною для публічного тестування у 2011 році[22]. У березні того самого року на форумі Wayback Machine було сказано, що «бета-версія нової Wayback Machine має повніший і актуальніший покажчик всіх відсканованих матеріалів до 2010 року, й продовжить регулярно оновлюватися. Покажчик, який управляв старою Wayback Machine, має небагато матеріалів після 2008 року, і жодних його подальших оновлень не заплановано, оскільки цього року його припинять використовувати»[23]. Також 2011 року інтернет-архів встановив свою шосту пару стелажів PetaBox, що дозволило збільшити місткість Wayback Machine на 700 терабайт[24].

У січні 2013 року Internet Archive оголосила про нову віху — 240 мільярдів відсканованих URL-адрес[25]. У жовтні 2013 року компанія оголосила про введення функції «Save a Page»[26], що дозволяє користувачам Інтернету заархівувати вміст URL-адреси і швидко створює постійне посилання на відміну від попередньої функції liveweb. Це стало загрозою зловживань з боку сервісу як хостингу шкідливих двійкових файлів[en][27][28].

Станом на грудень 2014 Wayback Machine містила 435 мільярдів вебсторінок обсягом майже дев'ять петабайтів, і зростала приблизно на 20 терабайтів щотижня[29][12][30].

Станом на липень 2016 Wayback Machine містила близько 15 петабайт даних[31].

Станом на вересень 2018 року Wayback Machine містила понад 25 петабайтів даних[32][33].

Станом на грудень 2020 року Wayback Machine містила понад 70 петабайтів даних[34].

Зростання

ред.

За період з жовтня 2013 року по березень 2015 року в глобальному рейтингу Alexa сайт Wayback Machine опустився зі 163-го[35] на 208-ме місце[36]. У березні 2019 сайт був на 244-му місці[37].

Зростання Wayback Machine [38] [39]
Рік Кількість заархівованих сторінок (мільярдів)
2005
40
2008
85
2012
150
2013
373
2014
400
2015
452

Політики винятків вебсайтів

ред.

Історично, Wayback Machine поважав стандарт винятків для роботів (Robots.txt), визначаючи коли сайт можна сканувати; або ж, якщо вже робот його обійшов, чи ці архіви будуть у відкритому доступі. Власники вебсайту мають можливість зробити його недоступним для Wayback Machine за допомогою robots.txt. Правила robots.txt застосовуються заднім числом; якщо власник сайту заблокував для інтернет-архіву доступ до нього, то всі заархівовані раніше сторінки з цього домену також одразу ж стають недоступними. Крім того, працівники Internet Archive заявили, що «іноді власник сайту зв'язується з нами і просить зупинити сканування та архівацію сайту. Ми виконуємо ці запити»[40]. Крім того, на сайті написано: «Internet Archive не зацікавлений у скануванні вебсайту та інших інтернет-документів, або наданні доступу до них, якщо власники не хочуть, щоб вони були в зібранні»[41][42].

Оклендська архівна політика

ред.

Політика винятку заднім числом Wayback Machine частково ґрунтується на рекомендаціях з управління запитами на вилучення і збереження архівної цілісності (англ. Recommendations for Managing Removal Requests and Preserving Archival Integrity), опублікованих Школою інформаційного управління і систем в Університеті Каліфорнії (Берклі) у 2002 році, які дають власникові сайту право заблокувати доступ до архіву сайту[43]. Wayback дотримується цієї політики, щоб за можливості уникнути дорогих судових розглядів[44].

Політика винятку заднім числом Wayback почала послаблюватися 2017 року, коли він перестав зважати на файли robots.txt на американських урядових і військових вебсайтах як для їх сканування, так і показу відсканованих вебсторінок. Станом на квітень 2017 Wayback ігнорує robots.txt в ширших межах, не тільки для урядових сайтів США[45][46][47][48].

Використання

ред.

Від 2001 року, коли Wayback Machine стала доступною громадськості, науковці вивчали як способи, якими вона зберігає і збирає дані, так і самі сторінки, що вже містяться в її архіві. Станом на 2013 рік науковці написали близько 350 статей про Wayback Machine, здебільшого в галузях інформаційних технологій, бібліотекознавства та суспільних наук. Представники суспільних наук скористалися Wayback Machine, щоб проаналізувати, як розвиток вебсайтів, починаючи з середини 1990-х років і дотепер вплинув на темпи зростання компаній[12].

Коли Wayback Machine архівує сторінку, вона зазвичай вміщує більшість гіперпосилань, зберігаючи ці посилання активними, коли вони запросто могли бути порушені нестабільністю Інтернету. Індійські вчені вивчали здатність Wayback Machine зберігати гіперпосилання в наукових онлайн-публікаціях і визначили, що вона зберігає трохи більш як половину з них[49].

Журналісти використовують Wayback Machine, щоб переглядати мертві сайти, застарілі новини і зміни в змісті сайту. Його зміст використовують, щоб притягати політиків до відповідальності й викривати брехню в зображенні подій на полі бою[50]. 2014 року заархівована з соціальної мережі сторінка Ігоря Гіркина засвідчила, як він хвалиться, що його бійці збили нібито український військовий літак. Коли ж стало відомо, що насправді це цивільний літак Малайзійських авіаліній, Гіркін видалив пост і звинуватив українських військових у знищенні літака[50][51]. Марш за науку в березні 2017 року розпочався з обговорення на Reddit, яке показало, що хтось відвідав Archive.org і виявив, що з сайту Білого дому вилучено всі посилання на зміну клімату. У відповідь один з користувачів написав: «Має бути хода науковців на Вашингтон»[52][53][54].

Крім того, сайт активно використовують для верифікації, забезпечуючи редакторам Вікіпедії доступ до посилань і можливість створювати контент[55].

Обмеження

ред.

Попри свої можливості, Wayback Machine також має деякі обмеження. 2014 року затримка між скануванням вмісту сайтів і часом, коли він був доступним на Wayback Machine, становила шість місяців[56]. Станом на листопад 2018 року час затримки становив від 3 до 10 годин[57]. Wayback Machine не є «історичним Google»; користувачі самі мають знати URL-адреси вебсайтів, які вони хочуть переглянути[58]. Існує функція «Site Search» (пошук сайту), яка дозволяє користувачам знайти сайт на основі слів, що описують сайт, а не слів, знайдених на самих вебсторінках[58].

Wayback Machine не містить усіх сторінок, коли-небудь створених, через обмеження свого вебкраулера. Wayback Machine не може повністю архівувати вебсторінки, які містять інтерактивні функції, як-от Флеш-платформи і форми, написані на JavaScript, бо ці функції вимагають взаємодії з хост-сайтом. Вебкраулеру складно відсканувати все, що закодовано не в HTML (або одному з його варіантів), що часто призводить до зламаних гіперпосилань та відсутніх зображень. Через це вебкраулер не архівує «сторінок-сиріт», які не містять посилань на інші сторінки[59][58]. Краулер Wayback Machine може відсканувати лише наперед визначену кількість гіперпосилань, згідно з наперед заданим обмеженням глибини, тому він не може заархівувати всі гіперпосилання на кожній сторінці[16].

Деякі власники поміщають на свій сайт файл robots.txt, який не дозволяє Wayback Machine знаходити та архівувати їх. Крім того, власники вебсайтів також можуть безпосередньо зв'язатися з Інтернет-архівом і просити, щоб їх сторінки було вилучено з архіву[59].

Як юридичні докази

ред.

Цивільне судочинство

ред.
Netbula LLC проти Chordiant Software Inc.
ред.

У справі 2009 року Netbula, LLC проти Chordiant Software Inc відповідач Chordiant подав клопотання, щоб Netbula на своєму сайті вимкнула файл robots.txt, який змушував Wayback Machine заднім числом закривати доступ до попередніх версій сторінок, заархівованих з сайту Netbula, які, на думку Chordiant могли б свідчити на користь захисту[60].

Netbula заперечила проти цього клопотання на тій підставі, що відповідач звертався з проханням змінити сайт Netbula, а йому слід було безпосередньо зробити запит до Інтернет-архіву за доступом до заархівованих сторінок[61]. Проте, співробітник Internet Archive подав заяву під присягою, в якій підтримав дію Chordiant, заявивши, що він не може видати вебсторінки за допомогою інших засобів «без значного навантаження, витрат і перебоїв у його роботі»[60].

Суддя Говард Ллойд у Північному окрузі Каліфорнії, відділі Сан-Хосе, відхилив заперечення Netbula і наказав йому тимчасово вимкнути блокування robots.txt для того, щоб Chordiant отримав архівні сторінки[60].

Telewizja Polska
ред.

У жовтні 2004 року у справі Telewizja Polska USA, Inc. проти Echostar Satellite, No. 02 °C 3293, 65 Fed. R. Evid. Serv. 673 (N.D. Ill. October 15, 2004) позивач, мабуть вперше в історії, намагався використати Wayback Machine як джерело допустимих доказів. Компанія Telewizja Polska є провайдером TVP Polonia і EchoStar[en], яка управляє Dish Network. До початку судового розгляду EchoStar вказала, що має намір запропонувати знімки Wayback Machine як доказ минулого змісту сайту Telewizja Polska. Компанія Telewizja Polska подала Клопотання про нерозголошення[en], щоб завадити використанню знімків на тій підставі, що нібито це чутки і неперевірене джерело, але суддя Арландер, відхилив твердження Telewizja Polska, що нібито це чутки, й відмовив у клопотанні про нерозголошення щодо вилучення доказів з процесу[62][63].

Патентне право

ред.

За умови виконання деяких додаткових вимог (наприклад, надання авторитетної заяви архівіста), Відомство з патентів і торгових знаків США[en] і Європейське патентне відомство[en] приймають від Інтернет-архіву відмітки часу як доказ того, коли ця вебсторінка була доступна громадськості. Ці дані використовують для визначення, чи вебсторінку можна вважати prior art, наприклад, під час розгляду заявки на патент[64].

Цензура та інші загрози

ред.

Станом на грудень 2016 року Archive.org заблокований у Китаї[en][65][66].

Елісон Макріна, директорка Library Freedom Project, зазначає, що «хоча бібліотекарі глибоко цінують недоторканість приватного життя, ми також рішуче виступаємо проти цензури»[50].

Відомі окремі випадки, коли сайт закрив онлайн-доступ до матеріалів, через які «випадкові» люди опинились у небезпеці[50].

Серед інших загроз: стихійні лиха[67], знищення (дистанційне або фізичне), маніпуляція вмістом архіву (див. також: хакерська атака, резервне копіювання), проблематичне авторське право[68] і спостереження за користувачами сайту[69].

Кевін Воен підозрює, що в довгостроковій перспективі багатьох поколінь «майже нічого» не залишиться такого, щоб цим можна було практично скористатись, але «якщо збережеться наступність нашої технологічної цивілізації», то «значну частину голих даних можна буде знайти й дослідити»[70].

Власники Інтернет-архіву заявляють, що він побудований з розрахунком на тривалу перспективу[71]. Втім, автори статті у журналі The Atlantic описують його роботу як "несамовите намагання вихопити дані перш ніж вони зникнуть, не маючи для цього якоїсь більш-менш надійної тривалої інфраструктури[72].

Див. також

ред.

Примітки

ред.
  1. WayBackMachine.org WHOIS, DNS, & Domain Info – DomainTools. WHOIS. Архів оригіналу за 14 травня 2020. Процитовано 13 березня 2016.
  2. InternetArchive.org WHOIS, DNS, & Domain Info – DomainTools. WHOIS. Архів оригіналу за 12 травня 2020. Процитовано 13 березня 2016.
  3. Archive.org Traffic, Demographics and Competitors - Alexa. alexa.com. Архів оригіналу за 23 березня 2019. Процитовано 4 лютого 2019.
  4. Notess, Greg R. (March–April 2002). The Wayback Machine: The Web's Archive. Online. 26: 59—61 — через EBSCOhost.
  5. The Wayback Machine, Frequently Asked Questions, архів оригіналу за 18 вересня 2018, процитовано 18 вересня 2018
  6. а б 20,000 Hard Drives on a Mission | Internet Archive Blogs. blog.archive.org (англ.). Архів оригіналу за 20 жовтня 2018. Процитовано 15 жовтня 2018.
  7. Green, Heather (28 лютого 2002). A Library as Big as the World. BusinessWeek. Архів оригіналу за 20 грудня 2011.
  8. Tong, Judy (8 вересня 2002). Responsible Party – Brewster Kahle; A Library Of the Web, On the Web. New York Times. Архів оригіналу за 20 лютого 2011. Процитовано 15 серпня 2011.
  9. а б Internet Archive: Wayback Machine. archive.org (англ.). Архів оригіналу за 3 січня 2014. Процитовано 15 жовтня 2018.
  10. Cook, John (1 листопада 2001). Web site takes you way back in Internet history. Seattle Post-Intelligencer. Архів оригіналу за 12 серпня 2014. Процитовано 15 серпня 2011.
  11. Wayback Goes Way Back on Web. Wired. 28 жовтня 2001. Архів оригіналу за 16 жовтня 2017. Процитовано 16 жовтня 2017.
  12. а б в Arora, Sanjay K.; Li, Yin; Youtie, Jan; Shapira, Philip (5 травня 2015). Using the wayback machine to mine websites in the social sciences: A methodological resource. Journal of the Association for Information Science and Technology (англ.). 67 (8): 1904—1915. doi:10.1002/asi.23503. ISSN 2330-1635.
  13. а б в г д е ж и Kalev Leetaru (28 січня 2016). The Internet Archive Turns 20: A Behind the Scenes Look at Archiving the Web. Forbes. Архів оригіналу за 16 жовтня 2017. Процитовано 16 жовтня 2017.
  14. Kahle, Brewster. Archiving the Internet. Scientific American – March 1997 Issue. Архів оригіналу за 3 квітня 2012. Процитовано 19 серпня 2011.
  15. Jeff Kaplan (27 жовтня 2014). Archive-It: Crawling the Web Together. Internet Archive Blogs. Архів оригіналу за 12 жовтня 2017. Процитовано 16 жовтня 2017.
  16. а б Worldwide Web Crawls. Internet Archive. Архів оригіналу за 19 жовтня 2017. Процитовано 16 жовтня 2017.
  17. Wide Crawl Number 13. Internet Archive. Архів оригіналу за 19 жовтня 2017. Процитовано 16 жовтня 2017.
  18. Internet Archive: Petabox. archive.org (англ.). Процитовано 25 жовтня 2018.
  19. Kanellos, Michael (29 липня 2005). Big storage on the cheap. CNET News.com. Архів оригіналу за 3 квітня 2007. Процитовано 29 липня 2007.
  20. Internet Archive and Sun Microsystems Create Living History of the Internet. Sun Microsystems. 25 березня 2009. Архів оригіналу за 26 березня 2009. Процитовано 27 березня 2009.
  21. Mearian, Lucas (19 березня 2009). Internet Archive to unveil massive Wayback Machine data center. Computerworld.com. Архів оригіналу за 23 березня 2009. Процитовано 22 березня 2009.
  22. Updated Wayback Machine in Beta Testing. Archive.org. Архів оригіналу за 23 серпня 2011. Процитовано 19 серпня 2011.
  23. Beta Wayback Machine, in forum. Archive.org. Архів оригіналу за 17 квітня 2014. Процитовано 16 квітня 2014.
  24. Internet Archive Forums: 6th pair of racks go into service: over 2PB of data space used. archive.org (англ.). Архів оригіналу за 24 жовтня 2016. Процитовано 25 жовтня 2018.
  25. Wayback Machine: Now with 240,000,000,000 URLs | Internet Archive Blogs. Blog.archive.org. 9 січня 2013. Архів оригіналу за 14 квітня 2014. Процитовано 16 квітня 2014.
  26. Rossi, Alexis (25 жовтня 2013). Fixing Broken Links on the Internet. archive.org. San Francisco, CA, US: Collections Team, the Internet Archive. Архів оригіналу за 7 листопада 2014. Процитовано 25 березня 2015. We have added the ability to archive a page instantly and get back a permanent URL for that page in the Wayback Machine. This service allows anyone – wikipedia editors, scholars, legal professionals, students, or home cooks like me – to create a stable URL to cite, share or bookmark any information they want to still have access to in the future.
  27. The VirusTotal Team (25 березня 2015). 207.241.226.190 IP address information. virustotal.com. Dublin 2, Ireland: VirusTotal. Архів оригіналу за 14 липня 2014. Процитовано 25 березня 2015. 2015-03-25: Latest URLs hosted in this IP address detected by at least one URL scanner or malicious URL dataset. ... 2/62 2015-03-25 16:14:12 [complete URL redacted]/Renegotiating_TLS.pdf ... 1/62 2015-03-25 04:46:34 [complete URL redacted]/CBLightSetup.exe
  28. Advisory provided by Google (25 березня 2015). Safe Browsing Diagnostic page for archive.org. google.com/safebrowsing. Mountain View, CA, US: Google. Архів оригіналу за 6 квітня 2015. Процитовано 25 березня 2015. 2015-03-25: Part of this site was listed for suspicious activity 138 time(s) over the past 90 days. ... What happened when Google visited this site? ... Of the 42410 pages we tested on the site over the past 90 days, 450 page(s) resulted in malicious software being downloaded and installed without user consent. The last time Google visited this site was on 2015-03-25, and the last time suspicious content was found on this site was on 2015-03-25. ... Malicious software includes 169 trojan(s), 126 virus, 43 backdoor(s).
  29. Internet Archive Frequently Asked Questions. Архів оригіналу за 21 жовтня 2009. Процитовано 17 січня 2015.
  30. Internet Archive Frequently Asked Questions. 18 грудня 2014. Архів оригіналу за 18 грудня 2014. Процитовано 13 грудня 2018.
  31. Can the manipulation of big data change the way the world thinks?. The National. Архів оригіналу за 12 січня 2017. Процитовано 14 травня 2017.
  32. Crockett, Zachary (28 вересня 2018). Inside Wayback Machine, the internet’s time capsule. The Hustle (амер.). Архів оригіналу за 2 жовтня 2018. Процитовано 26 жовтня 2018.
  33. Heffernan, Virginia (18 вересня 2018). Things Break and Decay on the Internet—That's a Good Thing. WIRED (англ.). Архів оригіналу за 25 вересня 2018. Процитовано 26 жовтня 2018.
  34. Donate to the Internet Archive: Digital Library of Free & Borrowable Books, Movies, Music & Wayback Machine. adafruit. Архів оригіналу за 2 грудня 2020. Процитовано 2 грудня 2020.
  35. Archive.org Site Info. Alexa Internet. Архів оригіналу за 28 жовтня 2013. Процитовано 29 жовтня 2013.
  36. Archive.org Site Overview. Alexa Internet. Архів оригіналу за 9 квітня 2015. Процитовано 9 квітня 2015.
  37. Archive.org Traffic, Demographics and Competitors - Alexa. web.archive.org. 23 березня 2019. Архів оригіналу за 23 березня 2019. Процитовано 5 квітня 2019.
  38. michelle (9 травня 2014). Wayback Machine Hits 400,000,000,000!. Internet Archive. Архів оригіналу за 26 серпня 2014. Процитовано 25 березня 2015.
  39. Internet Archive Wayback Machine. Internet Archive. Архів оригіналу за 13 лютого 2015. Процитовано 25 березня 2015.
  40. Some sites are not available because of Robots.txt or other exclusions [Архівовано 15 квітня 2011 у Wayback Machine.]
  41. How can I remove my site's pages from the Wayback Machine? [Архівовано 17 квітня 2014 у Wayback Machine.]
  42. Cox, Joseph (22 травня 2018). The Wayback Machine Is Deleting Evidence of Malware Sold to Stalkers. Архів оригіналу за 23 травня 2018. Процитовано 23 травня 2018.
  43. Recommendations for Managing Removal Requests And Preserving Archival Integrity. University of California. 14 грудня 2002. Архів оригіналу за 18 вересня 2017. Процитовано 14 вересня 2017.
  44. Retroactive robots.txt removal of past crawls AKA Oakland Archive Policy. Internet Archive. 7 липня 2014. Архів оригіналу за 10 жовтня 2017. Процитовано 14 вересня 2017.
  45. Mark Graham (17 квітня 2017). Robots.txt meant for search engines don't work well for web archives. Internet Archive Blogs. Архів оригіналу за 17 квітня 2017. Процитовано 16 квітня 2017.
  46. Archivierung des Internets: Internet Archive ignoriert künftig robots.txt (нім.). heise online. Архів оригіналу за 27 квітня 2017. Процитовано 14 травня 2017.
  47. Suchmaschinen: Internet Archive will künftig Robots.txt-Einträge ignorieren – Golem.de (нім.). Архів оригіналу за 19 червня 2017. Процитовано 14 травня 2017.
  48. Internet Archive will ignore robots.txt files to keep historical record accurate. Digital Trends. 24 квітня 2017. Архів оригіналу за 16 травня 2017. Процитовано 14 травня 2017.
  49. Sampath Kumar, B.T.; Prithviraj, K.R. (21 жовтня 2014). Bringing life to dead: Role of Wayback Machine in retrieving vanished URLs. Journal of Information Science (англ.). 41 (1): 71—81. doi:10.1177/0165551514552752. ISSN 0165-5515.
  50. а б в г Wayback Machine Won't Censor Archive for Taste, Director Says After Olympics Article Scrubbed. Архів оригіналу за 6 січня 2017. Процитовано 14 травня 2017.
  51. What the Web Said Yesterday. The New Yorker. Архів оригіналу за 25 січня 2015. Процитовано 14 травня 2017.
  52. The March for Science began with this person's 'throwaway line' on Reddit. Washington Post. Архів оригіналу за 23 квітня 2017. Процитовано 23 квітня 2017.
  53. Are scientists going to march on Washington?. The Washington Post. Архів оригіналу за 31 січня 2017. Процитовано 31 січня 2017.
  54. Foley, Katherine Ellen. The global March for Science started with a single Reddit thread. Quartz. Архів оригіналу за 24 квітня 2017. Процитовано 23 квітня 2017.
  55. http://blog.archive.org/2018/10/01/more-than-9-million-broken-links-on-wikipedia-are-now-rescued
  56. Internet Archive Frequently Asked Questions. Internet Archive. 2 квітня 2014. Архів оригіналу за 2 квітня 2014. Процитовано 23 листопада 2018.
  57. Internet Archive Frequently Asked Questions. archive.org (англ.). Процитовано 23 листопада 2018.
  58. а б в Bates, Mary Ellen (2002). The Wayback Machine. Online. 26: 80 — через EBSCOhost.
  59. а б Internet Archive Frequently Asked Questions. archive.org (англ.). Архів оригіналу за 20 квітня 2013. Процитовано 18 жовтня 2018.
  60. а б в Lloyd, Howard (October 2009). Order to Disable Robots.txt (PDF). Архів оригіналу (PDF) за 8 серпня 2019. Процитовано 15 жовтня 2009.
  61. Cortes, Antonio (October 2009). Motion Opposing Removal of Robots.txt. Архів оригіналу за жовтень 27, 2010. Процитовано 15 жовтня 2009.
  62. Gelman, Lauren (17 листопада 2004). Internet Archive's Web Page Snapshots Held Admissible as Evidence. Packets. 2 (3). Архів оригіналу за 30 квітня 2011. Процитовано 4 січня 2007.
  63. Howell, Beryl A. (February 2006). Proving Web History: How to use the Internet Archive (PDF). Journal of Internet Law: 3—9. Архів оригіналу (PDF) за 5 липня 2010. Процитовано 6 серпня 2008.
  64. Wynn W. Coggins (Fall 2002). Prior Art in the Field of Business Method Patents – When is an Electronic Document a Printed Publication for Prior Art Purposes?. USPTO. Архів оригіналу за 21 вересня 2012.
  65. Conger, Kate. Backing up the history of the internet in Canada to save it from Trump. TechCrunch. Архів оригіналу за 27 грудня 2016. Процитовано 14 травня 2017.
  66. Where to find what's disappeared online, and a whole lot more: the Internet Archive. Public Radio International. Архів оригіналу за 28 березня 2017. Процитовано 14 травня 2017.
  67. Help Us Keep the Archive Free, Accessible, and Reader Private | Internet Archive Blogs. Архів оригіналу за 21 травня 2017. Процитовано 14 травня 2017.
  68. Internet Archive: Proposed Changes To DMCA Would Make Us "Censor The Web". Consumerist. 7 червня 2016. Архів оригіналу за 11 листопада 2016. Процитовано 14 травня 2017.
  69. Herb, Ulrich. Die Trump-Angst grassiert (нім.). heise online. Архів оригіналу за 7 грудня 2016. Процитовано 14 травня 2017.
  70. LaFrance, Adrienne. The Internet's Dark Ages. The Atlantic. Архів оригіналу за 7 травня 2017. Процитовано 14 травня 2017.
  71. The Entire Internet Will Be Archived In Canada to Protect It From Trump (en-us) . Motherboard. Архів оригіналу за 16 травня 2017. Процитовано 14 травня 2017.
  72. LaFrance, Adrienne. The Human Fear of Total Knowledge. The Atlantic. Архів оригіналу за 2 грудня 2016. Процитовано 14 травня 2017.

Посилання

ред.

Дзеркала

ред.

Утиліти

ред.