Коло повзуна, можливо, ось-ось почне пересуватися. Кожен, хто користувався Firecrawl, знає, що це оновлення справді трохи безжальне.
Старий метод минулого — конфігурація середовища, написання правил, контрзаходи проти сканування та злам коду верифікації — набір процесів не можна було виконати за кілька годин. Тепер я думаю інакше: я просто перекладаю потреби на нього, а він вирішує решту. Пошук, автоматичне скрапінг, очищення даних, комплексне обслуговування.
Найкраще — це інклюзивність цієї речі. Документи, такі як PDF і DOCX, не створюють проблем, і навіть вміст зображень можна безпосередньо аналізувати. Інакше кажучи, він з'їдає незалежно від формату вашого джерела даних. Для розробників, які займаються агрегацією даних і вилученням інформації, це справді велика проблема. Коли Web3-проєкти проводять аналіз даних на ланцюгу та захоплюють інформацію поза мережею, переваги таких інструментів стають ще очевиднішими.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
6 лайків
Нагородити
6
4
Репост
Поділіться
Прокоментувати
0/400
OnlyOnMainnet
· 23год тому
Дійсно, використовуючи Firecrawl протягом тижня, відчув, що всі попередні скрипти для обходу захисту були марними
Цього разу справді круто, зображення та документи всі обробляє, дані з ланцюга та поза ланцюгом — все одночасно
Раніше потрібно було довго вводити CAPTCHA, тепер просто кидаєш їм — кайф не передати
Якщо чесно, здається, що ця сфера для веб-скрапінгу вже не така стабільна...
Але якщо говорити чесно, якщо стабільність триматиметься, ця штука справді може замінити купу інструментів
Хтось уже запускали у виробничому середовищі, як із надійністю?
Переглянути оригіналвідповісти на0
FreeMinter
· 23год тому
Ой, справді? Веб-сканер так швидко був знятий з роботи?
Переглянути оригіналвідповісти на0
HorizonHunter
· 23год тому
Тепер справжньо панікують краулери, якщо так далі, старі навички стануть беззмістовними
Переглянути оригіналвідповісти на0
PuzzledScholar
· 23год тому
Правда чи ні, але чи можна безпосередньо аналізувати вміст зображень? Тоді моя попередня логіка краулінгу була марною.
Коло повзуна, можливо, ось-ось почне пересуватися. Кожен, хто користувався Firecrawl, знає, що це оновлення справді трохи безжальне.
Старий метод минулого — конфігурація середовища, написання правил, контрзаходи проти сканування та злам коду верифікації — набір процесів не можна було виконати за кілька годин. Тепер я думаю інакше: я просто перекладаю потреби на нього, а він вирішує решту. Пошук, автоматичне скрапінг, очищення даних, комплексне обслуговування.
Найкраще — це інклюзивність цієї речі. Документи, такі як PDF і DOCX, не створюють проблем, і навіть вміст зображень можна безпосередньо аналізувати. Інакше кажучи, він з'їдає незалежно від формату вашого джерела даних. Для розробників, які займаються агрегацією даних і вилученням інформації, це справді велика проблема. Коли Web3-проєкти проводять аналіз даних на ланцюгу та захоплюють інформацію поза мережею, переваги таких інструментів стають ще очевиднішими.