Overview

AlyxLabs Scraper adalah multi-platform web scraper yang memungkinkan Anda mengumpulkan data dari berbagai sumber secara langsung (direct scraping). Dibangun dengan Flask backend dan modern responsive UI.

AlyxLabs Scraper is a multi-platform web scraper that collects data from several sources directly. It runs on a Flask backend with a responsive UI.

Fitur Utama

Main Features

• 12 Platform Terkurasi - Google News, News Sites, GDELT, Kompas, Liputan6, YouTube, Wikipedia, OpenAlex, Semantic Scholar, arXiv, Crossref, Kaskus
• Teks Lengkap Artikel - Ambil isi artikel penuh (bukan cuma cuplikan) untuk analisis konten
• Filter Tanggal & Dedup - Rentang tanggal untuk sumber historis, hasil duplikat dibuang otomatis
• Sitasi Otomatis - Generate sitasi APA7 dan Mendikbud langsung dari hasil scraping
• Paginasi - Tampilan 50 hasil per halaman, navigasi cepat ke halaman manapun
• Export per Platform - Download hasil satu platform tanpa campur dengan yang lain
• Notifikasi - Kirim ringkasan hasil via email atau webhook (Slack, dll.) setelah selesai
• Analisis - Frekuensi kata terbanyak dan distribusi waktu
• Export - CSV, JSON, XLSX, Markdown, RIS, BibTeX
• Bilingual & Light/Dark - Indonesia/English, tema terang sebagai default

• 12 Curated Platforms - Google News, News Sites, GDELT, Kompas, Liputan6, YouTube, Wikipedia, OpenAlex, Semantic Scholar, arXiv, Crossref, Kaskus
• Full Article Text - Fetch full article bodies (not just snippets) for content analysis
• Date Filter & Dedup - Date range for historical sources, duplicates removed automatically
• Auto Citation - Generate APA7 and Mendikbud citations directly from scraping results
• Pagination - 50 results per page, jump to any page quickly
• Per-Platform Export - Download results from one platform without mixing with others
• Notifications - Send a result summary via email or webhook (Slack, etc.) when done
• Analysis - Top-term frequency and timeline distribution
• Export - CSV, JSON, XLSX, Markdown, RIS, BibTeX
• Bilingual & Light/Dark - Indonesian/English, light theme by default

Tech Stack

• Flask - Python web framework
• BeautifulSoup4 + lxml - HTML/XML parsing
• trafilatura - Full article text extraction
• Requests - HTTP library
• Pandas + openpyxl - Data manipulation & XLSX export
• SQLite - Audit logging database
• smtplib - Email notifications
• Chart.js - Admin dashboard charts
• Bootstrap 5 - UI framework

Platform

AlyxLabs mengumpulkan data dari 12 platform terkurasi berikut. Platform bisa dinyalakan/dimatikan via Admin.

AlyxLabs collects from these 12 curated platforms. Each can be toggled via the Admin dashboard.

Image Scraper

Fitur Image Scraper memungkinkan Anda mencari dan mengumpulkan gambar dari web dengan 3 cara:

The Image Scraper lets you find and collect images from the web in 3 ways:

1. Pencarian Gambar

1. Image Search

Masukkan kata kunci untuk mencari gambar dari web menggunakan Bing (default) atau Google Images. Mendukung pagination via parameter offset untuk menjelajahi lebih banyak hasil. Hasil ditampilkan dalam grid yang bisa diklik untuk melihat detail dan mencari gambar yang mirip.

Enter a keyword to search for images via Bing (default) or Google Images. Supports pagination via the offset parameter to browse further results. Results show in a grid you can click to see details and find similar images.

2. Scrape dari URL

2. Scrape from a URL

Masukkan URL halaman web untuk mengekstrak semua gambar di halaman tersebut. Mendukung tag <img>, og:image, dan data-src (lazy loading). Untuk halaman yang mengandalkan JavaScript (SPA, infinite scroll), gunakan mode JS rendering yang menjalankan Chromium headless secara otomatis.

Enter a web page URL to extract every image on that page. Supports <img> tags, og:image, and data-src (lazy loading). For JavaScript-heavy pages (SPAs, infinite scroll), use JS rendering mode which runs a headless Chromium browser automatically.

3. Upload & Cari

3. Upload & Search

Upload gambar dari komputer Anda (JPG, PNG, GIF, WebP). Sistem selalu mencoba TinEye terlebih dahulu (tanpa API key) untuk mendeteksi kecocokan. Jika Google Vision API dikonfigurasi, hasil akan diperkaya dengan gambar visual yang serupa. Mendukung drag & drop.

Upload an image from your computer (JPG, PNG, GIF, WebP). The system always tries TinEye first (no API key required) to detect matches. If a Google Vision API key is configured, results are enriched with visually similar images. Supports drag and drop.

Fitur Tambahan

Extra Features

• Related Image Search - Klik gambar hasil, lalu klik "Cari Mirip" untuk mencari gambar serupa
• Filter Resolusi & Format - Saring hasil berdasarkan lebar/tinggi minimum dan format file (jpg, png, webp, dll) menggunakan dimensi gambar sebenarnya
• Google Images - Pencarian alternatif lewat Google Images tanpa API key
• JS Rendering - Scrape halaman berbasis JavaScript dengan Chromium headless; fallback otomatis ke mode requests jika Playwright belum terinstal
• Pagination - Navigasi ke halaman hasil berikutnya lewat parameter offset
• Grid View - Tampilan grid responsif dengan preview
• Modal Preview - Klik gambar untuk melihat ukuran penuh

• Related Image Search - Click a result, then "Cari Mirip" to find similar images
• Resolution and Format Filter - Filter results by minimum width/height and file format (jpg, png, webp, etc.) using the actual decoded image dimensions
• Google Images - Alternative search through Google Images with no API key
• JS Rendering - Scrape JavaScript-driven pages with headless Chromium; falls back automatically to requests mode if Playwright is not installed
• Pagination - Browse further result pages via the offset parameter
• Grid View - Responsive grid with previews
• Modal Preview - Click an image to see it full size

Export

Pilih format lewat dropdown lalu klik tombol download. Tersedia 6 format:

Pick a format from the dropdown then click the download button. Six formats:

• CSV - Comma-separated values (metadata koleksi ada di baris komentar #), cocok untuk spreadsheet dan analisis
• JSON - Struktur { metadata, data }, cocok untuk integrasi/pemrograman
• XLSX - Excel dengan sheet Metadata + sheet Hasil terpisah
• Markdown - Dokumen rapi berisi metadata + tiap hasil (termasuk teks lengkap), enak dibaca
• RIS - Format referensi standar (.ris), langsung import ke Mendeley, Zotero, EndNote
• BibTeX - Format LaTeX (.bib), cocok untuk karya tulis ilmiah dan Overleaf

• CSV - Comma-separated values (collection metadata in leading # comment lines), good for spreadsheets and analysis
• JSON - A { metadata, data } structure, good for integration/programming
• XLSX - Excel with a separate Metadata sheet + Hasil sheet
• Markdown - A readable document with metadata + each result (including full text)
• RIS - Standard reference format (.ris), import directly into Mendeley, Zotero, or EndNote
• BibTeX - LaTeX format (.bib), good for academic writing and Overleaf

Kolom data: Platform, Judul, Konten, Teks Lengkap, URL, Tanggal, Sumber, Keyword, Lokasi. Setiap export juga membawa Catatan Koleksi (keyword, sumber, waktu WIB, total) untuk keperluan metodologi.

Data columns: Platform, Title, Content, Full Text, URL, Date, Source, Keyword, Location. Every export also carries the Collection Record (keyword, sources, WIB time, total) for methodology use.

Export per Platform

Per-Platform Export

Tiap platform punya tombol download sendiri di header grup hasilnya. Klik untuk download hanya hasil dari platform itu dalam format yang dipilih. Berguna saat ingin memisahkan data berita dari data akademik, misalnya.

Each platform has its own download button in its result group header. Click it to download only that platform's results in the selected format. Useful when you need to keep news data separate from academic data, for example.

Sitasi OtomatisAuto Citation

AlyxLabs menghasilkan sitasi siap pakai untuk setiap hasil scraping. Dua format didukung:

AlyxLabs generates ready-to-use citations for every scraped result. Two formats are supported:

APA 7

Format standar internasional (American Psychological Association edisi ke-7). Contoh:

International standard format (American Psychological Association 7th edition). Example:

Mendikbud (Indonesia)

Format sitasi sesuai pedoman Kementerian Pendidikan, Kebudayaan, Riset, dan Teknologi RI. Digunakan untuk karya tulis ilmiah, skripsi, dan tesis.

Citation format per the Indonesian Ministry of Education, Culture, Research, and Technology guidelines. Used for academic papers, theses, and dissertations.

Klik ikon sitasi di samping tiap hasil untuk menyalin format yang diinginkan. Sitasi juga otomatis masuk ke export Markdown.

Click the citation icon next to any result to copy the format you want. Citations are also included automatically in Markdown exports.

NotifikasiNotifications

Terima ringkasan hasil scraping setelah proses selesai. Berguna untuk query yang berjalan lama atau supaya tidak perlu menunggu di depan browser.

Receive a result summary once scraping finishes. Useful for long-running queries or when you don't want to wait at the browser.

Email

Email

Masukkan alamat email di kolom "Notifikasi saat selesai" sebelum scraping. Ringkasan (keyword, total hasil per platform, waktu selesai) dikirim ke email tersebut setelah scraping selesai.

Enter an email address in the "Notify when done" field before scraping. A summary (keyword, total results per platform, finish time) is sent to that address once scraping is complete.

Webhook

Masukkan URL webhook (Slack Incoming Webhook, Discord, atau endpoint custom) di kolom yang tersedia. Payload dikirim dalam format JSON yang mudah diparse.

Enter a webhook URL (Slack Incoming Webhook, Discord, or a custom endpoint) in the provided field. The payload is sent as JSON and easy to parse.

Kedua kolom bersifat opsional dan independent - bisa diisi salah satu atau keduanya.

Both fields are optional and independent - you can fill in either or both.

Changelog

Fitur Baru

New Features

Saran & Kritik

Ada saran, kritik, atau bug yang ditemukan? Kirim di sini.

Got suggestions, feedback, or a bug? Send it here.