Neste artigo, falaremos sobre o programa Ultimate Facebook Scraper (UFS). Ele salva fotos, vídeos, mensagens, listas de amigos, colegas, etc., eventos e todas as outras informações do perfil do usuário no Facebook. Você pode especificar uma lista de um grande número de usuários de uma só vez e o UFS armazena suas informações de forma consistente e estruturada.
Para que o programa funcione, você precisa especificar o e-mail e a senha do usuário do Facebook. Este programa não pode recuperar dados que não estão disponíveis para este usuário. Ou seja, por exemplo, se as listas de amigos forem visíveis apenas para amigos e o usuário sob o qual você trabalha não for um amigo, a lista de amigos não será recuperada.
Outra observação importante: o Facebook frequentemente altera os nomes das tags div no código-fonte HTML, portanto a ferramenta pode funcionar melhor ou pior dependendo das alterações feitas na rede social e no código UFS. A propósito, se você gosta deste programa, usa-o com frequência e suas habilidades são suficientes para encontrar alterações e corrigir o código-fonte do Ultimate Facebook Scraper, então você pode se juntar à comunidade e ajudar a atualizar a ferramenta.
No momento em que escrevo, aliás, não salvo fotos e vídeos - esperemos que consertem logo. Ou você mesmo pode fazer. A propósito, se você gosta deste programa, você o usa com frequência e suas habilidades são suficientes para encontrar alterações e corrigir o código-fonte do Ultimate Facebook Scraper, você poderá ingressar na comunidade e ajudar a atualizar a ferramenta.
Para que o programa funcione, você definitivamente precisa de um ambiente gráfico, pois ele iniciará um navegador Google Chrome completo e executará todas as ações nele. O programa pode ser executado no Linux e no Windows, mas no Windows você precisará primeiro configurar a capacidade de executar scripts Python.
Para que o programa funcione, você precisa ter certeza de que o programa pode executar o Google Chrome com os direitos de um usuário comum. A maneira mais fácil de implementar isso é criar um novo usuário do Kali Linux e trabalhar com ele.
Como instalar o Ultimate Facebook Scraper (UFS) no Kali Linux
Criando um novo usuário no Kali Linux:
useradd -m -G sudo -s /bin/bash new_user
Substitua new_user pelo nome de usuário desejado
Defina uma senha para ele:
passwd new_user
Instale o Google Chrome no Kali Linux, para isso:
wget https://dl.google.com/linux/direct/goog … _amd64.deb
dpkg -i google-chrome-stable*.deb
apt-get install -f
Verifique se o programa está em execução
xhost + && su -c /usr/bin/google-chrome new_user && xhost -
Agora reinicie e faça login como um usuário normal (não root).
Instale a dependência necessária (necessária sem sudo!):
pip3 install selenium
Baixe o próprio programa:
git clone https://github.com/harismuneer/Ultimate … ok-Scraper
cd Ultimate-Facebook-Scraper/src/
Então faça:
wget https://chromedriver.storage.googleapis.com/`curl -s https://chromedriver.storage.googleapis.com/ | grep -E -o '<Key>[0-9.]+/chromedriver_linux64.zip' | tail -1 | sed 's/<Key>//'`
rm chromedriver
unzip chromedriver_linux64.zip
Como executar o Ultimate Facebook Scraper no Kali Linux
Para o arquivo de credenciais.txt
gedit credentials.txt
leve o e-mail e a senha da sua conta existente do Facebook
email = ""
password = ""
Insira a lista de alvos no arquivo input.txt :
gedit input.txt
Como destinos, você precisa especificar endereços de URL para perfis do Facebook - um endereço por linha, por exemplo:
https://www.facebook.com/andrew.ng.96
https://www.facebook.com/zuck
No arquivo scraper.py
gedit ./scraper.py
você pode fazer alguns ajustes:
# :
download_uploaded_photos = True
download_friends_photos = True
# , ( )
# , ( ,
# ,
friends_small_size = False
photos_small_size = False
Então corra:
python3 ./scraper.py
Durante a operação, o programa abrirá um navegador da Web, inserirá um nome de usuário e senha, acessará a página do perfil de seu interesse e percorrerá as seções e salvará os dados.
Os dados coletados são armazenados na pasta Dados , separadamente para cada perfil.
Solução
de problemas O programa não funciona perfeitamente, como já mencionado, o programa atualmente não salva fotos e vídeos. Além disso, às vezes o programa pode parar espontaneamente ou aparecem erros no navegador e no driver.
Vejamos mais alguns problemas e maneiras de resolvê-los.
Por favor, substitua o Chrome Web Driver pelo mais recente da
saída de erro completa:
Starting Scraping...
Kindly replace the Chrome Web Driver with the latest one from http://chromedriver.chromium.org/downloads and also make sure you have the latest Chrome Browser version.
Your OS: linux
Razões possíveis:
Google Chrome não instalado
versão muito antiga do Chrome Web Driver (este arquivo vem com o próprio UFS)
você está executando como root e, portanto, o Google Chrome não pode iniciar
versões diferentes do Google Chrome e do Chrome Web Driver (neste caso, acesse http://chromedriver.chromium.org/downloads e baixe a versão correta)
Para verificar a versão do Chrome Web Driver:
./chromedriver --version
A versão do navegador Google Chrome pode ser visualizada no menu "Sobre".
Seu e-mail ou senha está faltando. Por favor, escreva-os em credenciais.txt
Você precisa preencher as credenciais no arquivo credenciais.txt .
O arquivo de entrada está vazio.
Você precisa adicionar um ou mais destinos (links para perfis de mídia social) ao arquivo input.txt .