Repository files navigation

Automatize o login, download e processamento de arquivos em sites que não oferecem API, utilizando Selenium e Python.

• Sobre o Projeto
• Funcionalidades
• Pré-requisitos
• Instalação
• Configuração
• Como Usar
• Estrutura do Projeto
• Contribuição
• Licença
• Autor

Este projeto automatiza o processo de login, navegação, download e descompactação de arquivos em sites sem API, utilizando Selenium WebDriver. Ideal para rotinas repetitivas de extração de dados e integração com sistemas internos.

• Login automático em sites protegidos
• Navegação até páginas de download
• Download seletivo de arquivos via XPath
• Descompactação automática de arquivos ZIP
• Organização e movimentação de arquivos em diretórios específicos
• Registro de logs e envio por e-mail
• Suporte a múltiplos usuários
• Integração com FTP e banco de dados

• Python 3.8 ou superior
• Google Chrome (ou navegador compatível)
• Chromedriver compatível com sua versão do navegador

1. Clone este repositório:

   git clone https://github.com/marquescharlon/WebScraping-Selenium-Python.gitcd WebScraping-Selenium-Python

2. Instale as dependências:

   pip install -r requirements.txt

   Caso não exista umrequirements.txt, instale manualmente:

   pip install selenium pyodbc beautifulsoup4 pyinstaller

3. Baixe e configure o Chromedriver:

   • Faça download doChromedriver e extraia paraselenium_webdriver/
   • Adicione o caminho do chromedriver às variáveis de ambiente do sistema

Edite o arquivoparameters.py para definir:

• link: URL de login do site
• page_files: URL da página de arquivos (se aplicável)
• Outros parâmetros conforme sua necessidade

Execute o script principal:

python automatizacao_edp.py

Para gerar um executável standalone:

pip install pyinstallerpyinstaller --onefile --noconsole automatizacao_edp.py

Para incluir dependências externas, utilize:
pyinstaller --onefile --noconsole --paths=../ automatizacao_edp.py

automatizacao_edp.py           # Script principalparameters.py                  # Parâmetros de configuraçãodownload_files.py              # Download de arquivosunzip_files.py                 # Descompactaçãoftp_server.py                  # Integração FTPmove_files.py                  # Movimentação de arquivossecurity.py                    # Segurança/autenticaçãoimg/                           # Imagens e mídiaselenium_webdriver/            # WebDriver e utilitários...

Contribuições são bem-vindas!
Abra uma issue ou envie um pull request seguindo as boas práticas do projeto.

Este projeto está licenciado sob a licença MIT. Veja o arquivoLICENSE para mais detalhes.

Marquescharlon Santos

• GitHub:@marquescharlon
• LinkedIn:@marquescharlon

⭐️ Dê uma estrela se este projeto foi útil para você!