1. Forum
  2. Usenet
  3. LINUX.DEBIAN.USER.FRENCH

  • Utiliser Scrapy pour scripter des actions

    From Olivier@21:1/5 to All on Thu Mar 3 10:50:01 2022
    Bonjour,

    Je me connecte souvent à des interfaces web de gestion d'équipements informatiques (commutateurs, IP Phone, ...) pour y effectuer des
    actions précises (rebooter, changer la configuration PoE d'une
    interface Ethernet, ...).

    À chaque fois, j'opère en :
    1. ouvrant un onglet de mon navigateur Internet, sur une adresse et un
    port particulier (très souvent, mon navigateur m'alerte car le
    certificat de l'équipement est auto-signé)
    2. en fournissant un login et un mot de passe
    3. en cliquant alternativement sur des éléments de menu, des éléments
    au centre de la page web et des boutons plus ou moins furtifs.

    J'apprécierai de remplacer ces actions manuelles par un script.
    J'ai lu quelques lignes sur le Web scraping.
    Les exemples que j'ai vu ne correspondent pas exactement à ce que
    j'opère (il s'agit souvent d'importer en masse des données).

    Ma question est très simple:
    - le Webscrping et un outil comme Scrapy sont-ils bien adaptés à ce
    que je vise ?
    - est-il facile de passer outre des alertes pour les certificats ?
    - un tel script est-il robuste (j'accepte d'avoir à le refaire après
    un changement de firmware) ?

    Slts

    --- SoupGate-Win32 v1.05
    * Origin: fsxNet Usenet Gateway (21:1/5)
  • From Sabri KHEMISSA@21:1/5 to All on Thu Mar 3 11:20:01 2022
    Bonjour,

    Tes équipements proposent-ils des fonctionnalités de gestion autres qu'une interface web ?
    Exemples : ligne de commande, SNMP, API
    Ces fonctionnalités sont plus simples à scripter.

    <div dir="ltr"><div dir="ltr"><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Bonjour,</div><div><br></div><div>Tes équipements proposent-ils des fonctionnalités de
    gestion autres qu&#39;une interface web ?<br></div><div>Exemples : ligne de commande, SNMP, API</div><div>Ces fonctionnalités sont plus simples à scripter. </div></div></div></div></div></div></div>

    --- SoupGate-Win32 v1.05
    * Origin: fsxNet Usenet Gateway (21:1/5)
  • From Olivier@21:1/5 to All on Fri Mar 4 09:20:01 2022
    Le jeu. 3 mars 2022 à 11:19, Sabri KHEMISSA <sabri.khemissa@gmail.com> a écrit :

    Bonjour,

    Tes équipements proposent-ils des fonctionnalités de gestion autres qu'une interface web ?
    Exemples : ligne de commande, SNMP, API
    Ces fonctionnalités sont plus simples à scripter.

    Excellente remarque !

    En effet, la plupart des équipements ont soit une API accessible par
    HTTP soit une interface en ligne de commande (SSH ou telnet).
    Il est clair que ces interfaces sont plus stables dans le temps
    (surtout pour les opérations simples que j'envisage) et sont justement conçues pour la télé-gestion.
    Par contre, ces interfaces sont assez différentes d'un produit ou d'un constructeur à l'autre et reposent sur des protocoles réseau
    différents (HTTP, telnet, SSH, ...) qu'il peut être fastidieux à
    mettre en place pour une télé-administration.

    Je me demandais si apprendre une bonne fois pour toute, des techniques
    de scraping ne serait pas plus efficace sur la durée, face à la
    variété des équipements.
    En gros, je passe 2 jours pour scripter un premier équipement puis 1h
    par nouvel équipement tandis qu'au niveau réseau, je n'ai que du HTTP
    là où j'aurai mis 3h avec les API spécifiques.

    Le témoignage d'un utilisateur de Scrapy serait très intéressant.

    --- SoupGate-Win32 v1.05
    * Origin: fsxNet Usenet Gateway (21:1/5)