• Pb montage iSCSI sur serveur

    From Pierre Malard@21:1/5 to All on Tue Apr 30 12:40:01 2024
    Bonjour,

    Nous avons une baie HPE MSA2060 reliée en iSCSI à un serveur et voudrions monter les volumes créés sur la baie SAN MSA dessus.
    Le serveur est relié en double attachement sur les 2 contrôleurs de la baie sur 2 VLAN différents (10 et 11) et le MTU déclaré de 9000 correspond bien à la fenêtre recommandée. Le tout est relié en 10 GB via une carte Intel x722 et cuivre (moins
    d’un mètre, câble cat 7 ou 8) via un GBIC SFP/cuivre :
    *-network:2
    description: Ethernet interface
    produit: Ethernet Connection X722 for 10GbE SFP+
    fabriquant: Intel Corporation
    identifiant matériel: 0.2
    information bus: pci@0000:64:00.2
    nom logique: eno3
    version: 09
    numéro de série: 5c:ed:8c:61:b5:92
    taille: 10Gbit/s
    bits: 64 bits
    horloge: 33MHz
    fonctionnalités: pm msi msix pciexpress vpd bus_master cap_list rom ethernet physical
    configuration: autonegotiation=off broadcast=yes driver=i40e driverversion=6.1.0-20-amd64 duplex=full firmware=5.50 0x80003373 1.3089.0 ip=192.168.10.100 latency=0 link=yes multicast=yes speed=10Gbit/s
    ressources: irq:30 mémoire:ed000000-edffffff mémoire:ef010000-ef017fff mémoire:ef600000-ef9fffff mémoire:f0280000-f02fffff
    *-network:3
    description: Ethernet interface
    produit: Ethernet Connection X722 for 10GbE SFP+
    fabriquant: Intel Corporation
    identifiant matériel: 0.3
    information bus: pci@0000:64:00.3
    nom logique: eno4
    version: 09
    numéro de série: 5c:ed:8c:61:b5:93
    taille: 10Gbit/s
    bits: 64 bits
    horloge: 33MHz
    fonctionnalités: pm msi msix pciexpress vpd bus_master cap_list rom ethernet physical
    configuration: autonegotiation=off broadcast=yes driver=i40e driverversion=6.1.0-20-amd64 duplex=full firmware=5.50 0x80003373 1.3089.0 ip=192.168.11.100 latency=0 link=yes multicast=yes speed=10Gbit/s
    ressources: irq:30 mémoire:ee000000-eeffffff mémoire:ef018000-ef01ffff mémoire:ef200000-ef5fffff mémoire:f0200000-f027ffff

    Et l’OS installé est une Debian 12.

    La déclaration Ethernet me semble correcte :
    root@bnas5:~# cat /etc/network/interfaces.d/20-iSCSI
    # Carte 2
    # Port1
    auto eno3
    iface eno3 inet static
    address 192.168.10.100
    netmask 255.255.255.0
    mtu 9000
    # Port2
    auto eno4
    iface eno4 inet static
    address 192.168.11.100
    netmask 255.255.255.0
    mtu 9000

    J’ai installé le paquet « open-iscsi » .

    Tout se passe bien du côté visibilité des liens iSCSI, on les voit tous : root@bnas5:~# iscsiadm -m node
    192.168.10.60:3260,1 iqn.2015-11.com.hpe:storage.msa2060.baksz2223f54bd8 192.168.10.61:3260,2 iqn.2015-11.com.hpe:storage.msa2060.baksz2223f54bd8 192.168.11.60:3260,3 iqn.2015-11.com.hpe:storage.msa2060.baksz2223f54bd8 192.168.11.61:3260,4 iqn.2015-11.com.hpe:storage.msa2060.baksz2223f54bd8

    Et « multipah-tools » et « multipath-tools-boot » qui a bien reconnu tout ça :
    root@bnas5:~# multipath -ll
    VOL-MSA-01 (3600c0ff000f53f41e4c1266501000000) dm-0 HPE,MSA 2060 iSCSI
    size=91T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
    |-+- policy='service-time 0' prio=50 status=active
    | |- 1:0:0:1 sdb 8:16 active ready running
    | `- 4:0:0:1 sdl 8:176 active ready running
    `-+- policy='service-time 0' prio=10 status=enabled
    |- 2:0:0:1 sdf 8:80 active ready running
    `- 3:0:0:1 sdg 8:96 active ready running
    VOL-MSA-02 (3600c0ff000f53fd7e4c1266501000000) dm-2 HPE,MSA 2060 iSCSI
    size=91T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
    |-+- policy='service-time 0' prio=50 status=active
    | |- 2:0:0:2 sdh 8:112 active ready running
    | `- 3:0:0:2 sdi 8:128 active ready running
    `-+- policy='service-time 0' prio=10 status=enabled
    |- 1:0:0:2 sdc 8:32 active ready running
    `- 4:0:0:2 sdo 8:224 active ready running
    VOL-MSA-03 (3600c0ff000f53f419c4d196601000000) dm-1 HPE,MSA 2060 iSCSI
    size=45T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
    |-+- policy='service-time 0' prio=50 status=active
    | |- 1:0:0:3 sdd 8:48 active ready running
    | `- 4:0:0:3 sdp 8:240 active ready running
    `-+- policy='service-time 0' prio=10 status=enabled
    |- 2:0:0:3 sdj 8:144 active ready running
    `- 3:0:0:3 sdk 8:160 active ready running
    VOL-MSA-04 (3600c0ff000f53fd79d4d196601000000) dm-4 HPE,MSA 2060 iSCSI
    size=45T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
    |-+- policy='service-time 0' prio=50 status=active
    | |- 2:0:0:4 sdm 8:192 active ready running
    | `- 3:0:0:4 sdn 8:208 active ready running
    `-+- policy='service-time 0' prio=10 status=enabled
    |- 1:0:0:4 sde 8:64 active ready running
    `- 4:0:0:4 sdq 65:0 active ready running

    Les volumes ont bien été créés et montés sans aucun message d’erreur lorsqu’on fait ça à la main :
    root@bnas5:~# df -h
    Sys. de fichiers Taille Utilisé Dispo Uti% Monté sur
    . . .
    /dev/mapper/Test1-LV--Test1 91T 650G 91T 1% /media/Test1

    Et le FSTAB renseigné mais le boot plante sans véritablement indiquer quoi que ce soit avant le montage des volumes iSCSI. Je suis obligé de me retrouver en single user et là, tout fonctionne à merveille, je peux monter le volume ou taper un « exit
    » pour passer en multi users, tout est monté !

    Je ne comprend pas !

    En single user, voici comment termine le « dmesg » : 2024-04-29T13:10:38.444996+02:00 bnas5 kernel: [ 10.389585] sd 4:0:0:1: [sdk] Attached SCSI disk
    2024-04-29T13:10:38.444997+02:00 bnas5 kernel: [ 10.391892] sd 4:0:0:4: [sdp] Attached SCSI disk
    2024-04-29T13:10:38.460982+02:00 bnas5 kernel: [ 10.405840] sd 3:0:0:4: [sdq] Attached SCSI disk
    2024-04-29T13:10:38.509123+02:00 bnas5 kernel: [ 10.455936] device-mapper: multipath service-time: version 0.3.0 loaded

    E après il y a bien un warning imb… et une histoire 512 bytes :
    97.625104] sd 4:0:0:4: [sdq] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
    [ 97.625191] sd 4:0:0:4: [sdq] Preferred minimum I/O size 512 bytes not a multiple of physical block size (4096 bytes)
    [ 97.625195] sd 4:0:0:4: [sdq] Optimal transfer size 1048576 bytes
    [ 97.625764] sd 4:0:0:3: [sdp] Attached SCSI disk
    [ 97.626322] sd 4:0:0:4: Attached scsi generic sg22 type 0
    [ 97.636092] sd 3:0:0:4: [sdn] Attached SCSI disk
    [ 97.640654] sd 4:0:0:4: [sdq] Attached SCSI disk
    [ 118.405546] XFS (dm-5): Mounting V5 Filesystem
    [ 118.783857] XFS (dm-5): Ending clean mount
    [ 118.879205] i40e 0000:64:00.2 eno3: WARNING: Link is up but PHY type 0xe is not recognized, or incorrect cable is in use
    [ 118.879273] i40e 0000:64:00.3 eno4: WARNING: Link is up but PHY type 0xe is not recognized, or incorrect cable is in use


    J’ai beau chercher, je ne trouve pas l’origine de ce comportement ni un éventuel firmware non installé. J’ai déclaré les paquets « non-free-firmware » dans me sources.list et visiblement ils ont été installés :
    root@bnas5:~# aptitude search firmware~i
    i A firmware-amd-graphics - Binary firmware for AMD/ATI graphics chips
    i A firmware-linux-free - micrologiciels binaires pour des pilotes du noyau Linux
    i firmware-linux-nonfree - Binary firmware for various drivers in the Linux kernel (metapackage)
    i A firmware-misc-nonfree - Binary firmware for various drivers in the Linux kernel

    Voilà ce qu’indique un ethtools :
    root@bnas5:~# ethtool -i eno3
    driver: i40e
    version: 6.1.0-20-amd64
    firmware-version: 5.50 0x80003373 1.3089.0
    expansion-rom-version:
    bus-info: 0000:64:00.2
    supports-statistics: yes
    supports-test: yes
    supports-eeprom-access: yes
    supports-register-dump: yes
    supports-priv-flags: yes

    Je n’y comprend absolument rien hailpeux !


    --
    Pierre Malard

    « L'utopie, c'est la vérité de demain »
    Victor Hugo (1802-1885)
    |\ _,,,---,,_
    /,`.-'`' -. ;-;;,_
    |,4- ) )-,_. ,\ ( `'-'
    '---''(_/--' `-'\_) πr

    perl -e '$_=q#: 3|\ 5_,3-3,2_: 3/,`.'"'"'`'"'"' 5-. ;-;;,_: |,A- ) )-,_. ,\ ( `'"'"'-'"'"': '"'"'-3'"'"'2(_/--'"'"' `-'"'"'\_): 24πr::#;y#:#\n#;s#(\D)(\d+)#$1x$2#ge;print'
    - --> Ce message n’engage que son auteur <--

    --- SoupGate-Win32 v1.05
    * Origin: fsxNet Usenet Gateway (21:1/5)
  • From Gilles Mocellin@21:1/5 to All on Tue Apr 30 19:30:01 2024
    Le mardi 30 avril 2024, 12:15:36 CEST Pierre Malard a écrit :
    Bonjour,

    Nous avons une baie HPE MSA2060 reliée en iSCSI à un serveur et voudrions monter les volumes créés sur la baie SAN MSA dessus. Le serveur est relié en double attachement sur les 2 contrôleurs de la baie sur 2 VLAN différents (10 et 11) et le MTU déclaré de 9000 correspond bien à la fenêtre recommandée. Le tout est relié en 10 GB via une carte Intel x722 et
    cuivre (moins d’un mètre, câble cat 7 ou 8) via un GBIC SFP/cuivre :
    [...]

    Je n’y comprend absolument rien hailpeux !

    Probablement un problème d'ordre de démarrage.
    Quand le montage d'un filesystem est décrit dans /etc/fstab, ça bloque le boot
    si il échoue.
    Ton iSCSI a besoin du réseau, ce qui arrive généralement après la lecture du
    fstab.
    C'est pourquoi il existe une option de montage à mettre dans le fstab : _netdev.
    Et je te conseille d'ajouter aussi l'option nofail, qui permet de continuer à booter en cas de problème.

    man fstab
    man mount

    --- SoupGate-Win32 v1.05
    * Origin: fsxNet Usenet Gateway (21:1/5)
  • From Pierre Malard@21:1/5 to All on Wed May 1 09:00:01 2024
    --Apple-Mail=_C431858F-222B-4833-A36A-381A6B0A4011
    Content-Transfer-Encoding: quoted-printable
    Content-Type: text/plain;
    charset=utf-8

    M…

    J’aurais du y penser ! Quel c… !

    Merci Gilles

    Le 30 avr. 2024 à 19:19, Gilles Mocellin <gilles.mocellin@nuagelibre.org> a écrit :

    Le mardi 30 avril 2024, 12:15:36 CEST Pierre Malard a écrit :
    Bonjour,

    Nous avons une baie HPE MSA2060 reliée en iSCSI à un serveur et voudrions >> monter les volumes créés sur la baie SAN MSA dessus. Le serveur est relié >> en double attachement sur les 2 contrôleurs de la baie sur 2 VLAN
    différents (10 et 11) et le MTU déclaré de 9000 correspond bien à la
    fenêtre recommandée. Le tout est relié en 10 GB via une carte Intel x722 et
    cuivre (moins d’un mètre, câble cat 7 ou 8) via un GBIC SFP/cuivre :
    [...]

    Je n’y comprend absolument rien hailpeux !

    Probablement un problème d'ordre de démarrage.
    Quand le montage d'un filesystem est décrit dans /etc/fstab, ça bloque le boot
    si il échoue.
    Ton iSCSI a besoin du réseau, ce qui arrive généralement après la lecture du
    fstab.
    C'est pourquoi il existe une option de montage à mettre dans le fstab : _netdev.
    Et je te conseille d'ajouter aussi l'option nofail, qui permet de continuer à
    booter en cas de problème.

    man fstab
    man mount




    --
    Pierre Malard

    « La vérité ne triomphe jamais, mais ses ennemis finissent
    toujours par mourir... »
    Max Placnk (1858-1947)
    |\ _,,,---,,_
    /,`.-'`' -. ;-;;,_
    |,4- ) )-,_. ,\ ( `'-'
    '---''(_/--' `-'\_) πr

    perl -e '$_=q#: 3|\ 5_,3-3,2_: 3/,`.'"'"'`'"'"' 5-. ;-;;,_: |,A- ) )-,_. ,\ ( `'"'"'-'"'"': '"'"'-3'"'"'2(_/--'"'"' `-'"'"'\_): 24πr::#;y#:#\n#;s#(\D)(\d+)#$1x$2#ge;print'
    - --> Ce message n’engage que son auteur <--


    --Apple-Mail=_C431858F-222B-4833-A36A-381A6B0A4011
    Content-Transfer-Encoding: quoted-printable
    Content-Type: text/html;
    charset=utf-8

    <html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class="">M…<div class=""><br class=""></div><div class="">J’aurais du
    y penser ! Quel c… !</div><div class=""><br class=""></div><div class="">Merci Gilles<br class=""><div><br class=""><blockquote type="cite" class=""><div class="">Le 30 avr. 2024 à 19:19, Gilles Mocellin &lt;<a href="mailto:gilles.mocellin@nuagelibre.
    org" class="">gilles.mocellin@nuagelibre.org</a>&gt; a écrit :</div><br class="Apple-interchange-newline"><div class=""><div class="">Le mardi 30 avril 2024, 12:15:36 CEST Pierre Malard a écrit :<br class=""><blockquote type="cite" class="">Bonjour,<br
    class=""><br class="">Nous avons une baie HPE MSA2060 reliée en iSCSI à un serveur et voudrions<br class="">monter les volumes créés sur la baie SAN MSA dessus. Le serveur est relié<br class="">en double attachement sur les 2 contrôleurs de la baie
    sur 2 VLAN<br class="">différents (10 et 11) et le MTU déclaré de 9000 correspond bien à la<br class="">fenêtre recommandée. Le tout est relié en 10 GB via une carte Intel x722 et<br class="">cuivre (moins d’un mètre, câble cat 7 ou 8) via un
    GBIC SFP/cuivre :<br class=""></blockquote>[...]<br class=""><br class=""><blockquote type="cite" class="">Je n’y comprend absolument rien hailpeux !<br class=""></blockquote><br class="">Probablement un problème d'ordre de démarrage.<br class="">
    Quand le montage d'un filesystem est décrit dans /etc/fstab, ça bloque le boot <br class="">si il échoue.<br class="">Ton iSCSI a besoin du réseau, ce qui arrive généralement après la lecture du <br class="">fstab.<br class="">C'est pourquoi il
    existe une option de montage à mettre dans le fstab : <br class="">_netdev.<br class="">Et je te conseille d'ajouter aussi l'option nofail, qui permet de continuer à <br class="">booter en cas de problème.<br class=""><br class="">=&gt; man fstab<br
    class="">=&gt; man mount<br class=""><br class=""><br class=""><br class=""></div></div></blockquote></div><br class=""><div class="">
    <div dir="auto" style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; word-
    wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div dir="auto" style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space:
    normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div dir="auto" style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0); letter-
    spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;"
    class=""><div dir="auto" style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration:
    none; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div style="color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -
    webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div style="color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space:
    normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div style="margin: 0px; font-size: 10px; font-family: &quot;Courier New&quot;;" class="">--&nbsp;</div><
    div style="margin: 0px; font-size: 10px; font-family: &quot;Courier New&quot;;" class=""><div style="margin: 0px;" class="">Pierre Malard</div><div style="margin: 0px;" class=""><br class=""></div></div><div style="margin: 0px; font-family: Times;" class=
    "">&nbsp; &nbsp;«&nbsp;<i class="">La vérité ne triomphe jamais, mais ses ennemis finissent</i></div><div style="margin: 0px; font-family: Times;" class=""><i class="">&nbsp;&nbsp; &nbsp;toujours par&nbsp;mourir.</i>.. »</div><div style="margin: 0px;
    font-family: Times;" class="">&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Max Placnk (1858-1947)</div><div style="
    margin: 0px; font-size: 10px; font-family: &quot;Courier New&quot;;" class="">&nbsp;&nbsp;&nbsp;|\&nbsp; &nbsp; &nbsp;&nbsp;_,,,---,,_</div><div style="margin: 0px; font-size: 10px; font-family: &quot;Courier New&quot;;" class="">&nbsp;&nbsp;&nbsp;/,`.-'`
    '&nbsp; &nbsp;&nbsp;-.&nbsp;&nbsp;;-;;,_</div><div style="margin: 0px; font-size: 10px; font-family: &quot;Courier New&quot;;" class="">&nbsp;&nbsp;|,4-&nbsp;&nbsp;) )-,_. ,\ (&nbsp;&nbsp;`'-'</div><div style="margin: 0px; font-size: 10px; font-family: &
    quot;Courier New&quot;;" class="">&nbsp;'---''(_/--'&nbsp;&nbsp;`-'\_) &nbsp; πr</div><div style="margin: 0px; font-size: 9px; font-family: Monaco; min-height: 12px;" class=""><br class=""></div><div style="margin: 0px; font-size: 10px; font-family: &
    quot;Courier New&quot;;" class="">perl -e '$_=q#: 3|\ 5_,3-3,2_: 3/,`.'"'"'`'"'"' 5-. &nbsp;;-;;,_: &nbsp;|,A- &nbsp;) )-,_. ,\ ( &nbsp;`'"'"'-'"'"': '"'"'-3'"'"'2(_/--'"'"' &nbsp;`-'"'"'\_): 24πr::#;y#:#\n#;s#(\D)(\d+)#$1x$2#ge;print'</div><div style="
    margin: 0px; font-family: &quot;Courier New&quot;;" class=""><span style="font-size: 10px;" class="">- --&gt; Ce message n’engage que son auteur &lt;--</span></div></div></div></div></div></div></div>
    </div>
    <br class=""></div></body></html> --Apple-Mail=_C431858F-222B-4833-A36A-381A6B0A4011--

    -----BEGIN PGP SIGNATURE-----
    Version: GnuPG/MacGPG2 v2.2
    Comment: GPGTools - http://gpgtools.org

    iQIzBAEBCgAdFiEE0KHTJ+AWKhmI+acm/pSWHuad/BgFAmYx56wACgkQ/pSWHuad /BgZhw/+IzD5hwNFywKLunQ+aKj4smD73+BgjD7jyiAodSBkJnhMH9JEDtNEn8H4 aTyO6ieI11WdVbTW+HFJVNPh933QX8hJ62EsC+qfvEh/aLORJMBvFa6CG9TfcFUM ZBJXRWWHdqRJDIMsesTehXZ0aAEa9CGK+JjJBQVsqSKSKmUuOhA8HbXe+lcyp58u GXHZguhPFtN032bXU2TzzcjH4+mW92ZYP1fNU4RPsF8YctAE0/6zcUnTMB1pao9p Kq2spTT7rumuZdkrk0Pzok1ForGp9mdazxqN6/mWK7fR1SeiGvZ0qoIVs5UnfWx/ PSWkUPPwejWu5jKn1wQD+X1xMclom6gGeq+PmZxLb5jK3uaTa4Gnl05lx3CPKg6a arh+UMXJC4rRAG1PAmzGp3H25HHX5DnaVShHf2ZmKhhqU5Jla6TUFpiK6qr5dtZK VRu19Fgn6e4nQhen8k4Vh3dUbY19zC/qBNFDB2O5gg3a031o+ZFQPPVQ2OGVd3Mb hb5v+wTdBuo+wXotttA4q9W7hZXbcF93CQ/6fDwNvXQ/KosmC22qsigOjB9WjRpW RLM6mjhH6vJuvP2t6PapZRXXle6FKV1xN8yyMopROq5aP0KAOlGlEdiHhA1/iwYc plizZVFF7ChpehKhgFeDj0dkwhruwo35iqPnHoWdWstI9z636XI=
    =qnwm
    -----END PGP SIGNATURE-----

    --- SoupGate-Win32 v1.05
    * Origin: fsxNet Usenet Gateway (21:1/5)