Anaconda + Debian12.1 : L'HORREUR!

[oscourt]

@vbreton

Ah au fait, l’horreur ne serait donc plus au niveau d’Anaconda…

… j’ai progressé pas à pas … Il me fallait CUDA pour accéder à la version (vaguement) // de Tensorflow avec la (petite) GeForce du portable… d’où les prises de tête avec nvidia, puis CUDA (oui, j’aurais pu choisir de regarder pytorch, aussi, mais il se trouve que je voulais TF ).
Ensuite, on continue et heureusement qu’Anaconda me file un coup de main pour gérer les version pointilleuses de TF qui, tu as raison, devient de fait le casse-*** suivant.

Mais maintenant que l’install est ( ) bouclée, je sens venir les crises avec Keras et les algos.

Incorrigible, le pépère

[oscourt]

Et %ù#"@$**…

Je savais, pourtant.
Je l’ai écrit.

« if it works, don’t modify »
Me suis fait avoir comme un bleu. La vieillesse est un naufrage :))

J’ai bêtement recopié mes scripts de mise à jour…
…« full-upgrade »… DON’T MODIFY !!:

non, mais quel c***

Debian 12.8… la belle affaire !
nvidia… QUI ? nvidia ? connais pas !
TOUT flingué

même nvidia-detect !

… je réinstalle (faut assumer ses c****)
sauf que non : PAS de driver-qui-va-bien.
…les backports, peut-être ? (espoir fou)

…
non.
raté (je cite) :

~# apt install -t bookworm-backports nvidia-driver
Certains paquets ne peuvent être installés. Ceci peut signifier
que vous avez demandé l'impossible, ou bien, si vous utilisez
la distribution unstable, que certains paquets n'ont pas encore
été créés ou ne sont pas sortis d'Incoming.
L'information suivante devrait vous aider à résoudre la situation : 

Les paquets suivants contiennent des dépendances non satisfaites :
 nvidia-driver : Dépend: nvidia-driver-libs (= 535.183.06-1~bpo12+1) mais 565.57.01-1 devra être installé
                 Dépend: xserver-xorg-video-nvidia (= 535.183.06-1~bpo12+1) mais 565.57.01-1 devra être installé
                 Dépend: nvidia-vdpau-driver (= 535.183.06-1~bpo12+1) mais 565.57.01-1 devra être installé
                 Dépend: nvidia-kernel-dkms (= 535.183.06-1~bpo12+1) mais ne sera pas installé ou
                          nvidia-kernel-535.183.06 ou
                          nvidia-open-kernel-535.183.06 mais il n'est pas installable
                 Recommande: nvidia-settings (>= 535) mais ne sera pas installé
                 Recommande: libnvidia-cfg1 (= 535.183.06-1~bpo12+1) mais 565.57.01-1 devra être installé
E: Impossible de corriger les problèmes, des paquets défectueux sont en mode « garder en l'état »

Et voila.
Retour en arrière.
Pour essayer de corriger d’hypothétiques bug de sécutité (parano, qd tu nous tiens).
Je le savais.
Je le savais, pourtant. Depuis le départ du grand Ian, c’est comme ça à chaque fois.

Envie de meurtre.
De sacrifices rituels de PC à la hache, face au soleil levant
(heureusement, en plus, il pleut).

[Sputnik93]

Salut,

@oscourt

nvidia-driver : Dépend: nvidia-driver-libs (= 535.183.06-1~bpo12+1) mais 565.57.01-1 devra être installé

je n’ai pas tout suivi de vos longs échanges, mais d’où vient cette version 565 de nvidia-driver ? Car même dans le dépôt experimental on est encore à la version 545.
Tu peux nous donner le retour de apt policy nvidia-driver-libs ?

[oscourt]

Salut Sputnick93,

oui, voilà :

$ apt policy nvidia-driver-libs
nvidia-driver-libs:
  Installé : (aucun)
  Candidat : 565.57.01-1
 Table de version :
     565.57.01-1 500
        500 https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64  Packages
     560.35.03-1 500
        500 https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64  Packages
     560.28.03-1 500
        500 https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64  Packages
     555.42.06-1 500
        500 https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64  Packages
     555.42.02-1 500
        500 https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64  Packages
     550.127.05-1 500
        500 https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64  Packages
     550.90.12-1 500
        500 https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64  Packages
     550.90.07-1 500
        500 https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64  Packages
     550.54.15-1 500
        500 https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64  Packages
     550.54.14-1 500
        500 https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64  Packages
     545.23.08-1 500
        500 https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64  Packages
     545.23.06-1 500
        500 https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64  Packages
     535.183.06-1~bpo12+1 100
        100 http://deb.debian.org/debian bookworm-backports/non-free amd64 Packages
     535.183.01-1~deb12u1 500
        500 http://deb.debian.org/debian bookworm/non-free amd64 Packages
     525.147.05-7~deb12u1 500
        500 http://deb.debian.org/debian bookworm-updates/non-free amd64 Packages

Et pour info (si ça peut être utile…) la mise à jour quotidienne d’aujourd’hui a viré des pakages ce matin:

Les paquets suivants seront ENLEVÉS :
  firmware-nvidia-gsp libegl-nvidia0 libgles-nvidia1 libgles-nvidia2 libgles1 libnvidia-allocator1 libnvidia-api1 libnvidia-egl-gbm1 libnvidia-egl-wayland1
  libnvidia-egl-xcb1 libnvidia-ngx1 libnvidia-vksc-core nvidia-driver-libs nvidia-egl-icd nvidia-modprobe
0 mis à jour, 0 nouvellement installés, 15 à enlever et 0 non mis à jour.
Après cette opération, 111 Mo d'espace disque seront libérés.
Souhaitez-vous continuer ? [O/n] o
(Lecture de la base de données... 266075 fichiers et répertoires déjà installés.)
Suppression de firmware-nvidia-gsp (565.57.01-1) ...
Suppression de nvidia-driver-libs:amd64 (565.57.01-1) ...
Suppression de nvidia-egl-icd (565.57.01-1) ...
Suppression de libegl-nvidia0:amd64 (565.57.01-1) ...
Suppression de libgles-nvidia1:amd64 (565.57.01-1) ...
Suppression de libgles-nvidia2:amd64 (565.57.01-1) ...
Suppression de libgles1:amd64 (1.6.0-1) ...
Suppression de libnvidia-allocator1:amd64 (565.57.01-1) ...
Suppression de libnvidia-api1:amd64 (565.57.01-1) ...
Suppression de libnvidia-egl-gbm1:amd64 (1.1.2-1) ...
Suppression de libnvidia-egl-xcb1:amd64 (565.57.01-1) ...
Suppression de libnvidia-egl-wayland1:amd64 (1:1.1.10-1) ...
Suppression de libnvidia-ngx1 (565.57.01-1) ...
Suppression de libnvidia-vksc-core (565.57.01-1) ...
Suppression de nvidia-modprobe (565.57.01-1) ...
Traitement des actions différées (« triggers ») pour man-db (2.11.2-2) ...
Traitement des actions différées (« triggers ») pour libc-bin (2.36-9+deb12u9) ...

[oscourt]

oups, je n’ai pas répondu à toutes tes questions. Je crois que la réponse au drivers 545 vs 565 se trouve dans un des échanges précédents (celui où j’explique ce que j’ai fait)

---

# apt install build-essential gcc dirmngr ca-certificates software-properties-common apt-transport-https dkms curl -y

It’s crucial to ensure the authenticity and integrity of software packages. When importing the GPG key for your specific Debian version, you verify the authenticity of the repository packages. The key signs the packages, and by importing them, you tell your system to trust these signed packages.
Bookworm, run:

curl -fSsL https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64/3bf863cc.pub | sudo gpg --dearmor | sudo tee /usr/share/keyrings/nvidia-drivers.gpg > /dev/null 2>&1 

(OK, j’obéis)

*** Integrating the NVIDIA Repository into Your Debian System
With the GPG key, you can now add the NVIDIA repository to your Debian system. This repository contains the necessary packages for CUDA installation.
Bookworm, use:
echo ‹ deb [signed-by=/usr/share/keyrings/nvidia-drivers.gpg] [Index of /compute/cuda/repos/debian12/x86_64](https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64/) / › | sudo tee /etc/apt/sources.list.d/nvidia-drivers.list

---

…Donc, si j’ai bien compris, je suis bon pour recommencer tout le début car 12.8 a changé des trucs en profondeur vs 12.7
J’imagine qu’Anaconda va avoir des vapeurs, et qu’il va falloir le remettre d’aplomb aussi…

[Sputnik93]

Ah OK, je ne savais pas que Nvidia fournissait des paquets pour ses drivers…

Tu as besoin d’une version récente de ces drivers, je suppose. Donc n’essaie pas de les installer via les dépôts Debian officiels (même backports), restes-en aux versions fournies directement par Nvidia.

On va lister ce que tu as d’installé relatif à nvidia:

sudo dpkg -l | grep nvidia

Puis on va lister les dépôts configurés dans apt:

cat /etc/apt/sources.list{,.d/*}

PS: n’hésite pas à encadrer tes copier/coller du terminal par les lignes de formatage (3 backquotes (AltGR+7) au-dessus et en dessous du texte), ça facilite vraiment la lecture

[Verner]

@oscourt

Anaconda + Debian12.1 : L’HORREUR!
En fait, je ne connais pas ce que je dois installer à l’avance.
Je découvre. Tensorflow, Keras, Numpy bien sûr, pandas, matplotlib…
il y a toujours un truc qui-va-bien… … mais qui manque
Ah… (sniff) le Vax 780 /VMS/C (le premier, le vrai, le Kernighan & Ritchie.
Pas besoin de C++
on se faisait des tableaux de pointeurs sur fonction et ça roulait ! ) qui n’en a pas rêvé parmi les scientifiques Fortraniens (les gestionnaires étant plutôt IBM MVS/CICS/DB2). Racheté par Compaq.
Envie de meurtre.
De sacrifices rituels de PC à la hache, face au soleil levant
(heureusement, en plus, il pleut).

Non mais sérieux. Sujet à trop grande verbosité de tout et n’importe quoi, ouvert en aout 2023. Mon avis:
Quand on a un problème d’installation de driver nvidia, on ouvre un sujet nvidia en précisant la carte concernée, TU117M [GeForce GTX 1650 Mobile] en l’occurrence.
Les avis peuvent déjà diverger sur la solution à adopter (…).

Une fois que le GPU nvidia et son cuda (nvidia-cuda-toolkit) fonctionne, on passe à autre chose, que ce soit Anaconda ou Tensorflow, Keras, Numpy ou n’importe quoi qui n’a plus rien à voir.

Bon courage quand-même.

[oscourt]

@Verner

Non mais sérieux. Sujet à trop grande verbosité de tout et n’importe quoi, ouvert en aout 2023 .

J’ai déjà expliqué le délai d’un an. (Cela dit, personne ne s’est manifesté entre-temps…)
Je me suis débrouillé et je suis revenu simplement pour présenter une solution comme j’aurais aimé trouver de l’aide à l’époque.
Je zappe toujours les RTFM grincheux qui ne font pas avancer les choses sur un forum d’entr’aide.
Pas de bol, j’ai fait une m-à-j 12.7 → 12.8 pénible dans la foulée et j’ai donc relaté mon désarroi.
Merci pour le bon courage.
…À toi aussi.

[oscourt]

Sputnick93:
Merci de ta suggestion.
Je m’en occupe demain (mon réseau se suicide à 23h sinon j’y passerais la nuit)
Je pense qu’il va falloir refaire une install des drivers et tout le toutim à partir des téléchargements sur le site nvidia.

[oscourt]

Bonjour,
voici le résultat de tes commandes (en root)

dpkg -l | grep nvidia
rc  glx-alternative-nvidia                         1.2.2                               amd64        allows the selection of NVIDIA as GLX provider
ii  libglx-nvidia0:amd64                           565.57.01-1                         amd64        NVIDIA binary GLX library
ii  libnvidia-cfg1:amd64                           565.57.01-1                         amd64        NVIDIA binary OpenGL/GLX configuration library
ii  libnvidia-eglcore:amd64                        565.57.01-1                         amd64        NVIDIA binary EGL core libraries
ii  libnvidia-encode1:amd64                        565.57.01-1                         amd64        NVENC Video Encoding runtime library
ii  libnvidia-glcore:amd64                         565.57.01-1                         amd64        NVIDIA binary OpenGL/GLX core libraries
ii  libnvidia-glvkspirv:amd64                      565.57.01-1                         amd64        NVIDIA binary Vulkan Spir-V compiler library
ii  libnvidia-gpucomp:amd64                        565.57.01-1                         amd64        NVIDIA binary GPU compiler library
ii  libnvidia-ml-dev:amd64                         11.8.86~11.8.0-5~deb12u1            amd64        NVIDIA Management Library (NVML) development files
ii  libnvidia-ml1:amd64                            565.57.01-1                         amd64        NVIDIA Management Library (NVML) runtime library
ii  libnvidia-pkcs11-openssl3:amd64                565.57.01-1                         amd64        NVIDIA PKCS #11 Library (OpenSSL 3)
ii  libnvidia-ptxjitcompiler1:amd64                565.57.01-1                         amd64        NVIDIA PTX JIT Compiler library
ii  libnvidia-rtcore:amd64                         565.57.01-1                         amd64        NVIDIA binary Vulkan ray tracing (rtcore) library
rc  nvidia-alternative                             560.35.03-1                         amd64        allows the selection of NVIDIA as GLX provider
ii  nvidia-cuda-dev:amd64                          11.8.89~11.8.0-5~deb12u1            amd64        NVIDIA CUDA development files
ii  nvidia-cuda-gdb                                11.8.86~11.8.0-5~deb12u1            amd64        NVIDIA CUDA Debugger (GDB)
ii  nvidia-cuda-toolkit                            11.8.89~11.8.0-5~deb12u1            amd64        NVIDIA CUDA development toolkit
ii  nvidia-cuda-toolkit-doc                        11.8.0-5~deb12u1                    all          NVIDIA CUDA and OpenCL documentation
ii  nvidia-detect                                  555.42.06-1                         amd64        NVIDIA GPU detection utility
rc  nvidia-installer-cleanup                       20220217+3~deb12u1                  amd64        cleanup after driver installation with the nvidia-installer
rc  nvidia-kernel-common                           20220217+3~deb12u1                  amd64        NVIDIA binary kernel module support files
rc  nvidia-kernel-support                          565.57.01-1                         amd64        NVIDIA binary kernel module support files
rc  nvidia-legacy-check                            535.183.01-1~deb12u1                amd64        check for NVIDIA GPUs requiring a legacy driver
rc  nvidia-opencl-common                           560.35.03-1                         amd64        NVIDIA OpenCL driver - common files
ii  nvidia-opencl-dev:amd64                        11.8.89~11.8.0-5~deb12u1            amd64        NVIDIA OpenCL development files
ii  nvidia-openjdk-8-jre                           9.+8u372-ga-1~11.8.0-5~deb12u1      amd64        Obsolete OpenJDK Java runtime, for NVIDIA applications
ii  nvidia-persistenced                            565.57.01-1                         amd64        daemon to maintain persistent software state in the NVIDIA driver
ii  nvidia-profiler                                11.8.87~11.8.0-5~deb12u1            amd64        NVIDIA Profiler for CUDA and OpenCL
rc  nvidia-support                                 20220217+3~deb12u1                  amd64        NVIDIA binary graphics driver support files
ii  nvidia-vdpau-driver:amd64                      565.57.01-1                         amd64        Video Decode and Presentation API for Unix - NVIDIA driver
ii  nvidia-visual-profiler                         11.8.87~11.8.0-5~deb12u1            amd64        NVIDIA Visual Profiler for CUDA and OpenCL
ii  nvidia-vulkan-icd:amd64                        565.57.01-1                         amd64        NVIDIA Vulkan installable client driver (ICD)
ii  xserver-xorg-video-nvidia                      565.57.01-1                         amd64        NVIDIA binary Xorg driver

et :

cat /etc/apt/sources.list{,.d/*}
deb http://deb.debian.org/debian/ bookworm main non-free-firmware contrib non-free

deb http://security.debian.org/debian-security bookworm-security main non-free-firmware contrib non-free

# bookworm-updates, to get updates before a point release is made;
deb http://deb.debian.org/debian/ bookworm-updates main non-free-firmware contrib non-free

# ajout 
deb http://deb.debian.org/debian bookworm-backports main contrib non-free non-free-firmware

deb [signed-by=/usr/share/keyrings/nvidia-drivers.gpg] https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64/ /

… le " signed by" a été ajouté par nvidia himself (visible dans le post relatant l’install ok)

Je n’y couperai pas : faut tout reprendre à partir de

@oscourt

apt install nvidia-driver firmware-misc-nonfree

peut-être même à partir de l’install des header ? (juste une ligne au dessus)…
Merci de t’impliquer ! Avec des échanges constructifs ce sous-sujet (nvidia, pb collatéral de l’IA) devient presque intéressant. On va finir par avoir un tuto complet utilisable à l’usage des gens comme moi :))

NB. Merci à celui (celle?) qui a mis des (AltGR+7) dans mes posts précédents. C’est vrai que c’est plus lisible !

[Zargos]

@Sputnik93

. Donc n’essaie pas de les installer via les dépôts Debian officiels (même backports), restes-en aux versions fournies directement par Nvidia.

Pas vraiment en fait. Sa carte devrait marcher très bien avec le pilote en backports de la version stable de Debian.
J’ai une carte RTX 2080 (donc plus récente que la sienne) qui marche très bien avec 4 écrans avec le dit pilote:

ii  nvidia-driver                           535.183.06-1~bpo12+1                 amd64        NVIDIA metapackage
ii  nvidia-driver-bin                       535.183.06-1~bpo12+1                 amd64        NVIDIA driver support binaries
ii  nvidia-driver-libs:amd64                535.183.06-1~bpo12+1                 amd64        NVIDIA metapackage (OpenGL/GLX/EGL/GLES libraries)

[oscourt]

@Zargos

Pas vraiment en fait. Sa carte devrait marcher très bien avec le pilote en backports de la version stable de Debian.

Bonjour,
Oui… dans l’idéal, j’imagine.
Mais pour mon cas : non.
Je n’ai rien fait de mal sinon de passer -bêtement- de 12.7 à 12.8, ce qui a dû virer (ou invalider) des trucs.
[Nb. ça me fait un peu penser aux critiques adressées à windows lors des install dual-boot que je voyais passer dans le temps : W est un balourd qui s’installe sans regarder s’il y a quelqu’un d’autre et écrase tout le monde, alors que grub , LUI, fait dans le subtil et se met sagement à coté… heu… là… j’ai bien peur que 12.8 ait fait une windosite aiguë :)) ]

Cela dit, ce n’est pas seulement pour du graphisme (je n’ai que l’écran du portable), mais pour récupérer les accès CUDA pour faire de l’IA en utilisant (j’imagine) des ruses pour paralléliser les calculs matriciels dans Tensorflow et ses copains.
Leur cuisine interne est TRÈS susceptible sur les versions des bib python et autres dépendances (« Cuisine et dépendance » ? )

[oscourt]

Bonsoir à tous,

Suite et fin (provisoire ? )

Avant tout, un truc irritant : En me connectant sur ce site, FireFox, horrifié, me prévient :

Citation
Les sites web justifient leur identité par des certificats qui ont une période de validité définie. Le certificat de www.debian-fr.org a expiré le 11/11/2024. Code d’erreur : SEC_ERROR_EXPIRED_CERTIFICATE
Ballot.
Bon, bref. encore des papiers à remplir

J’ai donc tout repris selon le protocole cité plus haut, à partir des headers (qui étaient à jour, mais on ne sait jamais )

Et miracle, Anaconda et tout l’toutim redémarrent.
J’en conclus donc qu’effectivement, 12.8 est intervenu à des endroits sensibles pour le microcosme nvidia.

(Je n’oublie pas :
« export PATH= »/home/thierry/anaconda3/bin:$PATH" dans le fichier ~/.bashrc
car l’install nvidia ne l’a pas fait)

Et, dans la foulée, je constate (sous jupyter Notebook ) que Tensorflow n’est pas au courant de l’existence de NUMA !

Perplexity me renseigne : Oui, la GTX1650 gère NUMA (//isme entre coeurs) … mais ça ne sert à rien : il n’y a qu’un coeur. Je l’installe tout de même pour éviter les insultes récurrentes, puis je vérifie :

~# apt install numactl
~# numactl --hardware
-->
	available: 1 nodes (0)
	node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11
	node 0 size: 27929 MB
	node 0 free: 22243 MB
	node distances:
	node   0 
	  0:  10 

Yes !!! Le node 0 existe (heureusement)
Fin de l’histoire.

En suivant cette conversation, vous pouvez installer Anaconda, Tensorflow et consors sous Debian 12.8… Et ça marche !

Merci à tous, et à la prochaine !