Msys2 avec python 3.8: ImportError: impossible d'importer le nom 'open_code' depuis 'io'

Question

REMARQUE: Il y a eu plusieurs modifications à la question, selon les commentaires. Ils sont indiqués ci-dessous et séparés par des lignes. Pour le moment, le seul problème restant semble être que numpy ne peut pas charger, peut-être (mais pas certainement) en raison de deux alternatives python 3.8 systèmes présents.

J'ai mis à jour mon système msys2 il y a quelques mois. Cela incluait apparemment une mise à jour de python 3.7 à 3.8, mais qui m'a laissé avec deux pythons cassés: je peux démarrer python quand il est 3.7, mais il n'y a pas de paquet associé, et je ne peux pas démarrer python quand il est 3.8, qui est la version contenant les packages. Je ne sais pas ce qui n'a pas fonctionné avec cela, ou ce que j'ai fait de mal. Je viens de le remarquer maintenant avec la première fois que je veux dire pour utiliser à nouveau python après la mise à niveau.

Je décrirai ici une séquence d'étapes que j'ai suivies et ce que j'ai trouvé. Je publierai le code de support ci-dessous pour plus de clarté.

1. Je peux démarrer python, mais pandas (par exemple) et de nombreux autres packages ne sont pas trouvés dans python. En vérifiant plus loin, /mingw64/lib/python3.7/site-packages Est essentiellement vide (sûrement vidé lors de la mise à niveau vers la version 3.8).

2. En cherchant le package pandas, j'ai trouvé qu'une version était installée.

3. La version pandas est pour python 3.8, sûrement mis à jour depuis 3.7.

4. J'ai redirigé PYTHONPATH de 3.7 vers 3.8

5. Maintenant, je ne peux même pas démarrer python. [~ # ~] edit [~ # ~] Maintenant, je peux démarrer python, avec quelques problèmes de configuration (c'est-à-dire partiellement corrigés).

Maintenant la question est

Comment puis-je corriger python3.8, qui donne l'erreur ci-dessous?

ImportError: cannot import name 'open_code' from 'io' (unknown location)

Comment puis-je corriger python3.8, qui donne les problèmes ci-dessous?

Nouveaux problèmes:

5.1. Je devrais avoir python pointant vers 3.8, et aussi corriger les packages.

5.2. Certains modules ne sont pas trouvés, d'autres le sont.

Remarque: je ne sais pas si la mise à niveau de Msys2 rompt python2-pyqt5 a quelque chose à voir avec cela.

En relation:

https://github.com/tox-dev/tox/issues/1334

https://github.com/yan12125/python3-Android/issues/19

https://python-forum.io/Thread-Fatal-Python-error-init-sys-streams-can-t-initialize-sys-standard-streams-Attribute

---

TL; DR : code de prise en charge

1. pandas introuvable

   $ python
   Python 3.7.4 (default, Jul 11 2019, 10:29:54)
   [GCC 9.1.0] on msys
   Type "help", "copyright", "credits" or "license" for more information.
   Reading /home/user1/.pythonrc
   readline is in /usr/lib/python3.7/lib-dynload/readline.cpython-37m.dll
   >>> import pandas
   Traceback (most recent call last):
     File "<stdin>", line 1, in <module>
   ModuleNotFoundError: No module named 'pandas'
   >>>
   

2. pandas est effectivement installé

   $ pacman -Sl | grep python | grep installed
   mingw64 mingw-w64-x86_64-python 3.8.2-1 [installed: 3.8.1-1]
   mingw64 mingw-w64-x86_64-python-apipkg 1.5-1 [installed]
   ...
   mingw64 mingw-w64-x86_64-python-pandas 1.0.3-1 [installed: 1.0.1-1]
   ...
   mingw64 mingw-w64-x86_64-python2-setuptools 44.1.0-1 [installed: 42.0.2-1]
   msys python 3.7.4-1 [installed]
   msys python2 2.7.17-1 [installed]
   

3. Ma version pandas est pour python 3.8

   $ pacman -Ql mingw-w64-x86_64-python-pandas | head -5
   mingw-w64-x86_64-python-pandas /mingw64/
   mingw-w64-x86_64-python-pandas /mingw64/lib/
   mingw-w64-x86_64-python-pandas /mingw64/lib/python3.8/
   mingw-w64-x86_64-python-pandas /mingw64/lib/python3.8/site-packages/
   mingw-w64-x86_64-python-pandas /mingw64/lib/python3.8/site-packages/pandas-1.0.1-py3.8.Egg-info/
   

4. J'ai redirigé PYTHONPATH de 3.7 vers 3.8

   Modifié

   export PYVERSION="3.7"
   export PYTHONDIR2="${MINGW_HOME}/lib/python${PYVERSION}"
   export PYTHONPATH="${PYTHONDIR2}:${PYTHONDIR2}/site-packages"
   

   à

   export PYVERSION="3.8"
   ...
   

5. Maintenant, je ne peux même pas démarrer python. [~ # ~] edit [~ # ~] : Ancien problème:

   $ python
   Fatal Python error: init_sys_streams: can't initialize sys standard streams
   Traceback (most recent call last):
     File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/io.py", line 54, in <module>
   ImportError: cannot import name 'open_code' from 'io' (unknown location)
   Aborted (core dumped)
   

Nouveaux problèmes:

$ python --version
Python 3.7.4
$ type python
python is hashed (/usr/bin/python)
$ ls /usr/bin/python
/usr/bin/python
$ python3.8
Python 3.8.2 (default, Apr  9 2020, 13:17:39)  [GCC 9.3.0 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
Reading C:/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/home/user1/.pythonrc
Module readline not available.
Traceback (most recent call last):
  File "C:/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/home/user1/.pythonrc", line 42, in <module>
    del os, atexit, readline, rlcompleter, save_history, historyPath
NameError: name 'readline' is not defined
>>> import readline
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ModuleNotFoundError: No module named 'readline'
>>> import zipfile
>>> import pandas
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/pandas/__init__.py", line 16, in <module>
    raise ImportError(
ImportError: Unable to import required dependencies:
numpy: DLL load failed while importing _ctypes: No se puede encontrar el módulo especificado.
>>> import numpy
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/numpy/__init__.py", line 142, in <module>
    from . import core
  File "C:/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/numpy/core/__init__.py", line 106, in <module>
    from . import _dtype_ctypes
  File "C:/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/numpy/core/_dtype_ctypes.py", line 25, in <module>
    import _ctypes
ImportError: DLL load failed while importing _ctypes: No se puede encontrar el módulo especificado.
>>> exit()
Error in atexit._run_exitfuncs:
Traceback (most recent call last):
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 973, in _find_and_load_unlocked
ModuleNotFoundError: No module named 'readline'

---

EDIT # 2 : Ajout d'informations comme demandé. J'ai juste remarqué que je n'ai pas pip. Cela correspond au fait que je n'ai jamais installé de paquet avec pip...

$ echo $PATH
/usr/local/bin:/usr/bin:/bin:/opt/bin:/c/Windows/System32:/c/Windows:/c/Windows/System32/Wbem:/c/Windows/System32/WindowsPowerShell/v1.0/:/usr/bin/site_Perl:/usr/bin/vendor_Perl:/usr/bin/core_Perl:/c/Users/user1/OneDrive/Documents/soft-hard-ware/linux-ubuntu:/c/Users/user1/OneDrive/Documents/soft-hard-ware/linux-ubuntu/rsync:/c/Users/user1/Documents/appls_mydocs/science-math-visualization/gp524-win64-mingw_3/gnuplot/bin:/mingw64/bin
$ echo $PYTHONPATH
/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8:/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages
$ echo $PYTHONSTARTUP
/home/user1/.pythonrc
$ which python3.8
/mingw64/bin/python3.8
$ python3.8 -m pip freeze
C:/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/bin/python3.8.exe: No module named pip
$ python3.8 -c "import sys; print(sys.builtin_module_names)"
('_abc', '_ast', '_codecs', '_collections', '_functools', '_imp', '_io', '_locale', '_operator', '_signal', '_sre', '_stat', '_string', '_symtable', '_thread', '_tracemalloc', '_warnings', '_weakref', '_winapi', 'atexit', 'builtins', 'errno', 'faulthandler', 'gc', 'itertools', 'marshal', 'msvcrt', 'nt', 'sys', 'time', 'winreg', 'xxsubtype')

EDIT # 3 : Publication comme demandé, plus des informations supplémentaires.

$ cat .pythonrc
import os
print( "Reading " + os.path.realpath(__file__) )

# enable syntax completion
try:
    import readline
    print( "readline is in " + readline.__file__ )
except ImportError:
    print("Module readline not available.")
else:
    import rlcompleter
    readline.parse_and_bind("tab: complete")

# From https://docs.python.org/2/tutorial/interactive.html

# Add auto-completion and a stored history file of commands to your Python
# interactive interpreter. Requires Python 2.0+, readline. Autocomplete is
# bound to the Esc key by default (you can change it - see readline docs).
#
# Store the file in ~/.pystartup, and set an environment variable to point
# to it:  "export PYTHONSTARTUP=~/.pystartup" in bash.

import atexit
import os
#import readline
#import rlcompleter

historyPath = os.path.expanduser("~/.pyhistory")

def save_history(historyPath=historyPath):
    import readline
    readline.write_history_file(historyPath)

if os.path.exists(historyPath):
    #import readline
    readline.read_history_file(historyPath)

atexit.register(save_history)
del os, atexit, readline, rlcompleter, save_history, historyPath

Je ne vois pas pourquoi which python3.8 Et PYTHONPATH n'étaient pas synchronisés:

$ cygpath -w $(which python3.8)
C:\Users\user1\Documents\appls_mydocs\PortableApps\MSYS2Portable\App\msys32\mingw64\bin\python3.8.exe
$ echo $PYTHONPATH
/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8:/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages
$ cygpath -w /c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8
C:\Users\user1\Documents\appls_mydocs\PortableApps\MSYS2Portable\App\msys32\mingw64\lib\python3.8
$ cygpath -w /c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages
C:\Users\user1\Documents\appls_mydocs\PortableApps\MSYS2Portable\App\msys32\mingw64\lib\python3.8\site-packages
$ which python
/usr/bin/python

Il me semble avoir deux installations python) incomplètes/cassées (3.7, 3.8). Je ne sais pas ce qui a conduit à une mise à niveau "incomplète". Quelques observations (voir le code ci-dessous):

1. python pointe vers 3,7

2. readline est disponible pour 3.7 et non pour 3.8. Je ne sais pas pourquoi.

3. pandas (et bien d'autres) est disponible pour 3.8 et non pour 3.7. Beaucoup d'entre eux ne seront pas importés en 3.8 de toute façon, en raison de dépendances manquantes (qui, je suppose, sont disponibles en 3.7). Je ne sais pas pourquoi.

4. python3.8 signale l'emplacement de .pythonrc au format Windows, tandis que 3.7 le signale au format Cygwin. Est-ce normal?

5. La suppression de PYTHONPATH n'aide pas.

$ unset PYTHONPATH
$ python3.8
Python 3.8.2 (default, Apr  9 2020, 13:17:39)  [GCC 9.3.0 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
Reading C:/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/home/user1/.pythonrc
Module readline not available.
Traceback (most recent call last):
  File "C:/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/home/user1/.pythonrc", line 42, in <module>
    del os, atexit, readline, rlcompleter, save_history, historyPath
NameError: name 'readline' is not defined
>>> import pandas
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/pandas/__init__.py", line 16, in <module>
    raise ImportError(
ImportError: Unable to import required dependencies:
numpy: DLL load failed while importing _ctypes: No se puede encontrar el módulo especificado.
>>> exit()
Error in atexit._run_exitfuncs:
Traceback (most recent call last):
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 973, in _find_and_load_unlocked
ModuleNotFoundError: No module named 'readline'
$ python
Python 3.7.4 (default, Jul 11 2019, 10:29:54)
[GCC 9.1.0] on msys
Type "help", "copyright", "credits" or "license" for more information.
Reading /home/user1/.pythonrc
readline is in /usr/lib/python3.7/lib-dynload/readline.cpython-37m.dll
>>> import pandas
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ModuleNotFoundError: No module named 'pandas'
>>> exit()

---

MODIFIER # 4 :

J'ai vérifié tous les paquets python, et j'ai trouvé quelque chose d'étrange. Il semble que l'installation de base python comprend deux paquets séparés, un mingw64 et un autre msys. Je ne sais pas ce que chacun fait.

$ pacman -Sl | grep "python" | grep "installed"
...
mingw64 mingw-w64-x86_64-python 3.8.2-2 [installed]
...
msys python 3.8.2-1 [installed: 3.7.4-1]
...

D'une part, il y avait une incompatibilité entre les versions installées mingw64 (3.8.2-2) et msys (3.7.4-1). En revanche, les sous-versions disponibles ne sont pas exactement les mêmes pour (3.8.2-2) vs (3.8.2-1). Quoi qu'il en soit, j'ai procédé à la mise à niveau de msys python, et cela a résolu les choses de manière significative.

$ pacman -S python
...
$ python
Python 3.8.2 (default, Apr 16 2020, 15:31:48)
[GCC 9.3.0] on msys
Type "help", "copyright", "credits" or "license" for more information.
Reading /home/user1/.pythonrc
Traceback (most recent call last):
  File "/home/user1/.pythonrc", line 9, in <module>
    import readline
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/readline.py", line 6, in <module>
    from pyreadline.rlmain import Readline
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/pyreadline/__init__.py", line 12, in <module>
    from . import logger, clipboard, lineeditor, modes, console
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/pyreadline/clipboard/__init__.py", line 13, in <module>
    from .win32_clipboard import GetClipboardText, SetClipboardText
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/pyreadline/clipboard/win32_clipboard.py", line 37, in <module>
    import ctypes.wintypes as wintypes
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/ctypes/wintypes.py", line 20, in <module>
    class VARIANT_BOOL(ctypes._SimpleCData):
ValueError: _type_ 'v' not supported
Failed calling sys.__interactivehook__
Traceback (most recent call last):
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site.py", line 412, in register_readline
    import readline
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/readline.py", line 6, in <module>
    from pyreadline.rlmain import Readline
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/pyreadline/__init__.py", line 12, in <module>
    from . import logger, clipboard, lineeditor, modes, console
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/pyreadline/clipboard/__init__.py", line 13, in <module>
    from .win32_clipboard import GetClipboardText, SetClipboardText
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/pyreadline/clipboard/win32_clipboard.py", line 37, in <module>
    import ctypes.wintypes as wintypes
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/ctypes/wintypes.py", line 20, in <module>
    class VARIANT_BOOL(ctypes._SimpleCData):
ValueError: _type_ 'v' not supported

J'ai donc readline dans la version 3.8 maintenant. Mais il y a un autre problème qui surgit lors du chargement de .pythonrc.

De plus, il y a un problème avec numpy. Il ne provient pas de la version python (/usr/bin/python Pointe maintenant vers 3.8).

$ python --version
Python 3.8.2
$ python
...
>>> import numpy
Traceback (most recent call last):
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/numpy/core/__init__.py", line 24, in <module>
    from . import multiarray
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/numpy/core/multiarray.py", line 14, in <module>
    from . import overrides
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/numpy/core/overrides.py", line 7, in <module>
    from numpy.core._multiarray_umath import (
ModuleNotFoundError: No module named 'numpy.core._multiarray_umath'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/numpy/__init__.py", line 142, in <module>
    from . import core
  File "/c/Users/user1/Documents/appls_mydocs/PortableApps/MSYS2Portable/App/msys32/mingw64/lib/python3.8/site-packages/numpy/core/__init__.py", line 54, in <module>
    raise ImportError(msg)
ImportError:

IMPORTANT: PLEASE READ THIS FOR ADVICE ON HOW TO SOLVE THIS ISSUE!

Importing the numpy c-extensions failed.
- Try uninstalling and reinstalling numpy.
- If you have already done that, then:
  1. Check that you expected to use Python3.8 from "/usr/bin/python.exe",
     and that you have no directories in your PATH or PYTHONPATH that can
     interfere with the Python and numpy version "1.18.3" you're trying to use.
  2. If (1) looks fine, you can open a new issue at
     https://github.com/numpy/numpy/issues.  Please include details on:
     - how you installed Python
     - how you installed numpy
     - your operating system
     - whether or not you have multiple versions of Python installed
     - if you built from source, your compiler versions and ideally a build log

- If you're working with a numpy git repository, try `git clean -xdf`
  (removes all files not under version control) and rebuild numpy.

Note: this error has many possible causes, so please don't comment on
an existing issue about this - open a new one instead.

Original error was: No module named 'numpy.core._multiarray_umath'

---

EDIT # 5 Conformément à la suggestion @a_guest, et en m'indiquant erreur "ValueError: _type_ 'v' not supported" après l'installation de PyReadline , j'ai supprimé pyreadline, et ce problème a disparu.

Maintenant, le seul problème restant semble être que numpy ne peut pas se charger, probablement (mais pas certainement) à cause de deux systèmes alternatifs python 3.8 présents.

Donc la question est maintenant: Msys2: Deux python installations?

Answer 1

La ImportError: cannot import name 'open_code' from 'io' (unknown location) vient du fait qu'il existe deux versions différentes de Python en conflit l'une avec l'autre. python pointe toujours vers l'ancienne version 3.7 mais PYTHONPATH a été mis à jour pour pointer vers la nouvelle version 3.8. Comme la documentation de PYTHONPATH indique, il devient préfixé au chemin de recherche du module et donc ombres tous les modules intégrés:

Le chemin de recherche par défaut dépend de l'installation, mais commence généralement par prefix/lib/pythonversion (voir PYTHONHOME ci-dessus). Il est toujours ajouté à PYTHONPATH.

Vous pouvez reproduire ce comportement en créant deux environnements virtuels différents, puis en démarrer un tout en faisant pointer PYTHONPATH vers l'autre. Dans ce qui suit, j'ai utilisé Miniconda pour créer deux environnements différents, py37 et py38, contenant respectivement une installation 3.7 et 3.8.

(py37) user@pc:~$ python --version
Python 3.7.6
(py37) user@pc:~$ PYTHONPATH=~/miniconda3/envs/py38/lib/python3.8/ python
Fatal Python error: init_sys_streams: can't initialize sys standard streams
Traceback (most recent call last):
  File "/home/user/miniconda3/envs/py38/lib/python3.8/io.py", line 54, in <module>
ImportError: cannot import name 'open_code' from 'io' (unknown location)
Aborted (core dumped)