venvによるPython開発環境の管理をpip-toolsでアップデートする提案

2022年以来ですね

アーカイブ動画

副題 〜Rye のソースリーディングより〜

• 「Rye」を聞いたことがある🙋‍♂️

• Ryeを試した or 使っている🙋‍♀️

• Ryeのソースコードを少しでも覗いた🙋

pip-tools でアップデートする提案

• 「pip-tools」と聞いてピンと来る🙋‍♂️

• pip-toolsを使っている🙋‍♀️

存在感を増すRye

• 中身を理解しようとRust実装を覗き始めた（2024年1月）

• 仮想環境のパッケージ管理に活かせる要素 が見つかりました。共有します

• ⚠️Ryeの採用については発表の範囲外。廊下で話しましょう！

おことわり

• 全Python使いが知るべきとは思っていないので「上級」

• 仮想環境という題材はありふれているかもしれませんが、本トークは 掘り下げ ます

• macOS で動作検証しています

3部構成でお届けします

1. Pythonのパッケージ管理の基本をおさえる

2. pip-toolsの提案

3. Ryeの依存パッケージ管理の実装紹介

そもそも パッケージ には 2種類 ある

Distribution package vs. import package (Python Packaging User Guide)

distribution package （配布 パッケージ）

• pip install で指定する

• pyproject.toml の dependencies に書く

• 本トークの主題

import package

• import 文に書く

• import packageはPython モジュール

実体のコードはどこから入手するの？

• パッケージインデックス

• distribution packageたちの索引のWebシステム

一例が PyPI （ぱいぴーあい）

• Python Package Index

• https://pypi.org/simple/

• pip install がデフォルトで見ている

pip が見ている景色

https://pypi.org/simple/sphinx-new-tab-link

PyPI以外のパッケージインデックスの例 🏃‍♂️

• pip install の --index-url や --extra-index-url

• 指定する例： CPUのみのLinux環境で動かすPyTorch

% python -m pip install torch --index-url https://download.pytorch.org/whl/cpu

インストールしたパッケージはマシンのどこにあるの？

• site-packages というディレクトリ

% python3.12 -m pip show httpx

Location: /Library/Frameworks/Python.framework/Versions/3.12/lib/python3.12/site-packages

グローバルの site-packages に入れてしまっているので真似しないでください🙅‍♂️

pip install したパッケージはなぜ import できる？ 🏃‍♂️

site-packages が sys.path に入っているから 🏃‍♂️

% python3.12 -m site
sys.path = [
<略>
'/Library/Frameworks/Python.framework/Versions/3.12/lib/python3.12/site-packages',
]

（一瞬 import package の話題でした）

🥟パッケージをインストールする、とは

• パッケージインデックス（主にPyPI）から

• distribution packageの 実体のアーカイブファイル をコピーし

• マシンの site-packagesに配置 する（解凍などの詳細は今回は省略）

合わせてどうぞ（PyCon APAC 2023より）🏃‍♂️

仮想環境は ディレクトリ

仮想環境とは、特定のバージョンの Python と幾つかの追加パッケージを含んだ Python インストールを構成するディレクトリです。

12.1. はじめに（Python チュートリアル 12. 仮想環境とパッケージ）

仮想環境を作るツール

• 標準ライブラリの venv

• サードパーティの virtualenv

• virtualenvが先にあり、人気を受けて標準に入った（PEP 405）

仮想環境はこんなディレクトリ

.venv/
├── bin/
│   ├── activate
│   ├── pip
│   ├── pip3
│   ├── pip3.12
│   ├── python -> python3.12
│   ├── python3 -> python3.12
│   └── python3.12 -> /Library/Frameworks/Python.framework/Versions/3.12/bin/python3.12
├── lib/
│   └── python3.12/
└── pyvenv.cfg

シンボリックリンク！

.venv/
├── bin/
│   ├── activate
│   ├── pip
│   ├── pip3
│   ├── pip3.12
│   ├── python -> python3.12
│   ├── python3 -> python3.12
│   └── python3.12 -> /Library/Frameworks/Python.framework/Versions/3.12/bin/python3.12
├── lib/
│   └── python3.12/
└── pyvenv.cfg

.venv/lib/python3.12/ ができるのが嬉しい（後述）

.venv/
├── bin/
│   ├── activate
│   ├── pip
│   ├── pip3
│   ├── pip3.12
│   ├── python -> python3.12
│   ├── python3 -> python3.12
│   └── python3.12 -> /Library/Frameworks/Python.framework/Versions/3.12/bin/python3.12
├── lib/
│   └── python3.12/
└── pyvenv.cfg

Pythonチュートリアルより

1つのインストールされたPythonが全てのアプリケーションの要求に対応することは不可能です。

12.1. はじめに（Python チュートリアル 12. 仮想環境とパッケージ）

📌Pythonでは開発プロジェクトごとに依存パッケージを分けよう

• プロジェクトごとに仮想環境 を用意する

• ＝プロジェクトごとの site-packages

その他の方法（本トークのスコープ外）🏃‍♂️

• Anaconda

  • 2023年6月 stapy#94 で取り上げ

• Docker

  • Dev Containers時代のPython開発環境のあり方 （PyCon APAC 2023）

仮想環境の仕組み

• 環境変数 PATH を更新

$ source .venv/bin/activate
(.venv) $ python -V
Python 3.12.3
(.venv) $ .venv/bin/python -V  # PATHが更新されていて、これが見つかっている
Python 3.12.3
(.venv) $ type python
python is /.../.venv/bin/python

仮想環境の仕組み

• pip install で仮想環境の site-packages にインストールされる

(.venv) % python -m pip show httpx

Location: /.../.venv/lib/python3.12/site-packages

仮想環境の仕組み

• import でも仮想環境の site-packages が参照される

(.venv) % python -m site
sys.path = [
<略>
'/.../.venv/lib/python3.12/site-packages',
]

合わせてどうぞ（aodagさんがstapyで発表）🏃‍♂️

環境を再現するには

python -m pip freeze はインストールされたパッケージ一覧を、python -m pip install が解釈するフォーマットで生成します。

チュートリアル 12.3. pip を使ったパッケージ管理

環境を再現 するコマンド

$ python -m pip freeze > requirements.txt
$ python -m pip install -r requirements.txt

• freeze：動作する環境に入っているライブラリのバージョンを列挙

• install：指定されたバージョンのライブラリをインストール

廊下お話しネタ requirements.txt という名 🏃‍♂️

• 拙ブログ Python使いはpip freezeの出力を常にrequirements.txtというファイルに保存する？ 文献を調べたところいくつか流派があるようです

• ツールが強制することのない 慣習 なんですよね

• （それとは別に、人力 という点もネック）

python -m pip freeze

% python -m pip freeze
anyio==4.3.0
certifi==2024.2.2
h11==0.14.0
httpcore==1.0.5
httpx==0.27.0
idna==3.7
sniffio==1.3.1

pip install したのは httpx だけ🤔

httpxを例に、2種類の依存

$ python -m pip install httpx  # directの依存

Installing collected packages: sniffio, idna, h11, certifi, httpcore, anyio, httpx
Successfully installed anyio-4.3.0 certifi-2024.2.2 h11-0.14.0 httpcore-1.0.5 httpx-0.27.0 idna-3.7 sniffio-1.3.1

pip freeze の小さな課題

• directな依存もtransitiveな依存も1つの requirements.txt にまとまる

• transitiveな依存の削除 が大変

拙ブログ Pythonライブラリをpipで管理するとき、uninstallが私にはツラい

requirements.txt からの削除が大変

% # 前提として、Python 3.11で作った仮想環境を有効化しています
% python -m pip install transformers
$ python -m pip freeze > requirements.txt
% python -m pip install rouge-score
$ python -m pip freeze > requirements.txt

rouge-scoreが不要になった

• pip uninstall rouge-score ではrouge-scoreの依存は削除されない

• rouge-scoreの依存も1つ1つ pip uninstall が必要

全部uninstallしていいわけではない

• rouge-scoreの依存には、transformersが依存 するパッケージも存在する

• プロジェクトでtransitiveな依存のうち、rouge-scoreしか依存していないものを洗い出して 消したい

• requirements.txt をバージョン管理していたらたやすいのかも（えてして忘れがち）

全部uninstallしていいわけではない

🥟仮想環境とは

• ディレクトリ。プロジェクト用の site-packages を設ける

• pip freeze して 都度作る 方法がチュートリアルでは案内される

• transitiveな依存 の管理が私にはツライ

venvによるPython開発環境の管理をpip-toolsでアップデートする提案

1. Pythonのパッケージ管理の基本をおさえる

2. pip-toolsの提案

3. Ryeの依存パッケージ管理の実装紹介

transitiveな依存の管理のツラさをどう解決するか

• PoetryやPipenvなどの 強力 なパッケージ管理機能を持ったツール👍

• ひねくれたnikkie「そこまで持ち出さなくてもできないかな」（これらのツールの機能全部を使うわけじゃないし）

そこで、pip-tools

• Ryeが使っていて知った（後述）

• transitiveな依存の管理 をうまく解決しているように感じる（本発表で提案）

参考：サーベイあります（4月のstapy）

登壇報告 | みんなのPython勉強会#103 にてPythonで仮想環境にライブラリをインストールするんだと（ただそれだけを）話しました

2つのコマンド を提供

引用元 https://github.com/jazzband/pip-tools/blob/7.4.1/img/pip-tools-overview.svg

1️⃣ pip-compile

• 開発者は directな依存だけ を指定する

  • requirements.in

  • pyproject.toml

• pip-compile が（pip freeze 同様の） requirements.txt を作ってくれる

pip-compile の例

% cat requirements.in
transformers
rouge-score
% pip-compile

生成された requirements.txt （一部）

nltk==3.8.1
    # via rouge-score
rouge-score==0.1.2
    # via -r requirements.in
six==1.16.0
    # via rouge-score
tqdm==4.66.4
    # via
    #   nltk
    #   transformers

2️⃣ pip-sync

• 仮想環境を requirements.txt と 同期

% pip-sync --python-executable .venv/bin/python

🥟pip-toolsを使った依存パッケージ管理

1. 開発者がdirectな依存を指定（requirements.in や pyproject.toml など）

2. pip-compile で requirements.txt を自動生成

3. pip-sync で仮想環境を requirements.txt と同期

pip-toolsの賢いところ

• チュートリアルの python -m pip freeze はインストールした結果をダンプする

• pip-toolsは、仮想環境に入れる 前 にライブラリの組合せを算出（pip-compile）

pip-compile-multi 🏃‍♂️

• pip install awesomelib[extra]

• extraごと に pip-compile できる

• 詳しくは pip-compile-multi体験記：小さく分けたrequirementsファイルたちを元に、環境をlockして管理できる！

rouge-scoreは使わないことに

% cat requirements.in  # 開発者が編集した後
transformers
% pip-compile
% pip-sync --python-executable .venv/bin/python

rouge-scoreだけが依存するパッケージも消えた！

% pip-sync --python-executable .venv/bin/python

Found existing installation: rouge_score 0.1.2
Uninstalling rouge_score-0.1.2:
  Successfully uninstalled rouge_score-0.1.2
Found existing installation: six 1.16.0
Uninstalling six-1.16.0:
  Successfully uninstalled six-1.16.0

出力の一部抜粋

dependabotが教えてくれる

• 直近で「requestsを 2.32.0以上 にしよう」

• Session object does not verify requests after making first request with verify=False (Severity Moderate)

• requestsは、transitiveな依存にあたる（directな依存も同様手順）

特定のパッケージの バージョンを上げる ワークフロー

% pip-compile --upgrade-package requests
% pip-sync --python-executable .venv/bin/python

https://github.com/ftnext/2024-slides/commit/62eb18134e95704acc9fb21cbd0e86f437153f88

参考 pip-toolsについて（記事版）🏃‍♂️

• pip-tools体験記：pip-compileで作ったrequirements.txtの通りに環境が同期（pip-sync）する！

• pipxで管理するpip-toolsを使って、プロジェクトの仮想環境に依存ライブラリをインストールする（pip-syncの--python-executable引数が必要）

pipx で1回だけ入れるのを推して参る

% pipx install pip-tools --python python3.11

• pipx 1.5.0

• Python 3.11.7

• pip-tools 7.4.1

pipxって、何よ？

• https://github.com/pypa/pipx

• PyPIをApp Store化計画

• コマンドラインだけで動かすパッケージを、pipxが管理する個別の仮想環境 にインストールしてくれる

いつも仮想環境にインストールするパッケージは pipx install でいいのでは

Installing stand alone command line tools

• pipxが pip-toolsだけのグローバルな仮想環境 を管理してくれる

• mypyや Ruff なども私は pipx install したい

pipx自体のインストール

• macOSは brew install pipx 🙋‍♂️

• Ubuntu 23.04以降で apt install pipx

• python3 -m pip install --user pipx

📌 pipx ensurepath をお忘れなく

https://github.com/pypa/pipx/tree/1.5.0?tab=readme-ov-file#install-pipx

venvによるPython開発環境の管理をpip-toolsでアップデートする提案

1. Pythonのパッケージ管理の基本をおさえる

2. pip-toolsの提案

3. Ryeの依存パッケージ管理の実装紹介

Ryeによる開発環境の例

• git clone https://github.com/ftnext/unko-by-rye.git

• rye sync

た っ た こ れ だ け

Ryeで管理するPythonプロジェクトの構成

.
├── .python-version
├── .venv/
├── pyproject.toml
├── requirements.lock
└── requirements-dev.lock

Pythonの管理

.
├── .python-version  # Pythonのバージョンの記載
├── .venv/
├── pyproject.toml
├── requirements.lock
└── requirements-dev.lock

依存パッケージの管理

.
├── .python-version
├── .venv/  # lockファイルと同期した仮想環境
├── pyproject.toml
├── requirements.lock  # pyproject.tomlのdependencies考慮
└── requirements-dev.lock

pipのない仮想環境の作り方

% python -m venv .venv/no_pip --without-pip
% virtualenv .venv/virt_no_pip --no-seed  # Ryeはこちら

拙ブログ Q: Pythonではパッケージ管理ツールpipを含まない仮想環境を作ることができる。◯か☓か

PYTHONPATH 環境変数

% .venv/no_pip/bin/python -m pip list
/.../.venv/no_pip/bin/python: No module named pip
% python -m venv .venv/with_pip --upgrade-deps
% PYTHONPATH=$PWD/.venv/with_pip/lib/python3.11/site-packages .venv/no_pip/bin/python -m pip list
Package    Version
---------- -------
pip        24.0
setuptools 70.0.0

拙ブログ Q: Pythonではパッケージ管理ツールpipを含まない仮想環境にパッケージをインストールできる。◯か☓か

一時ディレクトリにシンボリックリンク

% TMPDIR=$(mktemp -d)
% ln -s $PWD/.venv/with_pip/lib/python3.11/site-packages/pip $TMPDIR/pip
% PYTHONPATH=$TMPDIR .venv/no_pip/bin/python -m pip list
% PYTHONPATH=$TMPDIR pip-sync --python-executable .venv/no_pip/bin/python
% # pip-sync --python-executable .venv/no_pip/bin/python では「ModuleNotFoundError: No module named 'pip'」

拙ブログ pipのない仮想環境にもかかわらず、Ryeがpip-syncできる"魔法"を理解する

ご清聴ありがとうございました

待ってます お話ししましょう 廊下 にて

注目を集めるRye

• Twitter from:@voluntas Rye

• methaneさん ryeをpyenvのように使う

PyCon APAC 2023とRye

• Pythonでのパッケージング：エコシステムの理解と現場での活用 (slide=41)

• Comparison of Packaging Tools in 2023 (slide=31, 32)

nikkieとRye、試行錯誤録

• Ryeのworkspaceで複数のパッケージを同時に開発している時に、workspaceのルートでmypyを流す（error: Duplicate module named "..."を--explicit-package-basesで解消）

• Ryeのworkspaceで複数のパッケージを同時に開発している時に、workspaceのルートでpytestを流す（ModuleNotFoundErrorを--import-mode importlibで解消）

• 続・Ryeのworkspaceで複数のパッケージを同時に開発している時に、workspaceのルートでmypyを流す（strictモードで流すための対応案）

nikkieと仮想環境

• Pythonの仮想環境、最近は .venv という名前で作っています

• Pythonのvenvの--upgrade-depsオプションは、どこから来てどこへ行くのか

拙ブログより

• pipxがめっちゃいいぞ！！ Pythonスクリプトの未来。pipxが部分的にサポートしたInline script metadata（PEP 723）を触る

• uvお試し記：uv venvで作った仮想環境でpip installしてはいけません。uv pip installしましょう