feat(webcam): add AI background cutout, blur, and custom wallpapers (#291)

biome.json

@@ -3,7 +3,7 @@
 	"vcs": { "enabled": true, "clientKind": "git", "useIgnoreFile": true },
 	"files": {
 		"ignoreUnknown": false,
-		"includes": ["**", "!**/*.css", "!**/design/**", "!**/.worktrees/**"]
+		"includes": ["**", "!**/*.css", "!**/design/**", "!**/.worktrees/**", "!**/public/mediapipe/**"]
 	},
 	"formatter": {
 		"enabled": true,

crates/Cargo.toml

@@ -34,6 +34,26 @@ image = { version = "0.25", default-features = false, features = ["jpeg", "png"]
 wgpu = { version = "24", features = ["wgsl"] }
 pollster = "0.4"
 cosmic-text = "0.19"
+# Inference for the webcam segmentation mask. CPU execution provider only: measured on the
+# target integrated GPU it costs +0.47 ms/frame against DirectML's +1.03, its cost does not
+# scale with input resolution, and choosing it deletes the whole D3D11<->D3D12 interop
+# (technical-documentation/engineering/webcam-segmentation.md).
+#
+# Behind the `segmentation` feature and OFF by default: `download-binaries` fetches the
+# ONNX Runtime libs at build time, which is a packaging decision (nix, AUR, MS Store, CI)
+# that has not been taken yet. The default build is unchanged.
+# `load-dynamic` et NON `download-binaries` : ce dernier tire une build STATIQUE d'ONNX
+# Runtime avec DirectML dedans (DirectML.lib, DXCORE.lib et les DmlOperator* apparaissent
+# dans la ligne de lien) — exactement la dépendance que le choix de l'EP CPU sert à
+# supprimer. En chargement dynamique, la lib est résolue à l'exécution, ce qui laisse le
+# packaging la stager par plateforme comme il le fait déjà pour whisper-stt.
+ort = { version = "2.0.0-rc.13", default-features = false, features = [
+    "std",
+    "ndarray",
+    "load-dynamic",
+    "api-27",
+] }
+ndarray = "0.16"
 
 [workspace.dependencies.windows]
 version = "0.58"

crates/compositor/Cargo.toml

@@ -12,8 +12,20 @@ path = "src/lib.rs"
 bindgen = "0.70"
 cc = "1"
 
+[features]
+default = ["segmentation"]
+# Segmentation IA de la webcam via ONNX Runtime (EP CPU).
+#
+# Activée par défaut, ce qui ne coûte rien au build : `ort` est lié en `load-dynamic`, donc
+# aucune bibliothèque n'est nécessaire pour COMPILER. Elle l'est pour tourner — absente,
+# `Segmenter::load` échoue, le compositeur écrit une ligne et dessine la webcam telle quelle.
+# La désactiver reste possible pour une build qui ne veut pas du tout du code d'inférence.
+segmentation = ["dep:ort", "dep:ndarray"]
+
 [dependencies]
 anyhow.workspace = true
+ort = { workspace = true, optional = true }
+ndarray = { workspace = true, optional = true }
 serde.workspace = true
 serde_json.workspace = true
 image.workspace = true

crates/compositor/src/compositor_linux.rs

@@ -238,6 +238,12 @@ impl Compositor {
                         ty: wgpu::BindingType::Sampler(wgpu::SamplerBindingType::Filtering),
                         count: None,
                     },
+                    // Masque de segmentation du sujet webcam. TOUJOURS declare, meme sans
+                    // masque : wgpu valide le bind group contre le layout, donc une entree
+                    // absente ferait echouer chaque draw et pas seulement ceux qui l'utilisent.
+                    // `dummy_view()` est lie a la place, et la branche du shader n'est de
+                    // toute facon prise que si fx.z > 0.5.
+                    tex_entry(4),
                 ],
             });
         let pipeline_layout = gpu.device.create_pipeline_layout(&wgpu::PipelineLayoutDescriptor {
@@ -945,6 +951,14 @@ impl Compositor {
                     binding: 3,
                     resource: wgpu::BindingResource::Sampler(&self.sampler),
                 },
+                // Le portage Linux de la segmentation (capture + televersement du masque)
+                // n'est pas fait : on lie le dummy, ce qui laisse `fx.z` a 0 cote scene et
+                // donc la branche du shader jamais prise. Voir
+                // `technical-documentation/engineering/webcam-segmentation.md`.
+                wgpu::BindGroupEntry {
+                    binding: 4,
+                    resource: wgpu::BindingResource::TextureView(dummy),
+                },
             ],
         });
         (uniform, bind)