bug: скачанный CSV может принадлежать не тому виду — top_popular.csv с related-заголовком

[axisrow]

Симптом

Живой прогон на cc5ce70 (3 фразы, Россия, --keep-raw). Для фразы «подарки» сохранённый top_popular.csv содержит related-заголовок:

файл	размер	заголовок
CLI top_popular.csv	191 Б	Запросы, похожие на "подарки"… ← related
CLI top_related.csv	191 Б	Запросы, похожие на "подарки"…
ручной экспорт wordstat_top_queries.csv	198 Б	Топ частотных запросов "подарки"… ← popular

Для фразы «новогодние подарки детям» оба файла — 223 Б с related-заголовком.
Для «новогодние подарки» заголовки правильные (219 Б popular / 212 Б related).

То есть <view>.parquet и <view>.csv могут описывать не тот отчёт, имя которого носят, и происходит это не всегда — зависит от фразы.

Почему это не «пустые топы»

Отдельно проверено и не является багом: топовые виды на живом Wordstat экспортируются header-only даже при непустом UI (200 строк в таблице «подарки»). Ручной экспорт даёт ровно то же самое. Это поведение Wordstat, оно уже задокументировано в collector.py (_is_untrustworthy_empty_export, «TOP_POPULAR … is always empty on live Wordstat»). Данная issue не про пустоту, а про подмену вида.

Механизм (гипотеза)

VIEW_SELECTORS (collector.py:57):

WordstatView.TOP_POPULAR: "label[for='table']",
WordstatView.TOP_RELATED: "label:has(#associations)",

Оба топовых вида живут в одной таблице. _select_view подтверждает переключение тремя признаками: input.checked, наличие кнопки скачивания и TABLE_ROW_SELECTOR.length > 0. Ни один из них не описывает содержимое будущего экспорта — только состояние контролов и наличие строк.

Проверка «текст таблицы изменился» существует, но она required=False и явно помечена в комментарии как corroborating evidence, а не гейт — потому что разные виды могут иметь одинаковую первую строку. В результате: radio уже переключён, строки в DOM есть, а blob экспорта всё ещё принадлежит предыдущему виду — скачивается related под именем popular.

Это тот же класс дефекта, что #3, #13, #21, #22, #26, #31 и три ревью в PR #39: проверяется соседний сигнал вместо искомого. Здесь искомое — принадлежность экспорта виду, а проверяется состояние переключателя.

Почему тесты молчат

row_count=0 у обоих топов одинаков независимо от того, какой заголовок попал в файл. Заголовки Wordstat локализованы и намеренно не валидируются по именам (csv_io.py) — так что подмена вида не отражается ни в одной проверке. Манифест показывает top_popular row_count 0 и выглядит нормально.

Что нужно

1. Воспроизвести: несколько фраз подряд, --keep-raw, сверить заголовок каждого <view>.csv с ожидаемым видом. Зафиксировать, от чего зависит (порядок видов, скорость перерисовки, конкретная фраза).
2. Найти признак, описывающий сам экспорт, а не контролы: заголовок скачанного CSV — первый кандидат, он приходит от Wordstat и прямо называет отчёт.
3. Проверка принадлежности вида после скачивания, fail-closed: если заголовок не соответствует запрошенному виду — не записывать parquet под этим именем.
4. Осторожно с п. 3: заголовки локализованы и Wordstat их меняет без предупреждения. Жёсткая привязка к строке — новый источник тихих поломок. Нужен признак, отличающий виды, но не ломающийся от переформулировки; варианты обсудить до реализации.

Данные прогона

Каталог: /tmp/wordstat-issue-38-one-1788155996, коммит cc5ce70, monthly, дефолтное окно UI, timeout 45.
UI на момент проверки: «подарки» → top_popular 200 строк (подарок 4 583 689), top_related 20 строк (подарить 3 586 247).

[axisrow]

Воспроизведение: результат детерминирован

Второй полный batch (cc5ce70, те же 3 фразы, --keep-raw, каталог /tmp/wordstat-issue-41-1788156586) повторил первый побайтно:

фраза	top_popular.csv	top_related.csv
новогодние подарки	219 Б / popular ✅	212 Б / related ✅
подарки	191 Б / related ❌	191 Б / related
новогодние подарки детям	223 Б / related ❌	223 Б / related

Совпадение до байта в двух независимых прогонах означает, что это не гонка перерисовки — race плавал бы. Подмена воспроизводима и зависит от позиции фразы в батче.

Уточнённая гипотеза: дело не в порядке видов, а в переходе между фразами

Порядок видов одинаков для всех фраз (top_popular → top_related → dynamics → regions), так что он ничего не объясняет. Объясняет другое: первая фраза отличается от остальных тем, что перед ней не было предыдущей.

collect_many (строка ~94) идёт по фразам в одном и том же открытом документе. Страница между фразами не перезагружается и вид не сбрасывается — каждая следующая фраза стартует на том виде, где закончилась предыдущая, то есть на REGIONS (карта).

_set_phrase после клика по поиску ждёт ровно два условия:

() => new URL(location.href).searchParams.get('words') === <phrase>
   && Boolean(document.querySelector(<DOWNLOAD_SELECTOR>))

Ни одно из них не описывает активный вид и не описывает готовность экспорта под новую фразу. URL меняется сразу, кнопка скачивания остаётся в DOM всё время. Дальше _select_view(TOP_POPULAR) видит уже выставленный input.checked (или выставляет его мгновенно), строки в таблице есть — от предыдущего состояния, — и hard gate проходит, хотя blob экспорта ещё принадлежит прежнему виду/фразе.

Опять тот же класс: checked + наличие кнопки + наличие строк — три соседних сигнала, ни один из которых не отвечает на вопрос «какой отчёт отдаст кнопка скачивания».

Что это добавляет к плану

• Ждать дольше бесполезно: детерминированность говорит, что состояние устойчиво неверное, а не «ещё не успело».
• Проверять надо после скачивания, по содержимому файла, а не ожиданием в DOM.
• Заголовок CSV остаётся самым прямым признаком принадлежности, но привязка к его тексту хрупкая (локализация, переформулировки). Нужен вариант, различающий два топовых вида без жёсткой строки.
• Отдельно стоит проверить, затрагивает ли подмена dynamics/regions: у них размеры правдоподобные (24 строки, 757/991/425), но принадлежность фразе по ним никто не проверял.

[axisrow]

Первопричина найдена — это неверный селектор, а не гонка и не blob

VIEW_SELECTORS (collector.py:57):

WordstatView.TOP_POPULAR: "label[for='table']",     # ← input#table, ВЕРХНИЙ уровень
WordstatView.TOP_RELATED: "label:has(#associations)",  # ← input#associations, подвид

В живом DOM три отдельных радио:

контрол	что это
input#table	верхний уровень «Топы запросов» — общий родитель обоих топовых подвидов
input#popular	подвид «Популярные»
input#associations	подвид «Похожие»

TOP_POPULAR кликает родителя, а не подвид. Гейт в _select_view проверяет input.checked того же #table — который остаётся checked и тогда, когда активен подвид «Похожие». Проверка вакуумно истинна: она подтверждает то, что и так верно, и ничего не говорит о подвиде.

Отсюда наблюдаемое поведение: после первой фразы подвид остаётся associations; _select_view(TOP_POPULAR) кликает #table, видит checked, считает переключение состоявшимся — и качает related под именем popular. Первая фраза батча права только потому, что popular — состояние по умолчанию при загрузке страницы.

Асимметрия видна прямо в словаре: TOP_RELATED целится в подвид, TOP_POPULAR — в родителя.

Живая телеметрия (wordstat-25)

шаг	a[download]	href	checked
фраза 1, popular	wordstat_top_queries	blob:…36735…	table + popular
фраза 1, related	wordstat_similar_queries	blob:…2c5b…	table + associations
смена на фразу 2	wordstat_similar_queries	blob:…f515…	table + associations
_select_view(TOP_POPULAR)	wordstat_similar_queries	blob:…5cdd…	table + associations ← не переключилось

href меняется и при смене вида, и при смене фразы — то есть blob пересобирается исправно. Гипотеза «Wordstat не пересобирает blob» опровергнута; проблема была в том, что мы не просили нужный подвид.

План фикса

1. Первопричина: TOP_POPULAR → label:has(#popular) (или иной однозначный селектор подвида), чтобы клик попадал в подвид, а input.checked в hard gate описывал именно его. Это делает существующий гейт содержательным вместо вакуумного.
2. Fail-closed остаток: post-download проверка точной фразы в кавычках внутри metadata-поля — защита от stale blob, не зависящая от локализации формулировки (ищем свою строку, а не текст Wordstat).
3. href как pre-download readiness — опционально, после снапшота; не заменяет проверку п. 2.
4. Не использовать basename как контракт: имя назначает Chrome, при коллизии дописывает (1), и в коде имена сознательно не контракт (diff снапшота именно для этого). download/href — свидетельство о blob, но не имя файла.

Тесты

• Регрессионный страж на асимметрию: каждый вид в VIEW_SELECTORS должен целиться в собственный контрол, а не в общего родителя.
• Мутация «вернуть label[for='table']» обязана краснеть.
• Проверка, что hard gate различает подвиды: #table checked при активном associations не должен считаться готовностью TOP_POPULAR.