From 1d913ee38fe3837c61e928894f623774515f52cf Mon Sep 17 00:00:00 2001 From: leemour Date: Sat, 10 Oct 2026 21:37:24 +0200 Subject: [PATCH] docs(testing): make performance and UX checks scannable --- content/docs/testing.es.mdx | 19 ++++++++++++++----- content/docs/testing.mdx | 19 ++++++++++++++----- content/docs/testing.ru.mdx | 19 ++++++++++++++----- docs/reviews/2026-10-10-testing.md | 18 ++++++++++++++++++ 4 files changed, 60 insertions(+), 15 deletions(-) diff --git a/content/docs/testing.es.mdx b/content/docs/testing.es.mdx index 94897a56..fc515f4b 100644 --- a/content/docs/testing.es.mdx +++ b/content/docs/testing.es.mdx @@ -48,11 +48,15 @@ También comprobamos si se encontraron mensajes útiles antes de ordenarlos: cam ## Rendimiento y recursos -Medimos cuánto tarda una tarea completa, cuánta memoria usa y cómo cambia al aumentar los datos. Para la búsqueda, incluye encontrar mensajes, ordenar resultados, añadir réplicas útiles y preparar la salida. +Comprobamos si las herramientas siguen respondiendo bien al aumentar el trabajo: -Miramos el tiempo de espera habitual y las ejecuciones más lentas. Los informes pueden llamarlos **p50** (la mitad de las ejecuciones medidas termina dentro de ese tiempo) y **p95** (el 95% termina dentro de él). También comparamos la primera ejecución con las posteriores y medimos la preparación del archivo por separado de la búsqueda. +- **Velocidad de la tarea.** Medimos la tarea completa. Para la búsqueda, incluye encontrar mensajes, ordenarlos, añadir respuestas útiles y preparar la salida. +- **Ejecuciones habituales y lentas.** Medimos la espera habitual y los casos más lentos. Los informes usan **p50** para el tiempo en que termina la mitad de las ejecuciones medidas y **p95** para el tiempo en que termina el 95%. +- **Archivos grandes y primeras ejecuciones.** Comprobamos la velocidad al aumentar los datos, comparamos la primera ejecución con las posteriores y medimos la preparación del archivo por separado de la búsqueda. +- **Uso de memoria.** Medimos la memoria usada durante la tarea, también con mayores cantidades de datos. +- **Descargas y carga.** Si una función usa un modelo descargable, medimos tamaño y tiempo de descarga, tiempo de carga y uso de memoria. Una descarga pequeña no implica necesariamente poca memoria. -Si una función usa un modelo descargable, medimos tamaño y tiempo de descarga, tiempo de carga y consumo de memoria. Una descarga pequeña no implica necesariamente poca memoria. Las comparaciones registran el equipo y la carga para que un resultado de una máquina no parezca una promesa para todos los dispositivos. Los [experimentos de búsqueda](https://github.com/WireCatLabs/cli-testing/tree/main/performance/search) contienen las mediciones detalladas. +Las comparaciones registran el equipo y la carga para que un resultado de una máquina no parezca una promesa para todos los dispositivos. Los [experimentos de búsqueda](https://github.com/WireCatLabs/cli-testing/tree/main/performance/search) contienen las mediciones detalladas. ## Seguridad y privacidad @@ -70,9 +74,14 @@ Consulta los controles que puedes configurar en [seguridad](./security.mdx) y [p ## Experiencia de usuario y documentación -Probamos tareas reales: ¿puede una persona encontrar la orden adecuada, entender un error y saber si la tarea terminó bien? En el sitio de documentación probamos abrir guías, seguir enlaces, usar la búsqueda y copiar instrucciones. +Comprobamos si las personas pueden completar sus tareas y entender el resultado: -Comprobamos el teclado, las pantallas móviles, la accesibilidad y todos los idiomas compatibles. Las pruebas automáticas detectan enlaces rotos, traducciones ausentes y algunos problemas de accesibilidad. Las revisiones manuales valoran si las instrucciones son legibles, los ejemplos tienen sentido y la página ofrece un siguiente paso útil. +- **Encontrar y usar una función.** ¿Puede una persona encontrar la orden adecuada, entender un error y saber si la tarea terminó bien? +- **Guías y ejemplos.** Probamos abrir guías, seguir enlaces, usar la búsqueda y copiar instrucciones. Las revisiones manuales valoran si los ejemplos tienen sentido y ofrecen un siguiente paso útil. +- **Teclado, móvil y accesibilidad.** Comprobamos que la documentación se pueda usar con teclado, en pantallas pequeñas y con ayudas de accesibilidad. +- **Idiomas.** Comprobamos todos los idiomas compatibles para detectar traducciones ausentes e instrucciones legibles que mantengan el mismo significado. + +Las pruebas automáticas detectan enlaces rotos, traducciones ausentes y algunos problemas de accesibilidad. Las personas revisan la claridad y la utilidad. Durante el desarrollo buscamos errores en el código, ejecutamos pruebas de funciones y comprobamos la documentación y un grupo corto de tareas de navegador. Antes de publicar, la compilación automática hace comprobaciones más amplias del sitio completo, sus enlaces y su comportamiento en el navegador. Las órdenes exactas para colaboradores están en las guías de desarrollo de los repositorios, incluida la [guía de pruebas de cli-testing](https://github.com/WireCatLabs/cli-testing/blob/main/docs/dev/TESTING.md). diff --git a/content/docs/testing.mdx b/content/docs/testing.mdx index 5c85aab8..f1e2f389 100644 --- a/content/docs/testing.mdx +++ b/content/docs/testing.mdx @@ -48,11 +48,15 @@ We check whether useful messages were found before sorting them, too: changing t ## Performance and resource use -We measure how long a whole task takes, how much memory it uses and how that changes as the data grows. For search, that includes finding messages, sorting results, adding useful replies and preparing the output. +We check whether tools stay responsive as the work gets larger: -We look at typical waiting time and slower runs. Reports may call these **p50** (half the measured runs finish within this time) and **p95** (95% finish within it). We also compare the first run with later runs, and measure preparing an archive separately from searching it. +- **Task speed.** We time the whole task. For search, that includes finding messages, sorting them, adding useful replies and preparing the output. +- **Typical and slower runs.** We measure ordinary waiting time and slower cases. Reports use **p50** for the time half the measured runs finish within, and **p95** for the time 95% finish within. +- **Larger archives and first runs.** We check how speed changes as the data grows, compare the first run with later runs, and measure preparing an archive separately from searching it. +- **Memory use.** We measure the memory used while the task runs, including with larger amounts of data. +- **Downloads and loading.** If a feature uses a downloadable model, we measure download size and time, loading time and memory use. A small download does not necessarily mean low memory use. -If a feature uses a downloadable model, we measure download size and time, loading time and memory use. A small download does not necessarily mean low memory use. Comparisons record the computer and workload so a result from one machine is not presented as a promise for every device. The [search experiments](https://github.com/WireCatLabs/cli-testing/tree/main/performance/search) contain the detailed measurements. +Comparisons record the computer and workload so a result from one machine is not presented as a promise for every device. The [search experiments](https://github.com/WireCatLabs/cli-testing/tree/main/performance/search) contain the detailed measurements. ## Security and privacy @@ -70,9 +74,14 @@ For the controls you can set yourself, read [security](./security.mdx) and [perm ## User experience and documentation -We check real tasks: can someone find the right command, understand an error and tell whether the task succeeded? For the documentation site, we try opening guides, following links, using search and copying instructions. +We check whether people can complete their tasks and understand the result: -We check keyboard use, mobile screens, accessibility and every supported language. Automatic checks find broken links, missing translations and some accessibility problems. Manual reviews check that instructions are readable, examples make sense and the page gives a useful next step. +- **Finding and using a feature.** Can someone find the right command, understand an error and tell whether the task succeeded? +- **Guides and examples.** We try opening guides, following links, using search and copying instructions. Manual reviews check that examples make sense and give a useful next step. +- **Keyboard, mobile and accessibility.** We check that the documentation can be used with a keyboard, on smaller screens and with accessibility support. +- **Languages.** We check every supported language for missing translations and readable instructions that keep the same meaning. + +Automatic checks find broken links, missing translations and some accessibility problems. People review clarity and usefulness. During development we check code for mistakes, run feature tests, and check documentation and a short set of browser tasks. Before publication, the automated build runs broader checks on the complete site, its links and browser behavior. Exact contributor commands live in the repositories' developer guides, including [cli-testing's testing guide](https://github.com/WireCatLabs/cli-testing/blob/main/docs/dev/TESTING.md). diff --git a/content/docs/testing.ru.mdx b/content/docs/testing.ru.mdx index eca48c24..5308a97a 100644 --- a/content/docs/testing.ru.mdx +++ b/content/docs/testing.ru.mdx @@ -48,11 +48,15 @@ description: Как мы проверяем работу функций, ско ## Производительность и ресурсы -Мы измеряем время выполнения всей задачи, расход памяти и их изменение с ростом данных. Для поиска это включает поиск сообщений, сортировку, добавление полезных ответов и подготовку результата. +Мы проверяем, остаются ли инструменты быстрыми при увеличении объёма работы: -Мы смотрим на обычное время ожидания и более медленные запуски. В отчётах они могут называться **p50** (половина измеренных запусков укладывается в это время) и **p95** (95% укладываются в него). Первый запуск сравнивается с последующими, а подготовка архива измеряется отдельно от поиска. +- **Скорость задачи.** Мы измеряем время всей задачи. Для поиска это включает поиск сообщений, сортировку, добавление полезных ответов и подготовку результата. +- **Обычные и медленные запуски.** Мы измеряем обычное время ожидания и более медленные случаи. В отчётах **p50** означает время, в которое укладывается половина измеренных запусков, а **p95** — время для 95% запусков. +- **Большие архивы и первый запуск.** Мы проверяем скорость с ростом данных, сравниваем первый запуск с последующими и измеряем подготовку архива отдельно от поиска. +- **Расход памяти.** Мы измеряем память, используемую при выполнении задачи, в том числе с большим объёмом данных. +- **Загрузка и запуск.** Если функция использует загружаемую модель, мы измеряем объём и время загрузки, время запуска и расход памяти. Небольшая загрузка не обязательно означает небольшой расход памяти. -Если функция использует загружаемую модель, мы измеряем объём и время загрузки, время запуска и расход памяти. Небольшая загрузка не обязательно означает небольшой расход памяти. В сравнении указываются компьютер и нагрузка, чтобы результат одного устройства не выглядел обещанием для всех. Подробные замеры находятся в [экспериментах поиска](https://github.com/WireCatLabs/cli-testing/tree/main/performance/search). +В сравнении указываются компьютер и нагрузка, чтобы результат одного устройства не выглядел обещанием для всех. Подробные замеры находятся в [экспериментах поиска](https://github.com/WireCatLabs/cli-testing/tree/main/performance/search). ## Безопасность и приватность @@ -70,9 +74,14 @@ description: Как мы проверяем работу функций, ско ## Удобство и документация -Мы проверяем реальные задачи: может ли человек найти нужную команду, понять ошибку и определить, выполнена ли задача? На сайте документации мы пробуем открывать руководства, переходить по ссылкам, пользоваться поиском и копировать инструкции. +Мы проверяем, могут ли люди выполнить задачу и понять результат: -Мы проверяем клавиатуру, мобильные экраны, доступность и все поддерживаемые языки. Автоматические проверки находят сломанные ссылки, отсутствующие переводы и некоторые проблемы доступности. Ручная проверка оценивает понятность инструкций, смысл примеров и полезность следующего шага. +- **Поиск и использование функции.** Может ли человек найти нужную команду, понять ошибку и определить, выполнена ли задача? +- **Руководства и примеры.** Мы пробуем открывать руководства, переходить по ссылкам, пользоваться поиском и копировать инструкции. Ручная проверка оценивает смысл примеров и полезность следующего шага. +- **Клавиатура, мобильные экраны и доступность.** Мы проверяем использование документации с клавиатурой, на небольших экранах и со средствами доступности. +- **Языки.** Мы проверяем все поддерживаемые языки: нет ли пропущенных переводов, понятны ли инструкции и сохраняют ли они тот же смысл. + +Автоматические проверки находят сломанные ссылки, отсутствующие переводы и некоторые проблемы доступности. Люди оценивают ясность и полезность. При разработке мы ищем ошибки в коде, запускаем тесты функций, проверяем документацию и короткий набор браузерных задач. Перед публикацией автоматическая сборка шире проверяет весь сайт, его ссылки и поведение в браузере. Точные команды для разработчиков находятся в руководствах репозиториев, включая [руководство cli-testing](https://github.com/WireCatLabs/cli-testing/blob/main/docs/dev/TESTING.md). diff --git a/docs/reviews/2026-10-10-testing.md b/docs/reviews/2026-10-10-testing.md index b2d16967..8c49d849 100644 --- a/docs/reviews/2026-10-10-testing.md +++ b/docs/reviews/2026-10-10-testing.md @@ -66,3 +66,21 @@ log/repository/data-sharing examples. No live account test was run for this pros The metrics retain practical meaning and the hypothetical 43.8% Success@10 example. Formulas, command inventories and developer setup are delegated to linked guides. No runtime behavior, release pin, generated messenger page, navigation or term convention changes. + +## Performance and UX lists + +The reader wants to scan what we check without working through long paragraphs. Performance +now groups task speed, typical/slower runs, archive size/first runs, memory and downloads/loading. +UX groups feature use, guides/examples, keyboard/mobile/accessibility and languages. + +| Page and locale | Reader task | Terms and opening | Behavior evidence | Links and exports | Result and owner | +| --- | --- | --- | --- | --- | --- | +| testing, en | Scan performance and UX checks | Full page read; short bold labels; p50/p95 keep their definitions | Same measurements and browser/manual checks as the prior revision | Existing headings, routes, links and Markdown meaning retained | Reviewed by Codex | +| testing, ru | Same task | Full page read; same labels and meanings | Same evidence | Same links and preserved headings | Reviewed by Codex | +| testing, es | Same task | Full page read; same labels and meanings | Same evidence | Same links and preserved headings | Reviewed by Codex | + +No new coverage or runtime claims. Search handoff remains complete for additive discovery: +cli-messaging docs/dev/combined-search-handoff.md records the released packages, unchanged +strict defaults, development results and the unmet default-switch gates. The portal's +search-architecture Questions and partial evidence section and both released search guides +already explain discovery. This formatting change does not qualify a default replacement.