QA / Eval-инженер

Привет. Я Виктор, основатель IntellectDialog (7 лет, 500+ клиентов, резидент Сколково). Собираю команду под грантовый НИОКР: система для стоматологических клиник, которая сама решает, кому, когда и в каком канале написать пациенту, сама записывает в МИС и объясняет каждое своё решение. Внутри — байесовские профили, скоринги, решающие правила с доказанными теоремами и генерация, где каждая цифра обязана иметь источник.

Важно: только с продовым опытом ровно в том, что написано ниже. Смежный опыт не считается, доучивать некогда — сроки грантовые. В сопроводительном обязательно: научные публикации/доклады, если есть (для гранта это влияет на выбор), сколько часов в день готовы уделять, и подтверждение, что ставка 500 - 1000 ₽/час вам подходит. Отклик без этих пунктов и без обязательных пунктов из конца вакансии не рассматриваю.

Вы будете отвечать за то, чтобы вся эта конструкция была доказуемо надёжной — от математики профилей до red-team ИИ-агента.

Что конкретно: — eval-инфраструктура: golden-наборы, red-team (инъекции, выманивание данных, медицинские провокации), регрессия «инцидент → тест одним действием», всё гейтами в CI (Promptfoo/DeepEval); — property-based тесты математических инвариантов на Hypothesis + фаззинг решателя на миллион конфигураций; — испытания транзакций: гонки за слот, обрывы в момент записи, компенсации, деградация при недоступности МИС/LLM; — нагрузочные (200 одновременных диалогов, приёмка по p95) и программа квалификационных испытаний для гранта.

Кого ищу: SDET из финтеха/высоконагруженных сервисов или инженера качества ML-продуктов. Того, кто ловил распределённые гонки автотестами и понимает, чем eval-набор отличается от юнит-тестов.

Кому не писать: ручное тестирование и Selenium-автотесты интернет-магазинов — не тот профиль, извините. Если Hypothesis и property-based testing для вас теория — пока рано.

Стек: Python (eval и тестовый контур), TypeScript (тесты ядра), PostgreSQL, k6/Locust.

В отклике обязательно:

1. Кейс: гонка или распределённый баг, который вы поймали автотестом — как построили тест и остался ли он жить в CI после вас.
2. Если тестировали ML/LLM — что мерили и как собирали наборы (если нет — честно, не откликайтесь).
3. По списку — «работал в проде» / «знаю поверхностно» / «не работал»: — Hypothesis (property-based): какие инварианты проверяли, писали ли стратегии сами; — Promptfoo / DeepEval / Ragas: что гоняли гейтом в CI; — red-team LLM: свои корпуса провокаций или инструменты (Garak, PyRIT); — k6 / Locust: профили нагрузки, приёмка по перцентилям; — тестирование транзакций и идемпотентности: как эмулировали обрывы и гонки; — Python и TypeScript в тестовом коде — что основной; — PostgreSQL: умеете ли готовить тестовые данные и проверять состояние напрямую.
4. Отдельным абзацем: какую тестовую инфраструктуру вы построили с нуля (фреймворк, eval-контур, стенд) — а не дописывали тесты в готовую.
5. GitHub, доклады.
6. Научные достижения, если есть — списком.
7. Доступность: сколько часов в день готовы уделять, с какой даты — и подтверждение, что ставка 500 - 1000 ₽/час по факту отработанного вам ок. Без этого подтверждения созвон не назначаю, чтобы не тратить время обеих сторон.

Условия: удалёнка, от 4 часов в день, 500 - 1000 ₽/час по факту, самозанятость/ИП/ГПХ, 12–18 месяцев. Для ключевых участников по итогам успешной реализации — опцион на долю в компании (условия индивидуально, после первых месяцев работы). Это НИОКР с публикациями и РИД — 50+ клиник-клиентов ждут пилотов, результат уйдёт в прод. Если есть научные публикации, доклады, участие в НИОКР — приложите список, для гранта это важно и влияет на выбор.