Технологический стек (Инструменты и технологии). Сергей Купряшкин

Почему одной страницы недостаточно — и что вы найдёте здесь

На главной странице сайта я обозначил три инженерных столпа и ключевые инструменты. Здесь — всё, из чего они собраны: версии, связки, схемы передачи данных и примеры реальной логики (без «воды»).

Главное, что отличает эту страницу от типичных списков технологий:

Каждый мой LLM-запрос (запрос к большой языковой модели, нейросети) проходит пост-валидацию через Google Search Console API (программный интерфейс к данным о поисковом трафике) и фактчекинг по текущей выдаче. Это снижает галлюцинации (ситуации, когда нейросеть уверенно выдаёт ложную информацию) до уровня менее 5% в моих проектах.

Полный перечень инструментов по категориям

1. Языки и среда исполнения

Python 3.12 — основной язык для парсинга (сбора данных с сайтов), работы с API, анализа данных и оркестрации LLM (управления цепочками нейросетей).

SQL (Structured Query Language — язык структурированных запросов) — в связке с BigQuery и PostgreSQL для хранения и агрегации миллионов строк данных, которые используются для анализа, кластеризации и обогащения данных в AI-пайплайнах.

TypeScript — для разработки кастомных скриптов и тегов, реализующих сложную логику трекинга на стороне клиента (Server-Side Tracking).

2. AI / LLM (нейросети и большие языковые модели)

OpenAI API (GPT-4o, o1, GPT-4o-mini) — генерация контент-планов, кластеризация (группировка) поисковых запросов, суммаризация данных из GSC (Google Search Console).

Claude API (от Anthropic) — анализ длинных текстов (до 200 тысяч токенов — единиц обработки текста) для выявления смысловых кластеров и проверки фактов.

Ollama (локальный запуск моделей) — работа с Open Source-моделями (Llama 3, Mistral) на своём сервере. Применяется в проектах, где нельзя передавать данные вовне.

3. SEO-API (программные интерфейсы для поисковых систем)

Google Search Console API — автоматическая выгрузка реальных поисковых запросов, позиций, CTR (click-through rate — доли кликов), кликов по страницам. Это источник «земной правды» для любой AI-гипотезы.

Google Indexing API — мгновенная отправка на индексацию страниц, созданных или обновлённых с помощью нейросетей.

Screaming Frog CLI (интерфейс командной строки) — автоматизированный технический аудит сайта (битые ссылки, дубликаты, метатеги) с возможностью встраивать его в Python-пайплайны.

RankMath API / Yoast API (по требованию проекта) — автоматическое заполнение SEO-полей (тайтлы, дескрипшены, ключевые слова) после генерации AI.

4. Парсинг и сбор данных (веб-скрейпинг)

Playwright — обход капч, рендеринг (отображение) JavaScript-страниц, сбор данных из поисковой выдачи (SERP) для обучения LLM.

Scrapy — высокопроизводительный парсинг сотен тысяч страниц с контролем пауз и обработкой ошибок.

Apify (кастомные акторы — автономные скрипты) — для масштабного сбора данных с маркетплейсов и соцсетей, когда нужна готовая инфраструктура.

5. Обработка и хранение данных

Pandas (библиотека Python для анализа данных) — очистка, агрегация и трансформация данных перед отправкой в нейросеть.

BigQuery (облачное хранилище от Google) — хранение многомиллионных таблиц с поисковыми запросами, позициями и историями работы AI.

PostgreSQL (реляционная база данных) — для структурированных данных (проекты, пользователи, логи пайплайнов).

6. Оркестрация и автоматизация (управление цепочками задач)

Prefect / Apache Airflow — планирование и мониторинг пайплайнов. Пример: ежедневный запуск: сбор GSC → AI-анализ → запись в BigQuery → отправка отчёта клиенту.

n8n (self-hosted — установленный на своём сервере) — для быстрых связок без тяжёлого кода (вебхуки, триггеры, уведомления в Telegram/Slack).

GitHub Actions — автоматическое тестирование и деплой (размещение) скриптов после каждого обновления репозитория.

Архитектура одного пайплайна (на примере реального кейса)

Ниже — упрощённая схема того, как данные движутся от Google к нейросети и обратно. Каждый шаг описан с пояснениями.

Шаг	Что происходит	Используемые технологии
1	Python-скрипт загружает из GSC API поисковые запросы за последние 28 дней.	Google Search Console API, Python requests
2	Pandas фильтрует запросы с позициями 5–20, сортирует по росту кликов.	Pandas
3	OpenAI API получает промпт (инструкцию): «Для каждого запроса предложи 3 LSI-ключа и структуру H2».	OpenAI API (GPT-4o)
4	Claude API проверяет факты: анализирует топ-5 страниц выдачи, подтверждает или корректирует выводы.	Claude API
5	Результат сохраняется в BigQuery с метаинформацией о версии пайплайна и дате.	BigQuery
6	Indexing API отправляет на индексацию новые или обновлённые страницы.	Google Indexing API

Что это даёт клиенту:

Полную прозрачность: каждый ответ нейросети логируется и может быть проверен человеком.
Двухступенчатую защиту от галлюцинаций: Claude используется как дополнительный слой semantic cross-checking с опорой на данные поисковой выдачи.
Автоматизацию без потери контроля: финальное утверждение остаётся за экспертом, но 80% черновиков генерируются AI.

Фрагмент реального кода (для верификации)

Ниже — обфусцированный (упрощённый для публикации, но с сохранением реальной логики) пример. Он показывает, как я обращаюсь к OpenAI API, добавляю контекст из GSC и записываю результат в BigQuery.

python
# иллюстрация реальной структуры (полный код — в приватном репозитории)
def seo_ai_pipeline(project_id, days_back=28):
    # 1. Загрузка данных из GSC API
    gsc_data = fetch_gsc_queries(project_id, days_back)
    df = pd.DataFrame(gsc_data)
    
    # 2. Кластеризация запросов по интенту (намерению пользователя)
    clusters = cluster_by_intent(df)
    
    # 3. Формирование промптов для LLM
    prompts = [build_prompt(row) for row in clusters]
    
    # 4. Запрос к OpenAI
    responses = openai.ChatCompletion.create(
        model="gpt-4o",
        messages=prompts,
        temperature=0.45   # низкая температура для снижения случайности
    )
    
    # 5. Фактчекинг через Claude API
    validated = claude_fact_check(responses, search_context=clusters)
    
    # 6. Сохранение в BigQuery
    insert_into_bigquery(validated, table="ai_generated_meta")
    
    return validated

Важно: Весь рабочий код доступен для проверки по соглашению о конфиденциальности (NDA).

Как мой стек борется с главной проблемой нейросетей — галлюцинациями

Угроза	Технологическое решение в моём стеке (с пояснениями)
Нейросеть выдумывает факты, не найденные в исходных данных.	Пост-валидация (проверка после генерации) через Claude API с обязательным требованием цитировать источник из реальной поисковой выдачи.
Использование устаревших данных.	Все LLM-запросы получают «свежий» контекст из GSC API, который обновляется каждые 24–48 часов.
Логическая несвязность в длинных текстах.	Разбивка на короткие промпты с ограничением температуры (0.2–0.5) и установка контрольных точек (чекпоинтов) на каждом смысловом блоке.
Утечка данных или нежелательная предвзятость модели.	Для конфиденциальных проектов применяются локальные модели (Ollama) с кастомными системными промптами, без обращения к сторонним API.

Важно отметить, что финальные решения, редактура и SEO-стратегия всегда проходят ручную проверку.

Результаты, которые клиенты получили на этом стеке (короткая сводка)

50+ проектов внедрена автоматизация SEO на базе AI.

Свыше 1500 часов рутинной работы (сбор отчётов, ручная кластеризация, заполнение метатегов) заменены пайплайнами.

Средний рост поискового трафика у первых пяти клиентов — 140% за 4 месяца (точные цифры и NDA — в кейсах на отдельной странице).

Во всех проектах, где использовалась многоступенчатая валидация, количество критических фактических ошибок удалось существенно снизить.

Технологический стек (инструменты и технологии)