Gramax

Настройки на стороне Apache Kafka

Heading

Link

Настройки на стороне Экстрактора 1С

Image

Формат AVRO

article

Настройка подключения к  Apache Kafka

extractor_docs

Экстрактор 1С. Документация.

hierarchy

Источник данных

Конфигурация

Старт. Как пользоваться документацией

Введение

Экстрактор 1С - Идея

Виды лицензий 1С Экстрактора

О программе

Релизы

Релизы 3.6.x

Релизы 3.5.x

Релиз 3.5.3.110 (“Снежинка” или каскадная выгрузка объектов)

Релиз 3.4 

Планы по развитию (заметки на полях)

Что нового? Анонсы релизов

Установка инсталлятором

Обновление Экстрактора 1С

Установка с генерацией расширения подписок

Старый способ установки

Лицензирование и права

Лицензирование и токен для Коннектора 1С к Yandex Datalens

Настройка прав доступа

Ролевая модель

Установка и обновление

Немного теории

Проект

Сегменты и партиции. В чем различие?

Сегментирование и многопоточность

Обработчики

Запросы и сегментирование

Способы выгрузки данных

Очередь выгрузки

Движки ClickHouse

Начало работы

Меню Экстрактора 1С

Этап 1: Создание нового проекта

Этап 2: Создание набора данных

Этап 3: Настройки параметров отбора для распараллеливания выгрузки

Этап 4: Выбор полей, отбор и параметры запроса

Этап 5: Настройка вычисляемых полей

Этап 6: Указание или создание таблицы-приемника в СУБД

Этап 7: Маппинг полей и установка признака “сегмент” у полей сегмента

Этап 8: Расширенные настройки

Этап 9: Первичная выгрузка данных

Этап 10: Настройка регистрации изменений

Этап 11: Настройка расписания выгрузки

Инструкция по созданию проекта

Настройки СУБД

Настройка подключения к БД

Настройки Экстрактора

Настройка проекта выгрузки

Настройки сторонних программ

Работа с Apache Kafka

Работа с MyBI

Настройки

Делать выгрузки в Clickhouse, MS SQL, Postgresql

Проектировать выгрузки конструктором

Каскадная выгрузка объектов “Снежинка”

Поддерживать актуальность данных. Инкрементальная выгрузка данных.

Делать выгрузки по расписанию

Выгружать историю выполнения проекта

Что умеет Экстрактор 1С и как это сделать

Все примеры. Оглавление.

По типовым конфигурациям 1С:Предприятие 8

Примеры выгрузки в MS SQL / PostgreSQL

Примеры выгрузок в Clickhouse

Универсальные примеры выгрузки

Разные источники данных

Прочие примеры

От установки до первых шагов в конфигурации...

Примеры

Как перевести проект выгрузки на другую СУБД

Как обновить установленное расширение  "Экстрактор 1С" на новую версию?

Как посмотреть информацию о 1С

Как написать обработчик-источник данных?

Как написать собственный обработчик и сохранить его в справочнике?

Как запустить на выполнение проект Экстрактора, используя COM-соединение из другой базы 1С ?

Как автоматически заполнить параметры обработчика инициализации

Как делать полную выгрузку всегда на начало дня/месяца/года...используя источник данных Объект?

Как рассчитать идентификатор объекта и вывести его в отдельном поле выгрузки?

Как рассчитать полное имя объекта метаданных? Например, чтобы выяснить тип данных субконто.

Как искать данные в 1С? Пять способов поиска данных.

Как в обработчике выполнить SQL инструкцию?

Как сбросить ключ лицензирования?

Как пересоздать таблицу в базе-приемнике?

Экспорт и импорт шаблонов

Инструкции "How to...?" или "Как это сделать?"

Ошибка SDBL: В схеме базы данных нет таблицы с именем DataHistorySettingsExt.

Could not open file. No such file or directory.

Не работает выгрузка по расписанию в копии базы

 1С “тормозит”: поиск и варианты решения проблем Экстрактора 1С 

Ошибка при настройке кластера PostgreSQL 

Почему  данные не попадают в таблицу данных?

Известные ошибки и их решение

Объекты конфигурации 1С

Глоссарий

Экстрактор 1С

Принцип работы

Установка DCC

Denvic Control Center

Установка вручную

Установка для  конфигураций в режиме совместимости ниже 8.3.17

"Внешняя" очередь регистрации изменений на REDIS

Clickhouse. Установка СУБД

MS SQL. Создание базы и пользователя на сервере

Подключение к БД из Экстрактора 1С

Подключение к БД из других программ

Настройка расписания выгрузки

Настройки строки проекта

DBeaver. Настройка timeZone

Настройка выгрузки в Apache Kafka (особенности)

Managed Service for Clickhouse в облаке Яндекс. Настройка подключения.

Clickhouse. Подключение к СУБД, развернутой в рамках вашей локальной сети.

Clickhouse. Установка сертификата Яндекса

MS SQL. Создание нового подключения.

PostgreSQL. Создание нового подключения.

PostgreSQL в облаке Яндекса. Настройка подключения из Экстрактора 1С.

Дополнительные возможности при работе с подключениями.

Подключение к MS SQL из Power BI

Настройка ODBC-драйвера Clickhouse (для MS Excel, Power BI...)

Подключение к Clickhouse из Power BI

По типу источника данных

По типовым конфигурациям 1С

1С Бухгалтерия 3.0. Примеры выгрузки.

УНФ 3.0. Примеры выгрузки.

Управление торговлей 10.3. Примеры выгрузки.

Выгрузка в MS SQL по шагам

Выгрузка справочника по первой букве (запросом)

Пример выгрузки регистров сведений

Выгрузка PG-запроса с 2 параметрами и партицированием

Выгрузка данных справочника в базу ClickHouse (используя технологию ReplacingMergeTree)

Выгрузка выручки и себестоимости запросом без партицирования

Анализ (Like for Like) используя Экстрактор 1С и DataLens

Выгрузка справочника номенклатуры в "простом режиме" (Объекты), с партицированием

Выгрузка Clickhouse-запроса с 2 параметрами и партицированием

Выгрузка Clickhouse-запроса с типом обновления “Перезапись партиции“, с использованием полей источника

Выгрузка номенклатуры с учетом иерархии

Выгрузка дополнительных реквизитов номенклатуры

Выгрузка ежедневных срезов данных по регистру сведений

Выгрузка ежедневных срезов данных по регистру сведений с сегментированием выгрузки. Источник данных - “Запрос”.

Выгрузка остатков товаров на складах с поддержкой актуальности данных

Выгрузка остатков товаров запросом с использованием двух параметров партицирования. (составная партиция). С регистрацией изменений

Выгрузка остатков товаров на складах с двумя параметрами партицирования с использованием источника данных “Объект”. (Составная партиция)

Выгрузка товарной части документа с использованием сегментирования выгрузки

Полная выгрузка остатков без сегментирования на начало текущего дня через источник данных "Объект"

Выгрузка журнала регистрации. Источник данных - обработчик.

Выгрузка регистра накопления запросом с сегментированием по дате. 

Выгрузка регистра накопления “Выручка и себестоимость продаж”. Запросом. Используем 2 параметра для дробления выгрузки на сегменты”

Выгрузка плана счетов

Выгрузка Регистра бухгалтерии в Postgre SQL. C одновременным дроблением выгрузки на сегменты по дням и партицированием таблицы БД по месяцам. На примере БП 3.0.

Выгрузка данных из разных баз 1С в одну базу данных 

Источник данных - Excel

Производственный календарь

Данные из Битрикс24 (по rest API)

Отправка на email результата выполнения проекта

Заполнение параметра текущей датой

Пример сохранения “флага” в базе данных по завершении исполнения проекта

Пример произвольного обработчика перед выполнением проекта

Произвольный обработчик инициализации очереди

Пример произвольного обработчика регистрации изменений.

Сегментирование запроса

УПП 1.3. Установка Экстрактора 1С. Настройка прав. Первые шаги.

1. Выгрузка движения денежных средств

1.2. Составляем дашборд в Yandex.DataLens

2. Выгрузка данных для отчета P&L

2.2. Составляем чарты и добавляем их в дашборд

Прибыли и убытки. УНФ.

Продажи и себестоимость запросом из УТ 10.3. С разбиением данных на блоки по дням для выгрузки способом “Обновление сегмента”.

Данное руководство не описывает порядок развертывания Apache Kafka.
предполагается, что все компоненты Apache Kafka уже развернуты и подготовлены к
ра...