НАЧАЛО ВСТАВКИ

Расширен функционал и доработаны интерфейсы:

• Разработан функционал регламентного обновления для наборов, перегружаемых в проприетарное хранилище;
• Добавлена возможность использования формул в сортировке;
• Добавлен функционал Drill-down и применение фильтрации из абстрактной JS-визуализации;
• Интегрирована библиотека ECharts для использования в абстрактной JS-визуализации;
• Реализован функционал и интерфейс импорта/экспорта приложений, источников и наборов между установками PIX BI.

1. Визуализации и их изменения
1.1. Использование формул в сортировке
Реализован функционал использования общедоступных или локальных формул для сортировки в визуализациях.
Для использования общедоступной формулы в сортировке необходимо выбрать опцию "Другое поле" в настройке "Поле для сортировки". В появившийся контейнер из папки "Формулы" в списке наборов данных необходимо перенести желаемый общедоступный показатель.
Чтобы использовать "локальный" показатель, действующий только на уровне этой настройки и не сохраняющийся в папку "Формулы", необходимо выбрать опцию "Другое поле" в настройке "Поле для сортировки". Нажать на кнопку создания формулы (выделена на картинке). В открывшемся окне написать желаемую формулу для сортировки.

1.2. Отображение промежуточных итогов в сводной таблице
Реализован функционал отображения промежуточных итогов в сводной таблице. При раскрытии некоторого значения в строках или столбцах таблицы, значения для группы также отображаются.

Для управления промежуточными итогами созданы отдельные пункты меню настроек визуализации.

1.3. Улучшения произвольной JS визуализации
Функционал произвольной JS визуализации получил следующие улучшения:

• Добавлена возможность интегрирования визуализаций из библиотеки ECharts
• Добавлены специализированные JS events, используя которые появилась возможность интегрировать встроенные в платформу действия, такие как: нажатие на объекты позволяет отправлять значения в примененные фильтры, применения Drill-down (одинарные стрелочки), циклическая замена измерений (двойные стрелочки).

Список event и места их вызова:

• itemResetFilters - вызывается при нажатии на Drill-down, циклическую замену, поднятие вверх, применить фильтр, сбросить выделение;
• itemApplyFilters - вызывается при нажатии на Применить фильтр;
• itemApplyDrill - вызывается при нажатии на Drill-down;
• itemApplyDoubleDrill - вызывается при нажатии на Drill-down, циклическую замену;
• itemApplyUnDrill - вызывается при нажатии на поднятие вверх.

Для того, чтобы уведомить PIX BI о выборе категории, вызываем событие itemExternalSelection и передаем ключ (идентификатор) и список значений.
Примеры кода, использующие подобные event в произвольной JS визуализации будут указаны в базе знаний PIX BI.

1.4. Улучшения объекта типа фильтр
В объекте типа "фильтр" произошли значительные улучшения. Теперь система демонстрирует выбранные пользователем значения, а также подсказывает, какие значения логически исключаются вследствие действия других фильтров.

Рассмотрим пример. В фильтре по менеджерам выбран "Алексеев Иван", данные по которому относятся только к федеральным округам "Центральный" и "Западный". Теперь, открыв фильтр по Фед. округам, мы видим, что значения "Центральный" и "Западный" окрашены в белый цвет, а все остальные - в серый. Выделение серым цветом означает, что эти значения логически исключены из выборки другими наложенными фильтрами.

Выбранные значения выделяются зеленым цветом и поднимаются наверх в списке значений. Значения, выделенные серым цветом, также можно выбирать в фильтре. "Градусник" примененных фильтров также отображает цветное выделение.

1.5. Выгрузка из прямой и сводной таблиц в Excel
Разработана выгрузка из прямой и сводной таблиц в Excel. В случае прямой таблицы, таблица экспортируется на один лист в том виде, в котором она открыт в PIX BI на момент выгрузки. Учитываются все фильтры и сортировки. Визуальные настройки в Excel не будут отражены.
Сводная таблица экспортируется сразу в трех форматах на отдельные листы Excel:

1. Экспорт "as-is" - таблица выгружается в том же состоянии и виде, в котором она находится на момент экспорта. Учитываются раскрытые категории и промежуточные итоги;
2. Экспорт в виде прямой таблицы - таблица превращается в прямую таблицу со столбцами, где идут столбцы, указанные в строках, затем в столбцах и после все использующиеся в визуализации меры;
3. Экспорт в виде сводной таблицы - таблица экспортируется в виде объекта "Сводная таблица Excel".

1.6. Замещающий текст в объекте типа "Карточка"
Замещающий текст позволяет использовать объект как текстовый. Также позволяет выводить набранный текст в случае, когда "Карточка" принимает пустоту или приходит ошибка. Для каждого из случаев есть отдельное поле для ввода текста.

Настройка "Текст" позволяет использовать карточку как текстовый объект. Отображается в случае, когда в полку "Меры" не добавлено ни одно поле.
Настройки "Пустота" и "Ошибка" позволяют заменить пустое значение или ошибку. Отображаются в случае, когда в полку "Меры" добавлено одно поле.

2. Платформа
2.1. Экспорт и импорт контента между установками PIX BI
В панель администрирования добавлен функционал и разработан интерфейс экспорта и импорта приложений, наборов данных и источников (без данных об авторизации). Кнопки экспорта и импорта находятся в Панель администратора -> Директории .

Интерфейс Экспорт контента выглядит следующим образом:
Наверху расположена опция, позволяющая экспортировать связанные с выбранными приложениями настройки наборов данных и источники, при этом сами данные или настройки авторизации источника не экспортируются. Далее в древовидной структуре размещены директории и приложения. После выбора необходимых приложений и нажатия кнопки "Эскпортировать" будет скачан архив с приложениями.

Интерфейс импорта содержит кнопку для загрузки экспортированного архива с приложениями и информацией об источниках и наборах.

После загрузки файла, система распознает экспортированные приложения и предложит выбрать какие из них вы хотите импортировать. Для выбранных приложений откроется окно для выбора директории.

3. Прочие улучшения и доработки

• Добавлена ссылка на Базу знаний PIX BI в список "Полезное" на стартовом экране
• Добавлено подключение к внутреннему хранилищу по умолчанию;
• Разработан функционал сортировки дашбордов. Для Pro пользователей данный функционал в приложении реализуется простым перетаскиванием;
• Добавлено всплывающее окно с оригинальным названием поля, добавленного в полку визуализации.

КОНЕЦ ВСТАВКИ

Расширен функционал и доработаны интерфейсы:

• Добавлен функционал базового ETL с новыми интерфейсами создания наборов и источников.
• Часть визуализаций переведены на библиотеку ECharts.
• Добавлено 6 новых визуализаций и доработан функционал в старых.
• Реализовано подключение по Active Directory.
• Реализован функционал копирования и дублирования дашбордов.
• Реализован переход на Clickhouse в качестве внутреннего хранилища.
• Выполнена локализация системы на английский и испанский языки.

1. Проприетарное хранилище
В этом релизе появилось внутреннее проприетарное хранилище на базе СУБД Clickhouse или Postgres.

Настройка подключения к проприетарному хранилищу выполняется на уровне опций конфигурационного файла 'PostgreSqlConnection' и 'ClickhouseConnection'. Необходимо указать Host, Port, User и Password. У пользователя должны быть права на создание и чтение объектов СУБД.

2. ETL
2.1. Новый интерфейс создания источника и набора
Для удобства мы перенесли создание, выбор источника для набора и создание набора в единое меню. Новое окно вызывается кликом на "Добавить набор данных" на странице наборов данных.

Новое создание набора выполняется в 2 шага. На первом выбирается тип источника и фиксируется выбор уже существующего или нового источника. В первом случае источник выбирается из списка созданных, при добавлении нового появятся поля для ввода информации для подключения.

На втором шаге потребуется указать название и описание (при необходимости).

Стал доступен выбор типа подключения: "Загрузка в хранилище" или "Прямое подключение", настраиваемое на уровне подключения к источнику. В случае прямого подключения запросы будут обрабатываться на уровне источника данных, в случае загрузка в хранилище результирующий запрос будет перегружаться в проприетарное хранилище.

2.2. Новые типы источников
В качестве источника данных теперь доступны "Microsoft SQL Server" и "Clickhouse". Подключение к выбранным типам источников производится посредством библиотек "Octonica.Clickhouse" и "System.Data.SqlClient". В текущей реализации доступные типы источников: Clickhouse, Excel, Microsoft SQL Server, PostgreSQL

2.3. Панель трансформаций

Панель трансформаций - это этап загрузки данных в PIX BI, на котором можно составить SQL запрос к базе данных, выполнить необходимые преобразования над данными, сохранить скрипт преобразований отдельно или выполнить загрузку, а также назначить регламент обновления информации в наборах.
Разберем отдельно по блокам интерфейс панели:
1) Блок "SQL запрос" представляет собой блок для написания SQL запроса к выбранному источнику. Блок имеет синтаксическую подсветку базовых общеизвестных SQL команд, умеет принимать данные в результате действий на панели "Навигация".

2) Блок "Навигация" содержит сводную информацию об источнике данных. В первых двух секциях отображена информация о названии источника, к которому подключен данный набор, и База данных, из которой тянутся данные.
"Schema" непосредственно связан с блоком навигации по выбранной базе данных. В секции "Schema" выбирается схема из числа доступных в рамках текущего подключения, данные из которой отображаются ниже в виде древовидной структуры: "Таблица" - "Поле". У каждого поля показан тип данных, который это поле имеет в СУБД. При нажатии на название поля, оно подставляется в панель "SQL запрос". При нажатии на кнопку "Добавить все поля" напротив каждой таблицы в панель "SQL запрос" подставляются все поля, написанные через запятую.
Панель "Навигация" доступна только для источников типа СУБД.

3) Блок "Рабочее полотно" состоит из 6 различных секций:

• Просмотр представляет собой окно для предпросмотра актуального состояния данных на последнем шаге трансформаций, а также предоставляет возможность выполнять сортировку и фильтрацию (открывается по нажатию на галочку справа от имени каждого столбца), смену типов столбца (открывается при нажатии на иконку типов слева от названия столбца). Удаление и дублирование столбцов открывается по нажатию на заголовок столбца

• В секции "Доступы" можно разграничить уровень доступа для владельцев лицензии Pro.
  Доступы ранжируются следующим образом:
  1. "Владелец" - полные права на редактирование, удаление набора и назначение доступов.
  2. "Редактор" - получает право на редактирование, без права удаления набора и просмотра выданных доступов, а также их назначение.
  3. "Наблюдение" - имеет доступ на просмотр примененных шагов и SQL запроса

4) Блок "Кнопки управления" содержит кнопки для управления редактированием и загрузкой данных

• Кнопки "Отмена", "Сохранить", "Загрузить и сохранить", "Удалить" - стандартные кнопки действий, которые позволят отменить изменения, сохранить набор указанных преобразований без загрузки данных, загрузить данные и сохранить преобразования, а также удалить текущий набор данных

● Кнопки "Запустить запрос", "Регламент обновлений" и прочие позволяют управлять работой с механизмом загрузки данных. Кнопка "Запустить запрос" отвечает за посылку исходного запроса к источнику. Кнопка "Регламент обновлений" позволяет настраивать регламентное обновление набора данных.

3. Визуализации и их улучшение
3.1. Комбо график
Добавлен новый тип визуализации, сочетающий в себе гистограмму и линейную диаграмму - комбо график.

Комбо график имеет полки:

• Категории - принимает до 10 полей, отображаются на оси Х в качестве измерений.
• Линия - отвечает за отображение линий в комбо диаграмме. Принимает агрегации типа "Мера". Зависит от заполнения полки "Серии". В случае отсутствия полей в "Серии", может содержать до 5 агрегаций и написанных формул. В случае наличия поля в "Серии", может содержать максимум 1 агрегацию или написанную формулу.
• Столбцы - отвечает за отображение столбцов на диаграмме. Принимает агрегации типа "Мера". Может содержать до 5 агрегаций и написанных формул. В случае наличия поля в "Серии" один столбик распадается на несколько, каждый из которых отвечает за одно значение серии
• Серии - контролирует отображение столбцов на диаграмме. Принимает аргумент типа "Измерение".

Для отображения информации на визуализации необходимо наличие хотя бы одного поля в "Категории" и одного поля в "Линии" или "Столбцы".
Для настроек вида графика есть множество опций, часть из которых присуща только Комбо графику.

3.2. Карта
Добавлен новый тип визуализации, позволяющий проводить геоаналитику - отображать точки на карте и управлять их размерами.

Карта имеет полки:

• Широта - принимает значения широт в текстовом и числовом форматах.
• Долгота- принимает значения долгот в текстовом и числовом форматах.
• Размер точки - влияет на масштаб пузырька при отображении. Принимает агрегацию типа "Мера".
• Условные обозначения - отвечает за подпись категории каждого пузырька. Принимает любое поле.

Для отображения визуализации необходимо заполнить по одному полю в "широте" и "долготе".


3.3. Картинка
Новый тип визуализации - картинка. Позволяет загрузить произвольную картинку, выполнить классические визуальные трансформации (поворот, масштабирование) и разместить ее на дашборде. Картинки также могут выполнять функции кнопок и содержать в себе ссылки на другие дашборды или внешние ресурсы. При клике на изображение будет открыта новая вкладка с переходом по указанной ссылке.

Поддерживаемые форматы: JPEG, PNG, BMP, GIF, WEBP, X-ICON.
Полок данных не содержит.


3.4. Произвольная JS визуализация
Особенный тип визуализации, являющийся, на самом деле, любой визуализацией - произвольная JS визуализация. При редактировании этой визуализации открывается окно для написания JS кода, результат выполнения которого будет отражен в контейнере визуализации.

Внутри блока кода можно пользоваться данными, которые в удобном формате пришлет PIX BI, над областью написания кода изображен ID блока/Ключ данных и способ получения данных в классическом формате. Из коробки система поддерживает вызов API для ECharts и HighCharts. В случае использования произвольной JS визуализации все необходимые трансформации отображения графиков и преобразования расчетов, выходящие за пределы стандартных, необходимо выполнять кодом на JS.

Произвольная JS визуализация имеет полки:
● Категории. Принимает значения типа "Измерения", по которым будет проводиться группировка агрегаций.
● Меры. Принимает значения агрегаций и формул.
● Серии. Добавленное поле позволяет сделать дополнительную группировку series для каждого значения категории.
Для отображения визуализации необходимо хотя бы по одному полю в "Категории" и "Меры".



3.5. Каскадная диаграмма (водопад)
Визуализация, позволяющая отобразить совокупный итог и вклад каждого значения измерения - каскадная диаграмма. Визуализация строит значения выбранного показателя в виде столбиков и отражает подытог (сумму всех положительных значений), а также общий итог с учетом вкладов всех значений.

Каскадная диаграмма содержит уникальный способ сортировки "+/-", который сортирует значения в обратном порядке, с отображением подытога после всех положительных значений.

Каскадная диаграмма имеет полки:

• Измерения. Принимает значения типа "Измерения", по которым будет проводиться группировка агрегаций.
• Меры. Принимает значения агрегаций и формул.

Для отображения визуализации необходимо хотя бы по одному полю в "Измерениях" и "Мерах".


3.6. Кнопки и функционал навигации
Визуализации, позволяющие записывать действия на клик по ним - кнопки. У кнопок настройки отображения зависят от состояния: обычное, при наведении, при нажатии. Из-за этого кнопки можно делать интерактивными - меняющими текст и стиль отображения, подсказывающими пользователю, что будет при взаимодействии с объектом.

Следующая функциональность кнопок - навигации при клике. Для навигации в настройках визуализации можно выбрать дашборд приложения, или "другое" и назначить произвольную ссылку.

3.7. Улучшения визуальных компонентов
Добавлены:

• Регулировка минимальной ширины категории в графиках: линейная диаграмма, график с областями (area), столбчатая диаграмма, горизонтальная столбчатая. После регулировки может появляться прокрутка внутри графика.

4. Портал и администрирование
4.1. Авторизация через Active Directory (AD)
Теперь на этапе создания учетной записи в PIX BI можно связать учетную запись с учетной записью Active Directory.

Для связывания учетных записей необходимо поставить галочку "Использовать аутентификацию по Active Directory" и выбрать учетную запись Active Directory из выпадающего списка.
Подключение к Active Directory может выполняться двумя способами:

• Если AD находится на внешнем сервере, подключение выполняется посредством LDAPS. В appsettings.json необходимо указать параметры подключения.
• Если AD находится на локальном сервере, никаких параметров указывать не нужно

4.2. Row Level Security (RLS)
Чтобы разграничить доступ на уровне строк данных, можно использовать RLS. На странице редактирования набора приложения необходимо нажать на кнопку в левом верхнем углу. Откроется окно ввода фильтрующих правил.

Правила фильтрации работают в скрытом формате, пользователь дашборда не может знать правил, и что они существуют. Правила можно назначать пользователю или группе пользователей. Если пользователь попадает под несколько групп, то правила для него работают по расширяющемуся принципу. Например, пользовать "user" находится в группе "Менеджеры", которая получила фильтр Город = "Москва", а также пользователю "user" назначено правило Город = "Тверь" персонально. В таком случае он увидит "Москва" и "Тверь".


4.3. Прочие улучшения

• Добавлена базовая роль "Без роли", позволяющая создать пользователя без запроса лицензии.
  "Без роли" пригодится, когда необходимо временно снять лицензию с пользователя, не удаляя его из системы.

• Добавлен функционал Дублирования дашбордов в приложении. Дублированный дашборд помещается в конец списка "Персональные дашборды".
• Изменен интерфейс и функционал "Привязка данных". Теперь одно приложение может использовать данные только из одного источника. При загрузки данных в проприетарное хранилище, можно использовать все наборы.
• Система стала доступна на английском и испанском языках.

5. Исправлены обнаруженные ошибки

• Исправили белый экран при работе с системой через браузер Safari.
• Скорректирована работа подсказок в кастомных формулах.
• Исправлена ошибка отображения сводной таблицы без полей в "Столбцы".
• Исправлена ошибка, когда после смены авторизации на учетную запись с меньшими правами оставались видны директории пользователя с большими правами .
• Исправлена ошибка применения настроек визуализаций на уровне приложения.
• Исправлены ошибки суффиксов значений (тыс., млн., …) в метках.
• Исправлены ошибки смены типа графика для случаев разных типов и количества входных данных. (Смена "Круговая диаграмма" на тип "Картинка").
• Исправлено отображение количества загруженных лицензий сразу после загрузки архива с лицензиями.
• Исправлено отображение процентного формата в визуализации "Таблица".
• Исправлена работа связи по полям с разными типами.

Исправлены прочие мелкие ошибки.