Сервис Yandex DataLens
в Яндекс.Облако
В данной статье рассмотрим один из сервисов Яндекс.Облака,
а именно сервис Yandex DataLens.
Для чего данный сервис нужен, возможности сервиса, основные концепции,
как настроить доступ, подключить источник данных и начать работу.


Основные концепции сервиса Yandex DataLens.
Yandex Datalens это сервис для бизнес-аналитики.
Сервис позволяет загружать и обрабатывать данные, визуализировать их для анализа и проверки гипотез.
С его помощью можно принимать важные маркетинговые и другие решения для вашего продукта.
Компоненты Yandex DataLens.
DataLens состоит из нескольких компонентов, которые позволяют осуществлять полный цикл работы с данными.

Подключение — содержит параметры доступа к источнику данных. Для создания подключения к разным источникам, используются коннектор. Они содержат предустановленные настройки для загрузки данных.

Датасет — набор данных и их описание. DataLens позволяет визуализировать загруженные данные с помощью специального конструктора — визарда.

Чарт — визуализация данных из датасета в виде диаграмм и таблиц. Чарты можно использовать для быстрой проверки гипотез или сохранять их в виде виджетов для дальнейшего использовния.

Дашборд — страница с набором виджетов. На дашборде размещаются различные объекты визуализации а также инструменты управления.

Доступ к Yandex DataLens.
На момент написания статьи, у сервиса Yandex DataLens доступ только превью. Это означает, что данный доступ выдается только командой Яндекс.Облака.

Чтобы запросить доступ необходимо выполнить последовательность действий, как на скриншоте. Обязательно прописываем цели, для которых мы запрашиваем доступ.

После Вам придет письмо с подтверждением.

Затем нужно активировать DataLens в окне «Панель управления».

Перейти в интерфейс DataLens.
После всего вышеперечисленного можно приступать к работе с Yandex DataLens.
Подключение к источнику данных.
Чтобы выполнить анализ данных, для начала необходимо подключить источник данных, который будет использоваться для анализа. Подключение содержит информацию о параметрах доступа к источнику данных. В DataLens к источнику можно подключиться с помощью коннектора данных.

Коннектор — это компонент сервиса DataLens, с помощью которого вы создаете соединение с определенным типом БД, API или файлом. С помощью подключения DataLens выполняет запрос данных у источника.

В DataLens доступны следующие типы коннекторов:
  • ClickHouse
  • PostgreSQL
  • MySQL
  • CSV-файл
  • MS SQL Server
  • Metrica
  • Metrica Logs API

При подключении к внешнему источнику данных (который не является ресурсом Яндекс.Облака), необходимо предоставить доступ к источнику для следующих диапазонов IP-адресов сервиса DataLens:
  • 77.88.39.88/29
  • 93.158.158.96/29
  • 93.158.156.80/29
  • 77.88.39.224/28
  • 37.9.126.112/28
  • 37.9.65.32/28
Создание подключения к CSV-файлу.
Чтобы создать подключения к CSV-файлу, необходимо выполнить следующий алгоритм действий:

1. Перейти на страницу подключений.

2. Нажать кнопку «Создать подключение».

3. Выбрать коннектор CSV.

4. «Выбрать CSV-файл» и указать файл или перетащить CSV-файл на экран. Информация о добавленном файле отобразится в нижней части диалогового окна. Размер CSV-файла не должен превышать 100 МБ.

5. Нажать «Загрузить».

6. Выбрать параметры загрузки файла:
  • Имя подключения. Задайте имя подключения. Имя может быть произвольным.
  • Кодировка. Укажите кодировку данных из файла. Доступны значения utf-8, windows-1251 и utf-8-sig.
  • Разделитель. Укажите разделитель, который используется в CSV-файле. Доступны значения ;, , и \t.
  • Заголовок. Выберите опцию заголовка. Если выберете Есть, то DataLens использует первую строку данных в качестве заголовка.

7. Нажать «Подключить». Подключение появится в списке со статусом materializing. Это значит, что процесс загрузки данных из CSV-файла в хранилище DataLens еще не завершен. Чтобы создать датасет на основе подключения к CSV-файлу, дождитесь, когда статус подключения изменится на materialized.

Подключения к другим источникам данных, указанным в прошлом пункте статьи, выполняются аналогичным образом, указывая только нужный тип коннектора.
Управление доступом к подключению.
Пользователь Яндекс.Облака может выполнять только те операции над ресурсами, которые разрешены назначенными ему ролями. Пока у пользователя нет никаких ролей, почти все операции ему запрещены.

Чтобы разрешить доступ к ресурсам сервиса Yandex Datalens, назначьте пользователю нужные роли

Чтобы назначить пользователю роль:
1. Откройте страницу «Управление доступом» для выбранного облака. Если необходимо, переключитесь на другое облако.
2. На странице «Пользователи и роли» в правом верхнем углу нажмите кнопку «Добавить пользователя».
3. Введите электронную почту пользователя в Яндексе.
4. Нажмите кнопку «Добавить».
5. В строке с нужным пользователем нажмите «Настроить роли».
6. Выберите каталог и нажмите «Назначить роль» в блоке «Роли в каталогах».
7. Выберите роль из списка.
Роли при проверке прав доступа в сервисе Yandex Datalens.
Сервисные роли.
Сервисные роли — роли, дающие доступ к ресурсам определенного сервиса.

resource-manager.clouds.member — При добавлении нового пользователя в облако ему автоматически назначается роль участника облака — resource-manager.clouds.member.
Эта роль необходима для доступа к ресурсам в облаке всем, кроме владельцев облака, сервисных аккаунтов и системной группы allAuthenticatedUsers.
Сама по себе эта роль не дает права выполнять какие-либо операции и используется только в сочетании с другими ролями, например с admin, editor или viewer.
Чтобы пользователь смог работать в облаке через консоль управления, назначьте ему роли resource-manager.clouds.member и viewer на облако.
Если назначить на облако только роль участника облака, а остальные роли назначить на вложенные ресурсы, пользователь сможет выполнять операции с ресурсами только с помощью API или CLI.

resource-manager.clouds.owner — Роль resource-manager.clouds.owner назначается на облако и делает пользователя владельцем облака. Владелец может выполнять любые операции с облаком и ресурсами в нем.
Только владелец облака может назначать и удалять у пользователей роль resource-manager.clouds.owner.
У облака должен быть хотя бы один владелец. Единственный владелец облака не сможет отнять эту роль у себя.

Примитивные роли.
Примитивные роли можно назначать на любой ресурс в любом сервисе.
Разграничение прав доступа в DataLens реализовано на уровне объектов. Вы можете выдать права на все объекты: папку, подключение, датасет, виджет, дашборд.

read — Пользователь с ролью read может просматривать созданные дашборды и виджеты.
write — Пользователь с ролью write может создавать дашборды, виджеты.
Помимо этого роль write включает в себя все разрешения роли read.
admin — Пользователь с ролью admin может создавать дашборды и виджеты, утверждать права доступа.
Помимо этого роль admin включает в себя все разрешения роли write.
Ограничения сервиса Yandex Datalens.
Квоты — организационные ограничения, которые можно изменить по запросу в техническую поддержку.
Количество экземпляров DataLens в одном облаке не должно превышать 1.

Лимиты — технические ограничения, обусловленные особенностями архитектуры Яндекс.Облака.
Изменение лимитов невозможно.
Максимальный размер CSV-файла 100 МБ.
Суммарный объем материализованных данных 10 Гб.