¶ Linky
Přístupy
- https://docs.microsoft.com/en-gb/azure/storage/blobs/data-lake-storage-access-control
- https://docs.microsoft.com/en-gb/azure/storage/common/storage-auth-aad-rbac-portal
- https://docs.microsoft.com/en-gb/power-bi/service-dataflows-configure-workspace-storage-settings
Propojení Datalake s PBI - https://docs.microsoft.com/en-gb/power-bi/service-dataflows-connect-azure-data-lake-storage-gen2
Microsoft storage explorer - https://azure.microsoft.com/cs-cz/features/storage-explorer/
Java sdk https://docs.microsoft.com/en-gb/azure/storage/blobs/data-lake-storage-directory-file-acl-java
Ruční export (FY permissionREPORTING_EDIT)https://<factorify_url>/api/reporting/export/bi(bez#, po přihlášení stačí načíst v prohlížeči, pokud proběhne, tak by se měla načíst bílá obrazovka, pokud ne, tak to napíše "internal server error")
¶ Přístupová práva na disku/azure portalu
- z nějakého důvodu, toto v realitě nefunguje, jak má - i přesto, že existuje RBAC, ACL je vyžadováno
- práva se nastavují pro uživatele či skupinu uživatelů; jakmile je pro skupinu uživatelů nastaven přístup, přidaní uživatele do skupiny by mělo stačit
- přes portal azure lze přidat přístup na CELÝ disku, pokud se chce omezit pouze pro složky, je potřeba používat ACL (přes Microsoft storage explorer; přístup nastavený na portal má větší prioritu jak ACL)
- práva v portal azure
read-Storage Blob Data Readerread write-Storage Blob Data Contributor
- přes ACL na disku (použijte Microsoft storage explorer)
- pro složku, do které se ukládají data, je potřeba nastavit všechna práva
rwxjak pro Access, tak Default (default práva se aplikují pro všechny nově vzniklé soubory a podsložky) - práva je potřeba nastavit i pro všechny podsložky, protože se práva rekurzivně nepropíší
- jednoduchý způsob je smazat všechny data ve složce a nechat je přegenerovat z FY (díky default právům se soubory znovu vytvoří s nastaveným přístupem)
- také je potřeba pro všechny nadsložky včetně blob containeru 'powerbi' nastavit právo
x
¶ Vytvoření Workspace pod FY storage
- v azure active directory vytvořit uživatele pro klienta, vytvořit mu skupinu a přiřadit do ní uživatele
- vytvořit pod
fypowerbistorageacc/powerbisložku, kam se budou exportovat data - přidat skupině práva na disk pomocí ACL z předchozího bodu
- vytvořit workspace v powerbi
- přidat skupinu pod
Access - přihlásit se pod uživatelem klienta a zkontrolovat, že přístup funguje, uživateli pořídit Power BI Pro (prvních 60 dní je zadarmo)
- lokálně spustit export nějakého dummy exportu
- vytvořit dataflow, případně dataset a rovnou nastavit refresh, otestovat, že se data propsaly a jdou vidět pod účtem uživatele
- nastavit FY na produkci, vyexportovat z produkce, zkontrolvat data
¶ Přidání workflow
- je potřeba mít přístup přes jak Azure, tak ACL
- Azure -
Storage Blob Data Owner - ACL -
read, executena dataflow složku a všechny její podsložky/soubory,executena všechny složky v cestě od rootu včetně filesystemu (např.model.jsonje se nachází v/fy/dataflow/model.json, je potřeba dátexecutena diskpowerbia složkyfy, dataflow)
¶ Vytvoření datasetu z workflow
- Azure -
Storage Blob Data Reader - ACL - pro vytvoření datasetu -
readnamodel.json,readnacsvsoubory pro přístup k datům (lze vybrat pouze některé, ne všechny)
¶ Založení PowerBI
- je nutno mít Azure data lake storage account Gen2 - oficiální návod zde https://docs.microsoft.com/en-gb/power-bi/service-dataflows-connect-azure-data-lake-storage-gen2
- z factorify exportujeme data do power bi dataflow, jenomže z dataflow nelze vytvářet reporty, ty se dají dělat až z power bi dataset, který vytvoříme na konci návodu
- těchto datasetů můžete mít vícero, ale doporučujeme používat jen jeden
- obrázky se mohou mírně lišit podle toho, jestli používáte nový vzhled PowerBI
- storage account je registrován pod Azure účtem (tennant) a subscription
- portal.azure.com - nahoře Search bar - Storage accounts (účty úložiště)
- Vlevo nahoře tlačítko
Add
-
vybrat subscription
-
vybrat resource group, pod kterou bude patřit - pokud neexistuje, dá se vytvořit v rámci tohoto formuláře
-
vyplnit
name,locationmůže být(Europe) West Europe, zbytek podle obrázku nebo nechat předvyplněné hodnoty -
proklikat na tab
Advanced- zapnoutHierarchical namespacenaEnabled -
zkontrolovat
Rewiev + createtab
-
přejít k dalšímu bodu - buď tam bude tlačítko
Go to created resourcenebo přesHome - storage accounts - vybrat účet
- Nastavit přístupová práva na storage account pro
power bivAccess control (IAM)(může chvíli trvat, než se změny promítnou)
Add - Add role assignment
Reader and Data AccessaStorage Blob Data OwnerproPower BI PremiumaPower BI ServiceOwnerpro účet, který bude linkovat PowerBI se Storage account (pravděpodobně účet, pod kterým jste příhlášeni při vytváření powerbi)- výsledek bude vypadat nějak takto
- aby uživatel mohl přidat dataflow ze storage, je potřeba, aby mu bylo přiděleno právo
Storage Blob Data Reader(možná bude stačit mu dát ACL přístup na disk)
- Prolinkovat PowerBI se úložištěm (nezvratná operace, linkuje se PowerBI pro celou organizaci) https://docs.microsoft.com/en-gb/power-bi/service-dataflows-connect-azure-data-lake-storage-gen2
- je možné nastavit, aby i data workspace byla zálohována do datalake, jenom se musí ručně mazat snapshoty
- https://app.powerbi.com/home
- Vlevo nahoře
Ozubené kolečko - Admin portal
- pod
Dataflow settingsbude potřeba zadat id subscription, group name a storage account name - najdete v přehledu storage účtu na azure portal
- povolit workspace adminům přidávat workspace pod tento účet úložiště
- Nastavit ACL přístupová práva na filesystemu
- Stáhnout aplikaci
Microsoft Azure Storage Explorerhttps://azure.microsoft.com/en-gb/features/storage-explorer/ - Teď je potřeba nastavit přístupová práva na filesystem pro powerbi - pravým tlačítkem na
powerbiblob container aManage access
- je potřeba nastavit 4 přístupy (může chvíli trvat, než se změny promítnou)
a.Otheruž existuje - tomu je potřeba nastavitExecute
b.Power BI Service- vše
c.Power BI Premium- vše
d. pro uživatele, kteří budou pracovat s workflow - viz přístupy na začátku dokumentu
- Musí se pracovat v rámci jednoho workspace - vytvořit/vybrat workspace, případně přidat ostatní účty do tohoto workspace (přidat uživatele se dá udělat kdykoliv později)
- Nastavit ve Factorify níže uvedené údaje pro propojení Factorify s Power BI. V agendě Globální parametry, kterou najdeme v nastavení Factorify je PowerBI Integrace. Není potřeba restartovat aplikaci Factorify. Dříve se tyto údaje nastavovaly přímo v application-properties pracovníkem Factorify a byl nutný restart aplikace Factorify.
- Power bi datalake account name - název storage accountu z bodu 3
- Power bi datalake account key - je potřeba access key (secret) z portal.azure.com - Storage accounts - account - Settings - Access key (1 nebo 2)
- Power bi datalake directory - cesta ve filesystemu (může být prázdná nebo jiná validní cesta nekončící lomítkem, třeba
nazevfirmy) - Power bi datalake csv directory - cesta podsložky, do které se ukládají data exportované z Factorify (může být prázdná nebo jiná validní cesta nekončící lomítkem, třeba
data) - Power bi dataflow name - název dataflow (například dataflow_nazevfirmy. Uživateli se nezobrazuje, nemělo by hrát pro něj roli, pod které se bude importovat, bez mezer a speciálních znaků.
- Bi export planning - při nastavení zaškrtnuto se bude exportovat část plánování (při psaní 2020/04/17 to jsou - dávky v produkci, výhled nákupů (deliveries), skladové zásoby). Tyto tabulky budou společně s reporty v jednom dataflow. Výchozí hodnota je nezaškrtnuto (tudíž se neexportuje)
- Při exportu se vytvoří cesta definovaná
power.bi.datalake_directoryapower.bi.datalake_csv_directory(pokud neexistuje) a do logu se vypíše link, který se musí použít při importu dataflow
- link se dá zjistit z azure storage exploreru -
pravým tlačítkem kliknout - properties - urlna složku, ve které se nacházímodel.json(je to složka definovaná vpropertiespower.bi.datalake_directory) a za to url se musí dopsat/model.json - měl by být v tomto formátu
https://<storage_account_name>.dfs.core.windows.net/powerbi/<power.bi.datalake_directory>/model.json
- Import a nastavení dataflow - účet, který toto provádí musí mít nastavený přístup do datalake (viz Přístupy)
- app.powerbi.com - jít do workspace z bodu 7 -
Create - Dataflow
Attach a Common Data Model folder (preview)- název (nemusí se shodovat s bodem 8)
Common Data Model folder pathnastavit na link z bodu 9Create and attach- refresh dataflow probíhá automaticky při exportu, ale je nutno nastavit refresh každého datasetu (dá se pracovat pouze nad jedním datasetem vytvořeným z toho workflow, tudíž nastavení proběhne jen jednou)
- Vytvoření a nastavení datasetu
- v powerbi desktop aplikaci - přihlásit se s účtem, který má přístup k workspace
- v horní liště
Get data (- Power platform) - Powr BI dataflows, (poprvé v tomto kroku to bude vyžadovat se znovu přihlásit), vybrat správný workspace, správný dataflow (jméno z bodu 10) a entity (tabulky/reporty), které se chtějí
- v liště nalevo máte 3 ikonky
- v první můžete vytvářet report
- ve druhé se můžete podívat na data v tabulkách a dělat nad nimi operace v rámci powerbi (vytvořit kombinovaný sloupeček atp.)
- ve třetí můžete upravit vazby mezi entitami (přes cizí klíč atp.)
Lišta nahoře - Publish (publikovat) - <dataset name>.pbix - vybrat do jakého workspace (měl by být shodný s bodem 7) - Finish/publish
- pokud již existuje dataset s tímto jménem, zeptá se to na přepsání - tohle se hodí, když se mění datový model a je potřeba aktualizovat relace/sloupce
- reporty vytvořené z přepisovaného datasetu tuto akci přežijí a budou mít vazbu na přepsaný dataset; pokud se změnily sloupce a reporty používají tyto sloupce, tak bude potřeba reporty opravit ručně
- změna datového modelu (úprava sloupečků, přidání/odebrání reportů) - upravuje se dataset, nikoliv dataflow
a) použít rozpracovaný .pbix soubor nebo stáhnout z webu - workspace - datasets - actions - 3 tečky - download .pbix
- pro aktualizaci sloupců by mělo stačit v pravo kliknout pravým tlačítkem na tabulku a dát
refresh data
- pro přidání reportů si zase musíte otevřít dataflow přes
get data - dataflows - vybrat nové reporty - pokud zvolíte entitu už přidanou v datasetu, bude jich tam vícero, musí se dávat pozor, která se používá (nebo smazat staré v okně s relacemi entit)
b) úplně od začátku namodelujete a při ukládání nastavíte stejné jméno jako předtím a při publikaci přepíšete
- pro aktualizaci sloupců by mělo stačit v pravo kliknout pravým tlačítkem na tabulku a dát
- jakmile je vytvořen dataset, je nutné nastavit, aby se aktualizoval - dataflow se zaktualizuje samo při exportu, ale datasety vytvořené na tento dataflow už ne
- na powerbi webu - workspace - datasets - schedule refresh na řádku s nově vytvořeným datasetem
- doporučuji nastavit čas zhruba hodinu po FY exportu (2020/04/06 - čas ve FY je nastaven na 4 hodiny ráno)
- doporučuji nastavit email, na který se má poslat chyba, pokud refresh selže
- dá se pracovat na více datasetech, když si je pojmenujete jinak, ale u každého je nutno nastavit scheduled refresh (při přepsání datasetu scheduled refresh zůstane nastaven, není nutno přenastavovat)