|
28.12.2016, 15:06 | #1 |
Модератор
|
Это так, только если мы говорим про небольшие проекты. Да, если ты решаешь задачу одного отдела - Продаж, Маркетинга, Закупок - то да, приемка у тебя идет на уровне руководства данным отделом. Да ито - еще надо финансистов надо убедить, закупки, руководство... Но дело в том, что в последнее время я встречаюсь с проектами, которые гораздо больше виденных мною на DAX. И тут все гораздо сложнее - и много отделов, и уровней приемки.
Цитата:
Цитата:
Сообщение от mazzy
системы, предоставляющие исходные данные, как правило, содержат свои бизнес-правила для валидации и поддержки целостности данных. Причем таких бизнес-правил может быть очень много.
в данной формулировке подчеркивается, что "сбора, склейки, чистки, подготовки, агрегирования, анализа, визуализации данных лежат внутри одного продукт". но не говорится о том, что поддерживаются бизнес-правила чужих систем. Другими словами, говорится, что в Qlik нужно пересоздавать бизнес-правила поддержки целостности, которые уже реализованы во внешних системах. Зная трудоемкость разработки таких бизнес-правил, начинаешь сомневаться в необходимости затрат на ПЕРЕСОЗДАНИЕ. в любом продукте. Но я понимаю, о чем ты говоришь - про RLS. Да, если есть разграничение доступа к данным или настроен RLS, то любой ETL, включая Qlik, вытащат все доступные им данные. И, если надо будет пользователям снова обеспечить разграничение по данным, то придется дублировать структуру разграничения доступа. Обычно это делается созданием отдельно справочника разграничения прав доступа и заливкой в него данных из таблиц, отвечающих за доступ. Да, тут есть важное "но!" Если в учетных системах требуется RLS вот как сейчас - т.е. ты же не разграничивешь права доступа "как они были год назад", то вот в BI мне пришлось столкнуться с очень непростым проектом, когда заказчик просил вот этому пользователю "заливать данные по март, а потом - в соответсвии с новыми правами". Пришлось делать иерархию прав, закачивать историчность доступа, потом грузить данные и резать их в соответствии с залитыми ограничениями. Часто такое в банках есть, самое простое - это CRM. Вот менеджеры, вот права. Залили менеджеров, права, и нарубили исходник на группы. А вот с аудитом работы - не просто кто с чем имеет право работать, а кто что открывал и копировал в буфер - там посложнее. Но и это решается. Вот как бывает. С Уважением, Георгий |
|
|
За это сообщение автора поблагодарили: mazzy (2). |
28.12.2016, 15:12 | #2 |
Участник
|
Цитата:
Сообщение от George Nordic
Это так, только если мы говорим про небольшие проекты. Да, если ты решаешь задачу одного отдела - Продаж, Маркетинга, Закупок - то да, приемка у тебя идет на уровне руководства данным отделом. Да ито - еще надо финансистов надо убедить, закупки, руководство... Но дело в том, что в последнее время я встречаюсь с проектами, которые гораздо больше виденных мною на DAX. И тут все гораздо сложнее - и много отделов, и уровней приемки.
Цитата:
ведь в ходе очистки могут произойти и вставки данных. хотя бы "дефолтных". с остальным - согласен. про права - понял. |
|
28.12.2016, 23:46 | #3 |
Участник
|
Цитата:
1) кв - отличный инструмент для хранения данных, его файлы квд могут служить промежуточным (staging) хранилищем, скажем, для случаев инкрементной загрузки (дельта). один файл, сжатый, зашифрованный, скорость загрузки из него - наивысшая. 2) кв - отличный инструмент для проверки целостности данных. ему плевать на бизнес-правила, ибо би-ай не имеет цели сохранять транзацкии согласно моральному закону внутри нас, а наоборот, достигать космических скоростей вращения любых данных вокруг своего фаркопа. грубо говоря, если стоит задача, например, мигрировать со старой ерп на ту же аксапту и нужно перетащить или добавить некоторые данные, например, для дополнения или корректировки тех же остатков, то сценарий крайне прост. засосал все таблицы в кв, открутил их там как бог черепаху и давай подгружать, чего душеньке угодно. ещё раз: никаких правил, sky is limit. пример из жизни. медицинская компания ведёт учёт обращений застрахованных предприятий по целой куче показателей, вроде кровяного давления и т.п. при этом медицинские показатели, обращения существующих клиентов, выставление счетов и работа над продажами ведётся в четырёх специально заточенных системах (основная система - аксапта). каждый регион учитывается отдельно. пообщавшись с одним представителем от каждого отдела, через три недели представили работающее решение с системой доступа к данным в разрезе регионов, автоматической доставкой отчётов, возможностью доступа ко всей визуализации с мобил, а вишенка на торте - найденная во время анализа (вот тут первый раз и появились на сцене их "бизнес-правила") дыра в их данных. размер дыры был чуть больше миллиона. руку жали, провожали, всё, как в песне было. особенность проекта была в том, что в силу конфиденциальности персональных данных невозможно было получить доступ к живым базам. поэтому были созданы семплы всех нужных таблиц, в них перебиты все реальные персональные данные (фио, адреса, коды страхования и прочие телефоны), и вся разработка велась на "кошках". потом просто перенесли один единственный файл со скриптами и визуализациями и запустили -- скрипты подхватили строки подключения из внешнего файла, и всё заверте... вы когда-нибудь за три недели миллион долларов находили?
__________________
Felix nihil admirari |
|
|
За это сообщение автора поблагодарили: gl00mie (3). |
Теги |
qlik |
|
|