Vida corrida de Cesar Domingos

Pentaho 5 autenticando no LDAP (OpenLDAP e AD)

Postado em 12 de janeiro de 2015

A uns anos atrás(2011), escrevi um tutorial autenticando o Pentaho (na época versão 3.7) no LDAP. Acredito que esse tutorial ajudou muitas pessoas, pois até a versão 4 as configurações ainda eram as mesmas.

Na versão 5, algumas configurações mudaram. Então depois de muito procrastinar, eu tomei vergonha na cara e resolvi escrever esse tutorial atualizado na versão 5 do Pentaho. Para ser mais exato, na versão 5.2.

Vou tentar ser o mais didático possível no passo a passo dessa configuração. Vou falar um pouco sobre as configurações do meu servidor LDAP de teste e mostrar algumas diferenças que possam ter em relação ao Active Directory (AD).

Objetivos:

• Entender a estrutura do LDAP.
• Configurar o Pentaho BI-Server para autenticar no LDAP.
• Testar a autenticação como usuário administrador.
• Testar a autenticação como usuário comum.
• Fazer alguns testes de acessos a pastas e arquivos através dos grupos do LDAP.

Entender a estrutura do LDAP

Esse servidor LDAP foi configurado exclusivamente para esse tutorial, por isso ele possuí poucos registros e está o mais simples possível para ser entendido.

Estrutura do LDAP:

• Raiz: dc=domingos,dc=com,dc=br
• Usuário administrador: admin (cn=admin,dc=domingos, dc=com,dc=br)
• Unidade Organizacional (OU) dos grupos: GROUPS (ou=GROUPS,dc=domingos,dc=com,dc=br)
• Unidade Organizacional (OU) dos usuários: USERS (ou=USERS,dc=domingos,dc=com,dc=br)
• Grupos criados: pentaho-admin, comercial e administrativo:
  • cn=pentaho-admin,ou=GROUPS,dc=domingos,dc=com,dc=br
  • cn=comercial,ou=GROUPS,dc=domingos,dc=com,dc=br
  • cn=administrativo,ou=GROUPS,dc=domingos,dc=com,dc=br
• Usuários criados: vader, fulano e ciclano:
  • cn=vader,ou=USERS,dc=domingos,dc=com,dc=br
  • cn=fulano,ou=USERS,dc=domingos,dc=com,dc=br
  • cn=ciclano,ou=USERS,dc=domingos,dc=com,dc=br

O usuário vader é o meu usuário administrador, então ele está associado ao grupo pentaho-admin:

dn: cn=pentaho-admin,ou=GROUPS,dc=domingos,dc=com,dc=br
objectClass: posixGroup
gidNumber: 10002
memberUid: vader
structuralObjectClass: posixGroup
cn: pentaho-admin

O usuário fulano está associado ao grupo Comercial e o usuário ciclano ao Administrativo. Com isso quero ilustrar como ficaria se o seu BI-Server tivesse pastas separadas por departamentos, onde cada um só pode ter acesso a sua pasta. Fazendo dessa forma, todos que estiverem no LDAP vão ter acesso ao Pentaho BI-Server, mas só poderão visualizar aquilo que for permitido ao seu grupo ou diretamente ao seu usuário.

Uma outra forma de fazer, é criar um grupo específico para os usuários comuns do Pentaho, então somente que estiver naquele grupo terá acesso ao Pentaho. Só que dessa forma fica mais complicado de fazer as restrições segmentanda por grupo, teria que ser somente por usuário. Um exemplo seria se eu criasse um grupo chamado pentaho-users e os usuários fulano e ciclano estivessem associados a ele. Ficaria da seguinte forma no LDAP:

dn: cn=pentaho-users,ou=GROUPS,dc=domingos,dc=com,dc=br
objectClass: posixGroup
gidNumber: 10001
memberUid: fulano
memberUid: ciclano
structuralObjectClass: posixGroup
cn: pentaho-users

Nos arquivos de configuração do Pentaho, também vou dar exemplos caso decidam fazer dessa forma com um único grupo.

Configurar o Pentaho BI-Server para autenticar no LDAP

Aqui é o passo a passo da configuração do BI-Server no LDAP.

Os arquivos que vão ser configurados, estão em biserver-ce/pentaho-solutions/system. Os arquivos são:

• properties
• applicationContext-security-ldap.properties
• applicationContext-spring-security.xml
• spring.properties
• data-access/settings.xml

1. properties

Nesse arquivo vamos mudar o modo de autenticação.

De:
provider=jackrabbit

Para:
provider=ldap

2. applicationContext-security-ldap.properties

Devemos configurar esse arquivo conforme o nosso servidor LDAP. Segue o exemplo baseado no meu LDAP onde vou dar alguns detalhes:

contextSource.providerUrl=ldap\://localhost\:389
contextSource.userDn=cn\=admin,dc\=domingos,dc\=com,dc\=br
contextSource.password=123456
userSearch.searchBase=ou\=USERS,dc\=domingos,dc\=com,dc\=br
userSearch.searchFilter=(cn\={0})

populator.convertToUpperCase=false
populator.groupRoleAttribute=cn
populator.groupSearchBase=ou\=GROUPS,dc\=domingos,dc\=com,dc\=br
populator.groupSearchFilter=(memberUid\={1})
populator.rolePrefix=
populator.searchSubtree=true

allAuthoritiesSearch.roleAttribute=cn
allAuthoritiesSearch.searchBase=ou\=GROUPS,dc\=domingos,dc\=com,dc\=br
allAuthoritiesSearch.searchFilter=(objectClass\=posixGroup)

allUsernamesSearch.usernameAttribute=cn
allUsernamesSearch.searchBase=ou\=USERS
allUsernamesSearch.searchFilter=(objectClass\=posixAccount)

adminRole=cn\=pentaho-admin,ou\=GROUPS,dc\=domingos,dc\=com,dc\=br
adminUser=cn\=vader,ou\=USERS,dc\=domingos,dc\=com,dc\=br

Observações importantes: 

– contextSource.providerUrl=ldap\://localhost\:389: Endereço de onde está o servidor LDAP. No meu caso ele está em localhost e rodando na porta 389. Normalmente o servidor LDAP está em outra máquina, então coloque o IP da máquina e a porta que ele está rodando.

– userSearch.searchFilter=(cn\={0}): Esse é o atributo do LDAP que ele procurará para achar o nome do usuário. No caso do meu LDAP, o atributo é o CN, e o número zero indica para ele procurar o DN completo do usuário.
Para quem utilizado o Active Directory, normalmente o atributo utilizado é o (sAMAccountName\={0})

– populator.groupSearchFilter=(memberUid\={1}): O campo dentro dos grupos que identificam os usuários pertencentes ao grupo é o atributo memberUid. Colocando 1 ele procura somente pelo nome do usuário, se deixasse em 0 ele procuraria pelo DN completo. Na seção acima foi destacado que no meu LDAP os usuários estão no atributo memberUid, mas possa ser que seu LDAP/AD, use outro, é muito comum no AD ele usar o atributo member.

– adminRole=cn\=pentaho-admin,ou\=GROUPS,dc\=domingos,dc\=com,dc\=br e adminUser=cn\=vader,ou\=USERS,dc\=domingos,dc\=com,dc\=br: Essas são as seções onde são configurados o grupo e o usuário admin do Pentaho. Fiquem atentos para configurar o grupo e usuário correto.

3. applicationContext-spring-security.xml

 Esse arquivo é o que define o que os grupos podem acessar. E nele temos um ponto muito específico. Digo isso, pois se seguirem o exemplo de usar os grupos já existente no LDAP, para fazer uma separação por setores, não é necessário mudar nada nesse arquivo.

Exemplo do arquivo:

….
\A/content/common-ui/resources/web/(.+/)*.+\.js.*\Z=Anonymous,Authenticated
\A/.*require-cfg.js.*\Z=Anonymous,Authenticated
\A/.*require-js-cfg.js.*\Z=Anonymous,Authenticated
\A/content/common-ui/resources/web/require.js.*\Z=Anonymous,Authenticated
\A/content/common-ui/resources/web/require-cfg.js.*\Z=Anonymous,Authenticated
\A/content/data-access/resources/gwt/.*css\Z=Anonymous,Authenticated
\A/webcontext.js.*\Z=Anonymous,Authenticated
\A/content/common-ui/resources/web/cache/cache-service.js.*\Z=Anonymous,Authenticated
\A/cacheexpirationservice.*\Z=Anonymous,Authenticated
\A/js/theme.*\Z=Anonymous,Authenticated
\A/content/common-ui/resources/themes/.*\Z=Anonymous,Authenticated
\A/content/common-ui/resources/web/dojo/djconfig.js.*\Z=Anonymous,Authenticated
\A/content/common-ui/resources/web/angular-directives/angular-directives.css\Z=Anonymous,Authenticated
\A/content/pentaho-mobile/resources/.*\Z=Anonymous,Authenticated
\A/docs/.*\Z=Anonymous,Authenticated
\A/mantlelogin/.*\Z=Anonymous,Authenticated
\A/mantle/mantleloginservice/*\Z=Anonymous,Authenticated
\A/mantle/.*\Z=Authenticated
\A/welcome/.*\Z=Anonymous,Authenticated
\A/public/.*\Z=Anonymous,Authenticated
\A/login.*\Z=Anonymous,Authenticated
\A/ping/alive.gif.*\Z=Anonymous,Authenticated
\A/j_spring_security_check.*\Z=Anonymous,Authenticated
\A/getimage.*\Z=Anonymous,Authenticated
\A/getresource.*\Z=Anonymous,Authenticated
\A/admin.*\Z=Admin
\A/auditreport.*\Z=Admin
\A/auditreportlist.*\Z=Admin
\A/versioncontrol.*\Z=Admin
\A/propertieseditor.*\Z=Admin
\A/propertiespanel.*\Z=Admin
\A/subscriptionadmin.*\Z=Admin
\A/resetrepository.*\Z=Admin
…

O grupo Authenticated do Pentaho BI-Server, é o grupo padrão que todos os usuários pertencem para poder autenticar. Como vamos usar os nosso grupos do LDAP para fazer uma separação departamental, não precisamos modificar esse arquivo. Mas caso vocês optem por usar o grupo único, o pentaho-users que eu dei de exemplo, devem substituir todos os Authenticated por pentaho-users. Sendo assim, somente os usuários desse grupo teriam acesso ao Pentaho. Exemplo:

….
\A/content/common-ui/resources/web/(.+/)*.+\.js.*\Z=Anonymous,pentaho-users
\A/.*require-cfg.js.*\Z=Anonymous,pentaho-users
\A/.*require-js-cfg.js.*\Z=Anonymous,pentaho-users
\A/content/common-ui/resources/web/require.js.*\Z=Anonymous,pentaho-users
\A/content/common-ui/resources/web/require-cfg.js.*\Z=Anonymous,pentaho-users
\A/content/data-access/resources/gwt/.*css\Z=Anonymous,pentaho-users
\A/webcontext.js.*\Z=Anonymous,pentaho-users
…

Outro ponto importante nesse arquivo, é o grupo Admin. ELE NÃO DEVE SER ALTERADO.
Nas versões 3 e 4 do Pentaho BI-Server, era necessário trocar esse grupo Admin para o grupo de administrador criado no LDAP, no meu caso seria o pentaho-admin. Só que nessa versão essa palavra Admin é reservada e ela se refere a configuração que foi feita em applicationContext-security-ldap.properties no item adminRole=cn\=pentaho-admin,ou\=GROUPS,dc\=domingos,dc\=com,dc\=br

Resumindo, se for usar os grupos que já existem no LDAP, não altere esse arquivo. Caso for usar um grupo único de usuários comuns criado no LDAP, só altere o Authenticated para esse grupo. Não mexa nas linhas onde tem o grupo Admin.

4. spring.properties

Nesse arquivo, devemos informar quem é o nosso usuário admin do Pentaho.

singleTenantAdminDefaultUserName=vader
singleTenantAdminUserName=vader
singleTenantAdminDefaultAuthorityName=Administrator
singleTenantAdminAuthorityName=Administrator
repositoryAdminUsername=pentahoRepoAdmin
singleTenantAuthenticatedAuthorityName=Authenticated
singleTenantAnonymousAuthorityName=Anonymous
superAdminAuthorityName=SysAdmin
superAdminUserName=super
systemTenantAdminUserName=system
systemTenantAdminPassword=cGFzc3dvcmQ=

Caso tenham optado por usar o grupo único (pentaho-users), é necessário trocar o parâmetro singleTenantAuthenticatedAuthorityName de Authenticated para pentaho-users.

5. data-access/settings.xml

Nesse arquivo, altere um parâmetro para o usuário administrador do Penthao:

<data-access-view-users>vader</data-access-view-users>

E caso use o grupo único, troque tudo o que tiver Authenticated para pentaho-users.

Após essas configurações, podemos reiniciar o BI-Server.

Importante 1: Para validar esse processo e pegar o problema quando a autenticação LDAP não funciona, eu sempre ativo o DEBUG dos logs no log4j do Pentaho. O arquivo do log4j fica em biserver-ce/tomcat/webapps/pentaho/WEB-INF/classes, e é o arquivo log4j.xml.

Nesse arquivo, eu coloco em DEBUG os seguintes parâmetros:

<category name=”org.springframework”>
<priority value=”DEBUG“/>
</category>

<category name=”org.springframework.security”>
<priority value=”DEBUG“/>
</category>

Com isso, quando reiniciar o Pentaho BI-Server e tentar fazer a autenticação, poderá ser visto o passo a passo da autenticação para possível resolução de problemas. Lembrem de desativar esse DEBUG depois que estiver funcionando, pois ficará gerando log desnecessário.

Importante 2: Se a sua estrutura LDAP tiver mais que 1.000 usuários, pode ser que seja necessário alterar o parâmetro MaxPageSize do seu servidor LDAP (AD ou outro), para que todos os usuários consigam logar no Pentaho e apareçam na lista de permissões.

Testar a autenticação como usuário administrador

 Após reiniciar o BI-Server, podemos fazer o teste de autenticação com o usuário administrador, que no meu caso é o vader.

1. Tela de login:

2. Logado como o usuário vader:

Reparem que o usuário vader como administrador, tem acesso a todos os menus.

Testar a autenticação como usuário comum

1. Logado como usuário fulano

Reparem que o usuário fulano tem acesso restrito nos menus.

Testes de acessos a pastas e arquivos através dos grupos do LDAP

Com usuário vader, podemos criar uma pasta Comercial e associar que somente o grupo comercial tenha acesso a ela. Dessa forma, o usuário ciclano que é do Administrativo, não teria acesso a ela.

1. Criar a pasta e dar o acesso.

2. Dessa forma, o usuário fulano logado terá a seguinte visualização:

3. E o usuário ciclano que é do grupo Administrativo, terá a seguinte visualização:

Com isso finalizamos esse tutorial que mostra a configuração do Pentaho BI-Server para autenticar em um LDAP.

Espero que seja de grande ajuda para quem precisa.

Abraços.

Pentaho – Erro ao abrir dimensão no Jpivot – net.sf.saxon.trans.DynamicError: Illegal HTML character: decimal 150

Postado em 1 de setembro de 2011

Olá Pessoal.

Agora pouco acabei de passar por um problema. Quando eu ia abrir uma dimensão no Jpivot para filtras os valores, ele me dava um erro pedia para consultar no log do Pentaho. Olhando os logs, vi o seguinte erro:

net.sf.saxon.trans.DynamicError: Illegal HTML character: decimal 150

Procurando na net, acabei descobrindo que o erro não era por alguma falha do Pentaho, do Mondrian ou do Jpivot diretamente. Esse erro é um erro de base, existia algum caractere maluco no meio dos meus dados que estava dando problemas com renderização do Mondrian na hora de ele me mostrar os dados nos filtros do Jpivot.

Bom, procurei para saber quem era esse decimal 150, e achei a referência nesse site:

http://www.ssec.wisc.edu/~tomw/java/unicode.html#x0080

Descobri na minha base qual era a informação zicada e arrumei na própria transformação de criação da dimensão.

Agora já sei que esse tipo de erro, está relacionado com sujeiras que possam existir na base e causar erro de codificação. Parece um erro bobo, mas gastei um tempinho para achar onde estava o erro.

Espero que esse post ajude a dar uma direção para quem tiver esse tipo de problema.

Abraços

Erro ao exportar os gráficos no Jpivot para Excel

Postado em 13 de julho de 2011 Atualizado em 13 de julho de 2011

Quando se usa um Cubo OLAP no Pentaho através do Jpivot, ele permite que exporte aquele cubo para Excel.

Acontece que eu percebi a um bom tempo que sempre que exportava o cubo com um gráfico o gráfico não era exportado para a planilha. Como não estava usando muito o recurso de exportar com o gráfico não me apeguei nisso.

Mas agora surgiu a necessidade de usar esse recurso. Fui pesquisar o motivo de não estar funcionando e o que deveria ser feito para arrumar.

Encontrei no site de JIRA do Pentaho o problema e como resolve-lo. O motivo de não exportar o gráfico está relacionado a permissões de usuários, e a resolução é bem simples.

Para resolver esse problema, é necessário editar o arquivo applicationContext-spring-security.xml que fica dentro do diretório biserver-ce/pentaho-solutions/system.

Nesse arquivo existe uma seção que define acessos a alguns recursos do BI Server vinculando quais grupos podem acessá-los. Um pedaço original do arquivo é da seguinte maneira:

...
CONVERT_URL_TO_LOWERCASE_BEFORE_COMPARISON
\A/docs/.*\Z=Anonymous,Authenticated
\A/mantlelogin/.*\Z=Anonymous,Authenticated
\A/mantle/mantleloginservice/*\Z=Anonymous,Authenticated
\A/mantle/.*\Z=Authenticated
\A/welcome/.*\Z=Anonymous,Authenticated
\A/public/.*\Z=Anonymous,Authenticated
\A/login.*\Z=Anonymous,Authenticated
\A/ping/alive.gif.*\Z=Anonymous,Authenticated
\A/j_spring_security_check.*\Z=Anonymous,Authenticated
\A/getimage.*\Z=Anonymous,Authenticated
\A/getresource.*\Z=Anonymous,Authenticated
\A/admin.*\Z=Admin
\A/auditreport.*\Z=Admin
...

Agora devemos inserir o seguinte acesso a esse arquivo:

\A/getchart.*\Z=Anonymous,Authenticated

O arquivo ficará da seguinte maneira:

CONVERT_URL_TO_LOWERCASE_BEFORE_COMPARISON
\A/docs/.*\Z=Anonymous,Authenticated
\A/mantlelogin/.*\Z=Anonymous,Authenticated
\A/mantle/mantleloginservice/*\Z=Anonymous,Authenticated
\A/mantle/.*\Z=Authenticated
\A/welcome/.*\Z=Anonymous,Authenticated
\A/public/.*\Z=Anonymous,Authenticated
\A/login.*\Z=Anonymous,Authenticated
\A/ping/alive.gif.*\Z=Anonymous,Authenticated
\A/j_spring_security_check.*\Z=Anonymous,Authenticated
\A/getimage.*\Z=Anonymous,Authenticated
\A/getresource.*\Z=Anonymous,Authenticated
\A/getchart.*\Z=Anonymous,Authenticated
\A/admin.*\Z=Admin
\A/auditreport.*\Z=Admin

Depois disso, basta reiniciar o BI Server e o recurso estará funcionando.

Pelo que pude ver, até a versão 3.8 que é a última versão estável, ainda tem esse problema.

Espero que ajude.

Abraços

Link de referência: http://jira.pentaho.com/browse/BISERVER-1681

Pentaho Data Integration com arquivos texto – Parte 1/2

Postado em 2 de agosto de 2010 Atualizado em 2 de agosto de 2010

Antes de mais nada, gostaria de agradecer ao Fábio de Salles que me ajudou muito nessa tarefa. O Fábio é um grande conhecedor da Suite Pentaho.

Uma situação que enfrentei com o Pentaho Data Integrations(PDI), foi trabalhar com arquivos texto. Pegar arquivos texto e carrega-los em um Banco de Dados.

Só que não foi uma situação comum com arquivos texto. Na maioria das vezes esses arquivos já estão bem formatados, divididos por um separador, seja vírgula, ponto e vírgula ou qualquer outro tipo de separador.

Esse caso em específico, tinha duas particularidades. A primeira é que o arquivo estava todo desformatado, ou seja, o separador eram espaços e existiam colunas que estavam vazias e maioria das informações pegavam mais de uma linha e em geral sem seguir um padrão. A segunda, é que teoricamente a segunda coluna do arquivo (digo teoricamente porque não tinha nenhum padrão de divisão), tinha um tipo. Logo cada um daqueles tipos precisavam ir para tabelas diferentes dentro do banco de dados. Um detalhe, é que esse tipo estava grudado com outra informação dentro do arquivo texto.

Para ilustrar, a solicitação do cliente foi a seguinte:

Preciso que essa fonte de dados que está em arquivo texto, seja transformado em um banco de dados, onde cada tipo será uma tabela. O layout de cada campo, está especificado em um planilha Excel.

Vou colocar o passo a passo de como fiz isso com o Pentaho Data Integration, gravando em um SGDB PostgreSQL. Os dados de exemplo que vou colocar aqui são totalmente fictícios e não condizem com a realidade do cliente. Nesse caso em específico, existiam 15 tipos diferentes, ou seja, surgiram 15 tabelas. Nesse exemplo, vou mostrar com 2 tipos, pois o procedimento se repete.

O arquivo texto que possuí os dados, será referenciado por arquivo_dados.txt. O Formato do arquivo é o seguinte:

017002144301702000011675 0107042010070420104210000000002261060800000000121001001012010SAO PAULO RUA ABC CONSULTOR SEM COMENTARIOS 0000000000000123 05 582500000 ROBERTO JUSTUS 46293043120 000000000000000000000000
0070031145007 9829298000PARQUE IBIRAPUREA

Reparem que não dá para distinguir as informações. Fazendo um Vim numerado no Linux eu consegui pelo menos saber quem eram as linhas, ficou mais ou menos assim:

1 017002144301702000011675 0107042010070420104210000000002261060800000000121001001012010SAO PAULO RUA ABC CONSULTOR SEM COMENTARIOS 0000000000000123 05 582500000 ROBERTO JUSTUS 46293043120 000000000000000000000000
2 0070031145007 9829298000PARQUE IBIRAPUERA

Dá para ver a linha 1 e a linha 2. Lembrando que isso é um pequeno exemplo, o arquivo tinha muito mais linhas.

O primeiro passo era saber onde estava o TIPO que seria usado como filtro para jogar os registros certos para as tabelas certas no banco de dados. Para isso, consultei a planilha.xls, que continha a formatação de cada campo.

Vou colocar um exemplo fictício da planilha, e não vou colocar exemplo de todos os campos, pois ficaria muito grande, já que um dos tipos em questão tem vários campos:

Agora já sabemos onde estão os tipos. Temos 2 tipos, o tipo 01 e o tipo 98. E na planilha podemos ver que temos a posição INICIAL de cada campo, o TAMANHO e o TIPO.

Com o PDI (Pentaho Data Integration), vamos fazer a coisa acontecer.

Em uma nova transformação do PDI, vamos usar um Step chamado Text file input que fica dentro de Input. A imagem dele é a seguinte:

A configuração dele vai ser a seguinte:

Na aba File desse Step, precisamos especificar qual é o arquivo de origem. Procure ele através do botão Browse e com Add eu adiciono ao Selected files. Podem ser especificados vários arquivos.

Na aba Content, o mais importantes são os campos Filetype, onde precisamos deixa-lo com o tipo Fixed, pois o arquivo não é do tipo CSV, logo o Separator não vai ser necessário agora. O outro campo é o Format, que nesse caso pode ser DOS ou Unix e o Encondig, que precisa ter uma atenção especial para não ter problemas na hora de gravar no banco de dados.

A próxima aba, a Fields é onde vamos começar a definir a divisão dos campos dentro do arquivos. Nessa aba, vamos clicar no botão Get Fields, onde o PDI mostrará parte do arquivo, para indicarmos a quebra das colunas. A tela a seguir exemplifica isso:

Como o arquivo está todo bagunçado, a única coluna que realmente conseguimos dividir é a primeira, e ainda sim ela não é um único campo, nos próximos passos, ela será dividida em mais campos. As setas vermelhas foram colocadas manualmente, clicando na posição que deseja fazer a separação.

Nessa caso, podemos dividir o arquivo em 3 colunas, a primeira que está fácil de ser identificada, a segunda que será o nosso campo de filtro que é o TIPO, e o terceiro é o restante do arquivo.

Podemos clicar em Finish e nossa tela ficará da seguinte maneira:

Vejam que os campos foram renomeados para registro_id, tipo e registro_conteudo. Essa nomenclatura não é obrigatória, mas e necessário lembrar delas para os próximos passos.

Com a divisão dos campos, vamos para o segundo passo, que é separar o conteúdo do arquivo por TIPOS. Vamos quebrar o arquivo em tipos e gravar em arquivos separados. Não vamos jogar diretamente para a base de dados, pois eles ainda precisam passar por algumas modificações.

Para dividir o arquivo em outros arquivos, podemos usar o Step chamado Switch/Case que está dentro de Flow. A imagem do Step é a seguinte:

Esse passo depende de outros passos para ser totalmente configurado, pois é ele que vai separar o arquivo conforme o campo que especificarmos e vai jogar para outros Steps.

Para completar essa parte, vamos adicionar dois Steps Text file output que está dentro de Output. A imagem desse passo é a seguinte:

Ligue o Step Text file input ao Switch/Case, e ligue o Switch/Case aos dois Text file output. As ligações ficarão da seguinte forma:

Aqui foi renomeado os nomes dos Steps, para facilitar a visualização. O Step Saida Default, é para gravar linhas que não sejam do Tipo 01 e 98, mas ele não é obrigatório.

Reparem que a ligação do Switch/Case para a Saida do Tipo 01 e 98, está amarela e pontilhada, isso significa que o Switch/Case ainda não está configurado para repassar informações para esses Steps.

Vamos abrir o Switch/Case e configurá-lo:

Nesse Step, tem alguns campos que precisam ser configurados. O primeiro é o Field name to switch. Essa opção define o campo que será usado como separador. Temos que especificar o campo tipo.
O segundo campo é o Case value data type, que define o tipo do campo tipo, que é String.
O terceiro é o Case values. Essa é a opção que vai fazer a separação. Aqui eu digo que tudo que tiver valor 01 nesse campo, seja direcionado para o Step Saida do Tipo 01, e o que tiver valor 98, seja direcionado para o Step Saida do Tipo 98.
E o quarto e não obrigatório é a saida default.

Depois de configurado, as setas ficam da seguinte maneira:

A configuração do Step Saida do Tipo 01 (Text file output), é a seguinte:

Na aba File, é necessário especificar o arquivo onde será gravado os dados que virão do Step anterior.

Na aba Content, é importante informar o Separator, que será “;” e o Format.

Na aba Fields, vamos clicar em Get Fields, para trazer os campos. Nesse momento o campo tipo não é mais importante, pois não precisamos gravá-lo na tabela, já que no banco existirá uma tabela para cada tipo. Logo, podemos remover esse campo da aba Fields, ficando somente o registro_id e registro_conteudo.

Para o Step Saida do tipo 98, é necessário fazer o mesmo procedimento.

Nesse momento, podemos salvar a nossa transformação e executá-la.

Depois da execução da transformação, termos os arquivos saida_tipo_01.txt e saida_tipo_98.txt. Esses arquivos ficarão no seguinte formato.

saida_tipo_01.txt:

017002144301702000011675;07042010070420104210000000002261060800000000121001001012010SAO PAULO RUA ABC CONSULTOR SEM COMENTARIOS 0000000000000123 0558250000 0 ROBERTO JUSTUS 46293043120 000000000000000000000000

saida_tipo_98.txt

0070031145007;29298000PARQUE IBIRAPUERA

Vejam que foi colocado um “;“, separando as duas colunas, e o campo tipo não está mais aqui.

Com isso concluímos a primeira fase que era separar o arquivo pelos seus respectivos tipos, criando um arquivo para cada tipo.

No post com a parte 2 veremos o restante para formatarmos esses campos segundo a planilha.xls e gravar os dados no banco de dados.