Um lexer MULTI_LEXER permite que documentos de diferentes idiomas sejam armazenados em uma única tabela. Esse tipo de lexer escolhe um lexer de idioma específico para cada linha, como base na coluna de idioma. Esse tópico explica como usar esse tipo de lexer com exemplos da API do interMedia Text.
A primeira etapa no uso do recurso MULTI_LEXER é a criação de preferências de lexer específicas para cada idioma da tabela que contém todos os idiomas. O seguinte exemplo de API cria um lexer para inglês, francês e alemão:
ctx_ddl.create_preference('english_lexer', 'basic_lexer');
ctx_ddl.set_attribute('english_lexer','index_themes','yes');
ctx_ddl.create_preference('french_lexer', 'basic_lexer');
ctx_ddl.set_attribute('french_lexer','base_letter','yes');
ctx_ddl.create_preference('german_lexer', 'basic_lexer');
ctx_ddl.set_attribute('german_lexer','composite','german');
ctx_ddl.set_attribute('german_lexer','alternate_spelling','german');
ctx_ddl.set_attribute('german_lexer','mixed_case','yes');
Uma vez que as preferências de lexer específicas de um idioma tenham sido criadas, elas deverão ser agrupadas sob uma única preferência de MULTILEXER. Primeiro, crie a preferência de MULTILEXER, usando o objeto MULTI_LEXER:
ctx_ddl.create_preference('global_lexer','multi_lexer');
Adicione os lexers de idiomas específicos" à preferência de multilexer usando a chamada add_sub_lexer:
ctx_ddl.add_sub_lexer(<multi_lexer>, <idioma>, <lexer idioma específico>)
Por exemplo:
ctx_ddl.add_sub_lexer('global_lexer', 'german', 'german_lexer');
ctx_ddl.add_sub_lexer('global_lexer', 'french', 'french_lexer');
ctx_ddl.add_sub_lexer('global_lexer', 'default','english_lexer');
Isso designa a preferência german_lexer para tratar de documentos em alemão, a preferência french_lexer para tratar de documentos em francês e a preferência english_lexer para tratar de tudo mais utilizando 'DEFAULT' como idioma
O MULTILEXER decide qual lexer deverá ser usado para cada linha com base em uma coluna de idioma, que é uma coluna de caracteres da tabela que armazena o idioma do documento na coluna de texto. Por exemplo, a tabela pode ser definida da seguinte forma:
create table globaldoc (
doc_id number primary key,
lang varchar2(10),
text clob
);
insert into globaldoc values (1, 'german', 'Ich bin Berliner');
insert into globaldoc values (2, 'french', 'Je suis Parisian');
insert into globaldoc values (3, 'english', 'I''m from New York');
Para indexar essa tabela, você deverá usar a preferência MULTILEXER, mas também deverá especificar o nome da coluna de idioma:
create index globalx on globaldoc(text)
indextype is ctxsys.context
parameters ('lexer global_lexer
language column lang');
Em seguida, o lexer MULTILEXER lê o valor da coluna de idioma para cada linha e utiliza o lexer de idioma específico para esse idioma.
A coluna de idioma faz distinção entre letras maiúsculas e minúsculas e pode conter o nome NLS ou a abreviatura do idioma. Se a tabela utilizar algum outro valor para o idioma, você terá de especificar esse valor alternativo como o quarto argumento ao adicionar os sublexers. Por exemplo, para usar a string ISO 639-2 para alemão:
ctx_ddl.add_sub_lexer('global_lexer', 'german', 'german_lexer', 'ger');
Observe que esses valores alternativos são adicionados aos nomes NLS e abreviaturas; portanto, "D" e "GERMAN" na coluna de idioma anda selecionam o lexer do alemão. Isso significa que valores alternativos não podem ser abreviaturas ou nomes de idiomas NLS.
O lexer DEFAULT é usado quando o idioma do documento é desconhecido ou não está mapeado para um lexer de idioma específico. O lexer DEFAULT também é usado para processar palavras de interrupção. Um lexer DEFAULT deve ser especificado ou você obterá um erro ao usar a preferência MULTILEXER no índice de criação. Você não pode especificar um valor alternativo para o sublexer DEFAULT.
No momento da Consulta, o MULTILEXER escolhe o lexer de idioma específico para processar os tokens de consulta. Isso se baseia na definição NLS_LANG. Assim, uma sessão de consulta no idioma francês utilizará o lexer para francês.
Consulte também: Tópicos principais (estrutura de tópicos), Conceitos Básicos do interMedia Text