Introducción al procesamiento de cadenas
========================================

El paquete stringproc amplía las capacidades de Maxima para manipular cadenas de caracteres, al tiempo que añade algunas funciones útiles para la lectura y escritura de ficheros.

Para dudas y fallos, por favor contáctese con van.nek at arcor.de .

En Maxima, una cadena de caracteres se construye fácilmente escribiéndola entre comillas dobles ("). Téngase en cuenta que las cadenas de Maxima no son cadenas de Lisp, pudiéndose ejecutar las funciones de chequeo stringp y lstringp con el fin de dilucidar qué tipo de cadena es su argumento. Si por cualquier motivo el usuario tiene una cadena de Lisp, quizás por haber hecho uso de la función sconcat, y la quiere convertir a una cadena de Maxima habrá de utilizar la función conversora sunlisp.

     (%i1) m: "text";
     (%o1)                         text
     (%i2) [stringp(m),lstringp(m)];
     (%o2)                     [true, false]
     (%i3) l: sconcat("text");
     (%o3)                         text
     (%i4) [stringp(l),lstringp(l)];
     (%o4)                     [false, true]
     (%i5) stringp( sunlisp(l) );
     (%o5)                         true

Todas las cadenas devueltas por las funciones de stringproc son cadenas de Maxima.

Los caracteres individuales se introducen como cadenas de Maxima de longitud igual a la unidad. Estos caracteres no son caracteres de Lisp y se pueden chequear con las funciones charp y lcharp, pudiéndose convertir los caracteres de Lisp a Maxima mediante cunlisp.

     (%i1) c: "e";
     (%o1)                           e
     (%i2) [charp(c),lcharp(c)];
     (%o2)                     [true, false]
     (%i3) supcase(c);
     (%o3)                           E
     (%i4) charp(%);
     (%o4)                         true

Todos los caracteres devueltos por las funciones de stringproc son caracteres de Maxima. Puesto que los caracteres introducidos son cadenas de longitud igual a la unidad, se pueden utilizar las funciones de cadenas también para los caracteres, como se ha hecho con supcase en el anterior ejemplo.

Es importante tener en cuenta que el primer carácter en una cadena de Maxima ocupa la posición 1. Esto se ha diseñado así para mantener la compatibilidad con las listas de Maxima. Véanse las definiciones de charat y charlist para ver ejemplos.

Las funciones de cadena se utilizan frecuentemente cuando se trabaja con ficheros. El siguiente ejemplo muestra algunas de estas funciones en acción.

Ejemplo:

La función openw envía un flujo de salida hacia un fichero, entonces printf permitirá formatera la escritura en este fichero. Véase printf para más detalles.

     (%i1) s: openw("E:/file.txt");
     (%o1)                    #<output stream E:/file.txt>
     (%i2) for n:0 thru 10 do printf( s, "~d ", fib(n) );
     (%o2)                                done
     (%i3) printf( s, "~%~d ~f ~a ~a ~f ~e ~a~%",
                   42,1.234,sqrt(2),%pi,1.0e-2,1.0e-2,1.0b-2 );
     (%o3)                                false
     (%i4) close(s);
     (%o4)                                true

Una vez cerrado el flujo, se podrá abrir nuevamente. La función readline devuelve el renglón entero como una única cadena. El paquete stringproc dispone de muchas funciones para manipular cadenas. La separación de palabras se puede hacer con split o tokens.

     (%i5) s: openr("E:/file.txt");
     (%o5)                     #<input stream E:/file.txt>
     (%i6) readline(s);
     (%o6)                     0 1 1 2 3 5 8 13 21 34 55
     (%i7) line: readline(s);
     (%o7)               42 1.234 sqrt(2) %pi 0.01 1.0E-2 1.0b-2
     (%i8) list: tokens(line);
     (%o8)           [42, 1.234, sqrt(2), %pi, 0.01, 1.0E-2, 1.0b-2]
     (%i9) map( parsetoken, list );
     (%o9)           [42, 1.234, false, false, 0.01, 0.01, false]

La función parsetoken sólo analiza sintácticamente números enteros y decimales. El análisis de símbolos y números decimales grandes (big floats) necesita parse_string, que se cargar automáticamente desde eval_string.lisp.

     (%i10) map( parse_string, list );
     (%o10)           [42, 1.234, sqrt(2), %pi, 0.01, 0.01, 1.0b-2]
     (%i11) float(%);
     (%o11) [42.0, 1.234, 1.414213562373095, 3.141592653589793,
              0.01, 0.01, 0.01]
     (%i12) readline(s);
     (%o12)                               false
     (%i13) close(s)$

La función readline devuelve false cuando se alcanza el final del fichero.

Funciones y variables para entrada y salida
===========================================

Ejemplo:

     (%i1) s: openw("E:/file.txt");
     (%o1)                     #<output stream E:/file.txt>
     (%i2) control:
     "~2tAn atom: ~20t~a~%~2tand a list: ~20t~{~r ~}~%~2t\
                and an integer: ~20t~d~%"$
     (%i3) printf( s,control, 'true,[1,2,3],42 )$
     (%o3)                                false
     (%i4) close(s);
     (%o4)                                true
     (%i5) s: openr("E:/file.txt");
     (%o5)                     #<input stream E:/file.txt>
     (%i6) while stringp( tmp:readline(s) ) do print(tmp)$
       An atom:          true
       and a list:       one two three
       and an integer:   42
     (%i7) close(s)$

 -- Función: close (STREAM)
     Cierra el flujo de datos STREAM y devuelve true si STREAM había sido abierto.

 -- Función: flength (STREAM)
     Devuelve el número de elementos en el flujo de datos STREAM.

 -- Función: fposition (STREAM)
 -- Función: fposition (STREAM, POS)
     Devuelve la posición actual en el flujo de datos STREAM si no se utiliza POS. Si se utiliza POS, fposition ajusta la posición en STREAM. El argumento POS debe ser un número positivo, ocupando el primer elemento en STREAM la posición 1.

 -- Función: freshline ()
 -- Función: freshline (STREAM)
     Escribe una nueva línea (en el flujo de datos STREAM) si la posición actual no corresponde al inicio de la línea.

     Véase también newline.

 -- Función: newline ()
 -- Función: newline (STREAM)
     Escribe una nueva línea (en el flujo de datos  STREAM).

     Véase sprint para un ejemplo de uso de newline().

     Nótese que hay algunos casos en los que newline no trabaja según lo esperado.

 -- Función: opena (FILE)
     Devuelve un flujo de datos al fichero FILE. Si se abre un fichero ya existente, opena añade elementos al final del fichero.

 -- Función: openr (FILE)
     Devuelve un flujo de datos de entrada al fichero FILE. Si FILE no existe, será creado.

 -- Función: openw (FILE)
     Devuelve un flujo de datos de salida al fichero FILE. Si FILE no existe, será creado. Si se abre un fichero ya existente, openw lo modifica borrando el contenido anterior.

 -- Función: printf (DEST, STRING)
 -- Función: printf (DEST, STRING, EXPR_1, ..., EXPR_N)
     Pone al alcance de Maxima la función FORMAT de Common Lisp.

     Véanse las referencias de Lisp para más información.

     La siguiente descripción y los ejemplos pueden dar una idea de cómo usar printf.

             ~%       nueva línea
             ~&       línea de refresco
             ~t       tabulación
             ~$       moneda
             ~d       entero en base decimal
             ~b       entero en base binaria
             ~o       entero en base octal
             ~x       entero en base hexadecimal
             ~br      entero en base b
             ~r       deletrea un entero
             ~p       plural
             ~f       decimal en coma flotante
             ~e       notación científica
             ~g       ~f o ~e, dependiendo de la magnitud
             ~a       tal como imprime la función de Maxima print
             ~s       cadenas limitadas por "comillas dobles"
             ~~       ~
             ~<       justificación, ~> termina
             ~(       conversor mayúscula/minúscula, ~) termina
             ~[       selección, ~] termina
             ~{       iteración, ~} termina

     Nótese que no hay un formato especificado para números decimales grandes (big floats). Sin embargo, estos números pueden escribirse utilizando simplemente la directiva ~a. La directiva ~s imprime cadenas encerradas entre "comillas dobles", lo cual se puede evitar utilizando ~a. Por otro lado, la directiva ~[ está indexada a partir del cero. Por último, indicar que algunas directivas no funcionan en Maxima, como por ejemplo ~:[.

          (%i1) printf( false, "~a ~a ~4f ~a ~@r",
                        "String",sym,bound,sqrt(12),144), bound = 1.234;
          (%o1)                 String sym 1.23 2*sqrt(3) CXLIV
          (%i2) printf( false,"~{~a ~}",["one",2,"THREE"] );
          (%o2)                          one 2 THREE
          (%i3) printf( true,"~{~{~9,1f ~}~%~}",mat ),
                        mat = args( matrix([1.1,2,3.33],[4,5,6],[7,8.88,9]) )$
                1.1       2.0       3.3
                4.0       5.0       6.0
                7.0       8.9       9.0
          (%i4) control: "~:(~r~) bird~p ~[is~;are~] singing."$
          (%i5) printf( false,control, n,n,if n=1 then 0 else 1 ), n=2;
          (%o5)                    Two birds are singing.

     Si DEST es un flujo de datos o true, entonces printf devuelve false. En otro caso, printf devuelve una cadena con la salida.

 -- Función: readline (STREAM)
     Devuelve una cadena con los caracteres desde la posición actual en el flujo de datos STREAM hasta el final de la línea, o false si está al final del fichero.

 -- Función: sprint (EXPR_1, ..., EXPR_N)
     Evalúa y muestra sus argumentos uno tras otro en un renglón comenzando por su extremo izquierdo.

     La función newline(), que se carga automáticamente desde stringproc.lisp, puede ser de utilidad si se quiere intercalar un salto de línea.

          (%i1) for n:0 thru 22 do sprint( fib(n) )$
          0 1 1 2 3 5 8 13 21 34 55 89 144 233 377 610 987 1597 2584 4181 6765
          (%i2) for n:0 thru 22 do (
                   sprint(fib(n)), if mod(n,10)=9 then newline() )$
          0 1 1 2 3 5 8 13 21 34
          55 89 144 233 377 610 987 1597 2584 4181
          6765 10946 17711

Funciones y variables para caracteres
=====================================

 -- Función: alphacharp (CHAR)
     Devuelve true si CHAR es una carácter alfabético.

 -- Función: alphanumericp (CHAR)
     Devuelve true si CHAR es una carácter alfabético o un dígito.

 -- Función: ascii (INT)
     Devuelve el carácter correspondiente al número ASCII INT, debiendo ser -1 < int < 256.

          (%i1) for n from 0 thru 255 do (
            tmp: ascii(n),
            if alphacharp(tmp) then sprint(tmp), if n=96 then newline() )$
          A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
          a b c d e f g h i j k l m n o p q r s t u v w x y z

 -- Función: cequal (CHAR_1, CHAR_2)
     Devuelve true si CHAR_1 y CHAR_2 son el mismo carácter.

 -- Función: cequalignore (CHAR_1, CHAR_2)
     Como cequal, pero ignora si las letras están en mayúsculas o minúsculas.

 -- Función: cgreaterp (CHAR_1, CHAR_2)
     Devuelve  true si el número ASCII de CHAR_1 es mayor que el de CHAR_2.

 -- Función: cgreaterpignore (CHAR_1, CHAR_2)
     Como cgreaterp, pero ignora si las letras están en mayúsculas o minúsculas.

 -- Función: charp (OBJ)
     Devuelve true si OBJ es un carácter de Maxima.

 -- Función: cint (CHAR)
     Devuelve el número ASCII de CHAR.

 -- Función: clessp (CHAR_1, CHAR_2)
     Devuelve  true si el número ASCII de CHAR_1 es menor que el de CHAR_2.

 -- Función: clesspignore (CHAR_1, CHAR_2)
     Como clessp, pero ignora si las letras están en mayúsculas o minúsculas.

 -- Función: constituent (CHAR)
     Devuelve true si CHAR es un carácter gráfico y no el carácter espacio. Un carácter gráfico es el que se puede ver y con un espacio añadido; constituent está definido por Paul Graham, ANSI Common Lisp, 1996, page 67.

          (%i1) for n from 0 thru 255 do (
          tmp: ascii(n), if constituent(tmp) then sprint(tmp) )$
          ! " #  %  ' ( ) * + , - . / 0 1 2 3 4 5 6 7 8 9 : ; < = > ? @ A B
          C D E F G H I J K L M N O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c
          d e f g h i j k l m n o p q r s t u v w x y z { | } ~

 -- Función: cunlisp (LISP_CHAR)
     Convierte un carácter Lisp en uno de Maxima. El uso de esta función por parte del usuario no será necesario.

 -- Función: digitcharp (CHAR)
     Devuelve true si CHAR es un dígito.

 -- Función: lcharp (OBJ)
     Devuelve true si OBJ es un carácter de Lisp. El uso de esta función por parte del usuario no será necesario.

 -- Función: lowercasep (CHAR)
     Devuelve  true si CHAR es un carácter en minúscula.

 -- Variable: newline
     El carácter de nueva línea.

 -- Variable: space
     El carácter de espacio.

 -- Variable: tab
     El carácter de tabulación.

 -- Función: uppercasep (CHAR)
     Devuelve true si CHAR es un carácter en mayúscula.

Funciones y variables para cadenas
==================================

 -- Función: sunlisp (LISP_STRING)
     Convierte una cadena Lisp en una de Maxima. El uso de esta función por parte del usuario no será necesario.

 -- Función: lstringp (OBJ)
     Devuelve true si OBJ es una cadena de Lisp. El uso de esta función por parte del usuario no será necesario.

 -- Función: stringp (OBJ)
     Devuelve true si OBJ es una cadena de Maxima. Véase un ejemplo en la introducción.

 -- Función: charat (STRING, N)
     Devuelve el N-ésimo carácter de STRING. Al primer carácter de STRING le corresponde N = 1.

          (%i1) charat("Lisp",1);
          (%o1)                           L

 -- Función: charlist (STRING)
     Devuelve una lista con todos los caracteres de STRING.

          (%i1) charlist("Lisp");
          (%o1)                     [L, i, s, p]
          (%i2) %[1];
          (%o2)                           L

 -- Función: parsetoken (STRING)
     La función parsetoken convierte el primer lexema de STRING a su forma numérica, devolviendo false si no se puede determinar este número. El conjunto de delimitadores de lexemas es {space, comma, semicolon, tab, newline}.

          (%i1) 2*parsetoken("1.234 5.678");
          (%o1)                         2.468

     También se puede utilizar la función parse_string para el análisis sintáctico.

 -- Función: sconc (EXPR_1, ..., EXPR_N)
     Evalúa sus argumentos y los yuxtapone para formar una cadena. Esta función es similar a sconcat, pero devuelve una cadena de Maxima.

          (%i1) sconc("xx[",3,"]:",expand((x+y)^3));
          (%o1)             xx[3]:y^3+3*x*y^2+3*x^2*y+x^3
          (%i2) stringp(%);
          (%o2)                         true

 -- Función: scopy (STRING)
     Devuelve una copia nueva de la cadena STRING.

 -- Función: sdowncase (STRING)
 -- Función: sdowncase (STRING, START)
 -- Función: sdowncase (STRING, START, END)
     Convierte caracteres en minúscula a mayúscula. Véase también supcase.

 -- Función: sequal (STRING_1, STRING_2)
     Devuelve true si STRING_1 y STRING_2 son dos cadenas de caracteres iguales.

 -- Función: sequalignore (STRING_1, STRING_2)
     Igual que sequal pero no diferencia entre minúsculas y mayúsculas..

 -- Función: sexplode (STRING)
     El nombre sexplode es un seudónimo de la función charlist.

 -- Función: simplode (LIST)
 -- Función: simplode (LIST, DELIM)
     La función simplode admite como entrada una lista de expresiones para luego convertirla en una cadena de caracteres. Si no se utiliza la opción DELIM para indicar el delimitador, entonces simplode actúa como sconc y no hace uso de ninguno. El valor de DELIM puede ser cualquier cadena.

          (%i1) simplode(["xx[",3,"]:",expand((x+y)^3)]);
          (%o1)             xx[3]:y^3+3*x*y^2+3*x^2*y+x^3
          (%i2) simplode( sexplode("stars")," * " );
          (%o2)                   s * t * a * r * s
          (%i3) simplode( ["One","more","coffee."]," " );
          (%o3)                   One more coffee.

 -- Función: sinsert (SEQ, STRING, POS)
     Devuelve la concatenación de las cadenas substring (STRING, 1, POS - 1), SEQ y substring (STRING, POS). Nótese que al primer carácter de STRING le corresponde la posición 1.

          (%i1) s: "A submarine."$
          (%i2) sconc( substring(s,1,3),"yellow ",substring(s,3) );
          (%o2)                  A yellow submarine.
          (%i3) sinsert("hollow ",s,3);
          (%o3)                  A hollow submarine.

 -- Función: sinvertcase (STRING)
 -- Función: sinvertcase (STRING, START)
 -- Función: sinvertcase (STRING, START, END)
     Devuelve la misma cadena STRING pero con todos sus caracteres desde la posición START hasta END quedan invertidos, esto es, las mayúsculas se convierten en minúsculas y éstas en mayúsculas. Si no se incluye el argumento END, se invierten todos los caracteres desde START hasta el final de la cadena.

          (%i1) sinvertcase("sInvertCase");
          (%o1)                      SiNVERTcASE

 -- Función: slength (STRING)
     Devuelve el número de caracteres de STRING.

 -- Función: smake (NUM, CHAR)
     Construye una cadena de longitud NUM con todos sus caracteres iguales a CHAR.

          (%i1) smake(3,"w");
          (%o1)                          www

 -- Función: smismatch (STRING_1, STRING_2)
 -- Función: smismatch (STRING_1, STRING_2, TEST)
     Devuelve la posición del primer carácter de STRING_1 distinto del correpondiente a STRING_2. La respuesta será false si no existe tal carácter. Por defecto, la función de comparación es sequal. Si se quiere ignorar la diferencia entre mayúsculas y minúsculas, hágase uso de sequalignore para el argumento TEST.

          (%i1) smismatch("seven","seventh");
          (%o1)                           6

 -- Función: split (STRING)
 -- Función: split (STRING, DELIM)
 -- Función: split (STRING, DELIM, MULTIPLE)
     Devuelve la lista de todos los lexemas (tokens) de STRING. La función split utiliza DELIM como delimitador, y en caso de no ser utilizado este argumento, será utilizado el espacio en blanco como delimitador por defecto. El argumento MULTIPLE es una variable booleana con valor true por defecto. Los delimitadores múltiples se leen como uno solo, lo que resulta de utilidad si las tabulaciones son almacenadas como secuencias de espacios en blanco. Si a MULTIPLE se le asigna el valor false, se consirararán todos los delimitadores.

          (%i1) split("1.2   2.3   3.4   4.5");
          (%o1)                 [1.2, 2.3, 3.4, 4.5]
          (%i2) split("first;;third;fourth",";",false);
          (%o2)               [first, , third, fourth]

 -- Función: sposition (CHAR, STRING)
     Devuelve la posición del primer carácter de STRING que coincide con CHAR. Al primer carácter de STRING le corresponde la posición 1. Para cuando se quiera ignorar la diferencia entre mayúsculas y minúsculas, véase SSEARCH.

 -- Función: sremove (SEQ, STRING)
 -- Función: sremove (SEQ, STRING, TEST)
 -- Función: sremove (SEQ, STRING, TEST, START)
 -- Función: sremove (SEQ, STRING, TEST, START, END)
     Devuelve la cadena STRING pero sin las subcadenas que coinciden con SEQ. La función de comparación por defecto es sequal. Si se quiere ignorar la diferencia entre mayúsculas y minúsculas, hágase uso de sequalignore para el argumento TEST. Utilícense START y END para acotar la búsqueda. Al primer carácter de STRING le corresponde la posición 1.

          (%i1) sremove("n't","I don't like coffee.");
          (%o1)                   I do like coffee.
          (%i2) sremove ("DO ",%,'sequalignore);
          (%o2)                    I like coffee.

 -- Función: sremovefirst (SEQ, STRING)
 -- Función: sremovefirst (SEQ, STRING, TEST)
 -- Función: sremovefirst (SEQ, STRING, TEST, START)
 -- Función: sremovefirst (SEQ, STRING, TEST, START, END)
     Actúa de forma similar a la función sremove, pero sólo elimina la primera aparición de la subcadena seq.

 -- Función: sreverse (STRING)
     Devuelve una cadena con todos los caracteres de STRING en orden inverso.

 -- Función: ssearch (SEQ, STRING)
 -- Función: ssearch (SEQ, STRING, TEST)
 -- Función: ssearch (SEQ, STRING, TEST, START)
 -- Función: ssearch (SEQ, STRING, TEST, START, END)
     Devuelve la posición de la primera subcadena de STRING que coincide con la cadena SEQ. La función de comparación por defecto es sequal. Si se quiere ignorar la diferencia entre mayúsculas y minúsculas, hágase uso de sequalignore para el argumento TEST. Utilícense START y END para acotar la búsqueda. Al primer carácter de STRING le corresponde la posición 1.

          (%i1) ssearch("~s","~{~S ~}~%",'sequalignore);
          (%o1)                                  4

 -- Función: ssort (STRING)
 -- Función: ssort (STRING, TEST)
     Devuelve una cadena con todos los caracteres de STRING en un orden tal que no haya dos caracteres sucesivos C y D que verifiquen que test (C, D) sea igual false y test (D, C) igual a true. La función de comparación TEST por defecto es  CLESSP, siendo el conjunto de posibles valores para este argumento {clessp, clesspignore, cgreaterp, cgreaterpignore, cequal, cequalignore}.

          (%i1) ssort("I don't like Mondays.");
          (%o1)                    '.IMaddeiklnnoosty
          (%i2) ssort("I don't like Mondays.",'cgreaterpignore);
          (%o2)                 ytsoonnMlkIiedda.'

 -- Función: ssubst (NEW, OLD, STRING)
 -- Función: ssubst (NEW, OLD, STRING, TEST)
 -- Función: ssubst (NEW, OLD, STRING, TEST, START)
 -- Función: ssubst (NEW, OLD, STRING, TEST, START, END)
     Devuelve una cadena similar a STRING pero en la que aquellas subcadenas coincidentes con OLD han sido sustituidas por NEW. Las subcadenas OLD y NEW no necesitan ser de la misma longitud. La función de comparación por defecto es sequal. Si se quiere ignorar la diferencia entre mayúsculas y minúsculas durante la búsqueda de OLD, hágase uso de sequalignore para el argumento TEST. Utilícense START y END para acotar la búsqueda. Al primer carácter de STRING le corresponde la posición 1.

          (%i1) ssubst("like","hate","I hate Thai food. I hate green tea.");
          (%o1)          I like Thai food. I like green tea.
          (%i2) ssubst("Indian","thai",%,'sequalignore,8,12);
          (%o2)         I like Indian food. I like green tea.

 -- Función: ssubstfirst (NEW, OLD, STRING)
 -- Función: ssubstfirst (NEW, OLD, STRING, TEST)
 -- Función: ssubstfirst (NEW, OLD, STRING, TEST, START)
 -- Función: ssubstfirst (NEW, OLD, STRING, TEST, START, END)
     Actúa de forma similar a la función subst, pero sólo hace la sustitución en la primera coincidencia con OLD.

 -- Función: strim (SEQ,STRING)
     Devuelve la cadena STRING pero recortando los caracteres de SEQ que tuviese en sus extremos.

          (%i1) "/* comment */"$
          (%i2) strim(" /*",%);
          (%o2)                        comment
          (%i3) slength(%);
          (%o3)                           7

 -- Función: striml (SEQ, STRING)
     Actúa de forma similar a strim, pero sólo recorta en el extremo final de STRING.

 -- Función: strimr (SEQ, STRING)
     Actúa de forma similar a strim, pero sólo recorta en el extremo inicial de STRING.

 -- Función: substring (STRING, START)
 -- Función: substring (STRING, START, END)
     Devuelve la subcadena de STRING que comienza en la posición START y termina en la posición END. El carácter en la posición END no se incluye. En caso de no suministrarse el argumento END, la subcadena se extenderá hasta el final. Al primer carácter de STRING le corresponde la posición 1.

          (%i1) substring("substring",4);
          (%o1)                        string
          (%i2) substring(%,4,6);
          (%o2)                          in

 -- Función: supcase (STRING)
 -- Función: supcase (STRING, START)
 -- Función: supcase (STRING, START, END)
     Devuelve la cadena STRING con todos sus caracteres entre las posiciones START y END en minúscula transformados a mayúscula. En caso de no suministrarse el argumento END, los cambios se extenderán hasta el final.

          (%i1) supcase("english",1,2);
          (%o1)                        English

 -- Función: tokens (STRING)
 -- Función: tokens (STRING, TEST)
     Devuelve la lista de todos los lexemas (tokens) de STRING. Los lexemas son subcadenas cuyos caracteres satisfacen la  condición TEST. Si no se suministra el argumento TEST, se utilizará la condición CONSTITUENT, siendo el conjunto de las otras alternativas {constituent, alphacharp, digitcharp, lowercasep, uppercasep, charp, characterp, alphanumericp}.

          (%i1) tokens("24 October 2005");
          (%o1)                  [24, October, 2005]
          (%i2) tokens("05-10-24",'digitcharp);
          (%o2)                     [05, 10, 24]
          (%i3) map(parsetoken,%);
          (%o3)                      [5, 10, 24]