Notas do Neto

A algumas semanas atrás, fiquei responsável por realizar testes de carga em uma sistema web da Univali que foi desenvolvido para o processo de Avaliação Institucional, no qual todos os alunos e professores devem preencher um questionário avaliando as disciplinas, os professores, os coordenadores de curso… ou seja, a universidade como um todo.

Fiquei com esta tarefa, pois a alguns anos também sou responsável pelo teste de carga da aplicação responsável pela processo de matrícula via Internet.

A tarefa é “simples”: consiste em monitorar o uso de recursos de todos os servidores envolvidos no processo (servidores web, banco de dados, etc) e aplicar uma carga que deverá simular um número n de usuários efetuando um determinado processo (preenchendo um formulário, navegando em um site, etc) em um período de tempo. O objetivo é dizer quantos usuários simultâneos poderão estar utilizando o sistema com um tempo de resposta aceitável e de forma que os recursos de hardware/software não sejam consumidos completamente.

Esse “número mágico” é utilizado para definirmos se um processo será dividido por grupos de pessoas em vários dias ou se será necessário a adição de mais servidores no farm.

Bem, por que estou escrevendo isso? porque até o início do ano eu costumava utilizar um software da Microsoft para efetuar os testes de carga chamado Web Application Stress Tool. Infelizmente para algumas aplicações web eu não conseguia efetuar o teste corretamente, simulando um usuário real no sistema. Dessa vez tentei evoluir um pouco e decidi fazer a aplicação em Shell Script!

A experiência foi muito boa, confesso que consegui obter um resultado satisfatório e ter uma flexibilidade imensa para criar o programa. Abaixo um descrição de um dos teste executados com 500 usuários simultâneos:

Foram utilizados 500 usuários que efetuaram o processo de login na Intranet no intervalo de 5 minutos. Estava sendo disparado o acesso de exatamente 5 usuários a cada 3 segundos. Após efetuar o login, o ???usuário??? passava para a tela onde encontram-se os formulários de avaliação institucional e em seguida escolhia o primeiro formulário de avaliação referente a disciplina. Neste ponto foi adicionado um intervalo que varia de 2 a 3 minutos referente ao preenchimento do formulário. Após a conclusão o mesmo era salvo e o usuário escolhia um novo formulário. Este processo se repetiu no total de 8 vezes, sendo 5 para formulários de disciplinas cursadas e 3 referentes ao curso (Curso, coordenador e auto-avaliação). Ao final o usuário efetuava o processo de Logout da Intranet.

Para o teste de cargas utilizei principalmente o curl auxiliado por diversas outras ferramentas encontradas no shell padrão de qualquer distro. Para o monitoramento também foram criados scripts que coletavam informações como uso de CPU, memória, conexões simultâneas, processos do apache em execução e outras informações relevantes.
Acho que é isso… gostaria apenas de compartilhar mais uma idéia que podê ser resolvida com shell scripts. Quem sabe futuramente transformo esse meu conhecimento em uma aplicação mais flexivel e fácil de configurar que suporte “farms” de clientes, geração de gráficos automaticamente (pois usei o Excel pra fazer isso e mais o que vier na cabeça.

Esse pequeno tutorial visa instalar o Oracle com a finalidade de recompilar o php com suporte ao oci8 (AKA Oracle Client). Pode ser utilizado também para efetuar a instalação de um servidor que seja o banco de dados propriamente dito, porém fica por sua conta selecionar os produtos corretos que deverão ser instalados e efetuar as otimizações de kernel necessárias. Este tutorial parte de uma instalação mínima do Debian 3.1 Sarge, contendo apenas os pacotes básicos.

1. Instalar o X-Window básico:
# apt-get install x-window-system

Efetuar a configuração conforme seu hardware.

2. Adicionar usuário e grupo para o Oracle:
# groupadd oinstall
# useradd oracle -g oinstall -s /bin/bash -d /opt/oracle
# passwd oracle
# mkdir /opt/oracle
# chown oracle:oinstall /opt/oracle

3. Instalar os pacotes necessários para efetuar a instalação:
# apt-get install libstdc++2.10-glibc2.2 gcc-2.95 libc-dev x-window-system

4. Linkar bibliotecas e o gcc necessários pelo oracle:
# cd /usr/lib
# ln -s libstdc++-libc6.2-2.so.3 libstdc++-libc6.1-1.so.2
# cd /usr/bin
# ln -sf gcc-2.95 gcc

5. Montar o CD número 1 do oracle:
# mount -oexec /dev/cdrom

6. Logar em outro terminal (Alt+F2) com o usuário oracle

7. Preparar para que o Xwindow inicie um Xterm, e inicia-lo:
$ echo /usr/bin/X11/xterm > .xinitrc
$ startx

8. Iniciar a instalação do oracle:
$ /media/cdrom/runInstaller

Durante a instalação, os produtos que devem ser instalados são:
- SQL Plus
- Oracle Call Interfaces
- Oracle Programmer

9. Após o final da instalação, adicionar as linhas abaixo no arquivo /etc/bash.bashrc:
export ORACLE_BASE=/opt/oracle
export ORACLE_HOME=/opt/oracle/OraHome1
export ORACLE_SID=unvp01
export ORACLE_TERM=xterm
export NLS_LANG=PORTUGUESE_BRAZIL.WE8ISO8859P1
export ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/data
LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
export LD_LIBRARY_PATH


# Set shell search paths
export PATH=$PATH:$ORACLE_HOME/bin


# CLASSPATH:
CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib
CLASSPATH=$CLASSPATH:$ORACLE_HOME/network/jlib

10. Por fim, adicionar o diretório de bibliotecas do oracle ao sistema:
# echo '$ORACLE_HOME/lib' >> /etc/ld.so.conf
# ldconfig

Como fiz um script que efetua o backup do IIS e recentemente fui questionado do procedimento de restore em caso de perda dos metadados do Microsoft Internet Information Services (IIS), abaixo escrevi um pequeno script que permite efetuar essa restauração:
@Echo off
set metadata="C:\WINDOWS\system32\inetsrv\MetaBack"
set iis= "c:\backup"
cd %iis%
copy iisBackup.* %metadata%
iisback /restore /b iisBackup /v 1
cd \
echo fim do restore


Básicamente são passados os parâmetros para efetuar a restauração (/restore) a descrição do arquivo de backup (/b iisBackup) e a versão (/v 1).

Alguns comandos úteis para instalação, remoção, informação e pesquisa de programas no Ubuntu e no Debian (via linha de comando). A apresentação dos comandos segue uma seqüência lógica do momento que instalamos até removermos um pacote.

Para pesquisarmos um pacote pelo nome:
hst:~# aptitude search iptraf
p iptraf - Interactive Colorful IP LAN Monitor
hst:~#

A primeira coluna (p) indica o estado do pacote, que pode ser:

i: Instalado
v: pacote virtual (um pacote que como dependência possui outros pacotes)
p: pacote não instalado
c: Removido, mas os arquivos de configuração ainda estão presentes
u: Desempacotado
B: Quebrado
C: Meio-configurado
H: meio-instalado
Agora, se quisermos pesquisar um pacote pela sua descrição, podemos utilizar o comando:

hst:~# aptitude search ~d"lan monitor"
p iptraf - Interactive Colorful IP LAN Monitor
hst:~#


Para obtermos maiores informações sobre um determinado pacote:

hst:~# aptitude show iptraf
Package: iptraf
State: not installed
Version: 2.7.0-7
Priority: optional
Section: net
Maintainer: Frederic Peters
Uncompressed Size: 745k
Depends: libc6 (>= 2.3.2.ds1-4), libncurses5 (>= 5.4-1)
Description: Interactive Colorful IP LAN Monitor
IPTraf is an ncurses-based IP LAN monitor that generates various network statistics including TCP info, UDP counts, ICMP
and OSPF information, Ethernet load info, node stats, IP checksum errors, and others.
hst:~#

Se for este o pacote que desejamos, para instalar basta executar o comando:

hst:~# aptitude install iptraf

Agora digamos que por algum motivo queremos remove-lo, para isso usamos o comando:

hst:~# aptitude remove iptraf

E por fim, para removermos os arquivos de configuração (que não são removidos pelo comando acima) executamos o comando:

hst:~# aptitude purge iptraf

Existem outros comandos interessantes como:

• update: Atualiza a lista de pacotes disponíveis no repositório apt;
• upgrade: Atualiza toda a distribuição para os pacotes mais recentes;
• clean: Remove todos os arquivos .deb que estão no cache (/var/cache/apt/archives);
• download: Baixa um pacote específico no diretório corrente.

Fontes:Installing Software on Debian e manpage do aptitude

Quem quiser montar um blog utilizando o Wordpress mas não tem onde hospedar ou não quer gastar com hosting, pode criar um de graça no próprio Wordpress. Para isso acesse o site, clique em “Get a WordPress Now!” preencha alguns informações básicas e pronto, seu blog estará no ar com link semelhante a http://seunome.wordpress.com.

Existem alguns comandos úteis que permitem reconfigurar alguns componentes do Debian ou até a distro inteira (como no primeiro boot). Segue abaixo uma pequena lista:

• apt-setup: Permite reconfigurar os repositórios APT, é a mesma interface carregada no primeiro boot;
• dpkg-reconfigure pacote: Efetua a reconfiguração de um pacote já instalado. Para isso, ele utiliza a mesma interface de configuração que é exibida quando um pacote é instalado (e se for aplicável ao pacote);
• base-config: Permite efetuar a configuração do sistema base do Debian com opções como Linguagem, Timezone, usuários e senhas, hostname, apt (o mesmo do apt-setup), instalar pacotes (necessita do pacote base-config instalado).

Bem, pra quem já teve problemas no Xwindow e não sabia exatamente o que executar para reconfigura-lo (eu gostava do Xconfigurator do RedHat ), pode executar o comando:
# dpkg-reconfigure xserver-xfree86

Hoje tive um problema ao desmontar um compartilhamento montado via samba, onde o servidor que estava sendo acessado (windows 2003) não possuia mais tal compartilhamento. Ao tentar desmontá-lo utilizando somente o comando umount, recebia uma mensagem informando que o dispositivo estava ocupado (Device is busy).

Ao tentar achar o processo que estava usando este compartilhamento (via fuser), recebia uma mensagem de permissão negada (access denied).
Decidi dar uma olhada na manpage do umount, e descobri que desde a versão 2.4.11 do kernel, existe uma opção (-l) chamada Lazy unmount cujo objetivo é forçar a o processo de desmontagem removendo todas as referências tão logo ele não esteja mais ocupado.

Um exemplo:

# umount -l /media/smb

As vezes é necessário executarmos um comando a cada n segundos para acompanhar algum processo que esteja rodando ou para analisarmos algum valor como por exemplo o uso de memória.

Para resolver este problema, existe um comando específico para isso, o Watch. Com ele podemos definir o tempo de atualização da exibição com a opção -n, e destacar os valores diferentes entre as exibições com a opção -d. O resultado é exibido em tela cheia no console.

Por exemplo, digamos que precisaremos acompanhar o uso de memória com o comando free a cada 1 segundo destacando as diferenças:

# watch -n 1 -d free -h

Para sair do modo de execução, basta pressionar [Ctrl]+c

Lembrando que caso o objeto de análise seja um arquivo texto como por exemplo um arquivo de Logs, você pode utilizar o comando tail com a opção -f. Com ele toda linha adicionada ao arquivo em análise será prontamente exibida na tela.

Por exemplo, para acompanharmos os logs gerados pelo sistema, podemos usar o comando:

# tail -f /var/log/messages

Uma dica importante, em alguns casos, como nos logs gerados pelo serviço de e-mail ou durante um processo de compilação (quando muitas mensagens são apresentadas na tela) se você quiser “parar” o scroll das mensagens, basta pressionar [Ctrl]+s. Para voltar a exibição normal, pressione a seqüência [Ctrl]+q.

Em um post passado, disponibilizei um programa feito em Shell Script que permite efetuar o backup do MySQL. Bem, efetuei algumas atualização que havia prometido, e agora já é possivel receber e-mail após a realização do backup e fazer copias também do PostgreSQL.

Características

• Arquivos individuais para cada bancos de dados: Permite gerar um arquivo compactado (gzip) para cada BD do seu programa de BD (MySQL ou PostgreSQL) ou,
• Arquivo único para todos os bancos de dados: Gera um único arquivo contendo o backup de todos os bancos de dados do programa de BD (MySQL ou PostgreSQL);
• Histórico de backup com limite máximo de versões anteriores: Ideal para casos onde é necessário restaurar o estado de um banco de dados de alguns dias atrás e o administrador não dispõe de nenhum software que gerencia o backup (Data Protector, Veritas, Tivoli, etc);
• Arquivos com nomes únicos: Caso você utiliza algum software responsável pelo gerenciamento do backup, basta não optar pelo histórico e toda vez que for executado o script os arquivos serão sobrescritos;
• Exclusão de Databases: Permite definir quais bancos de dados não serão copiados (funciona apenas quando for gerado arquivos individuais para cada banco de dados). Permite uma lista de exclusão por programa de BD (MySQL ou PostgreSQL);
• Backup por programa ou integrado: Permite que seja efetuado backup apenas do MySQL, apenas do PostgreSQL ou de ambos os programas na mesma execução;

Download:
backupBd.sh (Versão 1.1)

TODO

• Permitir a exclusão de databases mesmo quando optar-se pela geração de um único arquivo de backup;
• Recuperação de dados (script para restore de databases);
• Mais alguma coisa ?

Ah, todas as sugestões e críticas são bem vindas!

Por padrão o Gnome (que é a interface gráfica do Ubuntu) vem com o player de videos (e música) Totem. Por se tratar de uma distribuição GNU, o Totem vem sem os codecs “não livres” para mp3, DivX entre outros.

Existem básicamente duas bibliotecas para instalar os codecs no Totem: a GStreamer e o Xine. Após fazer alguns testes, percebi que o Xine possui um desempenho superior ao GStreamer (pelo menos na placa de video que teste – ATI Radeon 7500) na exibição de videos codificados com XviD.

Aqui é possível ver uma lista dos codecs de áudio e video suportados pelo Xine. O que me chamou a atenção, é que apenas o uso do Xine no totem, não me permitiu escutar arquivos mp3, sendo necessário então instalar o Gstreamer.

Sendo assim primeiro teremos que habilitar os repositórios Universe e Multiverse. Para isso, abra o menu Aplicações -> Adicionar Aplicações. Na janela que se abre, escolha o menu Configurações -> Repositórios e em seguida no botão Adicionar. Selecione os dois últimos checkboxes, Mantido pela comunidade (Universo) e Não Livres (Multiverso). Em seguida clique em Ok, Ok. Uma janela de Informações se abrirá solicitando que a lista de pacotes seja recarregada. Confirme-a.

Por fim para instalar os pacotes necessários, abra um terminal e execute o comando:
$ sudo apt-get install totem-xine gstreamer0.8-mad

Pronto, ao finalizar a instalação o sistema estará com suporte aos codecs do Xine e do GStreamer para execução de mp3 e videos em diversos formatos.

Uma dica, atualmente estou usando o player amaroK para escutar MP3. ?? muito bom, e por acaso hoje saiu no Dicas-l um post sobre ele..