Perl и Unicode Олег Алистратов Perl Mova – 2010

Зачем нужен Unicode?

Unicode в .ru

100 000 случайных сайтов

Top 350* сайтов

* По данным GoalEurope

История

Трафик: text/plain

Увеличение размера кириллического текста на 79%

Трафик: text/html

Увеличение размера HTML с русским текстом на 14%
Медианный размер 100

Трафик: gzipped

Производительность: платформы

Mobile Intel® Celeron® 560 @ 2.13 GHz, RAM 1 Gb Microsoft®

Строковые функции

Регулярные выражения

Регулярные выражения

use re 'debug';
$a =~ /\d/;
DIGIT
$a =~ /[0-9]/;
ANYOF[0-9]
$a =~ /(?:0|1|2|3|4|5|6|7|8|9)/;
TRIEC-EXACT[0-9]

Исходный файл в UTF-8

{
use utf8;
my $a = 'Привет!';
print

Символы и байты

use utf8; # or use encoding "cp1251";
my $a =

Исключения

chdir, chmod, chown, chroot, exec, link, lstat, mkdir, rename, rmdir, stat,

Encode

use utf8;
use Encode;
my $x = 'a → b';
$x = Encode::encode(
'windows-1251',

Символы

my $copy = "\x00a9";
my $copy = "\x{00a9}";
my $copy =

Регулярные выражения

my $copy = '©';
$copy =~ /\x{00a9}/;
$copy !~ /\p{Uppercase}/;
$copy =~ /\p{Other_Symbol}/;
$copy

IO

open(my $fh, "<:utf8", "file.txt");
open(my $fh, "<:encoding(UTF-8)", "file.txt");
open(my $fh, "<:encoding(cp1251)", "file.txt");
binmode(STDOUT, ":utf8");
RTFM

LWP

use LWP::UserAgent;
my $ua = LWP::UserAgent->new;
my $response = $ua->get("http://example.com");
if ($response->is_success) {
my

Базы данных

MySQL
$dbh->do('SET NAMES utf8');
$dbh->{mysql_enable_utf8} = 1;
PostgreSQL
$dbh->do("SET client_encoding TO 'UTF8'");
$dbh->{pg_enable_utf8} = 1;
SQLite
$dbh->{sqlite_unicode}

Конвертация БД

$ mysqldump db_name > dump.sql
$ iconv -f cp1251 -t utf-8

perl 5.12

Расширена поддержка классов и свойста символов до стандарта Unicode 5.2.0
use charnames