Функциональное программирование

Распределенный API: по 22 сервера в 2-х датацентрах (Америка, Европа).
Разнообразные клиентские

С чего все началось?

NoSql – <ключ значение>;
написана на Java;
аналог Google Big table;
не является заменой

Apache Avro — система сериализации данных.
Система использует JSON для определения структуры

AVRO – схема

HBase + Thrift-AVRO + .NET = ?

AVRO

AVRO

TCP Socket

TCP Socket

Workflow

META-DRIVEN;
результат – простая таблица;
возможность выполнять Map/Reduce;
сохранить отношения данных;

Требования

Проблемы

большие вложенные AVRO схемы до 1 000 000 строк;
AVRO не дружит

Что делать?

А давайте напишем свой DSL!

Разработка синтаксиса

А давай еще Join’s

А как быстро написать парсер?

Парсинг(синтаксический анализ текста)

ОБЩИЙ ПОДХОД

Парсер генератор на основе формальных языков (ANTLR).
Подключаемая библиотека комбинаторных парсеров (Sprache,

Написать руками

ANTLR (Another Tool for Language Recognition)
Расширенная форма Бэкуса — Наура

Генератор на

декларативный синтаксис;
строгое соблюдение грамматики;
не нужно думать о performance;
не нужно писать документацию.

Генератор

реализован как библиотека языка;
модульный и поддерживаемый;
полуавтоматическая генерация сообщений об ошибках;
backtracking и

никакого внешнего кода;
поддается к индивидуальным требованиям;
потенциально быстр, как только это возможно.

Рукописные

Причем тут функциональное прог-ие?

Основные концепции:
неизменяемые структуры данных;
чистые функции;
функции высших порядков;
рекурсия.

Императивное vs Функциональное

Написать примитивные парсеры(функции).
Написать функции для комбинирования.
Скомбинировать простые парсеры в более сложные.
PROFIT!

Don’t

type Parser = String -> Tree
type Parser = String -> (String,

Пишем простой комбинаторный парсер

Выражение : “42 + 5”

42 + 5

expression

+

Парсим простое выражение : “42 + 5”

Railroad - диаграмма

Грамматика в БНФ

Библиотеки с готовым набором комбинаторных парсеров для С#

небольшая библиотека, совместима .NET

Готовый код парсера для “42 + 5”

Ну, а как же без TDD?

Давайте усложним : “42 + 5 - 7”

Railroad - диаграмма

Грамматика в

Парсер на Sprache “42 + 5 - 7”

DSL (Domain-specific language) Пример: XPath, SQL;
использование NoSQL;
не хватает всей “Мощи” XML;
разработка

Что внутри?

Тип Result

Тип Input (обертка над string)

Начнем с простых парсеров

Пишем первый комбинирующий парсер

Parser

Parser

Then

Строим путь к LINQ’s query синтаксису

Комбинируем

Полный код на GitHub

Фрагмент из клипа Thrift shop ☺

HASL – HBase Avro Snapshot Language

прототип был написан за 1 вечер на Sprache;
был переписан на Superpower;
в

Что получилось достичь за 1 день?

Транформирует объекты в таблицу.
Ориентирован на AVRO-схему.
Селекторы для всех типов: object, type[],

Перформанс HASL - Основа

Core-I7 6700 3.40 GHz.
Windows server 2010.

3 424 знаков.
120 строк.
3 Join’а.
102 селектора.

Перформанс HASL - Результаты

Схема

Пример запроса

Результат

Спасибо за внимание!