Викитека:Проект:OCR

Задания для участников

• Заявки на распознавание (134)

Целью проекта является совместная работа по распознаванию и сверке отсканированных текстов. Сами сканы хранятся на Викискладе, для сверки текста и скана в Викитеке используются специальные пространства имен Индекс и Страница.

Технически распознавание текста происходит с помощью установленного расширения Proofread Page (обсуждение расширения см. в oldwikisource).

Последовательность действий

1. Разместите сканы на Викискладе

Рис. 1. Djvu-файл как изображение

Сканы текстов, не охраняемых авторским правом, как найденные в сети, так и произведенные специально для Викитеки, следует размещать на Викискладе в commons:Category:Scanned Russian texts. При этом важно выяснить, перешло ли само произведение в общественное достояние (ОД)(см. Справка:Авторские права ). Фотографические копии произведений, находящихся в ОД, не могут быть защищены авторским правом, потому что в них отсутствует новизна. Сканированный документ находится в ОД даже при наличии современного добавления в виде надписи, не имеющей существенной творческой составляющей, или «лицензионного соглашения» с необоснованными претензиями на исключительные авторские права в отношении этого документа.

Допустимы форматы djvu, pdf, jpg и gif. При этом Djvu и Pdf-файлы можно просматривать/вставлять в статьи как обычные изображения (см., напр., рис. 1).

Обычно конвертация в djvu-файл приводит к уменьшению размера документа без существенной потери качества, поэтому рекомендуется переводить все файлы в формат djvu с разрешением 300—400 dpi, используя, напр., бесплатный сервис http://any2djvu.djvuzone.org/.

Размещая в Викитеке текст, сканы которого имеются на Викискладе, дайте на него ссылку в графе ИСТОЧНИК шаблона {{Отексте}}:

|ИСТОЧНИК={{Источник|Имя файла.djvu|Описание}}

Если Вы не можете загрузить файл на Викисклад по тем или иным причинам, напишите об этом на нашем форуме, указав адрес нужного файла в интернете.

Разместите в Викитеке, распознайте, оформите

Индексы

Цель: создание навигации по сканам, в т. ч. и разрозненным.

Создайте страницу в пространстве имён Индекс с названием, совпадающим с названием файла.

Пример: Файл:Lexicon-01 (Pluchart).djvu → Индекс:Lexicon-01 (Pluchart).djvu.

Чтобы создать индекс (список страниц) для файла Название.djvu, загруженного на Викисклад, откройте [[Файл:Название.djvu]] в Викитеке (обратите внимание, что файл Вы загружали на сайт commons.wikimedia.org, а теперь нужно найти его на сайте Викитеки ru.wikisource.org/wiki/Файл:<имя файла>) и перейдите по ссылке «Ссылка на страницу индекса» (размещается вверху страницы). Если Индекса ещё не существует, появится форма, при заполнении которой Вы можете его создать.

В поле «Страниц:» нужно вставить команду <pagelist/>, которая создаёт список всех страниц файла.

По умолчанию все страницы нумеруются арабскими цифрами, начиная с единицы. Часто нужно изменить порядок нумерации, т. к. в сканированном файле могут быть титульный лист (не нумеруется), блок предисловия (имеет отдельную нумерацию), вклейки (не нумеруются) и т. п. Для корректного отображения номеров страниц в индексе применяются параметры команды <pagelist/>:

<pagelist from=X to=Y Z=foo AtoB=bar />

Здесь X, Y, A, B и Z — номера страниц (имеются в виду фактические страницы файла), например from=1 to=100. Например, команда:

<pagelist from=1 to=100 5="-"/>

создаст список из ста страниц, пятая будет отображаться прочерком.

Если нужно вывести все страницы книги, то параметры from и to можно не указывать.

Для задания стиля отображения целому диапазону страниц используется параметр AtoB, например, 20to30. Так, команда

<pagelist 10to20="-"/>

создаст список всех страниц файла, страницы с 10 по 20 будут отображены прочерком.

Чтобы создать нумерацию римскими цифрами, используйте параметр "roman" или "highroman" (малые и большие римские цифры соответственно). Например, чтобы страница 4 выводилась римскими цифрами, нужно написать 4=roman, чтобы страницы с 10 по 20 выводились римскими цифрами, нужно написать 10to20=roman. Так, команда

<pagelist 10to20=roman/>

создаст список всех страниц файла, страницы с 10 по 20 будут отображены римскими цифрами.

Чтобы не отображать номера страниц, используйте параметр "empty".

<pagelist 10to20=empty/>

Чтобы начать нумерацию заново с какой-то цифры, следует использовать параметр N=X, где N — номер физической страницы в файле, X — желаемый номер. Например, 3=1 — начиная с третьей страницы файла страницы будут нумероваться заново, начиная с единицы.

Рассмотрим конкретный пример с часто встречающейся ситуацией. Допустим, в отсканированном файле (djvu или pdf) 200 страниц, первые две — обложка и форзац (не нумеруются), дальше 10 страниц предисловия (нумеруется римскими цифрами), с тринадцатой страницы начинается основной текст, нумеруемый арабскими цифрами с единицы, в середине книги (начиная с 210-й страницы файла) находится 10 страниц вклеек (не нумеруются), последние две страницы файла (501 и 502) — скан заднего форзаца и обложки (не нумеруются). Чтобы описать такую ситуацию, используем команду

<pagelist 1to2="-" 3to12=roman 3=1 13=1 210to219="-" 220=198 501to502="-"/>

См. для примера Индекс:Spisok voennyh sudov 1688-1850.djvu

Все индексы собраны в Категория:Индекс.

В зависимости от уровня готовности (см. ниже) страницы в этом списке окрашиваются в один из цветов, соответствующих этому уровню.

Список индексов с уровнями их готовности можно посмотреть здесь.

Страницы

Создав документ Страница:Название.djvu/Номер страницы или просто нажав на красные ссылки в индексе, можно перейти на соответствующую страницу djvu-файла: при этом справа появится скан, который можно сохранить как jpg-рисунок, слева — окно для ввода текста.

В Викитеке нет встроенной возможности распознавания текста, но имеется возможность обратиться к другим участникам Викитеки с просьбой срочно распознать ту или иную страницу. Для этого следует разместить на соответствующей странице шаблон {{OCR}}.

Среди кнопок, появляющихся над окном для ввода текста, следует обратить внимание на [+]. Нажав её, можно открыть ещё два окна — верхний и нижний колонтитулы.

Если нужно увеличить фрагмент изображения, достаточно кликнуть по нему мышкой и затем выделить прямоугольный фрагмент — этот фрагмент растянется на всё окно вывода изображения.

После редактирования текста нужно установить для него степень готовности.

Устанавливаются четыре уровня готовности текстов:

↗ Без текста
пустая страница	→ Не вычитана	→ Вычитана	→ Проверена
	↘ Проблемная ↗

Последний уровень готовности (Проверена) можно установить только для страниц, которые уже имеют уровень готовности Вычитана, причём установить его может только другой редактор. Таким образом, эта степень готовности требует работы над текстом не менее двух участников.

Все страницы по степени вычитки упорядочены в Категория:Вычитка страниц.

Викитека не претендует на полное сохранение оформления текстов (размер и гарнитура шрифта, точное положение на странице и т. п.). Достаточно разумного приближения к этому оформлению с обязательным сохранением самого текста в полном объёме (за исключением номеров страниц и типографских пометок).

Автоматическое извлечение текстового слоя

Форматы pdf и djvu могут содержать текстовый слой. На 25 апреля 2010 г. работает автоматическое извлечение текстового слоя только для формата djvu — он появится при первом редактировании страницы. Автоматическое извлечение текстового слоя из формата pdf в планах разработчиков.

Особенности заполнения страницы со старой орфографией

1. Если предполагается создавать текст в основном пространстве при помощи шаблона {{Страница}} (см. ниже), то можно порекомендовать использовать удобный шаблон {{ВАР}} — на каждой странице можно записать текст и в старой, и в новой орфографии (см. пример), а потом при создании страницы в основном пространстве имён будет автоматически выбран подходящий вариант в зависимости от того, имеется ли суффикс ДО («дореформенная орфография») или нет.
2. Для текстов в ДО в верхний колонтитул (открывается кнопкой [+] вверху страницы) следует добавить <div class="oldspell"> или <div class="oldspell-indent">, в нижний — </div> — это улучшит читаемость текста.

Тексты

Теперь нужно перенести текст из пространства имён Страница в основное пространство имён. Это можно сделать тремя способами.

Первый способ вставки (c помощью Labeled Section Transclusion extension)

Воспользоваться установленным для Викитеки расширением Labeled Section Transclusion. Для того чтобы поместить текст страницы целиком, используется такой формат:

{{#lst:НАЗВАНИЕ_ СТРАНИЦЫ}}

Здесь НАЗВАНИЕ_ СТРАНИЦЫ — название страницы вместе с соответствующим обозначением пространства имён (например, Страница:Анна Каренина part 1-4.pdf/14). Пример оформления такого включения:

{{#lst:Страница:Страница:Анна Каренина part 1-4.pdf/14}}

Часто возникает ситуация, когда нужно включить только часть какой-то страницы (например, когда на одной странице находится и окончание предыдущей главы, и начало следующей). В этом случае на странице помечаются секции. Для этого нужно заключить нужную часть между тегами <section begin=НАЗВАНИЕ_СЕКЦИИ /> и <section end=НАЗВАНИЕ_СЕКЦИИ />. Например, если на одной странице есть окончание третьей главы и начало четвёртой, следует оформить её так:

<section begin=III />
Здесь текст окончания третьей главы.
<section end=III />
<section begin=IV />
Здесь текст начала четвертой главы.
<section end=IV />

Для того чтобы вставить только текст из определенной секции, нужно написать

{{#lst:НАЗВАНИЕ_ СТРАНИЦЫ|НАЗВАНИЕ_СЕКЦИИ}}

Вы можете посмотреть реальный пример такого оформления на странице Страница:Анна Каренина part 1-4.pdf/14. Для этой страницы вставка будет выглядеть следующим образом:

а) чтобы вставить всю страницу целиком (конец третьей главы и начало четвёртой):

{{#lst:Страница:Анна Каренина part 1-4.pdf/14}}

б) чтобы вставить только конец третьей главы:

{{#lst:Страница:Анна Каренина part 1-4.pdf/14|III}}

в) чтобы вставить только начало четвёртой главы:

{{#lst:Страница:Анна Каренина part 1-4.pdf/14|IV}}

В качестве названия секции можно использовать любой набор символов. Однако названия, содержащие пробелы, диакритические знаки или русские буквы интерпретируются корректно, если брать их в кавычки. Напр., на стр. Страница:Annenkov1878 bot slovar.djvu/25 словарная статья Abrōma выделена след. образом:

<section begin="Abrōma"/>{{Razr|{{langb|la|Abrōma}}}} ... <section end="Abrōma" />

Вместо набора тегов можно использовать сокращенную форму, напр.,

## "Agaricus conicus" ##
Текст секции Agaricus conicus
## "Agaricus deliciosus" ##
Текст секции Agaricus deliciosus

Второй способ вставки (c помощью шаблона {{Страница}})

Более удобный способ — использование шаблона {{Страница}} (особенности применения шаблона см. на его странице описания). Этот шаблон позволяет не только вставить содержимое страницы, но и указать её номер слева от текста.

Важно. Для применения этого шаблона нужно указать достаточный отступ (поля страницы). Это можно сделать заключив текст между шаблонами {{OCR-on}} и {{OCR-off}} или указать стиль <div style="margin:0 auto;text-align:justify;width:45em;" class="pagetext">.

Пример применения шаблона.

а) чтобы вставить всю страницу целиком (конец третьей главы и начало четвёртой) и при этом указать номер страницы (16-я):

{{OCR-on}}
{{Страница|Анна Каренина part 1-4.pdf/14|num=16}}
{{OCR-off}}

б) чтобы вставить только конец третьей главы (также указав при этом номер страницы):

{{OCR-on}}
{{Страница|Анна Каренина part 1-4.pdf/14|num=16|section=III}}
{{OCR-off}}

в) чтобы вставить только начало четвёртой главы:

{{OCR-on}}
{{Страница|Анна Каренина part 1-4.pdf/14|num=16|section=IV}}
{{OCR-off}}

Содержимое колонтитулов страницы при этом игнорируется.

Третий способ вставки (c помощью команды <pages/>)

Команда <pages/> наиболее удобна, т. к. позволяет быстро включить целый диапазон страниц с уже заполненным верхним и нижним колонтитулами, а также нумерацией страниц. В русской Викитеке нижний колонтитул по умолчанию пустой, а для верхнего используется стандартный шаблон {{Отексте}}, которому из индекса передаются параметры Автор книги, Название книги, Год публикации и Источник

Автоматически передаются также данные для следующей части, предыдущей и текущей. Чтобы эта функция работала, нужно соблюсти такие условия:

а) на странице индекса создать оглавление со ссылками на части (главы, разделы) в основном пространстве
б) количество ссылок в основном пространстве должно быть равно числу частей (глав, разделов) + 1, при этом первая ссылка должна быть в поле индекса Заголовок (Название книги).

Если в индексе будут ещё ссылки в основном пространстве имён, то переходы корректно не будут работать. Чтобы сделать ссылку на каждой странице на страничку автора, просто напишите его имя в соответствующем поле индекса в полной форме (как называется страничка автора) или сделайте перенаправление с краткого имени.

Применение команды <pages/>:

<pages index="НАЗВАНИЕ_ИНДЕКСА" from=СТРАНИЦА1 to=СТРАНИЦА2 />

При такой записи команды вставляются только страницы со СТРАНИЦА1 по СТРАНИЦА2 включительно, при этом каждой странице предваряется её номер. В русской Викитеке номера отображаются слева от текста, поэтому, как и в случае с использованием шаблона {{Страница}}, нужно задать достаточные поля, либо заключив команду между шаблонами {{OCR-on}} и {{OCR-off}}, либо указав стиль <div style="margin:0 auto;text-align:justify;width:45em;" class="pagetext">, либо задав в качестве параметра header=2 (см. ниже). Кликнув на номер, можно открыть страницу для редактирования.

Ещё удобнее применять команду <pages/> с параметром header. В этом случае автоматически подставляются верхний и нижний колонтитул, как указано в начале этого раздела.

<pages header=1 index="НАЗВАНИЕ_ИНДЕКСА" from=СТРАНИЦА1 to=СТРАНИЦА2 />

Параметр header определяет, как будет выглядеть текст

Значение параметра header	Что происходит с текстом
1, 1001, 2001, 3001, 4001, 5001	Только выводится заголовок. Поля и стиль текста нужно определять самостоятельно
2, 1002, 2002, 3002, 4002, 5002	Выводится заголовок и автоматически задаются поля при помощи шаблонов {{OCR-on}} и {{OCR-off}}
3, 1003, 2003, 3003, 4003, 5003	Выводится заголовок, автоматически задаются поля при помощи шаблонов {{OCR-on}} и {{OCR-off}}, текст оформляется стилем «indent»
4, 1004, 2004, 3004, 4004, 5004	Выводится заголовок, автоматически задаются поля при помощи шаблонов {{OCR-on}} и {{OCR-off}}, текст оформляется стилем «text»
5, 1005, 2005, 3005, 4005, 5005	Выводится заголовок, автоматически задаются поля при помощи шаблонов {{OCR-on}} и {{OCR-off}}, текст оформляется стилем «oldspell»
6, 1006, 2006, 3006, 4006, 5006	Выводится заголовок, автоматически задаются поля при помощи шаблонов {{OCR-on}} и {{OCR-off}}, текст оформляется стилем «oldspell-indent»
7, 1007, 2007, 3007, 4007, 5007	Выводится заголовок, автоматически задаются поля при помощи шаблонов {{OCR-poem-on}} и {{poem-off}} (для стихотворений)

В этой записи число тысяч соответствует уровню качества текста, как принято кодировать в шаблоне {{Отексте}} (то есть header=1004 и header=4004 выдадут одинаковое оформление, но в первом случае качество будет 1 (25%), а во втором — 4 (100%)). Уровень качества 5 (т. е. значения параметра header 5001, 5002, 5003, 5004 и 5005) подавляет вывод категории КАЧЕСТВО.

Чтобы указать, какие разделы (section) нужно включить, используйте параметры fromsection=СЕКЦИЯ1 и tosection=СЕКЦИЯ2.

Пример:

Чтобы включить текст третьей главы романа Л. Н. Толстого Анна Каренина издания 1903 года (страницы в книге 11—16, фактические страницы в индексе — 9—14) со вставкой колонтитула, нужно написать:

{{OCR-on}}<div class="indent">
<pages header=1 index="Анна Каренина part 1-4.pdf" from=9 to=14 fromsection=III tosection=III/>
{{OCR-off}}</div>

В этой записи:

• шаблоны {{OCR-on}} и {{OCR-off}} устанавливают поля
• определение класса <div class="indent">...</div> задаёт отступы для абзацев
• параметр header=1 указывает, что надо выводить колонтитул (на базе шаблона {{Отексте}} с указанием названия книги, автора, даты публикации и источника)
• параметры from=9 и to=14 указывает, какие страницы индекса нужно включать (обратите внимание, что указывать следует фактические страницы индекса, но нумерация страниц будет соответствовать нумерации книги, как это задано командой <pagelist/>)
• параметры fromsection=III и tosection=III указывают, какие именно секции (разделы) в первой и последней страницах диапазона нужно включать (в нашем случае для первой страницы — начало третьей главы, для последней — её окончание)

Пример:

Чтобы включить текст третьей главы романа Л. Н. Толстого Анна Каренина издания 1903 года (страницы в книге 11—16, фактические страницы в индексе — 9—14) со вставкой колонтитула, нужно написать:

<div class="indent">
<pages header=2 index="Анна Каренина part 1-4.pdf" from=9 to=14 fromsection=III tosection=III/>
</div>

Этот пример отличается от предыдущего только тем, что в нём не задаются поля при помощи шаблонов {{OCR-on}} и {{OCR-off}}, а добавляются автоматически (так как используется параметр header=2, а не header=1).

Пример:

Чтобы включить текст третьей главы романа Л. Н. Толстого Анна Каренина издания 1903 года (страницы в книге 11—16, фактические страницы в индексе — 9—14) со вставкой колонтитула, нужно написать:

<pages header=3 index="Анна Каренина part 1-4.pdf" from=9 to=14 fromsection=III tosection=III/>

Этот пример отличается от предыдущего только тем, что в нём не задаётся вручную оформление текста стилем «indent», это происходит автоматически, т. к. указан параметр header=3.

Соединение страниц

Все три упомянутых выше способа соединяют страницы, добавляя между ними пробел. Это полезно, когда на следующей странице идёт продолжение абзаца, начатого на предыдущей, но может быть вредным в двух случаях:

а) на предыдущей странице находится слово, разорванное переносом и оканчивающееся на следующей странице. В этом случае на странице печатают начало слова, до знака переноса, затем, в окружении тега noinclude, знак переноса, затем, в окружении тега includeonly остаток слова. На следующей странице в начале печатают окончание слова с последующим пробелом в окружении тега noinclude.

Пример, если в конце страницы разорванное слово «успешный» написано« успеш-ный», то оформление следует делать так:

В конце первой страницы:

успеш<noinclude>-</noinclude><includeonly>ный</includeonly>

В начале следующей страницы:

<noinclude>ный </noinclude>

Обратите внимание на пробел после «ный» внутри тега.

б) новая страница начинается новым абзацем. С этим можно бороться двумя путями. Нерекомендованный способ (при использовании Labeled Section Transclusion и шаблона {{Страница}}) — располагать строки не подряд, а с отступом на одну строку, например:

{{#lst:Страница:Анна Каренина part 1-4.pdf/216}}

{{#lst:Страница:Анна Каренина part 1-4.pdf/217}}

или

{{Страница|Анна Каренина part 1-4.pdf/216|num=218}}

{{Страница|Анна Каренина part 1-4.pdf/217|num=219}}

Рекомендованный способ — сразу при правке страницы, которая начинается новым абзацем, оставлять сверху одну строку отступа. Так как пустая строка отступа автоматически удаляется при сохранении, нужно поставить пустой комментарий (<!---->).

<!---->

Начало нового абзаца.

См. пример.

Цветовой индикатор

На каждой странице в основном пространстве, где есть включение текста из пространства Страница, вы можете видеть цветовой индикатор в верхней части страницы, под названием (см. пример). Этот индикатор позволяет кратко оценить качество подготовки страниц, использованных в этом тексте.

Например, если индикатор выглядит так:

В этом примере 40% текста проверено, 30% вычитано, 25% не вычитано, 5% — проблемные страницы. Он содержит также скрытую ссылку на индекс, которая может быть перехвачена локальным яваскриптом.

Участники

• Bkmd 19:18, 7 ноября 2008 (UTC)
• ChVA (Виталий Чихарин)

Шаблоны

Шаблон	Для чего служит
{{Страница}}	Для включения текста страницы (или секции страницы)
{{OCR-on}} и {{OCR-off}}	Для задания полей при включения текста страницы с использованием шаблона {{Страница}} или команды <pages/>
{{OCR-poem-old}}
{{OCR}}	Можно устанавливать на страницах, для которых требуется распознавание орфографии
{{ВАР}}	Удобный способ включения текстов в обеих орфографиях (новой и дореформенной) при использовании шаблона {{Страница}}
{{DO-on}} и {{DO-off}} {{NO-on}} и {{NO-off}}	Способ включения текстов, содержащих таблицы, в обеих орфографиях (новой и дореформенной) при использовании шаблона {{Страница}}
{{DO-ref}} и {{NO-ref}}	Способ добавления сносок в тексты, оформленные с помощью шаблонов {{DO-on}} — {{DO-off}} и {{NO-on}} — {{NO-off}}

Системные сообщения и специальные шаблоны (могут редактироваться только участниками с соответствующими полномочиями)

Системное сообщение или специальный шаблон по викитекам				Для чего служит
Русскоязычная	Англоязычная	Немецкоязычная	Франкоязычная
{{Index}}	Proofreadpage index template	Proofreadpage index template	Proofreadpage index template	Отображение информации на странице индекса
Proofreadpage index attributes	Proofreadpage index attributes	Proofreadpage index attributes	Proofreadpage index attributes	Расположение полей при редактировании страницы индексов, подписи этих полей
Proofreadpage js attributes	Proofreadpage js attributes	Proofreadpage js attributes	Proofreadpage js attributes	Список полей, передающихся из индекса при использовании команды <pages/>
Proofreadpage header template	Proofreadpage header template	Proofreadpage header template	Proofreadpage header template	Верхний колонтитул, автоматически создающийся при использовании команды <pages/> с параметром header.
Proofreadpage footer template	Proofreadpage footer template	Proofreadpage footer template	Proofreadpage footer template	Нижний колонтитул, автоматически создающийся при использовании команды <pages/> с параметром header.
Proofreadpage_pagenum_template	Proofreadpage_pagenum_template	Proofreadpage_pagenum_template	Proofreadpage_pagenum_template	Номер страницы, который автоматически выводится при использовании команды <pages/> (номер страницы берётся из индекса, где должен быть определён командой <pagelist/>)

Используемые расширения (установлены в русскоязычной Викитеке)

Расширение	Для чего служит
Proofread Page	Расширение для работы со сканами бумажных книг в Викитеке а) Страница расширения б) Страница с описанием расширения на multilingual Wikisource в) Обсуждение расширения на multilingual Wikisource
Labeled Section Transclusion	Включение текста из одной страницы в другую (описано как первый способ включения из пространства имён Страница в основное пространство имён — см. выше)

Ссылки

• Shared Scripts — интересный набор скриптов, улучшающий, облегчающий работу со сканами и добавляющий новые возможности. Как минимум часть будет установлена в русскоязычной Викитеке.

Примечания

	Оцифровка книг в Википедии?
	Оцифровка печатных текстов в Викиучебнике?
	Category:Scanned Russian texts на Викискладе?