Delete check-replay-repo.sh

This code was refactored to create the more-generally-callable
diff-repo.sh script which allows comparing two arbitrary URLs.

Create _repo_ref if needed

Add Makefile targets and prereq's to call make-ref-repo.sh to build
_repo_ref if it doesn't already exist. This way, "make all" in a
freshly-cloned Git copy will automagically build the _repo_ref repo,
which is needed for the svnreplay-based tests.

Fix t0001-diff-repo test descriptions

Move shared code to replay-lib.sh

* tests/replay-lib.sh (init_replay_repo): Move duplicated code from
  t01??*.sh scripts to create an empty repo for svnreplay to this
  shared function.
* tests/t010?*.sh: Use replay-lib.sh and init_replay_repo().

* tests/t010?*.sh: Respect $TEST_DIRECTORY shell variable rather
  than hard-coding `pwd`.

test-lib: test_expect_failure() expected failure is ok

The Git test-lib test_expect_failure() behavior is to call separate
test_known_ok/test_known_broken_failure helper tags which puts the
"known failure" results into separate buckets. This is the opposite
of what I want. I want test_expect_failure() to be the true-opposite
of test_expect_success(): if we expect a test to fail (i.e. exit 1),
then say the test passed if the command failed.

* tests/test-lib-functions.sh (test_expect_failure): Change
  test_expect_failure() to be the true-opposite of
  test_expect_success(): test succeeds if command exits with error
  code.

Improved unit-tests

Refactor the old-style make-replay-repo/check-replay-repo scripts
into the new test framework, for easier Makefile-based testing.

Test framework

Copy and modify parts of the Git test framework for usage here.

Use proper exit-codes

Use proper exit-codes, so shell-based callers can infer
success/failure of the command:
"exit 0" for success
"exit 1" for failure

Introduce 'svnancest' utility

Introduce a helper utility for calling find_svn_ancestors(), to show
full ancestry ("svn copy" history) for a given starting URL
(optionally at a specific revision).

* svn2svn/run/svnacest.py: Adding
* svn2svn/run/common.py (in_svn, is_child_path, join_path,
  find_svn_ancestors): Move common helper functions to new separate
  library, for sharing with svn2svn/run/svnacest.py.
* svn2svn/svnclient.py (valid_svn_actions): Move this constant here
  from svn2svn/run/svnreplay.py.

Rename main utility from 'svn2svn.py' to 'svnreplay.py'

Rename the main utility executable for several reasons:
* Avoid overlapping with the 'svn2svn' module subdirectory.
* Make way for having other support utilities in the top-level folder.

svn2svn v1.6.0

Proper quote-wrapping in test scripts

Wrap all path-variable references in double-quotes, so that if `pwd`
contains spaces bash will interpret things correctly. For URLs,
replace spaces with %20, though that's the extent of the
URL-encoding we try to do in these simple shell scripts.

Better "svn list" handling

* svn2svn/svnclient.py (list, _parse_svn_list_xml): Add a tag for
proper "svn list --xml" handling.
* svn2svn/run/svn2svn.py: Remove get_svn_dirlist() in favor of using
svnclient.list(). Replace all usages of run_svn("svn list") with
svnclient.list(), which eliminates all hacky .split("\n") cases.

* svn2svn/run/svn2svn.py (verify_commit): Move unconditioned "OK"
ui.status line behind an else, so that "OK" message isn't
incorrectly logged when "FAIL" message is logged.

Use "--ignore-externals" for "svn update" and "svn export"

* svn2svn/svnclient.py (update/remove/export): Introduce wrapper
functions for update/remove/export. For update and remove, pass
"--ignore-externals".

* svn2svn/svnclient.py: Rename private functions to have a leading
underscore.
* svn2svn/svnclient.py: Rename public functions to match svn
sub-command name: get_svn_info -> info, get_svn_status -> status,
get_prop_val -> propget, etc.

* svn2svn/run/svn2svn.py (verify_commit): Remove extraneous
safe_path() call. svnclient.run_svn_log() already handles this.

Correctly handle source_url/target_url with chars needing URL-encoding

Use urllib.unquote() to URL-decode source_url/target_url values.
All URLs passed to run_svn() should go through svnclient.safe_path()
and we don't want to end-up *double* urllib.quote'ing if the user-
supplied source/target URL's are already URL-encoded or have chars
which need URL-encoding.

* svn2svn/run/svn2svn.py (real_main): Maintain source_url/target_url
as URL-decoded values.
* svn2svn/run/svn2svn.py (gen_tracking_revprops, build_rev_map):
Translate "internal" source_url back to an "external" (URL-encoded)
value.
* svn2svn/svnclient (parse_svn_info_xml): URL-decode 'url' and
'repos_url' values, since all downstream consumers should want these
to be in the "internal" (URL-decoded) format.
* tests/make-ref-repo.sh: Add test-cases to further stress-test
URL-encoding/decoding.

README updates

svn2svn v1.5.0

Better path and URL encoding/escaping

* svn2svn/svnclient.py (safe_path): Creating to abstract building
paths which are safe to pass as svn command-line args. For URL's,
use urllib.quote() to URL-encode paths. For local paths, if file/dir
name includes "@", add a trailing "@" so svn doesn't get confused
about unintended text being parsed as a peg-revision.
* svn2svn/svnclient.py: Use safe_path() for all local and URL paths.
* svn2svn/run/svn2svn.py: Use svnclient.safe_path() for all local
and URL paths.

Skip ANSI escape color codes for NT

* svn2svn/ui.py (status): Don't try to write ANSI escape sequences
for color-mode for NT since cmd.exe doesn't support them.

Use shell.rmtree

* svn2svn/run/svn2svn.py: Use svn2svn.shell.rmtree rather than
shutil.rmtree, to fix Windows-compatibility issues.

Test scripts require /bin/bash

* tests/make-*.sh: She-bang /bin/bash, not /bin/sh.

Fix tag documentation

* svn2svn/ui.py (status): Fix documented default value of "truncate"
param.

Change verify-mode to report on all errors before raising exception

* svn2svn/run/svn2svn.py (verify_commit): Always finish a full pass,
writing out any error messages, and raise the VerificationError
exception at the end if needed.

* svn2svn/run/svn2svn.py (verify_commit): Make less verbose by
default. Show a progress message every 500 paths rather than logging
a message for every path.

README updates

Fix edge-case problem with continue handling for --keep-revnum mode

* svn2svn/run/svn2svn.py (real_main): Check for --keep-revnum
problem condition inside main loop rather than ahead, so that we
compare the last target_url revision to the *next* source_url rev to
be replayed, not the *last* source_url rev that was replayed.

* svn2svn/run/svn2svn.py (keep_revnum): Use BreakHandler to ensure
that "Committed revision ..." message is always shown if we ran a
keep-revnum mode "svn commit".

* svn2svn/run/svn2svn.py (real_main): Fix "Finished at source
revision ..." message to be more accurate, to display the last
source_url rev replayed. Previously, in some cases (e.g. keep-revnum
mode) this could display the *next* source_url rev to be replayed.

Don't allow starting a fresh (non-continue) replay into a non-empty target directory (by default)

* svn2svn/run/svn2svn.py (real_main): Prevent user from starting a
fresh replay into a non-empty target directory, since chances are
they wanted to do a continue instead. Introduce "--force" arg to
allow replaying into a non-empty target directory.

Don't use parser.error() for error messages

* svn2svn/run/svn2svn.py (real_main): Don't use parser.error() for
error messages.

* svn2svn/run/svn2svn.py (commit_from_svn_log_entry): Include source
revision # in "Committed revision ..." message, so output is still
useful in non-verbose mode.

* svn2svn/run/svn2svn.py (real_main): Rename "_tmp_wc_target" to
* "_wc_target_tmp" (keep-revnum temp WC), for "_wc_*" matching.

URL encode user-supplied source_url and target_url

* svn2svn/run/svn2svn.py (real_main): URL encode user-supplied
source_url and target_url values.

Be more quiet by default

* svn2svn/run/svn2svn.py (disp_svn_log_summary, real_main): Only
display source rev info for --verbose mode.

* svn2svn/run/svn2svn.py (commit_from_svn_log_entry): Move
"Committed revision %s." message down after the post-commit revprops
have been updated, since the commit+revprops are an atomic unit.

For options.keep_author, update via post-commit rev-prop

Rather than using "svn commit --username %author%", mirror the
source author info by setting the "svn:author" revprop post-commit
the same as we do for "svn:date" (options.keep_date). This frees us
up to be able to use --username in the future for legitimate
source/target repo auth.

* svn2svn/run/svn2svn.py (commit_from_svn_log_entry): Update
  "svn:author" via post-commit revprop rather than --username.
* README.mkd: Reflect new "svn:author" handling.

Prevent KeyboardInterrupt's during SVN commit

* svn2svn/run/breakhandler.py: Adding
* svn2svn/run/svn2svn.py (commit_from_svn_log_entry): Use
BreakHandler to ensure that "svn commit" and post-commit rev-prop
updating happen as an atomic unit.

Verify-mode

Add command-line args for verifying content and ancestry, i.e. for
self-testing the replay. Compare the source vs. target history to
make sure we ended-up with equivalent target revisions for each
applicable source revision.

* svn2svn/run/svn2svn.py (verify_commit): Adding.
* tests/make-ref-repo.sh: Add tests for source revisions which
we'll never have an equivalent target revision for, e.g.
svn:mergeinfo property changes.

More fixes to iter_svn_log_entries ancestry-handling

* svn2svn/svnclient.py (iter_svn_log_entries): Correctly use and
respect ancestors() array: look for the next copyfrom_rev, and once
we crawl past the last copy-from then start at the final
path+revision.

* svn2svn/run/svn2svn.py (process_svn_log_entry): For action='R'
don't run "svn remove" command if path_offset="", i.e. don't try to
remove the root of the WC.

Fix iter_svn_log_entries ancestry-handling problems

Change return format of find_svn_ancestors() to include
copyfrom_path+copyfrom_rev info.  We need this in iter_svn_log_entries()
for correctly "svn log"'ing over only valid ancestry. Previously, we
were basically assuming that copyfrom_rev was always revision-1, and
trying to "svn log" on that revision-range can yield errors.

* svn2svn/run/svn2svn.py (find_svn_ancestors): Change return format
so that each entry in the array is a path+revision+copyfrom_path+copyfrom_rev
tuplet.
* svn2svn/run/svn2svn.py (do_svn_add): Minor changes to support new
find_svn_ancestors() return format.

* svn2svn/run/svn2svn.py (do_svn_add_dir): Fix local-not-remote
handling, to correctly handling directories.

Correctly crawl source_url's ancestry back to origin, if any

* svn2svn/svnclient.py (iter_svn_log_entries): Support new optional
'ancestors' param. Use that to correctly grab revision-chunks,
following the ancestry history.
* svn2svn/run/svn2svn.py (join_path, in_ancestors): New functions.
* svn2svn/run/svn2svn.py (real_main): Use find_svn_ancestors() to get ancestry
of source_url and pass that to downstream functions.

Refactor find_svn_ancestors() to make more generic

* svn2svn/run/svn2svn.py (find_svn_ancestors): Make 'stop_base_path'
optional so this function can be used generally to get the full
ancestry history.

* svn2svn/svnclient.py (get_first_svn_log_entry, get_last_svn_log_entry):
Add optional 'stop_on_copy' param and pass through to get_one_svn_log_entry().

Ensure target WC is clean/reverted when continuing.

Perf: Only "svn update" when needed. This means a mixed-revision WC, but much-faster replays for large WC's.

Update parse_svn_status_xml() to use defensive conditional rather than assert for base_dir prefix checking

Fix process_svn_log_entry() to not include action="M" paths in skip_paths, so that do_svn_add() will try to check+create correct ancestry.
Update process_svn_log_entry() to calculate 'kind' if kind='none'.

Fix a place in find_svn_ancestors() which should've been using is_child_path().
Display progress messages during build_rev_map(), for target repo's with lots of target_url commits to check.

Fix another --keep-revnum edge-case

Correctly handle --keep-revnum mode during initial import

Updates to README

Update README for --keep-date and --keep-revnum support

Add --keep-revnum support

Add --keep-date, --keep-prop, --archive, --log-author, --log-date command line args
Add hook-examples/pre-revprop-change_example.txt

Better options.svn_rev parsing and validation

Make 'options' a global var

Perf Enh: Add skip_paths handling to do_svn_add(), to skip paths which will be handled later by process_svn_log_entry().

Support SVN versioned property updating

Update process_svn_log_entry() to calculate d['kind'] if missing.
Back-out changes from parse_svn_log_xml() to auto-calculate d['kind'] if not returned by "svn log --xml", since not all callers need d['kind']; just calculate on-demand where needed.

Fix copy-from handling and parent-path checking in get_kind()

Use is_child_path() for correct path-is-child-of-parent-path checking.
Add all changed_path's to commit_paths; don't use add_path() anymore.
Don't use add_path() for managing commit_paths

Support revision range in --revision, both start and end point

Fix iter_svn_log_entries() to handle chunks which have no matching entries.
Fix iter_svn_log_entries() to enforce a max_chunk_length.

Fix parse_svn_log_xml() to calculate d['kind'] if not returned by "svn log --xml", to handle commits made on early SVN versions

Handle empty "svn log" commit messages

Change iter_svn_log_entries() back to getting smaller chunks, for better performance on huge repositories.
Clarify safe iter_svn_log_entries() use-cases.
Use iter_svn_log_entries() where possible.

Add Links section to README

Update def process_svn_log_entry() to enumerate possible d['kind'] cases

Update build_rev_map() to gracefully handle case where a target_rev has revprops but no svn2svn:* revprops

Make module-level variables for source_*/target_*/rev_map

Misc code clean-up

Update README.mkd and documentation

Improve optparse formatting

* Add new --dry-run and --limit command-line args
* Add error classes for InternalError and VerificationError
* Move all optparser handling to main()

Migrate shared code to commit_from_svn_log_entry()

Additive verbosity command-line args

Add test revprop case. Fix some non-appending echo's.

No need to pre-throttle commit_paths in process_svn_log_entry()

No need to defer "svn remove" actions anymore, due to earlier rewrites

* Carry-forward revprop values from source repo
* Make shared code for generating list of svn2svn:* source-tracking revprops

Better "Usage" help-text

Remove obsolete pre-revprop-change.example.sh

Continue-mode support w/ rev_map

Merge branch 'modules' into develop

Run make-replay-repo in verbose-mode

Remove HEAD-specific short-circuiting

* Use ui.status for all status messages (verbose and debug)
* Show "Committed revision" after commits to target repo
* Fixes to in_svn()
* Show "svn status" results before cleanup when we catch an external-command exception

Minor fixes to get_svn_status() handling

Don't truncate status messages by default

Add optional 'no_fail' param to run_svn() and downstream functions

Support 'color' named-param in ui.status()

Migrate to run/svn2svn.py

Add svn2svn specific changes

Remove hgsvn-centric exception classes

Copy shared hgsvn code: https://bitbucket.org/andialbrecht/hgsvn @ 528dea531a2e

Merge branch 'ancestors' into develop

Update tests for "_wc_target"

More test cases

* Fix replace handling in do_svn_add()
* Move removed_paths handling back to process_svn_log_entry()
* Misc code clean-up

Checkout target WC in "_wc_target" instead of "_dup_wc"

Split pre-revprop-change example from make-replay-repo.sh to pre-revprop-change.example.sh

* Refactor find_svn_ancestors() to never require passed-in copyfrom_path/rev.
* Rename replay_svn_copyfrom() -> do_svn_add() and rewrite to walk the add'd tree breadth-first to correctly handle any child contents with different ancestry than the parent.
* Update main() to rename source_rev -> source_start_rev for clarity.

More robust in_svn()

* Debug parser option-group
* Fix get_rev_map() off-by-one bug

Handle source-tracking revprop setting directly in commit_from_svn_log_entry()

Add command-line options for enabling debug/verbose options

Code clean-up