Watch.Add improvements (avoid race, fix consistency, reduce garbage) (#189)

* hold mutex for longer to avoid race condition

If Watcher.Add is called with the same name from multiple goroutines and
name is not already in the watches map then the last call to complete
wins and the watch created by the first call to complete is lost.

This commit holds the mutex for the full duration of the update to the
watches map.

* avoid clobbering existing flags if inotify_add_watch fails

Previously, the watch entry is the watches map was updated before the
call to InotifyAddWatch. If InotifyAddWatch fails then this left the
watch entry in an inconsistent state.

* reuse existing watch entry when possible

travis: update for Go 1.8

two most recent stable versions + tip

Moved FAQ into the README

closes #186
ref #129

[ci skip]

Properly handle inotify's IN_Q_OVERFLOW event (#149)

* Properly handle inotify's IN_Q_OVERFLOW event

Upon receiving an event with IN_Q_OVERFLOW set in the mask, generate an
error on the Errors chan, so that the application can take appropriate
action.

* Use a well-defined error (ErrEventOverflow) for inotify overflow

* Add a test for inotify queue overflow

replace references to OS X with macOS

[ci skip]

v1.4.2

pull request and issue template (#179)

* editor config sets 4 spaces per tab

via https://github.com/isaacs/github/issues/170#issuecomment-181814560

[ci skip]

* pull request and issue templates

https://help.github.com/articles/helping-people-contribute-to-your-project/

[ci skip]

* issue template: provide commands to get OS version

suggested by @mdlayher

[ci skip]

Create inotify fd with close-on-exec (#178)

* Create inotify fd with close-on-exec

* switch to unix.IN_CLOEXEC

v1.4.1

deflake inotify stress test (#177)

* deflake inotify stress test

* tab -> space

* add sleep between creation / deletion to ensure creation events are triggered.

rm go1.5.4 from travis config since the linter doesn't build in 1.5 (#175)

readme: remove gocover.io badge

[ci skip]

update link to contributing to external git repos

[ci skip]

v1.4.0

add @oozie to AUTHORS

[ci skip]

Add a String() func to Event.Op (#165)

* Add a String() method to Event.Op

closes #84

* Covering all 5 Op types by the test

Bump Travis to Go 1.6.3 (#156)

v1.3.1

Use filepath.Join() (#153)

fix #151

global: switch to x/sys/unix

The syscall package is locked since 1.4[1], all new changes are in x/sys[2]
The fixes for epoll/arm64 are going to be loaded to x/sys/unix. This
commit is straightforward search/replace with a couple of hand edits.

This is needed for fixing #130

[1] https://golang.org/s/go1.4-syscall
[2] https://godoc.org/golang.org/x/sys/unix

closes #135

Update Travis config to Go 1.5.4 and 1.6.1

Get fsnotify to build clean on Solaris

Signed-off-by: Amit Krishnan <krish.amit@gmail.com>
closes #128

Add more Go versions to Travis config

Append missing email address in AUTHORS

add Bjørn to authors

update authors

fix spelling error

thanks to Go Report Card

https://goreportcard.com/report/github.com/fsnotify/fsnotify

Fix golint errors in windows.go for #116

closes #121
fixes #116

rename organization to fsnotify

ref #108

kqueue: fix Remove-logic

`os.Lstat` does not return `error` when a file/directory exists,
so the code path  to check for newly created files after a REMOVE
on BSD was never executed.

Also, if the watched entry is a file, it has been removed from the watcher, so do a new-file-check for them as well.

This commit fixes issues on TextMate on OS X and others that uses `exchangedata` to do atomic saves.

See #17. closes #111.

v1.2.8

Add race detection on Travis CI.

thanks to @ppknap for the suggestion

kqueue: fix race condition in Close

fixes #99
closes #105

thanks to @djui for reporting the issue and @ppknap for writing a test.

Add test for concurrent file removes and watcher.Close calls

inotify: fix race in test

kqueue: avoid infinite loops from symlinks cycles

The semenatics of using kqueue are already slightly different than
inotify, specifically that inotify will give you events for the symlink
itself whereas kqueue will only give events for the target of the
symlink. This preserves that behaviour, that symlinks don't get notified
on, but ensures that circular symlinks don't recurse forever.

This change pushes the resolved filename up through the stack so that
the fileExists map can be properly populated; not doing so would mean
that deleting a cyclical symlink and then replacing it with a file of
the same name would not notify for that file's creation (or subsequent
events) because we would believe that the file already existed.

v1.2.4

kqueue: watch for rename events on subdirectories

if flags has no  syscall.NOTE_RENAME, subdir rename event will not notify.

closes #83

inotify: sync Watcher with underlying inotify with IN_IGNORE

Watcher.watches and paths are not deleted when entry was removed automatically. Deleting those entry at ignoreLinux() to fix it.

This changes removing invalid watch name, it (should) always return "can't remove non-existent..."

closes #73

inotify: switch to epoll_create1

Epoll_create was replaced with epoll_create1 in linux 2.6.27. The older
syscall isn't available on new architectures (such as arm64).

closes #100

v1.2.1

documentation before coverage

[skip ci]

remove CircleCI for OS X tests

TravisCI handles it

TravisCI update

Don't watch named pipes

You can't watch a named pipe, same as a socket. The call to `Open` will just hang forever.

closes #98

add related projects to Readme

by @rjeczalik and @samjacobson

v1.2.0

closes #66 (apply mail)

When removing, delete from watches before removing from inotify (fixes go-fsnotify/fsnotify#40)

Add stressy test to inotify.

Make wakeup pipe non-blocking

Reduce repeated error code in inotify

Minor doc and test typos

Fix fdPoller.close to only close when fds have been assigned

Properly clean fds when newFdPoller fails

Clean up closing file descriptors in newFdPoller

Renamed two misnamed things

Add some unit tests for inotify_poller

Close inotify fd from watcher, not from poller

Comment about the buffer size to epoll_wait

Generate inotify fd in NewWatcher, pass fd into newFdPoller

Remove NewSyscallError

Now use epoll so we can wake up readEvents

kqueue: wait to close kqueue until after removing watches

sending done would close w.kq before Remove had a chance to remove the watches with EV_DELETE, resulting in a file handle leak.

ref #59

also make Close() report the first error returned by Remove and continue.

closes #65

inotify: closing watcher should now always shut down goroutine

(fixes #3)

closes #63

inotify: Retry read on EINTR

closes #62

Go 1.4.1 multi-os build on Travis CI

closes #60

Merge pull request #57 from go-fsnotify/ci

setup CircleCI to test on OS X

Setup CircleCI to test on OS X.

With help from @z00b.

readme: add USN journals to maybe list

add v0.9.3 backport to changelog

changelog: fix link

updates to CONTRIBUTING

[ci skip]

add gofmt check to Travis CI

Merge pull request #56 from go-fsnotify/ci

CI

AppVeyor badge for Windows CI

Travis CI badge on Linux.

try Travis CI with docker containers

v1.1.0 focus on kqueue

kqueue: cleanup internal watch before sending remove event

#51 if the calling code were to Add the same file again it sometimes would result in a bad file descriptor (thought it was alreadyWatching)

kqueue: addWatch sometimes just watches deletions

fix regression #48

When watching a directory with kqueue, fsnotify will watch all the files in it. This includes subdirectories, but it only watches for the subdirectory being deleted. This is to emulate the behavior of inotify on Linux.

A bug in 4a0d1ae9df8c61fb8912829fc714f189358a3dc7 resulted in it watching that subdirectory for all events, so watching a single directory would result in more events than expected.

More efficient string concatenation for Event.String()

closes #52

CONTRIBUTING update

information for maintainers

Go 1.3+ required.

#50

readme: test against master

update changelog (dev)

rework kqueue internals

closes #13
closes #43

kqueue: remove calls to os.NewSyscallError

calling os.NewSyscallError would silently break comparisons with the syscall constants. it didn't really add much value either, besides the "Kevent" prefix.

http://play.golang.org/p/YKbmygNDu4

kqueue: less mutexes

closes #13

FIXME: something doesn't seem quite right

Ref: https://github.com/go-fsnotify/fsnotify/blob/v0.9.0/fsnotify_bsd.go#L384

kqueue: pathInfo struct containing name and isDir

we don't use fileInfo for anything but IsDir

kqueue: split off newCreateEvent

more clear.

kqueue: only need to store flags on directories

kqueue: done can be an unbuffered channel

add low-level kqueue functions

to separate out that functionality

add dragonfly bsd to the build tags

rename to inotify.go

put linux and windows build tags back

this reverts 30aab4aea324d0110394bb280d9bb128a9716dcb

rearrange code so exported APIs are at the top

code organization: rename files

Hopefully more clear.

merge integration tests into one file

Already have some tests using runtime.GOOS, might as well be consistient.

add done channal flag, keep waiting for the go loop func

closes #37

Windows MOVED_TO now translates to Create like on BSD and Linux.

closes #36

ref #26