Compare commits
No commits in common. 'main' and 'v0.1.1' have entirely different histories.
@ -0,0 +1,11 @@
|
|||||||
|
package obp
|
||||||
|
|
||||||
|
func (p *Pipeline) FindAttachments() error {
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (p *Pipeline) MoveAttachments(post string) error {
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
@ -0,0 +1,145 @@
|
|||||||
|
package obp
|
||||||
|
|
||||||
|
import (
|
||||||
|
"fmt"
|
||||||
|
"io/fs"
|
||||||
|
"io/ioutil"
|
||||||
|
"os"
|
||||||
|
"path/filepath"
|
||||||
|
"regexp"
|
||||||
|
"strings"
|
||||||
|
|
||||||
|
"go.uber.org/zap"
|
||||||
|
)
|
||||||
|
|
||||||
|
func (p *Pipeline) Walk() error {
|
||||||
|
notesRoot := os.DirFS(p.Source)
|
||||||
|
blogRoot := os.DirFS(p.Target)
|
||||||
|
|
||||||
|
err := fs.WalkDir(notesRoot, ".", p.findAttachments)
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("error scanning for attachments: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
err = fs.WalkDir(notesRoot, ".", p.findNotes)
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("error scanning vault for posts: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
err = fs.WalkDir(blogRoot, ".", p.findPosts)
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("error scanning blog for posts: %w", err)
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (p *Pipeline) findNotes(path string, d fs.DirEntry, err error) error {
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
if d.IsDir() {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
walkLogger := p.L.Named("FindNotes").With(zap.String("path", path))
|
||||||
|
|
||||||
|
if strings.HasSuffix(path, ".md") && strings.Contains(path, p.BlogDir) {
|
||||||
|
walkLogger.Info("found blog post to publish, adding to index")
|
||||||
|
p.Notes = append(p.Notes, path)
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (p *Pipeline) findAttachments(path string, d fs.DirEntry, err error) error {
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
if d.IsDir() {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
walkLogger := p.L.Named("FindAttachments").With(zap.String("path", path))
|
||||||
|
|
||||||
|
if strings.Contains(path, p.AttachmentsDir) {
|
||||||
|
walkLogger.Info("found attachment file, adding to index")
|
||||||
|
absPath, err := filepath.Abs(filepath.Join(p.Source, path))
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("error generating absolute path for attachment %q: %w", path, err)
|
||||||
|
}
|
||||||
|
walkLogger.Info("adding Attachment",
|
||||||
|
zap.String("key", filepath.Base(absPath)),
|
||||||
|
zap.String("value", absPath),
|
||||||
|
)
|
||||||
|
p.Attachments[filepath.Base(absPath)] = absPath
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (p *Pipeline) findPosts(path string, d fs.DirEntry, err error) error {
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
if d.IsDir() {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
walkLogger := p.L.Named("FindPosts").With(zap.String("path", path))
|
||||||
|
|
||||||
|
if strings.HasSuffix(path, "index.md") {
|
||||||
|
walkLogger.Info("found index.md, adding to index")
|
||||||
|
p.Posts = append(p.Posts, path)
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (p *Pipeline) Move() error {
|
||||||
|
moveLogger := p.L.Named("Move")
|
||||||
|
moveLogger.Info("scanning posts", zap.Strings("posts", p.Posts))
|
||||||
|
for _, post := range p.Notes {
|
||||||
|
// log.Printf("scanning %q for attachment links", post)
|
||||||
|
linkedAttachments, err := extractAttachments(filepath.Join(p.Source, post))
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("could not extract attachment links from %q: %w", post, err)
|
||||||
|
}
|
||||||
|
for _, attachment := range linkedAttachments {
|
||||||
|
att, ok := p.Attachments[attachment]
|
||||||
|
if !ok {
|
||||||
|
return fmt.Errorf("Attachment is linked by post %q but doesn't exist in attachments directory %q", post, p.AttachmentsDir)
|
||||||
|
}
|
||||||
|
err := moveAttachment(post, att, p.L.Named("moveAttachment"))
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("error moving attachments: %w", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func moveAttachment(post, attachment string, l *zap.Logger) error {
|
||||||
|
l.Info("moving attachment",
|
||||||
|
zap.String("post", post),
|
||||||
|
zap.String("attachment", attachment),
|
||||||
|
)
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func extractAttachments(post string) ([]string, error) {
|
||||||
|
|
||||||
|
pat := regexp.MustCompile(`\[\[Resources\/attachments\/(.*)?\]\]`)
|
||||||
|
|
||||||
|
attachments := make([]string, 0)
|
||||||
|
postBody, err := ioutil.ReadFile(post)
|
||||||
|
if err != nil {
|
||||||
|
return attachments, fmt.Errorf("error opening post to scan for attachment links: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
for _, att := range pat.FindAllSubmatch(postBody, -1) {
|
||||||
|
filename := string(att[1])
|
||||||
|
attachments = append(attachments, filename)
|
||||||
|
|
||||||
|
}
|
||||||
|
|
||||||
|
return attachments, nil
|
||||||
|
}
|
||||||
@ -1,62 +0,0 @@
|
|||||||
/*
|
|
||||||
Copyright © 2023 NAME HERE <EMAIL ADDRESS>
|
|
||||||
*/
|
|
||||||
package cmd
|
|
||||||
|
|
||||||
import (
|
|
||||||
"fmt"
|
|
||||||
"log"
|
|
||||||
|
|
||||||
"github.com/spf13/cobra"
|
|
||||||
"github.com/spf13/viper"
|
|
||||||
|
|
||||||
"code.ndumas.com/ndumas/obsidian-pipeline"
|
|
||||||
)
|
|
||||||
|
|
||||||
var hugoBundleCmd = &cobra.Command{
|
|
||||||
Use: "bundle",
|
|
||||||
Short: "convert a set of Obsidian notes into a Hugo compatible directory structure",
|
|
||||||
Long: `generate hugo content from your vault`,
|
|
||||||
PreRunE: func(cmd *cobra.Command, args []string) error {
|
|
||||||
// here is where I validate arguments, open and parse config files, etc
|
|
||||||
return nil
|
|
||||||
},
|
|
||||||
RunE: func(cmd *cobra.Command, args []string) error {
|
|
||||||
source := viper.GetString("hugo.source")
|
|
||||||
target := viper.GetString("hugo.target")
|
|
||||||
|
|
||||||
err := obp.CopyPosts(source, target)
|
|
||||||
if err != nil {
|
|
||||||
return fmt.Errorf("error copying posts in %q: %w", source, err)
|
|
||||||
}
|
|
||||||
|
|
||||||
err = obp.Sanitize(source)
|
|
||||||
if err != nil {
|
|
||||||
return fmt.Errorf("error sanitizing posts in %q: %w", source, err)
|
|
||||||
}
|
|
||||||
|
|
||||||
err = obp.GatherMedia(source)
|
|
||||||
if err != nil {
|
|
||||||
return fmt.Errorf("error gathering media in %q: %w", source, err)
|
|
||||||
}
|
|
||||||
return nil
|
|
||||||
},
|
|
||||||
}
|
|
||||||
|
|
||||||
func init() {
|
|
||||||
hugoBundleCmd.Flags().StringP("source", "s", "", "path to vault directory containing hugo posts")
|
|
||||||
err := viper.BindPFlag("hugo.source", hugoBundleCmd.Flags().Lookup("source"))
|
|
||||||
if err != nil {
|
|
||||||
log.Panicln("error binding viper to source flag:", err)
|
|
||||||
}
|
|
||||||
|
|
||||||
hugoBundleCmd.Flags().StringP("target", "t", "", "hugo content/ directory")
|
|
||||||
err = viper.BindPFlag("hugo.target", hugoBundleCmd.Flags().Lookup("target"))
|
|
||||||
if err != nil {
|
|
||||||
log.Panicln("error binding viper to target flag:", err)
|
|
||||||
}
|
|
||||||
|
|
||||||
hugoBundleCmd.MarkFlagsRequiredTogether("source", "target")
|
|
||||||
|
|
||||||
hugoCmd.AddCommand(hugoBundleCmd)
|
|
||||||
}
|
|
||||||
@ -1,92 +0,0 @@
|
|||||||
package obp
|
|
||||||
|
|
||||||
import (
|
|
||||||
"fmt"
|
|
||||||
"io"
|
|
||||||
"io/fs"
|
|
||||||
// "log"
|
|
||||||
"os"
|
|
||||||
"path/filepath"
|
|
||||||
"strings"
|
|
||||||
)
|
|
||||||
|
|
||||||
func copy(src, dst string) (int64, error) {
|
|
||||||
sourceFileStat, err := os.Stat(src)
|
|
||||||
if err != nil {
|
|
||||||
return 0, err
|
|
||||||
}
|
|
||||||
|
|
||||||
if !sourceFileStat.Mode().IsRegular() {
|
|
||||||
return 0, fmt.Errorf("%s is not a regular file", src)
|
|
||||||
}
|
|
||||||
|
|
||||||
source, err := os.Open(src)
|
|
||||||
if err != nil {
|
|
||||||
return 0, err
|
|
||||||
}
|
|
||||||
defer source.Close()
|
|
||||||
|
|
||||||
destination, err := os.Create(dst)
|
|
||||||
if err != nil {
|
|
||||||
return 0, err
|
|
||||||
}
|
|
||||||
defer destination.Close()
|
|
||||||
nBytes, err := io.Copy(destination, source)
|
|
||||||
return nBytes, err
|
|
||||||
}
|
|
||||||
|
|
||||||
func CopyPosts(src, dst string) error {
|
|
||||||
posts := make([]string, 0)
|
|
||||||
|
|
||||||
srcRoot := os.DirFS(src)
|
|
||||||
err := fs.WalkDir(srcRoot, ".", func(path string, d fs.DirEntry, err error) error {
|
|
||||||
// here's where I walk through the source directory and collect all the markdown notes
|
|
||||||
if err != nil {
|
|
||||||
return fmt.Errorf("could not walk %q: %w", path, err)
|
|
||||||
}
|
|
||||||
|
|
||||||
if d.IsDir() {
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
||||||
if strings.HasSuffix(path, ".md") {
|
|
||||||
posts = append(posts, filepath.Join(src, path))
|
|
||||||
}
|
|
||||||
|
|
||||||
return nil
|
|
||||||
})
|
|
||||||
if err != nil {
|
|
||||||
return fmt.Errorf("walkfunc failed: %w", err)
|
|
||||||
}
|
|
||||||
|
|
||||||
for _, post := range posts {
|
|
||||||
base := filepath.Base(post)
|
|
||||||
|
|
||||||
splitPostName := strings.Split(base, ".")
|
|
||||||
|
|
||||||
postName := strings.Join(splitPostName[:len(splitPostName)-1], ".")
|
|
||||||
|
|
||||||
postDir := filepath.Join(dst, postName)
|
|
||||||
|
|
||||||
err := os.MkdirAll(postDir, 0777)
|
|
||||||
|
|
||||||
if err != nil && !os.IsExist(err) {
|
|
||||||
return fmt.Errorf("error creating target directory %q: %w", dst, err)
|
|
||||||
}
|
|
||||||
|
|
||||||
_, err = copy(post, filepath.Join(postDir, "index.md"))
|
|
||||||
if err != nil {
|
|
||||||
return fmt.Errorf("error opening %q for copying: %w", post, err)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
||||||
func Sanitize(src string) error {
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
||||||
func GatherMedia(src string) error {
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
@ -0,0 +1,15 @@
|
|||||||
|
package obp
|
||||||
|
|
||||||
|
func (p *Pipeline) FindPosts() error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (p *Pipeline) SanitizePost(post string) error {
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (p *Pipeline) CopyPost(post string) error {
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
@ -1,77 +0,0 @@
|
|||||||
package obp_test
|
|
||||||
|
|
||||||
import (
|
|
||||||
"bytes"
|
|
||||||
"testing"
|
|
||||||
|
|
||||||
"code.ndumas.com/ndumas/obsidian-pipeline"
|
|
||||||
)
|
|
||||||
|
|
||||||
func Test_BasicValidation(t *testing.T) {
|
|
||||||
t.Parallel()
|
|
||||||
tt := []struct {
|
|
||||||
name string
|
|
||||||
b *bytes.Buffer
|
|
||||||
expected error
|
|
||||||
}{
|
|
||||||
{
|
|
||||||
name: "KeyMissing",
|
|
||||||
b: bytes.NewBufferString(`
|
|
||||||
---
|
|
||||||
boop: "bop"
|
|
||||||
---
|
|
||||||
# Markdown Content
|
|
||||||
`),
|
|
||||||
expected: nil,
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "KeyTypeMismatch",
|
|
||||||
b: bytes.NewBufferString(`
|
|
||||||
---
|
|
||||||
title: 2
|
|
||||||
---
|
|
||||||
# Markdown Content
|
|
||||||
`),
|
|
||||||
expected: nil,
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "GoodSchema",
|
|
||||||
b: bytes.NewBufferString(`
|
|
||||||
---
|
|
||||||
draft: false
|
|
||||||
title: "Mapping Aardwolf with Graphviz and Golang"
|
|
||||||
aliases: ["Mapping Aardwolf with Graphviz"]
|
|
||||||
series: ["mapping-aardwolf"]
|
|
||||||
date: "2023-04-06"
|
|
||||||
author: "Nick Dumas"
|
|
||||||
cover: ""
|
|
||||||
keywords: [""]
|
|
||||||
description: "Maxing out your CPU for fun and profit with dense graphs, or how I'm attempting to follow through on my plan to work on projects with more visual
|
|
||||||
outputs"
|
|
||||||
showFullContent: false
|
|
||||||
tags:
|
|
||||||
- graphviz
|
|
||||||
- graph
|
|
||||||
- aardwolf
|
|
||||||
- golang
|
|
||||||
---
|
|
||||||
|
|
||||||
## Textual Cartography
|
|
||||||
Aardwolf has a fairly active developer community, people who write and maintain plugins and try to map the game world and its contents.
|
|
||||||
`),
|
|
||||||
expected: nil,
|
|
||||||
},
|
|
||||||
}
|
|
||||||
|
|
||||||
for _, tc := range tt {
|
|
||||||
tc := tc
|
|
||||||
t.Run(tc.name, func(t *testing.T) {
|
|
||||||
t.Parallel()
|
|
||||||
err := obp.Validate("https://schemas.ndumas.com/obsidian/note.schema.json", tc.b)
|
|
||||||
if err == tc.expected {
|
|
||||||
t.Log("Expected Validate() to fail on input")
|
|
||||||
t.Fail()
|
|
||||||
}
|
|
||||||
})
|
|
||||||
}
|
|
||||||
}
|
|
||||||
Loading…
Reference in New Issue