<div dir="ltr">I agree with Marcia. ChatGPT is to a skilled writer as clip-art is to graphics. It's adequate for basic needs but is no substitute for a designer working specifically to convey your idea.<div><br></div><div>I recently landed on a site that I could tell used a chatbot to write its copy. I was repelled and left quickly--and crossed that consultant off my list of people I'd ever hire, because she didn't disclose that a bot wrote the site. Ugh!<br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div style="font-size:small"></div><div><br></div><div>Shel Horowitz - "The Transformpreneur"</div><div>________________________________________________</div><div>Contact me to bake in profitability while addressing hunger, </div><div>poverty, war, and catastrophic climate change</div><div>* First business ever to be Green America Gold Certified</div><div>* Inducted into the National Environmental Hall of Fame</div><div>* Certified speaker: International Platform Association</div><div><a href="https://goingbeyondsustainability.com" target="_blank">https://goingbeyondsustainability.com</a> </div><div>mailto:<a href="mailto:shel@greenandprofitable.com" target="_blank">shel@greenandprofitable.com</a> 413-586-2388</div><div>Award-winning, best-selling author of 10 books. </div><div>Latest: Guerrilla Marketing to Heal the World </div><div>(co-authored with Jay Conrad Levinson)</div><div><br></div><div>Watch my TEDx Talk,</div><div>"Impossible is a Dare: Business for a Better World"</div><div><a href="http://www.ted.com/tedx/events/11809" target="_blank">http://www.ted.com/tedx/events/11809</a> </div><div>(move your mouse to "event videos")</div><div>_________________________________________________</div><div><br></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Mar 11, 2023 at 9:45 PM Marcia Yudkin via Hidden-discuss <<a href="mailto:hidden-discuss@lists.hidden-tech.net">hidden-discuss@lists.hidden-tech.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">I'm not sure I would call its output "well-written," though,  It's competently written, well-organized and with proper grammar, but stodgy in style and unimaginative, unless you've given it instructions like "write in the style of ____."<br>
<br>
<br>
<br>
<br>
<br>
<br>
On Saturday, March 11, 2023 at 04:22:19 PM HST, Alan Frank <<a href="mailto:alan@8wheels.org" target="_blank">alan@8wheels.org</a>> wrote: <br>
<br>
<br>
<br>
<br>
<br>
I would use it for composing text, but not for facts at all.  And if I <br>
asked it "How would you introduce George Takei at a political <br>
convention"," I would expect well-written text, but would also <br>
fact-check everything.<br>
<br>
<br>
-------- Original Message --------<br>
Subject: Re: [Hidden-tech] Question about ChatGPT and machine learning<br>
Date: 2023-03-11 15:55<br>
From: Marcia Yudkin via Hidden-discuss <br>
<<a href="mailto:hidden-discuss@lists.hidden-tech.net" target="_blank">hidden-discuss@lists.hidden-tech.net</a>><br>
To: Rob Laporte <<a href="mailto:rob@2disc.com" target="_blank">rob@2disc.com</a>><br>
<br>
Rob,<br>
<br>
Those are very interesting examples.  It's a mixed track record, <br>
though.  Based on your experience, what would you say ChatGPT should and <br>
shouldn't be used for, or how it should or shouldn't be used?<br>
<br>
For example, based on the errors in bios you saw, would you still use it <br>
for those artist bios given that you'd have to meticulously fact check <br>
everything it wrote?<br>
<br>
Marcia Yudkin<br>
<br>
<br>
<br>
<br>
<br>
<br>
On Saturday, March 11, 2023 at 10:19:20 AM HST, Rob Laporte <br>
<<a href="mailto:rob@2disc.com" target="_blank">rob@2disc.com</a>> wrote:<br>
<br>
<br>
<br>
<br>
<br>
I've noticed that humans simplify complex, especially threatening, new <br>
things, by using dichotomies of good and evil, red and blue, etc, and <br>
that conviction is often inversely proportionate to knowledge. I've <br>
worked in search marketing for 28 years, have digested a lot about the <br>
kind of tech and processes underlying chatGPT (gpt), and I have no sound <br>
basis for strong conviction on any of the issues broached here. But this <br>
I can tell you from my mere 6 hours novice use so far:<br>
<br>
    * In under an hour it solved a complex HR-financial legal question, <br>
and provided the letter the plaintiff should write to the corporation's <br>
HR department, with quality of writing, sensitivity to workplace <br>
politics, and effective brevity way better than anything I can recall in <br>
my 50 years of adulthood, decade teaching college lit and writing, and 3 <br>
decades in search marketing. Truly stunning. Save at least $2000 in <br>
legal fees that might have gone to a local law firm.<br>
    * A few times over the years I researched best email spam blocking <br>
solutions, and considered an aggressive form of it. gpt explained the <br>
problem with that solution, and did so way faster than my past and still <br>
inclusive Google searches, saving me a few hundred dollars in IT <br>
consulting.<br>
    * It completely conflated my semi-famous lawyer grandad's bio with <br>
that of his stellar but less accomplished son of the same name. Both are <br>
years deceased (most gpt data ends Sept '21), yet totally wrong.<br>
    * So too it got the bio of a decade-deceased famous scholar of Roman <br>
architecture (friend's dad) wrong on a few points, most notably that <br>
most his career was at Smith college, not Princeton as gpt said. <br>
    * It produced strikingly eloquent spreadsheet solutions for two <br>
different complex purposes. I asked it for the actual spreadsheet, and <br>
cell references were off, but in a second half hour of work, I'm sure it <br>
wold have gotten it right or I could correct it myself. A few hours of <br>
work time saved there, and one of the two tasks was billable. <br>
    * My firm had a prospective writing project for a client, involving <br>
bios of famous and notable painters sold by the client. I say "had" <br>
because now gpt or its structuring within services like NeuroFash will <br>
cut both client and my firm's copywriter time substantially. <br>
    * I've not tried but viewed a YouTube of good, arguably very good, <br>
graphic design for a marketing campaign done in well under half a day.<br>
Outside of broad ideological judgements, there's much to consider in how <br>
gpt will change work and incomes. <br>
<br>
The current version 3.5 will be upgraded to 4.0 within weeks. Think of <br>
gpt like the web in 1994 or personal PCs in 1981, with advancements <br>
happening 10x faster. <br>
<br>
Best Regards,<br>
<br>
Rob Laporte<br>
CEO  |  R&D Manager<br>
DISC - Making Web Sites Make Money<br>
<a href="mailto:Rob@2disc.com" target="_blank">Rob@2disc.com</a>, 413-584-6500<br>
<a href="http://www.2disc.com" rel="noreferrer" target="_blank">www.2disc.com</a><br>
<br>
NOTE: Emails can be blocked by spam filters throughout the web. If you <br>
don’t get a reply within an expected span of time, please call.<br>
<br>
<br>
<br>
---- On Fri, 10 Mar 2023 20:36:26 -0500 Marcia Yudkin via Hidden-discuss <br>
<<a href="mailto:hidden-discuss@lists.hidden-tech.net" target="_blank">hidden-discuss@lists.hidden-tech.net</a>> wrote ---<br>
<br>
> David,<br>
> <br>
> Some great points there.  I especially like this one:<br>
> <br>
>>> it is *ALL* made up.<<<br>
> <br>
> That helps me to dimly understand that everything the chat says is <br>
> simply plausible, no more than that.<br>
> <br>
> Maybe we should think of it as no more authoritative than the cocktail <br>
> party chatter of someone who reads indiscriminately and can't shut up <br>
> until they've spewed five paragraphs.<br>
> <br>
> Marcia<br>
> <br>
> <br>
> <br>
> <br>
> <br>
> <br>
> <br>
> <br>
> On Friday, March 10, 2023 at 12:34:46 PM HST, R. David Murray via <br>
> Hidden-discuss <<a href="mailto:hidden-discuss@lists.hidden-tech.net" target="_blank">hidden-discuss@lists.hidden-tech.net</a>> wrote:<br>
> <br>
> <br>
> <br>
> <br>
> <br>
> From what I understand (admittedly from only a *basic* understanding of<br>
> machine learning), it is not so much that ChatGPT is "making errors",<br>
> but rather that it is "making stuff up", and does not admit that it is<br>
> making stuff up.<br>
> <br>
> I'm going to brain dump what I think here, but I'm not an expert in <br>
> this<br>
> by any stretch, so don't take me as an authority.  Perhaps this can <br>
> help<br>
> you reason about ChartGPT until you find a better expert to consult ;)<br>
> <br>
> One thing to understand is that this is a *trained* model.  That means<br>
> that it was given a set of questions and answers and told "these are<br>
> good, these are bad", probably with a rating of *how* good or bad.  <br>
> Then<br>
> it was given a lot of other data (and how exactly this gets turned into<br>
> questions and answers is *way* beyond my knowledge level).  Then a team<br>
> of model trainers started asking questions.  The trainers would look at<br>
> the answers it came up with and rate them, thus adding to the "trained"<br>
> data set.  When you tell ChatGPT that its answer was good or bad, you<br>
> are also potentially adding to that training data, by the way.<br>
> <br>
> I'm guessing that the way the system works there is actually no way for<br>
> it to "know" that it has made something up.  The output that it <br>
> produces<br>
> is generated based on what you can think of as a very advanced version<br>
> of statistical language modelling:  given a certain input, what are the<br>
> most likely kinds of things that would follow as a response?  And like<br>
> any statistical model, when you get enough standard deviations out,<br>
> things get weird.  At no point in the model output are things tagged as<br>
> "made up" or "not made up":  it is *ALL* made up.<br>
> <br>
> In the middle of the bell curve the made up things are *much* more<br>
> likely to be "correct" than out at the edges of the bell curve.  But<br>
> oh those edges...<br>
> <br>
> It is of course more sophisticated than a statistical model, but the<br>
> same principle applies:  if there are few examples of *exactly* the <br>
> kind<br>
> of data your input contains, then it is going to draw from stuff that <br>
> is<br>
> a lot less closely related to your input for its response.  But, and<br>
> here is the important part, it is going to make up *something* to <br>
> answer<br>
> with.  If a source is mentioned multiple times in the context of your<br>
> input, it will use it.  If there are no sources mentioned in the <br>
> context<br>
> of your input, it will generate an output that looks like the *kind of<br>
> thing* that would be a response to that *kind of input*.  In this case<br>
> that included a list of articles.  It generated at least one of them<br>
> from an author whose name was probably mentioned in the context of your<br>
> input, but never with an actual article name attached.  Or maybe that<br>
> author was mentioned in the context of conversations containing a<br>
> subset of the *words* in your input (rather than logically formed<br>
> sentences), depending on just how fuzzy the match was.  Then it<br>
> effectively made up a plausible sounding article name to go with the<br>
> author name, because that's what responses to other similar questions <br>
> in<br>
> its training data looked like (not similar in content, but similar in<br>
> *form*).<br>
> <br>
> So while I agree that making up all the sources seems like an extreme<br>
> example of this, ChatGPT is what Science Fiction calls an "Artificial<br>
> Stupid" (something that can't actually *reason*), and thus I think my<br>
> explanation is plausible.  It just depends on how fuzzy the match was<br>
> that it made on the input.  If the match was very fuzzy, then it would<br>
> have come back with material from its data that generally followed at<br>
> least some of your input, and then since responses the trainers<br>
> considered "good" to questions like that usually included some sources,<br>
> it made some up based on how the answers to other, less related,<br>
> questions looked.<br>
> <br>
> Anyone want to bet that four sources was the average number that was<br>
> accepted as "a good answer" by the people who did the training?  I know<br>
> I've seen "four things" in a couple of ChatGPT answers, and I haven't<br>
> asked it very many questions :)<br>
> <br>
> Given all this, there are only two things you can do, one of which is<br>
> exactly what you did: ask it for the sources.  Given *that* input, it<br>
> should be able to come up with the most likely response being the <br>
> actual<br>
> source.  If it can't, then it has probably made up the source (note: I<br>
> have not tested this technique myself, but it follows logically from <br>
> how<br>
> I think the system works).<br>
> <br>
> The second thing you can do (which you probably also already did) is to<br>
> rephrase your input, giving it different amounts and kinds of context,<br>
> and see how the output changes.  If your altered input results in a <br>
> less<br>
> fuzzy match, you will get better answers.<br>
> <br>
> The big takeaway, which you clearly already know, is to never trust<br>
> anything ChatGPT produces.  Use it as a rough draft, but verify all the<br>
> facts.<br>
> <br>
> My fear is that there are going to be a lot of people who aren't as<br>
> diligent, and we'll end up with a lot of made up information out on the<br>
> web adding to all of the maliciously bad information that is already <br>
> out<br>
> there.  I have read that the ChatGPT researchers are worried about how<br>
> to avoid using ChatGPT's output as input to a later ChatGPT model, and <br>
> I<br>
> have no idea how they are going to achieve that!<br>
> <br>
> And keep in mind that that maliciously bad information *is part of<br>
> ChatGPT's data set*.  Some of it the people who did the training will <br>
> have<br>
> caught, but I'm willing to bet they missed a lot of it because *they*<br>
> didn't know it was bad, or it never came up during training.<br>
> <br>
> --David<br>
> <br>
> On Fri, 10 Mar 2023 03:14:21 +0000, Marcia Yudkin via Hidden-discuss <br>
> <<a href="mailto:hidden-discuss@lists.hidden-tech.net" target="_blank">hidden-discuss@lists.hidden-tech.net</a>> wrote:<br>
>> Yes, I know that people have been pointing out "ridiculous factual <br>
>> errors" from ChatGPT.   However, to make up sources that sound <br>
>> completely plausible but are fake seems like it belongs in a whole <br>
>> other category.<br>
>> <br>
>> <br>
>> <br>
>> <br>
>> <br>
>> <br>
>> On Thursday, March 9, 2023 at 04:10:43 PM HST, Alan Frank <br>
>> <<a href="mailto:alan@8wheels.org" target="_blank">alan@8wheels.org</a>> wrote:<br>
>> <br>
>> <br>
>> <br>
>> <br>
>> <br>
>> ChatGPT is a conversation engine, not a search engine.  It is designed<br>
>> to provide plausible responses based on similarity of questions and<br>
>> answers to existing material on the internet, without attempting to<br>
>> correlate its responses with actual facts.  Pretty much every social<br>
>> media space I follow has had multiple posts from people pointing out<br>
>> ridiculous factual errors from ChatGPT.<br>
>> <br>
>> --Alan<br>
>> <br>
>> <br>
>> -------- Original Message --------<br>
>> Subject: [Hidden-tech] Question about ChatGPT and machine learning<br>
>> Date: 2023-03-09 15:29<br>
>> From: Marcia Yudkin via Hidden-discuss<br>
>> <<a href="mailto:hidden-discuss@lists.hidden-tech.net" target="_blank">hidden-discuss@lists.hidden-tech.net</a>><br>
>> To: "<a href="mailto:Hidden-discuss@lists.hidden-tech.net" target="_blank">Hidden-discuss@lists.hidden-tech.net</a>"<br>
>> <<a href="mailto:Hidden-discuss@lists.hidden-tech.net" target="_blank">Hidden-discuss@lists.hidden-tech.net</a>><br>
>> <br>
>> This question is for anyone who understands how the machine learning <br>
>> in<br>
>> ChatGPT works.<br>
>> <br>
>> I've been finding ChatGPT useful for summarizing information that is<br>
>> widely dispersed around the web, such as questions like "what are the<br>
>> most popular objections to X?"  However, the other day for a blog post <br>
>> I<br>
>> was writing I asked it "What are some sources on the relationship of X<br>
>> to Y?"  It gave me four sources of information, including the article<br>
>> title, where it was published and who wrote it.  <br>
>> <br>
>> This looked great, especially since I recognized two of the author <br>
>> names<br>
>> as authorities on X.  However, when I then did a Google search, I <br>
>> could<br>
>> not track down any of the four articles, either by title, author or<br>
>> place of publication.  I tried both in Google and in Bing.  Zilch!<br>
>> <br>
>> Could ChatGPT have totally made up these sources?  If so, how does <br>
>> that<br>
>> work?<br>
>> <br>
>> I am baffled about the explanation of this.  One of the publications<br>
>> involved was Psychology Today, so we are not talking about obscure<br>
>> corners of the Internet or sites that would have disappeared recently.<br>
>> <br>
>> Thanks for any insights.<br>
>> <br>
>> Marcia Yudkin<br>
>> Introvert UpThink<br>
>> Introvert UpThink | Marcia Yudkin | Substack<br>
>> <br>
>> <br>
>> <br>
>> <br>
>> <br>
>> Introvert UpThink | Marcia Yudkin | Substack<br>
>>   Marcia Yudkin<br>
>>   Exploring how introverts are misunderstood, maligned and<br>
>> underappreciated in our culture - yet still thrive. Cli...<br>
>> <br>
>> <br>
>> _______________________________________________<br>
>> Hidden-discuss mailing list - home page: <a href="http://www.hidden-tech.net" rel="noreferrer" target="_blank">http://www.hidden-tech.net</a><br>
>> <a href="mailto:Hidden-discuss@lists.hidden-tech.net" target="_blank">Hidden-discuss@lists.hidden-tech.net</a><br>
>> <br>
>> You are receiving this because you are on the Hidden-Tech Discussion<br>
>> list.<br>
>> If you would like to change your list preferences, Go to the Members<br>
>> page on the Hidden Tech Web site.<br>
>> <a href="http://www.hidden-tech.net/members" rel="noreferrer" target="_blank">http://www.hidden-tech.net/members</a><br>
>> _______________________________________________<br>
>> Hidden-discuss mailing list - home page: <a href="http://www.hidden-tech.net" rel="noreferrer" target="_blank">http://www.hidden-tech.net</a><br>
>> <a href="mailto:Hidden-discuss@lists.hidden-tech.net" target="_blank">Hidden-discuss@lists.hidden-tech.net</a><br>
>> <br>
>> You are receiving this because you are on the Hidden-Tech Discussion <br>
>> list.<br>
>> If you would like to change your list preferences, Go to the Members<br>
>> page on the Hidden Tech Web site.<br>
>> <a href="http://www.hidden-tech.net/members" rel="noreferrer" target="_blank">http://www.hidden-tech.net/members</a><br>
> _______________________________________________<br>
> Hidden-discuss mailing list - home page: <a href="http://www.hidden-tech.net" rel="noreferrer" target="_blank">http://www.hidden-tech.net</a><br>
> <a href="mailto:Hidden-discuss@lists.hidden-tech.net" target="_blank">Hidden-discuss@lists.hidden-tech.net</a><br>
> <br>
> You are receiving this because you are on the Hidden-Tech Discussion <br>
> list.<br>
> If you would like to change your list preferences, Go to the Members<br>
> page on the Hidden Tech Web site.<br>
> <a href="http://www.hidden-tech.net/members" rel="noreferrer" target="_blank">http://www.hidden-tech.net/members</a><br>
> _______________________________________________<br>
> Hidden-discuss mailing list - home page: <a href="http://www.hidden-tech.net" rel="noreferrer" target="_blank">http://www.hidden-tech.net</a><br>
> <a href="mailto:Hidden-discuss@lists.hidden-tech.net" target="_blank">Hidden-discuss@lists.hidden-tech.net</a><br>
> <br>
> You are receiving this because you are on the Hidden-Tech Discussion <br>
> list.<br>
> If you would like to change your list preferences, Go to the Members<br>
> page on the Hidden Tech Web site.<br>
> <a href="http://www.hidden-tech.net/members" rel="noreferrer" target="_blank">http://www.hidden-tech.net/members</a><br>
<br>
<br>
_______________________________________________<br>
Hidden-discuss mailing list - home page: <a href="http://www.hidden-tech.net" rel="noreferrer" target="_blank">http://www.hidden-tech.net</a><br>
<a href="mailto:Hidden-discuss@lists.hidden-tech.net" target="_blank">Hidden-discuss@lists.hidden-tech.net</a><br>
<br>
You are receiving this because you are on the Hidden-Tech Discussion <br>
list.<br>
If you would like to change your list preferences, Go to the Members<br>
page on the Hidden Tech Web site.<br>
<a href="http://www.hidden-tech.net/members" rel="noreferrer" target="_blank">http://www.hidden-tech.net/members</a><br>
_______________________________________________<br>
Hidden-discuss mailing list - home page: <a href="http://www.hidden-tech.net" rel="noreferrer" target="_blank">http://www.hidden-tech.net</a><br>
<a href="mailto:Hidden-discuss@lists.hidden-tech.net" target="_blank">Hidden-discuss@lists.hidden-tech.net</a><br>
<br>
You are receiving this because you are on the Hidden-Tech Discussion list.<br>
If you would like to change your list preferences, Go to the Members<br>
page on the Hidden Tech Web site.<br>
<a href="http://www.hidden-tech.net/members" rel="noreferrer" target="_blank">http://www.hidden-tech.net/members</a><br>
</blockquote></div>